Руководитель группы платного трафика Lazurit мебель Сергей Попланов рассказывает о грамотном подходе к экспериментам и пуле инструментов для А/В-тестирования внешних креативов.
Метод А/В-тестирования стал неотъемлемой частью стратегий грамотных рекламных кампаний, позволяя принимать обоснованные решения на основе данных. Запуская перформанс-кампанию, важно проводить эксперименты на всех этапах воронки продаж, в том числе тестировать внешние креативы.
Исследуя рынок интернет-рекламы, мы заметили, что большинство конкурентов в e-com сегменте использует в креативах изображение товара на белом фоне. В Lazurit же мебель демонстрируется на фоне интерьера. Решили протестировать новый подход, приняв за основу гипотезу, что креативы с белым фоном повысят CTR на 40%. Исходя из нашего опыта, показатель +40% выглядел наиболее реалистичным.
Как определить длительность теста и бюджет
Вопрос, как долго тестировать гипотезу – один из самых важных при проведении эксперимента. Ответ зависит от:
-
размера аудитории;
-
уровня изменчивости метрик;
-
желаемой статистической значимости;
-
ресурсов компании.
Обычно для получения статистически верных данных рекомендуется проводить тестирование не менее 7 дней, чтобы учесть сезонность, дневные и недельные циклы активности аудитории.
Перед нами стояла задача получить статистически верные данные, поэтому требовалось максимально точно определить размер выборки. Для этого мы использовали калькулятор Эвана Миллера:
-
внесли показатели CTR контрольной группы (0,50%) и ожидаемый минимальный эффект (40%);
-
выбрали статистическую достоверность (95%);
-
выставили уровень статистической значимости (1%). Чем ниже значение, тем меньше вероятность, что результаты случайны.
После ввода всех значений мы получили размер выборки на каждый тестируемый вариант (47,648). Зная этот показатель, на основе ретроспективных данных по ранее запущенным кампаниям легко понять, сколько стоил клик и сколько трафика привлекалось, так как зависимость на тестируемых кампаниях сохраняется. Исходя из стоимости клика и необходимого трафика можно определить длительность теста и бюджет.
3, 2, 1… Пуск!
Чтобы избежать ухудшения качества трафика по всей России в случае неудачи, мы настроили тестовую рекламную кампанию продолжительностью 30 дней на Москву и МО и стали ждать необходимого количества кликов.
Фиолетовым на графике обозначены креативы с интерьерным фоном, красным – с белым фоном. В середине и конце теста мы наблюдаем значительную разницу в пользу креативов с интерьерным фоном.
Важно не пытаться анализировать цифры в первые дни после запуска теста, так как результаты могут быть спорными.
Результаты
В течение месяца каждая из тестируемых кампаний получила необходимое количество кликов. Но наша теория не подтвердилась: значение CTR интерьерного фида получилось на 31% больше, чем фида на белом фоне.
Кроме CTR мы проанализировали поведенческие метрики, такие как вовлеченность и показатель отказов, а также конверсионные метрики. При использовании креативов с интерьерным фоном количество корзин увеличилось на 22%, покупок – на 10%, звонков – на 57%.
Опираясь на результаты А/В-тестирования, для рекламы мебели бренда Lazurit мы решили продолжить использование интерьерного фида.
Вместо заключения: 3 составляющих успеха
A/B-тестирование является мощным инструментом в перформанс-рекламе. Он позволяет брендам оптимизировать свои кампании и улучшать результаты. Но для достижения успеха необходимо:
- строго придерживаться плана эксперимента;
- правильно оценивать результаты;
- учитывать погрешность данных.
При таком подходе можно избежать ошибочных выводов и принять обоснованные решения на основе анализа данных.
