Отчет «Директ, эксперименты»

Эксперименты помогают тестировать не только разные варианты объявлений или посадочных страниц, но и различные предположения о работе рекламы в Яндекс Директе. Тестировать можно любые настройки кампаний, типы кампаний и медиапланы.

Отчет помогает определить, насколько успешно работает эксперимент: вы можете сравнивать тестовые группы между собой и с контрольной группой, если используете ее в эксперименте, по множеству метрик (например, отказам и времени на сайте), а также по конверсионности. Таким образом, с помощью отчета можно проанализировать результат эксперимента на основе множества показателей.

Если вам нужно получить однозначный ответ на основе CPA, используйте Калькулятор достоверности A/B тестирования. Также он позволяет менять уровень значимости (p-value). В отчете «Директ, эксперименты» p-value равен 68 %.

Посмотреть отчет: Отчеты → Источники → Директ, эксперименты.

Условия для получения отчета

Чтобы провести тестирование, создайте эксперимент в Яндекс Аудиториях — укажите, на сколько сегментов и в каких пропорциях нужно разделить аудиторию. Затем настройте по эксперименту рекламные кампании в Яндекс Директе.

Если вы удалили эксперимент в Аудиториях, то в Метрике статистика по нему и его сегментам доступна за период до удаления.

Как правильно провести эксперимент

До запуска эксперимента дайте понятные названия экспериментальным кампаниям в Директе. Так вам будет удобнее анализировать статистику в Метрике.

В названии укажите эксперимент и ту его группу, на которую нацелена кампания. Например, если одна из групп в вашем эксперименте — контрольная (вы будете сравнивать с ней результаты остальных групп), это стоит прописать в названии нацеленной на нее кампании.

После того, как вы запустили экспериментальную кампанию в Директе, можно проверить, что эксперимент действительно запустился. Для этого в отчете Метрики «Директ, эксперименты» создайте сегмент со всеми кампаниями, которые участвуют в эксперименте. Если по этим кампаниям в отчете отображаются визиты и другая статистика, значит, эксперимент запущен.

Оценка результатов эксперимента

В отчете «Директ, эксперименты»:

1. Выберите эксперимент, который хотите проанализировать.
2. Выберите сегмент с кампаниями Директа, которые созданы для эксперимента. Если сегмента еще нет, создайте его, как описано в рекомендациях.
3. Сравните сегменты эксперимента. Нажмите кнопку Режим сравнения и выберите контрольную группу — ту, с которой будете сравнивать результаты других групп.

В режиме сравнения некоторые показатели метрик выделяются цветом:

• Зеленый или красный — данных достаточно для оценки результата эксперимента. Зеленый означает, что данная метрика оказалась значимо лучше, чем в контрольной группе. Красный — значимо хуже.
• Серый — данных достаточно, но значения метрик в контрольной группе не отличаются от тестовой.

Выделения нет, если для выбранной метрики недоступен режим сравнения или не накопилось достаточно данных. Подождите еще какое-то время или запустите эксперимент с другими настройками, позволяющими собрать больше трафика.

Вы можете добавить в отчет другие метрики. Выделятся цветом только перечисленные в списке выше.

Интерпретация данных

С помощью отчета вы можете сравнивать рекламные кампании по разным метрикам. Это поможет понять, по каким метрикам одна кампания должна быть эффективнее другой.

Чтобы убедиться в результате эксперимента, вы можете учесть погрешность. Это возможное отклонение реального значения метрики от истинного значения: такого, к которому она бы стремилась, если бы экспериментальная кампания велась бесконечно долго. Чтобы учесть погрешность, нажмите Режим сравнения и включите отображение погрешности.

Погрешность в отчете относительная. Ее показатель отражает на сколько процентов возможен разброс величины. Чем ниже погрешность, тем выше вероятность, что значение метрики истинное. Чем выше — тем отклонение больше. Таким образом, можно считать, что при прочих равных показатели лучше у той рекламной кампании, у которой погрешность ниже.

Структура и настройки отчета

Данные в отчете сгруппированы по названию эксперимента, созданного в Яндекс Аудиториях. В отчете нет возможности добавлять группировки и сегменты, кроме тех, которые созданы для ведения эксперимента.

Некоторые метрики рассчитываются и отображаются только при выполнении условия:

Общую статистику по эксперименту можно посмотреть в других отчетах по Директу, например, Директ, сводка:

Вопросы и ответы

Написать в чат

http://example.com/?utm_source=yandex&utm_medium=cpc&utm_campaign=кампания123&utm_content=объявление456&utm_term=фраза

http://example.com/?uid=1234&utm_source=yandex&utm_medium=cpc&utm_campaign=кампания123&utm_content=объявление456&utm_term=фраза

http://example.com?utm_source=yandex&utm_medium=cpc&utm_campaign={campaign_id}&utm_keyword={keyword}