Еще одна важная функция аналитики – расчет статистической принципы a b тестирования значимости, которая показывает, есть ли связь результатов исследования с изменениями продукта. Например, кнопки на лендинге имеют остроугольную форму, но есть предположение, что закругленная форма будет больше привлекать посетителей. Единственное отличие двух вариантов друг от друга – форма кнопок. Трафик равномерно делится между двумя вариантами, и запускается A/B тест, который позволяет протестировать, может ли форма кнопок повлиять на конверсию. Маркетологи применяют методику A/B-тестирования для поиска более привлекательных, результативных версий текстов анонсов, заголовков, призывов совершить определенное действие на веб-проекте. Тесты используются для анализа воронок продаж, рекламных объявлений.
Это проблема для некоторых ниш, в которых целевые действия — редкие. Если проводить проверку на слишком маленьких группах, то полученная информация не будет показательной. Когда данных не хватает, вы не можете сделать объективные выводы и использовать их как аргумент. A/B тестирование в интернет-маркетинге – это мощный инструмент для оптимизации веб-сайта https://deveducation.com/ и улучшения пользовательского опыта.
Даже с учетом статистической значимости результаты теста не гарантируют практического эффекта. Когда цель — продажи, ее можно декомпозировать по конверсиям каждого этапа воронки, поскольку люди редко принимают решение о покупке моментально. Например, в интернет-магазине можно тестировать дизайн карточки товара, который с большей вероятностью приводит к его добавлению в корзину. Простыми словами, A/B тестирование – это способ сравнить две версии чего-либо и выбрать лучшее.
Единственное стремление бизнеса, прибегающего к тестам, – желание определить, какой вид продукта будет способствовать повышению прибыли. Во всех случаях тестирование помогает определиться с решением на базе полученных данных. Мы рассмотрели, как проводить A/B-тесты в маркетинге, выделили основные и наиболее важные моменты. Еще больше полезной и интересной информации для бизнеса — в чек-листах и памятках от экспертов СберКорус.
Интуиция важна при выборе того, что тестировать, но следует также принимать результаты тестов даже в том случае, если они не соответствуют нашим предположениям. Тесты — хороший инструмент в том числе для того, чтобы лучше узнать своих пользователей, так как их вкусы или поведение могут отличаться от ваших предположений. Запускать тесты бесполезно, если вы не готовы внедрять изменения на основе выигравшей версии. Запуск теста без ясного утверждения гипотезы может отвлечь нас на интересные, но несущественные метрики.
Пример Four: Заголовок На Баннере
- Две наиболее распространенные ошибки A/B исследований — множественные сравнения и прерывание.
- Определите, для чего вы проводите тест и на какие показатели хотите повлиять.
- Этот показатель доступен уже во время исследования, но если в процессе сервис показывает более низкие значения, прерывать эксперимент не стоит.
- В бесплатной версии можно проводить до двух A/B-исследований одновременно.
- Нужные кнопки должны быть сразу видны, иначе пользователи будут покидать ресурс без заказов.
В нашем примере метрикой будет служить кликабельность кнопки «Buy Now». Коэффициент кликабельности (Click by way of fee, CTR) — это количество кликов уникальных пользователей, разделенное на количество просмотров уникальными пользователями. Вы можете выбрать столько метрик, сколько захотите, и чем больше вы оцениваете, тем выше вероятность того, что вы заметите существенные различия. Тестировать гипотезы на слишком маленьком количестве пользователей.
Шаг 6 Анализируем Результаты
Со временем они позволяют сократить стоимость запуска тестов до минимальной. Тогда как сторонние решения предлагают широкий спектр готовых к использованию функций из коробки, но могут быть слишком дороги в применении при большом объеме трафика. В этот момент принимается основная нулевая гипотеза на шаге i (H0_i), при этом принимаются и все последующие нулевые гипотезы из отсортированного списка. Обрадовавшись отличному результату, можно забыть остановить тест.
Иногда результаты могут быть Бета-тестирование искажены влиянием других факторов. Проверьте дополнительные показатели, чтобы убедиться в корректности ваших выводов и избежать недоразумений. Можно выбрать и несколько метрик — тогда будет больше возможностей увидеть, насколько эффективны изменения. Первые гипотезы, в которых закладывается ожидаемый результат, называются альтернативными.
Для того чтобы критерии, обозначенные на предыдущем шаге, были выполнимы, нам необходимо определить минимальный размер контрольной и тестовой групп (выборки). Мы не будем углубляться в математические расчеты, которые требуются для подсчета размера выборок. Для начала вы можете воспользоваться калькулятором Evan Miller. Задача бизнеса — правильно проинвестировать ресурсы, чтобы получить наилучший результат в заданные сроки.
Ошибки При Оценке Статистической Значимости
Если одновременно изменить цвет, текст, формат и размер CTA-кнопки на сайте, будет сложно понять, что именно сделало ее более выигрышной. Правильнее будет сначала поменять, например, только цвет, а если эффекта не будет, пробовать другие варианты и гипотезы. Существует также расширение этого метода, известное как A/B/C тестирование, где сравниваются три и более вариантов.
Во время интенсива вы разработаете стратегию, иерархию метрик, разберетесь с юнит-экономикой и PnL — пройдете весь путь работы с продуктом. Многие продакты воспринимают MVP как упрощённую версию продукта, но это не так. Этот чек-лист поможет вам быстро проверить идею, собрать обратную связь и понять, стоит ли развивать продукт. В формуле α — заданный уровень статистической значимости, m — количество гипотез.