Разработчикам удается путем экспериментов оценить предпочтения аудитории, чтобы решиться на изменения или оставить все как есть. А/Б тестирование, или как его еще называют, сплит-тестирование, ab тестирование представляет собой своеобразный способ оптимизации воронки сайта. На этом этапе следует выбрать часть аудитории для A/B-тестирования. Под выборкой подразумевают множество пользователей, которым покажут разные версии элемента. В ходе исследования варианты показывают разным группам людей.
«простых» шагов A/B-тестирования
В Директе выберите кампанию, на которой будете тестировать изменения. Затем создайте столько её копий, сколько сегментов у вас в исследовании. Назовите исследование и добавьте счётчик Метрики, к которому привязана кампания. Далее укажите долю каждого сегмента аудитории — тех, кто увидит обновление, и тех, кому будет показана старая версия. Для первого теста оптимальным значением будет 50 на 50.
Как проводить A/B-тестирование в Google
К примеру, вам, возможно, понадобиться указать длительность тестирования, устройства, с которых хотите собирать данные, местоположение пользователей и тому подобное. Но не все сервисы предлагают такой уровень кастомизации тестов, поэтому это не всегда можно настроить. Глубина содержания влияет на SEO, а также на показатели времени, проведенного на странице и коэффициент конверсии.
Сплит-тест и А/В-тест. Что выбрать?
Победителем становится тот, у кого показатели отклика выше. Второе название метода раскрывает его основную суть. Split testing означает «раздельное тестирование», объясняя, что такое сплит-тестирование заключается в разделении потока пользователей на две группы «подопытных».
Когда не стоит использовать A/B-тестирование?
Результату теста с заданной достоверностью можно доверять. Минимальный процент, на который планируете увеличить тестируемый показатель. Чем меньше ожидаемый прирост, тем больше должна быть выборка. Если по итогам теста вам не удастся достичь ожидаемого прироста, считается, что результаты не значимы. Обычно допустимый уровень значимости для А/В тестирования составляет 0,05 (или 5%).
Продакт-менеджерам A/B-тестирование нужно для развития продукта. Например, с его помощью они могут понять, как доработать сервис, чтобы он нравился пользователям. А чем больше продукт нравится пользователям, тем больше денег он может принести.
Если вариантов страниц больше, процесс называют A/B/N-тестированием. При написании этой статьи я старалась выражать мысли как можно проще, чтобы люди, не знакомые с A/B тестированием, могли получить общее представление о нем. Обычно пользователи выбираются случайным образом и распределяются либо в контрольную группу, либо в экспериментальную группу. Затем мы запускаем эксперимент, в котором контрольная группа видит старую версию, а экспериментальная группа — новую. Альтернативой является конкурирующая гипотеза, зачастую являющаяся логическим отрицанием нулевой гипотезы. Утверждения, которые мы пытаемся доказать, всегда появляются альтернативой.
Затем выбираются метрики для измерения уровня вовлеченности пользователей. В нашем примере метрикой будет служить кликабельность кнопки «Buy Now». Коэффициент кликабельности (Click through rate, CTR) — это количество кликов уникальных пользователей, разделенное на количество просмотров уникальными пользователями.
Мы покажем настройку на примере ссылок для редиректа. «Контрольный вариант» — страница без изменений, ссылку на неё указывать не обязательно. «Вариант 1» — страница с изменениями, ссылку на неё нужно указать. Сплит-тестирование проводят до тех пор, пока не будет достигнут заданный размер выборки. На это может потребоваться от нескольких дней до нескольких месяцев. На этом этапе определяют показатели, по которым будут сравнивать эффективность вариантов.
Разберём, как работает A/B-тестирование, на примере. Маркетолог предполагает, что, если изменить цвет кнопки «Купить» с зелёного на синий, конверсия вырастет до 7%. A/B тестирование – это инструмент помогает развивать сайт и проверять гипотезы.
То есть коэффициент конверсии составляет 85%, мы хотим увеличить этот показатель минимум на 11%. При уровне доверия 95% получаем 130 пользователей на группу. На этом этапе определяют, какой вариант дал лучший результат.
Мы мониторим изменения показателя с момента запуска А/В-теста. Поэтому длительность теста мы округляем до недель, чтобы учесть сезонность. Чаще наш цикл тестирования составляет одну-две недели в зависимости от типа А/В-теста. На этом этапе, кроме формулирования гипотезы, необходимо оценить ожидаемый эффект.
Рассчитать, насколько оправдано проводить A/B-тест для продукта, помогут специальные калькуляторы. Определить размер выборки можно калькулятором Эвана Миллера, а длительность теста — калькулятором VWO. Чтобы не сомневаться в достоверности результатов, тест лучше проводить с контрольной выборкой.
Минимальный размер выборки — минимальное количество пользователей, которые должны увидеть тестируемые версии, чтобы результаты были статистически значимы. Этот показатель можно рассчитать специальными калькуляторами, например, калькулятором Эвана Миллера. A/B-тестирование, или сплит-тестирование, — это метод исследования, при котором сравнивают эффективность двух вариантов какого-то объекта, например страницы сайта. Эти варианты показывают аудитории и оценивают, на какой из них люди реагируют лучше. A/B-тестирование — это универсальный способ исследования и поиска лучших вариантов дизайна сайта, интерфейсов и рекламных объявлений. Оно помогает понять, как можно улучшить продукт, какие доработки стоит вносить, а какие нет.
Ручное тестирование требует больше времени на настройку и постоянного контроля, а программирование — много ресурсов. Кроме оптимизации сайта, с помощью А/В-тестирования можно легко проверить эффективность вашей email-рассылки и ее отдельных элементов. Просто отправьте половине подписчиков версию А, а второй половине – версию В.
Инструмент еще в начале 20 века применял математик Вильям Госсет на производстве пива Guinness. Он использовал в производстве продукции разные виды ячменя, чтобы определить наиболее лучшее сочетание, которое понравится потребителю больше всего. Этим методом проверяют, насколько интерфейс удобен для пользователей. Разберем, что это за методы и в каких ситуациях ими можно заменить A/B-тест. Как правило, навык A/B-тестирования редко встречается в вакансиях для начинающих специалистов.
- Вскоре недоумевающие пользователи звонят в отдел по работе с корпоративными клиентами, чтобы узнать о новых тарифах и почему они не видят их на сайте.
- Чем меньше ожидаемый прирост, тем больше должна быть выборка.
- Чтобы тестирование было объективным, выборка должна быть репрезентативной, то есть, включать пользователей с соответствующими характеристиками.
- Вне зависимости от того, стал ваш эксперимент удачным или нет, относитесь к тестированию как к возможности для обучения.
- В ходе теста сравнивается вариант «A» и вариант «B», а целью является определение лучшего из двух протестированных вариантов[1][2][3].
IT курсы онлайн от лучших специалистов в своей отросли https://deveducation.com/ .
