Руководитель сервиса ChangeАgain Андрей Баклинов написал для «Нетологии» колонку, в которой разобрал основные ошибки компаний во время A/B-тестирования.
Об A/B-тестировании сайтов трубят на каждом углу. Все говорят, что A/B-эксперименты — один из самых эффективных способов увеличения конверсии. Да, в какой-то мере это так. Но даже здесь есть много нюансов, незнание которых приводит к ошибкам. А ошибки — к недостоверным результатам и разочаровании в тестировании.
Мы решили помочь вам и написали статью о самых распространенных ошибках в A/B-тестировании. И, если вы все внимательно прочитаете, то сможете избежать проблем, с которыми столкнулись многие ваши коллеги.
Итак, топ проблем A/B-тестирования.
Тестирование в два этапа
Суть A/B-эксперимента в два этапа заключается в следующем: первый месяц (либо любой другой промежуток времени) мы показываем всем посетителям один лендинг, второй месяц — другой лендинг. Казалось бы, а что тут такого? А ошибка в том, что поведение аудитории в течение этих двух месяцев может полностью различаться, результаты такого эксперимента нельзя считать достоверными.
Представим ситуацию. Последний месяц летнего сезона. Вы продаете кондиционеры через интернет. И весь трафик гоните на свой прекрасный лендинг. И вдруг захотелось протестировать, будет ли более эффективным тот лендинг, который сделал новый дизайнер. В следующем месяце заливаете новый лендинг, гоните туда трафик и видите, что показатели конверсии ухудшились в два раза. Вывод: новый вариант гораздо хуже, нового дизайнера — уволить.
Откуда возникли такие результаты? Время года изменилось. Поведение пользователей поменялось. Поэтому сравнивать такие результаты в принципе нельзя.
Как избежать ошибки?
Делать A/B-тестирование с помощью специальных сервисов, например Google Content Experiments, optimizely.com и других. Подробный обзор сервисов можно посмотреть здесь. Если бы мы делали правильное A/B-тестирование, в ходе которого весь трафик делится 50/50, то такая проблема не возникла бы.
Преждевременная остановка эксперимента
Нельзя останавливать эксперимент, как только появляется разница в показателях.
Например, идет второй день тестирования, оригинальный вариант в два раза лучше конвертирует посетителей, чем тестовый, и у человека сразу же возникает мысль, что все: результаты получены, эксперимент можно останавливать.
Зарубежные эксперты в A/B-тестировании на своих примерах доказали, что нельзя делать выводы так быстро. Есть реальные кейсы, когда в первые несколько дней один вариант существенно превосходил другой, но при этом было понятно, что заканчивать эксперимент рано. Проходила неделя, две, и результаты становились абсолютно другими.
Как избежать ошибки?
Никогда не заканчивать эксперимент при первых же результатах. Запомните несколько базовых правил A/B-тестирования:
- проводите эксперимент не менее 7 дней,
- не завершайте эксперимент, если статистическая достоверность составляет менее 95 процентов,
- не завершайте эксперимент, если на каждом варианте страницы произошло менее 100 конверсий.
Семь дней нужно ждать из-за того, что пользователи могут по-разному взаимодействовать с сайтом в понедельник и воскресенье. Поэтому желательно, чтобы эксперимент охватывал сразу все дни недели.
Что касается статистической значимости, то в сервисах для A/B-тестирования она высчитывается автоматически на основе собственных алгоритмов, и чаще всего сервис будет настоятельно советовать дождаться этого минимума. Именно поэтому удобно использовать специальные сервисы, о которых можно более подробно узнать в этой статье.
Но если вы проводите эксперимент самостоятельно, то нужно будет высчитывать этот показатель с помощью калькуляторов статистической значимости. Я бы посоветовал использовать калькулятор от Driveback.
Почему 100 конверсий на каждый вариант? Это тот минимум, на основе которого можно будет сделать выводы. Совершенно очевидно: чем больше выборка, тем выше достоверность результатов.
Этот минимум накладывает определенные ограничения на сайты с маленьким трафиком и количеством конверсий. Если вы продаете что-то очень дорогое и в день происходят 1−2 конверсии, то на проведение правильного A/B-теста не хватит даже двух месяцев. В такой ситуации провести эксперимент практически невозможно.
Отслеживание микроконверсий
Представим, что в вашей воронке продаж пять этапов: переход в каталог продукции → переход на страницу товара → добавление товара в корзину → переход к оплате товара → завершение оплаты товара.
Вы запускаете тест в каталоге, добавив туда дополнительную информацию о магазине или товаре. В тестовом варианте количество переходов на страницу товара выросло. И это хорошо. Если вы выбрали именно эту конверсию в качестве главной цели эксперимента, то значит, он оказался успешным.
Но давайте посмотрим глубже на результаты эксперимента на всех этапах воронки продаж. На первом этапе конверсия увеличилась. Но при этом она могла снизиться на последнем — при оплате товара. А что это значит для интернет-магазина? Правильно, снижение выручки.
Если смотреть с этой точки зрения, то эксперимент оказался неудачным. Так что же для вас важнее? Увеличение на первом этапе воронки продаж? Или же количество продаж важнее? Конечно же, второй вариант приоритетнее. И в такой ситуации оригинальный вариант страницы более эффективен, несмотря на то что в нем количество переходов на страницу товара меньше.
Ситуация выглядит немного парадоксально. Но она имеет место быть. Если хотите доказательство, то вот оно — реальный кейс, где была совершена эта ошибка.
Как избежать ошибки?
При анализе результатов эксперимента нужно отслеживать его влияние на всех этапах воронки продаж. Сделать такой подробный анализ очень легко, если A/B-эксперимент запущен с помощью Google Analytics или других сервисов, которые имеют интеграцию с этим «гигантом». Например, ChangeAgain или convert.com имеют очень хорошую и простую интеграцию с Google Analytics. В случае с ChangeAgain это вообще делается полностью автоматически.
Одновременное тестирование нескольких элементов
Основная цель A/B-тестирования — сделать одно изменение, посмотреть, как оно повлияет на конверсию, и проанализировать, как изменяется поведение целевой аудитории. A/B-тестирование позволяет шаг за шагом подстраиваться под потребности и желания потенциальных клиентов и делать взаимодействие с сайтом максимально удобным для них, а не для вас.
Если же вы одновременно изменяете пять элементов, получаете какой-либо результат, то как можно понять, что именно повлияло на улучшение или ухудшение показателей? Никак. Остается только предполагать. А это не в правилах A/B-тестирования.
Как избежать ошибки?
Не поддаваться на соблазны тестировать все и сразу, чтобы сократить временные затраты. Такое тестирование никуда вас не приведет. Разве что к ложному пониманию потенциальных клиентов. Других вариантов нет.
Вместо этого вырабатывайте систематический подход: формируйте список гипотез для тестирования, выстраивайте их по приоритетности и постепенно тестируйте одну за другой. Не забывайте делать вывод из каждого A/B-теста и корректировать последующие идеи на основе полученной информации.
В A/B-тестировании есть такое понятие, как HADI-циклы. H — Hypothesis (гипотеза — идея A/B теста), A — Action (действие — эксперимент), D — Data (данные — результаты эксперимента), I — Insight (понимание — анализ результатов и переход к первому этапу). Именно в таком порядке нужно проводить A/B-эксперименты.
Одновременный запуск нескольких экспериментов
При одновременном проведении нескольких экспериментов есть риск, что пользователь в одном эксперименте увидит оригинальную версию страницы, во втором — тестовую, а в третьем — опять оригинальную. Такое пересечение искажает результаты экспериментов и не позволяет сделать достоверные выводы.
Как избежать ошибки?
Придерживаться систематического подхода.
Один эксперимент в течение одного периода времени.
Либо аудитория нескольких одновременных экспериментов не должна пересекаться между собой.
A/B-тестирование начинается с запуска эксперимента
Человек узнает про A/B-тестирование и сразу же рвется в бой. Ему же нужно быстрее запустить эксперимент и увеличить конверсию. Он запускает тест, но ничего не меняется. Положительного результата нет. И это вполне логично. Потому что сам запуск эксперимента — это один из самых простых этапов в A/B-тестировании. Нужно концентрироваться на другом.
Как избежать ошибки?
Нужно задействовать инструменты веб-аналитики, юзабилити аудита сайта, проводить пользовательские опросы, общаться с целевой аудиторией, использовать инструменты для анализа кликов, скроллинга, заполнения форм. Многие из этих функций предоставляют Google Analytics и «Яндекс.Метрика».
Именно со всего этого начинается построение удачных гипотез для тестирования, которые в дальнейшем могут принести хороший результат. Именно эти этапы требуют больше всего усилий и времени. Именно с этого начинается A/B-тестирование, а не с запуска эксперимента.
A/B-тест заканчивается запуском эксперимента и анализом результатов, а не начинается с этого.
Усвойте раз и навсегда этот урок.
Слепое следование чужим примерам
Людям лень тратить время и силы на веб-аналитику, общение с целевой аудиторией, подробный анализ сайта и его юзабилити. Ведь гораздо проще подсмотреть за чужими экспериментами и сделать аналогично.
Такая стратегия редко оказывается выигрышной. И это связано с тем, что каждый сайт индивидуален, если можно так сказать. У каждого сайта своя целевая аудитория, свой опыт взаимодействия с пользователями. Простое копирование чужих идей не имеет никакого смысла, а иногда даже приносит негативный результат.
Как избежать ошибки?
Не поддаваться на соблазны сэкономить время и свои усилия. Не следовать чужому опыту, а только учиться на нем — анализировать и делать определенные выводы. После чего создавать свои гипотезы для тестирования и пробовать их на практике.