8 апреля 2026
A/B-тестирование: что такое и как правильно проводить
A/B-тестирование применяют в маркетинге, UX, продуктовой разработке и управлении рекламными кампаниями. Метод позволяет сравнить два варианта — страницы, креатива, письма или интерфейса — и выбрать тот, который работает лучше. Вместо догадок о том, что нужно изменить, компании проверяют гипотезы на реальных пользователях и принимают решения, подкреплённые данными.
Рассказываем, как провести A/B-тестирование: от формулировки гипотезы до интерпретации результатов. Разбираем выбор метрик, расчёт выборки, инструменты и типичные ошибки.
Рассказываем, как провести A/B-тестирование: от формулировки гипотезы до интерпретации результатов. Разбираем выбор метрик, расчёт выборки, инструменты и типичные ошибки.
Редакция Медиа Нетологии
A/B-тестирование применяют в маркетинге, UX, продуктовой разработке и управлении рекламными кампаниями. Метод позволяет сравнить два варианта — страницы, креатива, письма или интерфейса — и выбрать тот, который работает лучше. Вместо догадок о том, что нужно изменить, компании проверяют гипотезы на реальных пользователях и принимают решения, подкреплённые данными.
Рассказываем, как провести A/B-тестирование: от формулировки гипотезы до интерпретации результатов. Разбираем выбор метрик, расчёт выборки, инструменты и типичные ошибки.
Рассказываем, как провести A/B-тестирование: от формулировки гипотезы до интерпретации результатов. Разбираем выбор метрик, расчёт выборки, инструменты и типичные ошибки.
- За консультацию при подготовке материала благодарим Артемия Романчука — стратегического консультанта по маркетингу, основателя маркетингового агентства groms. team, эксперта курсов Нетологии.
- A/B-тестирование — метод, который заменяет субъективные мнения объективными данными. Аудиторию делят на две группы: одна видит вариант A, другая — вариант B. Для внедрения выбирают тот, который лучше достигает цели: повышает конверсию, увеличивает число заявок, снижает отказы.
- Есть несколько видов тестирования — выбор зависит от задачи. Классическое сплит-тестирование сравнивает два варианта по одному параметру. Мультивариантное проверяет сочетания нескольких изменений сразу, но требует больше трафика. A/A-тест нужен для проверки корректности самой системы.
- В основе A/B-теста должны быть конкретная гипотеза. Её формулируют по схеме: «Если [изменение], то [метрика] вырастет на [X%], потому что [причина]». Гипотеза должна опираться на данные о поведении пользователей (аналитику, карты кликов, записи сессий), а не на интуицию или мнение кого-то из команды.
- Перед запуском A/B-теста нужно выбрать метрику и рассчитать размер выборки. Помимо ключевого показателя, отслеживают дополнительные метрики и показатели здоровья продукта — скорость загрузки, ошибки, Crash Rate. При определении размера выборки нужно заранее определить три параметра: текущую конверсию, минимальный прирост метрики, который значим для бизнеса, и уровень достоверности.
- Общий результат может скрывать противоположные эффекты в сегментах. Вариант, выигравший в среднем, способен проигрывать на десктопе или в отдельном регионе. После завершения теста результаты разбивают по устройствам, источникам трафика и географии.
- Результат считается достоверным только при статистической значимости. Стандартный уровень — 95%. P-value меньше 0,05 означает, что разница между вариантами не случайна.
- Минимальная длительность теста — 14 дней. Это два полных цикла «будни/выходные». Остановка раньше даёт искажённые данные. Максимальный срок — 28−30 дней: дольше начинается «вымывание куки», и один пользователь рискует попасть в обе группы.
- Процесс тестирования работает только как система. Гипотезы приоритизируют по фреймворкам ICE или PIE, ведут календарь экспериментов, чтобы не запускать конкурирующие тесты одновременно, и фиксируют каждый тест в базе знаний — с результатами, скриншотами и решением.
- Для базовых задач есть бесплатные инструменты: Яндекс Метрика, Microsoft Clarity, Firebase A/B Testing. Для сложных сценариев — мультивариантных тестов, глубокой сегментации, персонализации — используют платные платформы: Optimizely, VWO или AB Tasty.
- Типичные ошибки A/B-тестирования: маленькая выборка, несколько изменений за один тест, игнорирование перекоса трафика (SRM) и анализ сегментов без заранее сформулированных гипотез.
Подробно
- Что такое A/B-тестирование и зачем оно нужно
- Виды A/B-тестирования
- Три примера A/B-тестирования
- Как провести A/B-тестирование: пошаговый план
- Как лучше выстроить процесс A/B-тестирования
- Статистическая значимость: как понять, что результат не случаен
- Инструменты для A/B-тестирования
- Типичные ошибки A/B-тестирования
Что такое A/B-тестирование и зачем оно нужно
A/B-тестирование — это метод маркетингового исследования, при котором сравнивают два варианта одного элемента, чтобы определить более эффективный. Аудиторию случайным образом делят на изолированные группы: одна видит вариант A, другая — вариант B. Затем анализируют, какой вариант лучше достигает поставленной цели.
Метод заменяет субъективные мнения объективными данными о поведении реальных пользователей — это называется data-driven-подходом. Его используют, когда нужно улучшить показатели, в команде нет единого мнения о решении или требуется доказать эффективность нового инструмента.
Задачи A/B-тестирования:
Метод заменяет субъективные мнения объективными данными о поведении реальных пользователей — это называется data-driven-подходом. Его используют, когда нужно улучшить показатели, в команде нет единого мнения о решении или требуется доказать эффективность нового инструмента.
Задачи A/B-тестирования:
- Снизить риски — протестировать гипотезу на части аудитории вместо глобального внедрения непроверенных решений.
- Улучшить пользовательский опыт — найти расположение и оформление элементов, которые повышают удовлетворённость пользователей.
- Повысить конверсии — выявить варианты дизайна и текстов, которые мотивируют совершать целевые действия: оформлять покупки, заполнять формы, подписываться на рассылки.
- Принимать решения на основе данных, а не интуиции или мнения заказчика.
В каких областях применяют A/B-тестирование:
- Сайты и приложения — расположение кнопок, цветовые схемы, формы регистрации, призывы к действию.
- Интернет-реклама — объявления, баннеры, посадочные страницы.
- Email-маркетинг — темы писем, структура и содержание рассылок.
- E-commerce — страницы товаров, процесс оформления заказа, способы оплаты.
Виды A/B-тестирования
Классическое сплит-тестирование
Сравнивают два варианта, которые различаются одним параметром. Аудиторию делят на две равные группы и анализируют, какой вариант показал лучшие результаты.
Мультивариантное тестирование
Одновременно проверяют изменения нескольких элементов — например, три варианта заголовка и два варианта изображения дают шесть комбинаций. Это позволяет оценить как эффект каждого изменения, так и их взаимодействие. Требует значительно больше трафика для получения статистически значимых результатов.
A/B/C и A/B/C/D-тестирование
Расширенный вариант классического теста: за один раз сравнивают три или четыре варианта. Подходит, когда нужно одновременно проверить несколько конкурирующих гипотез при достаточном трафике.
A/A-тестирование
Сравнивают два идентичных варианта — чтобы проверить корректность работы инструмента. Если появляются значимые различия, это сигнал о проблемах в настройке системы. A/A-тест рекомендуют запускать при первом внедрении системы аналитики. В регулярной практике чаще используют A/A/B-тестирование: трафик делят на три группы (две контрольные и одну тестовую), чтобы в реальном времени следить за качеством сплитования.
Три примера A/B-тестирования
Ниже — реальные сценарии, которые иллюстрируют полный цикл: от гипотезы до решения.
Пример 1. Блок отзывов на странице оформления заказа
Ситуация: конверсия страницы оформления заказа — 3,2%. Карта кликов показала, что пользователи доходят до кнопки «Оформить», но уходят, не нажав на неё.
Гипотеза: добавление блока с тремя отзывами покупателей перед кнопкой оплаты снизит тревогу перед покупкой и увеличит конверсию на 20%+.
Результат: через 14 дней вариант B (с блоком отзывов) показал конверсию 4,1% при уровне достоверности 98%. Блок внедрили, зафиксировав в базе знаний: «Социальное доказательство на странице оплаты увеличило конверсию на 28%, 12.01−26.01.2026».
Гипотеза: добавление блока с тремя отзывами покупателей перед кнопкой оплаты снизит тревогу перед покупкой и увеличит конверсию на 20%+.
Результат: через 14 дней вариант B (с блоком отзывов) показал конверсию 4,1% при уровне достоверности 98%. Блок внедрили, зафиксировав в базе знаний: «Социальное доказательство на странице оплаты увеличило конверсию на 28%, 12.01−26.01.2026».
Пример 2. Расположение формы на лендинге
Ситуация: карта кликов показала, что форму обратной связи в нижней части страницы видят менее 15% посетителей.
Гипотеза: перенос формы в верхнюю часть увеличит количество заявок на 20%.
Результат: за 10 дней вариант A (форма внизу) собрал 2 500 показов при конверсии 5%, вариант B (форма вверху) — 2 500 показов при конверсии 6,6%. Статистическая значимость была достигнута уже на 10-й день, однако тест продолжили до 14 дней — чтобы охватить два полных цикла будни/выходные и исключить искажение из-за разного поведения аудитории в разные дни недели. После этого внедрили вариант B.
Гипотеза: перенос формы в верхнюю часть увеличит количество заявок на 20%.
Результат: за 10 дней вариант A (форма внизу) собрал 2 500 показов при конверсии 5%, вариант B (форма вверху) — 2 500 показов при конверсии 6,6%. Статистическая значимость была достигнута уже на 10-й день, однако тест продолжили до 14 дней — чтобы охватить два полных цикла будни/выходные и исключить искажение из-за разного поведения аудитории в разные дни недели. После этого внедрили вариант B.
Пример 3. Сегментация результатов по устройствам
Ситуация: общий анализ показал победу варианта B с конверсией 5% против 4,5%.
Детальный анализ: на мобильных устройствах B показал 6%, на десктопе — 4%, тогда как вариант A на десктопе дал 5%.
Решение: внедрили вариант B для мобильных и оставили вариант A для десктопа. Без сегментации команда потеряла бы 1 процентный пункт конверсии на десктоп-трафике.
Детальный анализ: на мобильных устройствах B показал 6%, на десктопе — 4%, тогда как вариант A на десктопе дал 5%.
Решение: внедрили вариант B для мобильных и оставили вариант A для десктопа. Без сегментации команда потеряла бы 1 процентный пункт конверсии на десктоп-трафике.
Как провести A/B-тестирование: пошаговый план
Шаг 1. Сформулировать гипотезу
Гипотеза — это конкретное предположение о том, как изменение элемента повлияет на метрику, с ожидаемым результатом. Формулируют её на основе анализа поведения пользователей: данных аналитики, карт кликов, записей сессий.
Хорошая гипотеза строится по схеме: «Если [изменение], то [метрика] вырастет/снизится на [X%], потому что [причина]».
Слабая гипотеза: «Давайте поменяем цвет кнопки».
✔️Сильная гипотеза: «Карта кликов показала, что форму обратной связи в нижней части страницы замечают менее 10% посетителей. Если перенести её в верхнюю часть, количество заявок вырастет на 20%».
Хорошая гипотеза строится по схеме: «Если [изменение], то [метрика] вырастет/снизится на [X%], потому что [причина]».
Слабая гипотеза: «Давайте поменяем цвет кнопки».
✔️Сильная гипотеза: «Карта кликов показала, что форму обратной связи в нижней части страницы замечают менее 10% посетителей. Если перенести её в верхнюю часть, количество заявок вырастет на 20%».
Шаг 2. Выбрать целевую метрику
Определить ключевой показатель для оценки эффективности теста: конверсия в покупку, регистрации, клики по кнопке, время на сайте, показатель отказов.
Одновременно стоит отслеживать дополнительные метрики — они помогут избежать ситуации, когда победивший вариант улучшил основную метрику, но ухудшил другие показатели. Например, новый вариант страницы подписки увеличил конверсию на 15%, но доля отписавшихся за неделю выросла с 10% до 40% — качество лидов ухудшилось.
Также обязательно фиксируйте метрики здоровья продукта: скорость загрузки страницы, количество 500-х ошибок (Internal Server Error), Crash Rate приложения. Вариант дизайна может быть отличным, но если он замедлил сайт на секунду — конверсия упадёт по чисто техническим причинам.
Одновременно стоит отслеживать дополнительные метрики — они помогут избежать ситуации, когда победивший вариант улучшил основную метрику, но ухудшил другие показатели. Например, новый вариант страницы подписки увеличил конверсию на 15%, но доля отписавшихся за неделю выросла с 10% до 40% — качество лидов ухудшилось.
Также обязательно фиксируйте метрики здоровья продукта: скорость загрузки страницы, количество 500-х ошибок (Internal Server Error), Crash Rate приложения. Вариант дизайна может быть отличным, но если он замедлил сайт на секунду — конверсия упадёт по чисто техническим причинам.
Шаг 3. Выбрать элемент для тестирования
Одновременно тестировать несколько элементов не стоит: если изменить заголовок, изображение и цвет кнопки разом, будет невозможно определить, что именно повлияло на результат. Для проверки нескольких изменений сразу используют мультивариантное тестирование — но оно требует больше трафика.
Приоритизировать гипотезы помогают фреймворки ICE (Impact, Confidence, Ease) и PIE (Potential, Importance, Ease): каждая гипотеза получает оценку по трём критериям, это позволяет объективно выбрать, что тестировать первым. Начинать лучше со страниц с максимальным трафиком — главная страница, каталог, оформление заказа.
Приоритизировать гипотезы помогают фреймворки ICE (Impact, Confidence, Ease) и PIE (Potential, Importance, Ease): каждая гипотеза получает оценку по трём критериям, это позволяет объективно выбрать, что тестировать первым. Начинать лучше со страниц с максимальным трафиком — главная страница, каталог, оформление заказа.
Шаг 4. Рассчитать размер выборки
Размер выборки — количество участников, необходимых для получения статистически значимых результатов. Расчёт зависит от параметров: текущей конверсии, минимального обнаруживаемого эффекта (MDE — минимального сдвига метрики, который имеет смысл для бизнеса и который реально зафиксировать при вашем трафике), уровня достоверности и статистической мощности.
Пример: при текущей конверсии 3% и желаемом росте до 4% калькулятор для проверки выборки покажет ~4 600 посетителей на каждый вариант. При трафике 500 человек в день тест займет около 18 дней. (Если бы мы хотели зафиксировать рост лишь до 3,6%, потребовалось бы уже почти 14 000 человек на вариант, а тест длился бы 56 дней).
Пример: при текущей конверсии 3% и желаемом росте до 4% калькулятор для проверки выборки покажет ~4 600 посетителей на каждый вариант. При трафике 500 человек в день тест займет около 18 дней. (Если бы мы хотели зафиксировать рост лишь до 3,6%, потребовалось бы уже почти 14 000 человек на вариант, а тест длился бы 56 дней).
Шаг 5. Настроить и запустить эксперимент
В инструменте задают параметры: целевую метрику, распределение трафика, отслеживание конверсий. Распределение трафика не обязательно должно быть 50/50. Если гипотеза несёт высокие риски (например, кардинальный редизайн формы оплаты), на новый вариант можно направить 10−20% трафика, хотя тест в таком случае займёт больше времени.
Главное: обеспечить случайное и равномерное распределение пользователей между группами — иначе результаты будут нерелевантными.
После запуска система фиксирует, какой вариант увидел каждый пользователь и совершил ли он целевое действие.
Главное: обеспечить случайное и равномерное распределение пользователей между группами — иначе результаты будут нерелевантными.
После запуска система фиксирует, какой вариант увидел каждый пользователь и совершил ли он целевое действие.
Шаг 6. Дождаться результатов и провести анализ
Данные собирают до достижения минимального размера выборки и статистической значимости. Не останавливайте тест досрочно при первом всплеске — промежуточные результаты нестабильны и не отражают реальную картину.
После сбора данных сравнивают основные и дополнительные метрики обоих вариантов, анализируют результаты по сегментам (устройства, источники трафика, география) и принимают решение о внедрении или новом тесте.
После сбора данных сравнивают основные и дополнительные метрики обоих вариантов, анализируют результаты по сегментам (устройства, источники трафика, география) и принимают решение о внедрении или новом тесте.
Систематизируйте знания с помощью курса
• Получите универсальную базу: от рекламы до прогнозов эффективности
• Сможете выбрать специализацию: таргет, контекст, соцсети, поисковая оптимизация, маркетплейсы или Авито
• Попрактикуетесь на личном проекте или сайте‑тренажёре
• Сможете выбрать специализацию: таргет, контекст, соцсети, поисковая оптимизация, маркетплейсы или Авито
• Попрактикуетесь на личном проекте или сайте‑тренажёре
• Получите универсальную базу: от рекламы до прогнозов эффективности
• Сможете выбрать специализацию: таргет, контекст, соцсети, поисковая оптимизация, маркетплейсы или Авито
• Попрактикуетесь на личном проекте или сайте‑тренажёре
• Сможете выбрать специализацию: таргет, контекст, соцсети, поисковая оптимизация, маркетплейсы или Авито
• Попрактикуетесь на личном проекте или сайте‑тренажёре
А если ещё не готовы учиться платно, изучайте бесплатные продукты ↓
Попробуете решить задачи начинающего маркетолога на тренажёре-симуляторе. Рассмотрите реальные кейсы и поймёте, как аналитика может помочь в собственном проекте или рекламной кампании
Узнаете, как с помощью ИИ создавать тексты, визуал или целые спецпроекты без найма команды и подрядчиков. Разберётесь в AI-инструментах и сможете делегировать рутинные задачи маркетолога нейросетям
Как лучше выстроить процесс A/B-тестирования
Приоритизировать гипотезы
Используйте фреймворки ICE или PIE, чтобы выбрать тесты с наибольшим потенциалом. Записывайте гипотезы в реестр с оценками — это помогает объективно расставлять приоритеты и не тестировать всё подряд.
Регулировать частоту тестов
Заведите календарь экспериментов, чтобы не запускать конкурирующие тесты на одних страницах одновременно. Лучше несколько хорошо подготовленных тестов, чем много хаотичных.
Документировать результаты
Фиксируйте каждый тест: гипотеза, описание изменений, даты, размер выборки, результаты, решение. Сохраняйте скриншоты вариантов. Формируйте базу знаний с успешными и неудачными тестами — со временем вы увидите паттерны: какие изменения чаще улучшают метрики, на каких страницах эффект сильнее.
Статистическая значимость: как понять, что результат A/B-тестирования не случаен
Статистическая значимость показывает, что разница между вариантами не объясняется случайными колебаниями и с высокой вероятностью сохранится при внедрении.
Уровень достоверности и p-value
Уровень достоверности — стандартно 95% или 99% — определяет уверенность в результатах. P-value показывает вероятность получить наблюдаемые различия, если на самом деле никаких различий нет. Если p-value меньше 0,05 — результат статистически значим на уровне 95%.
Пример: вариант B показал конверсию 5,5%, вариант A — 4,8%, p-value = 0,03. Вероятность получить такие различия при условии, что варианты работают одинаково, составляет всего 3%. Это меньше 5%, поэтому мы можем уверенно отклонить нулевую гипотезу и внедрить победивший вариант.
Пример: вариант B показал конверсию 5,5%, вариант A — 4,8%, p-value = 0,03. Вероятность получить такие различия при условии, что варианты работают одинаково, составляет всего 3%. Это меньше 5%, поэтому мы можем уверенно отклонить нулевую гипотезу и внедрить победивший вариант.
Минимальная длительность теста
Минимальная длительность теста должна быть кратна бизнес-циклу — чаще всего это одна неделя (7 дней), чтобы учесть поведение аудитории в будни и выходные. Остановка теста после пяти рабочих дней даст искажённые данные. Длительность в 14 дней (два цикла) рекомендуется для большей надежности и сглаживания внешних факторов.
Даже если статистическая значимость достигнута раньше, нужно дождаться запланированной даты окончания теста.
При этом тест не должен длиться бесконечно. Максимальный рекомендованный срок — 28−30 дней. Если крутить эксперимент дольше, начинается процесс «вымывания куки» (cookie churn) — пользователи меняют устройства, чистят историю, и один и тот же человек может попасть в обе группы, что полностью ломает данные.
Даже если статистическая значимость достигнута раньше, нужно дождаться запланированной даты окончания теста.
При этом тест не должен длиться бесконечно. Максимальный рекомендованный срок — 28−30 дней. Если крутить эксперимент дольше, начинается процесс «вымывания куки» (cookie churn) — пользователи меняют устройства, чистят историю, и один и тот же человек может попасть в обе группы, что полностью ломает данные.
Инструменты для A/B-тестирования
Бесплатные
- Яндекс Метрика (Varioqub). Тестирование посадочных страниц: сравнивает варианты, отслеживает конверсии, анализирует результаты. Требует JavaScript-кода. Подходит для российского рынка.
- Microsoft Clarity. Тепловые карты и записи сессий — помогает находить проблемные зоны для формирования гипотез. Встроенных A/B-функций нет, но хорошо дополняет другие инструменты.
- Firebase A/B Testing. От Google для мобильных приложений. Интегрируется с Firebase и Google Analytics. Ограниченные возможности для веб-тестирования.
Платные
- Optimizely. Корпоративная платформа с расширенным статистическим анализом, мощной сегментацией и мультивариантным тестированием. Высокая стоимость.
- VWO. Визуальный редактор, тепловые карты, персонализация, готовые шаблоны экспериментов. Стоимость растёт вместе с трафиком.
- AB Tasty. Платформа с фокусом на e-commerce: персонализация, рекомендации, AI-алгоритмы автоматической оптимизации. Требует времени на освоение.
Встроенные решения
- AppMetrica (Varioqub). Аналитика и тестирование мобильных приложений без обновления версий. Только для приложений.
- «Эксперименты» в Яндекс Директе. Тестирование настроек рекламных кампаний: стратегии, бюджеты, креативы. Только для Яндекс рекламы.
Типичные ошибки A/B-тестирования
На этапе подготовки
- Не формулировать гипотезу чётко. Запуск без конкретного предположения превращает эксперимент в случайный перебор. Без гипотезы сложно интерпретировать результаты.
- Определять метрику неверно. Фокус на второстепенных показателях вместо ключевых бизнес-метрик приводит к оптимизации того, что не влияет на прибыль.
- Делать маленькую выборку. Тест на малом трафике не даёт статистически значимых результатов — различия объясняются случайными колебаниями.
В процессе тестирования
- Игнорировать перекос выборки (SRM). Sample Ratio Mismatch — это баг, при котором трафик распределяется не 50/50, как планировалось, а, например, 51/49. Это говорит о техническом сбое системы сплитования. Например, в один вариант попало больше ботов. Результатам такого теста доверять нельзя, даже если конверсия сильно выросла. Для предотвращения таких проблем нужны A/A-тесты.
- Вносить несколько изменений сразу. Если изменить несколько элементов одновременно, невозможно определить, что именно повлияло на результат.
- Изменять настройки во время теста. Любые корректировки после запуска искажают данные и делают результаты недостоверными.
- Делать слишком короткий тест. Остановка через несколько дней приводит к ложным выводам. Минимум — 14 дней, чтобы учесть колебания между буднями и выходными.
При анализе результатов
- Игнорировать статистическую значимость. Внедрять изменения без достижения значимости — значит рисковать ухудшением показателей.
- Не делать сегментацию. Один вариант может лучше работать на мобильных, другой — на десктопе. Без сегментации можно принять неоптимальное решение.
- Игнорировать внешние факторы. Тест во время распродажи, праздников или после крупного новостного события даёт нерелевантные данные. Сезонные всплески можно ошибочно принять за эффект изменения.
- Искать инсайты в сегментах после завершения теста без статистических поправок. Это путь к ложным выводам. Если вы проверяете 20 сегментов, один покажет значимый результат просто по теории вероятностей. Формулируйте гипотезы для сегментов до старта эксперимента.
Читать также
Чтобы быть в курсе всех новостей и не пропускать новые статьи, присоединяйтесь к Telegram-каналу Нетологии.
Оцените статью