Объём выборки — это сколько людей должно попасть в каждую группу, чтобы разницу между ними можно было отличить от случайности. Он зависит от текущей конверсии, ожидаемого эффекта и порогов статистической значимости и мощности теста. Чем меньше ожидаемый эффект, тем больше нужна выборка.
Статистическая значимость означает, что разница между группами вряд ли возникла случайно. Проверяют её через p-value — вероятность получить такую же или большую разницу, если эффекта на самом деле нет. Обычно результат считают значимым, если p-value меньше 0,05. Мощность теста — вероятность заметить эффект, если он есть, её обычно берут 80%.
Считать выборку вручную не нужно:
в шаблоне к статье достаточно указать текущую конверсию, ожидаемый рост и трафик в день. Для автошколы расчёт показал, что мелкие изменения на сайте проверить почти невозможно. Посетитель оставляет заявку в 3% случаев, на сайт приходит около 200 человек в день. Чтобы заметить рост конверсии на 10%, то есть до 3,3%, нужно около 106 000 посетителей — полтора года теста. Рост на 50%, до 4,5%, тест заметит уже на 5 000 посетителях, то есть за четыре недели.