ПримерПровели
A/B-тест новой формы заказа. Версия B дала конверсию в покупку 4,5%, а старая версия A — 4,0%.
На первый взгляд можно подумать: «Рост на 0,5% — внедряем версию B!». Но
бизнес-аналитик оценивает, насколько значима разница в этом случае. Для этого специалист
считает p-value, или p-значение, по формуле. P-value показывает вероятность, что найденная нами разница (в конверсии между двумя версиями формы) — случайность, а не реальный эффект.
Ключевой принцип для принятия решений:
- P-value низкий (обычно ≤ 0,05): Маловероятно, что результат — случайность. Считаем разницу статистически значимой.
- P-value высокий (> 0,05): Высока вероятность, что результат — случайность. Нет оснований считать разницу значимой.
В случае с конверсиями статистический тест показывает, что p-value = 0,15. Это больше порога значимости 0,05.
Вывод бизнес-аналитика: разница статистически незначима. Внедрять новую форму в таком виде не стоит: эффект может исчезнуть. Нужно или собирать больше данных, или искать другие способы повысить конверсию.