Лучшие материалы по теме за апрель: как вдвое уменьшить время запуска продуктового эксперимента и как трансерфинг реальности data-driven-подход помог закрыть сделку с Яндексом. В заключение — подборка полезных гайдов по A/B-тестированию.
редакция нетологии
«Система принятия объективных продуктовых решений», ProductCamp-2019
Марина Краснова из Одноклассников рассказала, как принимать объективные продуктовые решения, когда всё не очень понятно, а цена ошибки высока. Одноклассники внедрили автоматизированную систему анализа запусков, на разработку которой ушёл год, — Марина поделилась ключевыми результатами.
Одноклассники + Мой мир = 71 млн ежемесячной аудитории и 16,5 млрд руб выручки в год. А также 80+ продуктовых сервисов, 200+ продуктовых запусков и экспериментов в неделю, которые делают 250+ человек в команде продуктовой разработки.
Каждый день пользователи видят от 12 000 экспериментов, поэтому продуктовые запуски в Одноклассниках называют Продуктовым HighLoad (придумали новый термин).
Нужно следить за большим количеством базовых метрик (50+), также при новом запуске появляются специальные метрики. В итоге, чтобы запустить эксперимент, нужно подготовить более 100 графиков (продуктовые и технические параметры).
На метрики влияют параллельные эксперименты, внешние факторы (праздники, погода, политика, экономика), отложенный эффект (новизна, отрицательное влияние каких-то факторов) и субъективная оценка (желание видеть то, что хочется видеть).
У команды уходило много времени, чтобы всё анализировать и понимать, что делать дальше. К тому же, не всегда анализ был правильным. Это и подтолкнуло к поиску инструмента, который поможет ускориться и делать более яркие запуски. Сформулировали идею, а команда Data Mining Одноклассников разработала такую платформу:
Новая платформа позволяет запускать эксперименты сразу на всех платформах или на выборочной. Можно выбрать специфичные метрики, добавить новые, а базовые метрики добавляются автоматически и пересчитываются, что очень удобно. На выходе получается таблица с результатами, которая обсчитывается автоматически.
Ключевой вывод после внедрения платформы — время запуска эксперимента сократилось в 2 раза.
Даже подумали насчёт уменьшения количества продакт-менеджеров, раз такая оптимизация. Но дальнейшее тестирование нового ML-алгоритма — XGBoost вместо логистической регрессии — показало поспешность такой мысли ?
Итог истории с тестированием XGBoost — увеличение на 12% фидбека от пользователей, а также вывод, что «головой думать» инструмент не умеет. Решение системы было отключить провальный тест. А человек понял, почему алгоритм плохо отрабатывает и исправил ситуацию со значительным приростом в одной из базовых метрик.
- Научитесь проводить A/B-тестирование и анализировать результаты
- Получите пошаговый алгоритм по проведению A/B-тестов
- Узнаете больше о своих клиентах
- Научитесь использовать data-driven подход
- Сможете оптимизировать силы и деньги
«Краткая история „Партии еды“: от запуска до сделки с Яндексом», ProductCamp-2019
Михаил Перегудов, основатель «Партии еды», поделился историей роста компании, в которой data-driven-подход сыграл одну из ключевых ролей.
Для Михаила этот бизнес был первый — было страшно. Вот как выглядел первый план развития:
Михаил шутит, что в последнем пункте ему помог трансерфинг реальности — материализация сигнала, посланного во Вселенную ? Хотя под Яндексом Михаил подразумевал любого стратегического партнёра.
Если серьёзно, Михаил сразу поверил в подход data-driven и скорость. Кратко рассказываем, как его вера подтвердилась.
История 1. Модель, которая сошлась. Построили модель на 6 месяцев, которая позволила понять, сколько нужно продавать коробок в неделю, докуда добежать, чтобы выжить, как тратить в маркетинг, когда выходить в Москву. Первая цель была продавать 300 коробок в неделю, и на это Михаил тратил все свои «ментальные усилия», не обращая внимания даже на недостачу в 15 тыс. рублей.
Проект запустился в Санкт-Петербурге, а через 3 недели — в Москве. Запустился в буквальном смысле с парковки «Пятёрочки» с газели, на которой приехал сам Михаил. К слову сказать, конкурент зашёл в Москву через полтора года, но так и не вышел в плюс.
История 2. Отчёт по когортам, который открыл глаза. Позволил понять, сколько нужно привлекать новых клиентов и с каким процентом удерживать старых, чтобы расти или хотя бы не падать. На 7-й неделе поняли, что нужно привлекать 30+ новых клиентов, чтобы не упасть. То есть сразу история носила прикладной характер, поэтому сразу стали думать, как удерживать клиентов.
Создали клуб. Участники получают сертификат на 6 000 руб, который давал скидку 500 рублей на все заказы на год из расчёта 1 доставка в неделю — экономия 20 000 руб. Были и другие привилегии для участников клуба. Хорошо работало.
Внедрили в конце 2016 года и были первые в России, кто начал продавал физические товары по подписке. Человек привязывает карту, в понедельник списываются деньги — в воскресенье приезжает коробка. Система гибкая: в любой момент можно отменить, можно пропускать недели, к тому же даёт скидку в 10%.
Больше чем в 2 раза подписка меняла когорту.
Сейчас 75% выручки — по подписке.
История 3. Рейтинг в приложениях влияет на сервис и меняет рынок.
Сделали «Убер для шеф-поваров» — систему оценки блюд пользователями. Еженедельно приходит под 2 000 оценок, по которым высчитывается рейтинг каждого шеф-повара.
Внедрили систему сбора рекламаций, а также оценку блюд и курьеров.
Проводили А/B-тестирование фото блюд, скатертей. Всё это очень сильно помогало в развитии.
То, что ты веришь в данные, влияет на то, каких ты хочешь видеть людей в команде.
Если ты круто хочешь управлять курьерами, нужно нанять человека, который понимает, что такое воронка, конверсия — условного продакт-менеджера. А не крутого управленца в области логистики.
Сейчас опыт зачастую идёт в минус человеку, особенно на классических производствах, как пищевое.
Вера в скорость. Гипотезы нужно проверять быстро. Примеры, когда ребята в этом убедились:
«Партия еды» запустила полноценный сайт через 3 месяца после открытия, когда выручка достигла 1,5 млн рублей. А продавать начинали во ВКонтакте и Инстаграме. В итоге такой опыт оказался полезным для быстрого взлёта сайта.
Быстрый запуск на Тильде без помощи программистов позволил делать много А/B-тестов и увеличить конверсию.
Успех «Партии еды» — в работе с данными и в скорости.
Но нужно помнить, что в долгосрочном развитии скорость обеспечивается качеством. Если выбирать только скорость, то систему нельзя будет масштабировать и всё развалится.
Подробные гайды по А/В-тестированию
Собрали статьи по А/В-тестам и сделали их краткое описание. Выбирайте и изучайте то, что нужно именно вам ?
- Что такое, в чём польза, как работает и как проводить А/В-тестирование.
- Идеи для А/В-тестов, отчёты и результаты, хорошие (и не очень) практики тестирования.
- А/В-тестирование: ключевые навыки и управление.
- Книги и блоги на тему А/В-тестирования. Эксперты.
А/B-тестирование сайта или лендинга — практическое руководство
- Как настроить Google Optimize.
- 10 этапов успешного А/В-тестирования.
- Примеры А/В-тестов.
A/B-тестирование (сплит-тестирование): быть или не быть
- Что такое и зачем проводить А/В-тестирование.
- Основные этапы А/В-тестирования.
- Инструменты для А/В-тестирования.
- А/В-тестирование с Google Optimize.
Что такое A/B-тестирование и как его проводить
- Что такое А/В-тестирование.
- Что тестировать и какие инструменты сплит-тестирования использовать.
- Как провести А/В-тестирование с помощью Google Optimize.
- Идеи, эффективность которых стоит обязательно проверить с помощью А/В-тестирования.
- Как и зачем тестировать разные варианты страниц.
- Научитесь проводить A/B-тестирование и анализировать результаты
- Получите пошаговый алгоритм по проведению A/B-тестов
- Узнайте больше о своих клиентах
- Научитесь использовать data-driven подход
- Сможете оптимизировать силы и деньги
Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.