Data Science-дайджест: свежие полезные статьи

«Система принятия объективных продуктовых решений», ProductCamp-2019

Марина Краснова из Одноклассников рассказала, как принимать объективные продуктовые решения, когда всё не очень понятно, а цена ошибки высока. Одноклассники внедрили автоматизированную систему анализа запусков, на разработку которой ушёл год, — Марина поделилась ключевыми результатами.

Одноклассники + Мой мир = 71 млн ежемесячной аудитории и 16,5 млрд руб выручки в год. А также 80+ продуктовых сервисов, 200+ продуктовых запусков и экспериментов в неделю, которые делают 250+ человек в команде продуктовой разработки.

Каждый день пользователи видят от 12 000 экспериментов, поэтому продуктовые запуски в Одноклассниках называют Продуктовым HighLoad (придумали новый термин).

Нужно следить за большим количеством базовых метрик (50+), также при новом запуске появляются специальные метрики. В итоге, чтобы запустить эксперимент, нужно подготовить более 100 графиков (продуктовые и технические параметры).

На метрики влияют параллельные эксперименты, внешние факторы (праздники, погода, политика, экономика), отложенный эффект (новизна, отрицательное влияние каких-то факторов) и субъективная оценка (желание видеть то, что хочется видеть).

У команды уходило много времени, чтобы всё анализировать и понимать, что делать дальше. К тому же, не всегда анализ был правильным. Это и подтолкнуло к поиску инструмента, который поможет ускориться и делать более яркие запуски. Сформулировали идею, а команда Data Mining Одноклассников разработала такую платформу:

«Краткая история „Партии еды“: от запуска до сделки с Яндексом», ProductCamp-2019

Михаил Перегудов, основатель «Партии еды», поделился историей роста компании, в которой data-driven-подход сыграл одну из ключевых ролей.

Для Михаила этот бизнес был первый — было страшно. Вот как выглядел первый план развития:

Михаил шутит, что в последнем пункте ему помог трансерфинг реальности — материализация сигнала, посланного во Вселенную ? Хотя под Яндексом Михаил подразумевал любого стратегического партнёра.

Если серьёзно, Михаил сразу поверил в подход data-driven и скорость. Кратко рассказываем, как его вера подтвердилась.

История 1. Модель, которая сошлась. Построили модель на 6 месяцев, которая позволила понять, сколько нужно продавать коробок в неделю, докуда добежать, чтобы выжить, как тратить в маркетинг, когда выходить в Москву. Первая цель была продавать 300 коробок в неделю, и на это Михаил тратил все свои «ментальные усилия», не обращая внимания даже на недостачу в 15 тыс. рублей.

Проект запустился в Санкт-Петербурге, а через 3 недели — в Москве. Запустился в буквальном смысле с парковки «Пятёрочки» с газели, на которой приехал сам Михаил. К слову сказать, конкурент зашёл в Москву через полтора года, но так и не вышел в плюс.

История 2. Отчёт по когортам, который открыл глаза. Позволил понять, сколько нужно привлекать новых клиентов и с каким процентом удерживать старых, чтобы расти или хотя бы не падать. На 7-й неделе поняли, что нужно привлекать 30+ новых клиентов, чтобы не упасть. То есть сразу история носила прикладной характер, поэтому сразу стали думать, как удерживать клиентов.

Создали клуб. Участники получают сертификат на 6 000 руб, который давал скидку 500 рублей на все заказы на год из расчёта 1 доставка в неделю — экономия 20 000 руб. Были и другие привилегии для участников клуба. Хорошо работало.

Внедрили в конце 2016 года и были первые в России, кто начал продавал физические товары по подписке. Человек привязывает карту, в понедельник списываются деньги — в воскресенье приезжает коробка. Система гибкая: в любой момент можно отменить, можно пропускать недели, к тому же даёт скидку в 10%.

Больше чем в 2 раза подписка меняла когорту.

История 3. Рейтинг в приложениях влияет на сервис и меняет рынок.

Сделали «Убер для шеф-поваров» — систему оценки блюд пользователями. Еженедельно приходит под 2 000 оценок, по которым высчитывается рейтинг каждого шеф-повара.

Внедрили систему сбора рекламаций, а также оценку блюд и курьеров.

Проводили А/B-тестирование фото блюд, скатертей. Всё это очень сильно помогало в развитии.

То, что ты веришь в данные, влияет на то, каких ты хочешь видеть людей в команде.

Если ты круто хочешь управлять курьерами, нужно нанять человека, который понимает, что такое воронка, конверсия — условного продакт-менеджера. А не крутого управленца в области логистики.

Вера в скорость. Гипотезы нужно проверять быстро. Примеры, когда ребята в этом убедились:

«Партия еды» запустила полноценный сайт через 3 месяца после открытия, когда выручка достигла 1,5 млн рублей. А продавать начинали во ВКонтакте и Инстаграме. В итоге такой опыт оказался полезным для быстрого взлёта сайта.

Быстрый запуск на Тильде без помощи программистов позволил делать много А/B-тестов и увеличить конверсию.

Но нужно помнить, что в долгосрочном развитии скорость обеспечивается качеством. Если выбирать только скорость, то систему нельзя будет масштабировать и всё развалится.

Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.