Data Science-дайджест: свежие полезные статьи
Книжная полка

Data Science-дайджест: свежие полезные статьи

Лучшие материалы по теме за апрель: как вдвое уменьшить время запуска продуктового эксперимента и как трансерфинг реальности data-driven-подход помог закрыть сделку с Яндексом. В заключение — подборка полезных гайдов по A/B-тестированию.

Data Science-дайджест: свежие полезные статьи

редакция нетологии

«Система принятия объективных продуктовых решений», ProductCamp-2019

Марина Краснова из Одноклассников рассказала, как принимать объективные продуктовые решения, когда всё не очень понятно, а цена ошибки высока. Одноклассники внедрили автоматизированную систему анализа запусков, на разработку которой ушёл год, — Марина поделилась ключевыми результатами.

Одноклассники + Мой мир = 71 млн ежемесячной аудитории и 16,5 млрд руб выручки в год. А также 80+ продуктовых сервисов, 200+ продуктовых запусков и экспериментов в неделю, которые делают 250+ человек в команде продуктовой разработки.

Каждый день пользователи видят от 12 000 экспериментов, поэтому продуктовые запуски в Одноклассниках называют Продуктовым HighLoad (придумали новый термин).

Data Science-дайджест: свежие полезные статьи

Нужно следить за большим количеством базовых метрик (50+), также при новом запуске появляются специальные метрики. В итоге, чтобы запустить эксперимент, нужно подготовить более 100 графиков (продуктовые и технические параметры).

На метрики влияют параллельные эксперименты, внешние факторы (праздники, погода, политика, экономика), отложенный эффект (новизна, отрицательное влияние каких-то факторов) и субъективная оценка (желание видеть то, что хочется видеть).

У команды уходило много времени, чтобы всё анализировать и понимать, что делать дальше. К тому же, не всегда анализ был правильным. Это и подтолкнуло к поиску инструмента, который поможет ускориться и делать более яркие запуски. Сформулировали идею, а команда Data Mining Одноклассников разработала такую платформу:

Data Science-дайджест: свежие полезные статьи

Новая платформа позволяет запускать эксперименты сразу на всех платформах или на выборочной. Можно выбрать специфичные метрики, добавить новые, а базовые метрики добавляются автоматически и пересчитываются, что очень удобно. На выходе получается таблица с результатами, которая обсчитывается автоматически.

Ключевой вывод после внедрения платформы — время запуска эксперимента сократилось в 2 раза.

Даже подумали насчёт уменьшения количества продакт-менеджеров, раз такая оптимизация. Но дальнейшее тестирование нового ML-алгоритма — XGBoost вместо логистической регрессии — показало поспешность такой мысли ?

Итог истории с тестированием XGBoost — увеличение на 12% фидбека от пользователей, а также вывод, что «головой думать» инструмент не умеет. Решение системы было отключить провальный тест. А человек понял, почему алгоритм плохо отрабатывает и исправил ситуацию со значительным приростом в одной из базовых метрик.

Data Science-дайджест: свежие полезные статьи

курс

A/B-тестирование: практическое руководство ?

Узнать больше

  • Научитесь проводить A/B-тестирование и анализировать результаты
  • Получите пошаговый алгоритм по проведению A/B-тестов
  • Узнаете больше о своих клиентах
  • Научитесь использовать data-driven подход
  • Сможете оптимизировать силы и деньги

«Краткая история „Партии еды“: от запуска до сделки с Яндексом», ProductCamp-2019

Михаил Перегудов, основатель «Партии еды», поделился историей роста компании, в которой data-driven-подход сыграл одну из ключевых ролей.

Для Михаила этот бизнес был первый — было страшно. Вот как выглядел первый план развития:

Data Science-дайджест: свежие полезные статьи

Михаил шутит, что в последнем пункте ему помог трансерфинг реальности — материализация сигнала, посланного во Вселенную ? Хотя под Яндексом Михаил подразумевал любого стратегического партнёра.

Если серьёзно, Михаил сразу поверил в подход data-driven и скорость. Кратко рассказываем, как его вера подтвердилась.

История 1. Модель, которая сошлась. Построили модель на 6 месяцев, которая позволила понять, сколько нужно продавать коробок в неделю, докуда добежать, чтобы выжить, как тратить в маркетинг, когда выходить в Москву. Первая цель была продавать 300 коробок в неделю, и на это Михаил тратил все свои «ментальные усилия», не обращая внимания даже на недостачу в 15 тыс. рублей.

Проект запустился в Санкт-Петербурге, а через 3 недели — в Москве. Запустился в буквальном смысле с парковки «Пятёрочки» с газели, на которой приехал сам Михаил. К слову сказать, конкурент зашёл в Москву через полтора года, но так и не вышел в плюс.

История 2. Отчёт по когортам, который открыл глаза. Позволил понять, сколько нужно привлекать новых клиентов и с каким процентом удерживать старых, чтобы расти или хотя бы не падать. На 7-й неделе поняли, что нужно привлекать 30+ новых клиентов, чтобы не упасть. То есть сразу история носила прикладной характер, поэтому сразу стали думать, как удерживать клиентов.

Data Science-дайджест: свежие полезные статьи

Создали клуб. Участники получают сертификат на 6 000 руб, который давал скидку 500 рублей на все заказы на год из расчёта 1 доставка в неделю — экономия 20 000 руб. Были и другие привилегии для участников клуба. Хорошо работало.

Внедрили в конце 2016 года и были первые в России, кто начал продавал физические товары по подписке. Человек привязывает карту, в понедельник списываются деньги — в воскресенье приезжает коробка. Система гибкая: в любой момент можно отменить, можно пропускать недели, к тому же даёт скидку в 10%.

Больше чем в 2 раза подписка меняла когорту.

Сейчас 75% выручки — по подписке.

История 3. Рейтинг в приложениях влияет на сервис и меняет рынок.

Сделали «Убер для шеф-поваров» — систему оценки блюд пользователями. Еженедельно приходит под 2 000 оценок, по которым высчитывается рейтинг каждого шеф-повара.

Внедрили систему сбора рекламаций, а также оценку блюд и курьеров.

Проводили А/B-тестирование фото блюд, скатертей. Всё это очень сильно помогало в развитии.

То, что ты веришь в данные, влияет на то, каких ты хочешь видеть людей в команде.

Если ты круто хочешь управлять курьерами, нужно нанять человека, который понимает, что такое воронка, конверсия — условного продакт-менеджера. А не крутого управленца в области логистики.

Сейчас опыт зачастую идёт в минус человеку, особенно на классических производствах, как пищевое.

Вера в скорость. Гипотезы нужно проверять быстро. Примеры, когда ребята в этом убедились:

Data Science-дайджест: свежие полезные статьи

«Партия еды» запустила полноценный сайт через 3 месяца после открытия, когда выручка достигла 1,5 млн рублей. А продавать начинали во ВКонтакте и Инстаграме. В итоге такой опыт оказался полезным для быстрого взлёта сайта.

Быстрый запуск на Тильде без помощи программистов позволил делать много А/B-тестов и увеличить конверсию.

Успех «Партии еды» — в работе с данными и в скорости.

Но нужно помнить, что в долгосрочном развитии скорость обеспечивается качеством. Если выбирать только скорость, то систему нельзя будет масштабировать и всё развалится.

Подробные гайды по А/В-тестированию

Собрали статьи по А/В-тестам и сделали их краткое описание. Выбирайте и изучайте то, что нужно именно вам ?

Что есть А/В-тестирование?

  • Что такое, в чём польза, как работает и как проводить А/В-тестирование.
  • Идеи для А/В-тестов, отчёты и результаты, хорошие (и не очень) практики тестирования.
  • А/В-тестирование: ключевые навыки и управление.
  • Книги и блоги на тему А/В-тестирования. Эксперты.

А/B-тестирование сайта или лендинга — практическое руководство

  • Как настроить Google Optimize.
  • 10 этапов успешного А/В-тестирования.
  • Примеры А/В-тестов.

A/B-тестирование (сплит-тестирование): быть или не быть

  • Что такое и зачем проводить А/В-тестирование.
  • Основные этапы А/В-тестирования.
  • Инструменты для А/В-тестирования.
  • А/В-тестирование с Google Optimize.

Что такое A/B-тестирование и как его проводить

  • Что такое А/В-тестирование.
  • Что тестировать и какие инструменты сплит-тестирования использовать.
  • Как провести А/В-тестирование с помощью Google Optimize.
  • Идеи, эффективность которых стоит обязательно проверить с помощью А/В-тестирования.
  • Как и зачем тестировать разные варианты страниц.

курс

A/B-тестирование: практическое руководство ?

Узнать больше

  • Научитесь проводить A/B-тестирование и анализировать результаты
  • Получите пошаговый алгоритм по проведению A/B-тестов
  • Узнайте больше о своих клиентах
  • Научитесь использовать data-driven подход
  • Сможете оптимизировать силы и деньги 

Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.

Оцените статью

Средняя оценка 0 / 5. Всего проголосовало 0

Телеграм Нетологии