Как измерять что угодно в условиях неопределённости — отвечаем на вопросы IT-рекрутеров

Зачем это спрашивают на собеседованиях

В большинстве случаев знать точные цифры невозможно или это сопряжено с большими затратами времени и ресурсов. На собеседовании цель такого упражнения состоит не в том, чтобы получить правильный ответ. Вполне вероятно, что автор вопроса сам не знает правильного ответа на него.

Как вообще можно знать ответы на подобные вопросы

Знать точные цифры в большинстве случаев невозможно. Более того, зачастую в этом просто нет необходимости.

Дуглас Хаббард в книге «Как измерить всё, что угодно. Оценка стоимости нематериального в бизнесе» хорошо доносит мысль о том, что любое измерение ― это совокупность наблюдений, которые снижают уровень неопределённости. И если хоть немного снизить степень неопределённости, можно считать, что мы уже произвели измерения.

Как измерить что угодно

На собеседовании на решение задач по измерению обычно даётся 10‒15 минут. Гуглить в это время не стоит: интервьюер должен понять, как кандидат умеет находить способ решения проблемы самостоятельно.

При этом вполне может оказаться, что соискатель не будет знать каких-то базовых цифр. Например, размер населения США или количество пользователей интернета в мире. В этом случае нужно уточнить у интервьюера, сможет ли он предоставить эти данные или можно использовать любые значения, которые кажутся адекватными.

Процесс измерения можно разделить на три шага:

• определить границы и условия измерения;
• найти способ измерения;
• посчитать и проверить результат.

Рассмотрим каждый шаг подробнее.

Определяем границы измерения

На этом шаге нужно убедиться в корректности понимания задачи и объекте измерения. Для этого задаём уточняющие вопросы: что измеряем, для чего, какие ограничения.

Для примера возьмём вопрос: «Сколько поисковых запросов в день обрабатывает Google?».

Прежде чем приступать к измерениям, имеет смысл уточнить:

• считаем по всему миру или в конкретной стране;
• имеет ли значение платформа: веб-версия или мобильные приложения;
• поисковые запросы могут генерироваться не только людьми, но и ботами — нужно ли их исключить из расчёта.

Выбираем способ измерения

Не стоит сразу бросаться к цифрам и пытаться что-то посчитать. Ключевой шаг перед любым измерением ― найти подходящий способ измерения. Здесь в полной мере пригодится умение системно мыслить. Чтобы подобрать хороший способ измерения, необходимо:

• Разложить объект на составляющие, которые легче оценивать. Например, чтобы посчитать размер рынка туалетной бумаги в США, нужно определить, сколько потребителей живёт в США, сколько бумаги они расходуют в год и сколько в среднем стоит один рулон.
• Понимать зависимости, которые могут помочь произвести измерения. Например, количество пользователей Google зависит от количества пользователей интернета, а количество пользователей интернета ― от общего населения планеты или выбранной страны.

Измеряем и проверяем

После выбора способа измерения остаётся подставить цифры в формулу и получить результат. Но это ещё не всё.

Следующим шагом важно проверить цифры на адекватность. Например, если при расчёте количества пользователей Google в США мы получили цифру больше населения страны, очевидно, что допустили серьёзную ошибку.

Хороший способ проверить результаты измерения ― критически посмотреть на каждую цифру в формуле расчёта и подумать, где могли возникнуть ошибки и насколько большими они могут быть.

Пример расчёта

Проведём цепочку измерений для ответа на вопрос: «Сколько поисковых запросов в день обрабатывает Google от пользователей в США?».

Формула может выглядеть так:

Количество поисковых запросов в день = N1 * Q1

где:

• N1 ― количество пользователей поиска Google в США в день;
• Q1 ― среднее количество поисковых запросов на пользователя в день.

Как нам узнать дневную аудиторию Google, если мы не сможем найти этих данных в открытом доступе?

Попробуем зайти с другой стороны:

Количество поисковых запросов в день = N30 * Q30 / 30

где:

• N30 ― количество пользователей поиска Google в США в месяц;
• Q30 ― среднее количество поисковых запросов на пользователя в месяц.

Определить месячную аудиторию Google проще. Наверняка, если пользователь интернета предпочитает Google, хотя бы раз в месяц он воспользуется поиском. Тогда месячную аудиторию считаем так: берём население США → определяем долю пользователей интернета → умножаем на долю Google на рынке поиска.

Остаётся рассчитать среднее количество поисковых запросов на пользователя. Проблема со средним значением в том, что есть много разных пользователей: кто-то совершает один запрос в день, а кто-то десятки и сотни. Среднее значение будет зависеть от того, в каких пропорциях распределены эти пользователи.

Решить эту задачу можно, разделив пользователей на сегменты ― группы пользователей со схожими характеристиками. Например, можно разделить пользователей по возрасту, предположив, что более молодые поколения активнее пользуются поиском. Или по частоте использования поисковой системы:

• power users — очень часто пользуются, высокое вовлечение;
• core users — регулярно пользуются, среднее вовлечение;
• casual users — редко обращаются к поиску, низкое вовлечение.

Выясняем, какая доля пользователей относится к каждой группе. Во многих продуктах кривая частоты использования выглядит так: много пользователей, редко использующих продукт, затем так называемая яма из тех, кто пользуется продуктом периодически, и дальше — пик из самых активных пользователей.

На визуализации эту кривую иногда называют улыбкой:

Взяв на вооружение гипотезу, что для Google кривая будет выглядеть похожим образом, можно предположить, что около 10% составляют power users, 30% ― core users и 60% — casual.

Теперь нужно выяснить, сколько запросов в месяц в среднем совершают пользователи из разных групп. В качестве быстрой экспертной оценки предположим, что в среднем power users создают 300 запросов в месяц, core ― 150, casual ― 50. Эти цифры могут сильно отличаться от реальных, но их можно уточнить путём наблюдения или опроса пользователей из разных групп.

Итак, проводим расчёт ↓

Население США = 330 млн человек. Доля пользователей интернета = 90%. Доля поиска Google на рынке = 85%.

Итого получаем 252 млн пользователей Google в США. Предположим, что хотя бы раз в месяц они пользуются поиском, тогда месячная аудитория будет приблизительно такой же.

Считаем всё вместе:

252 млн * (300*10% + 150*30% + 50*60%) = 26,5 млрд запросов в месяц ⟶ 882 млн запросов в день.