Для начала посмотрим, сколько стоит простой бизнес-сервиса.

Цифра зависит от масштаба IT-системы, её сложности и особенностей ― в среднем простой одной минуты высоконагруженной системы составляет от $7 200 до $9 000, по данным Uptime Institute и Gremlin.

В России пока недостаточно массовых исследований по потерям от простоев систем, компании часто открыто не объявляют о сбоях, так как это влечёт за собой репутационные риски. Из недавних публичных масштабных примеров ― 7-часовой сбой в работе банка Точка, вызванный неполадками в центре обработки данных.

В том, что сбои происходят часто, можно убедиться, посмотрев данные сервисов, которые регистрируют фактические сбои компаний, например государственный Центр мониторинга и управления сетью связи общего пользования или Детектор сбоев от компании Brand Analytics.

Чтобы рассчитать экономический эффект от технического сбоя и затраты на использование хаос-инжиниринга, для примера возьмём такую ситуацию: бизнес выводит новый продукт на рынок → закупает рекламу → начинается активный показ рекламы по каналам продвижения продукта → увеличивается трафик и нагрузка на сервисы компании → перегорает часть оборудования, приложение не может балансировать трафик внутри бизнес-сервиса → происходит нештатная ситуация.

Затраты на решение произошедшего инцидента = П + Э + Р_в + Р_ц

где
П ― потери от реализации инцидента: могут составлять миллионы рублей;
Э ― экстренная группа реагирования: оплата труда 5–10 сотрудников;
Р_в ― разработка временного решения: оплата дня труда команды разработки;
Р_ц ― разработка целевого решения: оплата труда команды разработки до 14 дней.

Допустим, что в наш бизнес-сервис приходят заявки от клиентов и в минуту он обрабатывает 5 000 заявок. Сервис был недоступен час, а значит, мы потеряли 300 000 заявок. Если комиссия с одной заявки 3 рубля, мы потеряли 900 000 рублей за час.

Для экстренного решения проблемы нам необходимо собрать группу реагирования. Как правило, она состоит из разработчиков, специалистов технической поддержки, аналитиков и менеджера.

Представим, что средняя ставка сотрудника ― 15 000 рублей в день. Умножаем её на количество человек в группе и получаем затраты от 75 000 до 150 000 рублей.

После того, как группа реагирования нашла причину инцидента, в течение дня нужно разработать временное решение. После исправления инцидента команда разработки бизнес-сервиса начинает разработку целевого решения со сроком в 2 недели.

По предварительным подсчётам в такой кейс мы должны инвестировать больше 1 млн рублей за час простоя, а сбой может длиться несколько часов.

В случае применения Chaos Engineering затраты будут такими ↓

Проведение имитации = А + P_ц

где
А ― проведение имитации: оплата труда 1–2 сотрудников;
Р_ц ― разработка целевого решения: оплата труда разработчиков до 14 дней.

Для всё того же примера в ситуации с инцидентом при применении хаос-инжиниринга структура затрат будет другая.

Для проведения моделирования сбоя нам понадобится 2 инженера, которые напишут гипотезы, подготовят бизнес-систему, проведут эксперименты. Представим, что наша система приёма заявок среднего размера, и инженеры подготовят и проведут эмуляции сбоев за 2 недели. Умножаем на ставку сотрудника в те же 15 000 рублей в день и получаем 420 000 рублей на проведение работ.

Если команда выявила в бизнес-системе участки с потенциальными неполадками, пишем целевое решение в течение 2 недель, как и в первом случае с инцидентом.

Итак, при отказе системы на устранение последствий уйдёт больше миллиона рублей в зависимости от времени простоя, в то время как в хаос-инжиниринг нужно инвестировать в 2–3 раза меньше.

Инвестиции на применение Chaos Engineering могут составлять от 100 000 до 2 млн рублей в зависимости от размера и сложности бизнес-системы.
В простых системах инженеры меньше затратят времени на разработку моделирования сбоев, и сумма будет стремиться к 100 000. В крупных системах, где следует проводить сотни эмуляций, ― к 2 млн.

Хаос-инжиниринг в России развивается с 2018 года. И интерес к практике растёт, судя по количеству вышедших новых статей в рунете и докладов на профильных технологических конференциях.

Практика будет развиваться по мере перехода бизнес-сервисов в облачные платформы: моделирование отказов системы в облаке возможно провести только с использованием практики Chaos Engineering.

По данным аналитического агентства TAdviser, последние два года ежегодный рост спроса на облачные технологии в России составляет 40–44%. Такая динамика позволяет предположить, что распространение хаос-инжиниринга будет увеличиваться.

Chaos Engineering ― это IT-практика, при которой намеренно создаются ситуации сбоев в работе бизнес-сервиса, чтобы улучшить его надёжность. С помощью этой практики можно выявить скрытые проблемы в проектировании, масштабировании и отказоустойчивости бизнес-сервисов.

Применение практики позволит бизнесу сократить финансовые потери во время отказов системы и снизить риски.

Особенно хаос-инжиниринг актуален для онлайн-сервисов ― финансовых и медицинских учреждений, телекоммуникационных и транспортных компаний, интернет-магазинов, соцсетей.

Инвестиции на проведение эмуляций сбоев могут составлять от 100 000 до 2 млн рублей в зависимости от размера бизнес-системы. При этом затраты на реальные сбои могут составлять десятки, а то и сотни миллионов рублей.

Chaos Engineering ― молодая практика, которая только набирает популярность в России. Развитию практики будет способствовать переход бизнеса в облачные технологии, так как именно эта практика позволяет проверить надёжность сервисов в облаках.