В онлайн-образовании принято ориентироваться на такие показатели качества, как NPS, CSI и COR. Но в каждой образовательной компании их считают по-разному.
Расскажем, как используем их в Нетологии и на что ещё опираемся при оценке качества курса.
Сегодня аналитика применяется в каждом продукте, и в каждой сфере существуют свои метрики для оценки эффективности. Наша команда уже более 10 лет разрабатывает курсы для обучения профессиям в диджитале и IT — и за это время нам пришлось не раз изменить подход к оценке качества. Так как единого принятого стандарта на рынке нет, а требования пользователей к качеству онлайн-образования с каждым годом становятся всё строже, нужно успевать реагировать и разрабатывать новые методы оценки.
Сейчас у нас на платформе запущено около 200 онлайн-курсов по 11 различным сферам: от интернет-маркетинга, нашего классического и самого первого направления, до MBA и онлайн-магистратур — сложных, длительных и дорогих программ, для которых важно было выработать отдельный подход к оценке качества.
У каждого курса, каждой программы есть своя команда из продюсеров и методистов, авторов и преподавателей, кураторов и аспирантов, которые все вместе влияют на наполнение курса и в целом на весь образовательный процесс.
Поэтому система оценки качества должна отвечать следующим требованиям:
- все в команде знают, каким должен быть качественный курс;
- есть специалисты, которые понимают, как именно это качество отследить и измерить;
- у человеческого фактора нет шансов критически повлиять на качество продукта.
Над задачей построить такую систему работает ряд отделов:
- учебно-методический отдел, который выдвигает гипотезы о причинах низкого качества и отбирает курсы, которые надо переработать в первую очередь;
- отдел аналитики, который помогает определить, что влияет на качество;
- направления обучения, которые понимают общее положение дел и динамику по качеству, проверяют, сработали ли их гипотезы по улучшению
качества, приоритизируют свои ресурсы.
В этой статье Вячеслав Сычёв, менеджер проектов Учебно-методического отдела Нетологии, и Мария Стефова, продакт-менеджер Нетологии, рассказывают о том, каким образом с помощью аналитики платформа совершенствует свои продукты, почему не стоит полагаться только на NPS, CSI, COR и как пришла идея о создании собственной аналитической системы для оценки качества онлайн-курсов.
NPS — Net Promoter Score — индекс потребительской лояльности.
CSI — Customer Satisfaction Index — индекс удовлетворённости клиентов.
COR — Сompletion rate — процент завершивших обучение.
Мария Стефова
Продакт-менеджер Нетологии
Вячеслав Сычёв
Менеджер проектов Учебно-методического отдела Нетологии
Как и зачем мы решили определять качество онлайн-курсов
Мария Стефова
Продакт-менеджер Нетологии
С развитием продукта и ростом аудитории у Нетологии острее встал вопрос, насколько качественные продукты мы предлагаем пользователям. Но как определить качество онлайн-курса? Ответить на этот вопрос было непросто, потому что не было точного понимания, что именно считать качественным курсом. Как внутри компании, так и на рынке в целом каждый понимал под этим словосочетанием что-то своё.
Мы решили придумать систему, в которой качество можно было бы посчитать в цифрах. И на основе этой системы оценивать работу по разработке онлайн-курса и образовательного процесса.
Такой подход позволил бы не только объективно оценивать качество онлайн-курсов, но и оптимизировать ресурсы — тратить дополнительные средства на доработку только тех продуктов, которые действительно в этом нуждаются.
Стандартные показатели — NPS, CSI, COR — верхнеуровневые: они не показывают проблемные места и не покрывают все важные аспекты образовательного продукта. Мы измеряем и следим за ними, но для полноценной оценки их не хватает. К тому же они недостаточно репрезентативны, так как каждая платформа считает их по-разному в отношении разных сегментов аудитории. Так, у одних NPS доходит до 80%, а у других — всего 20%. Такие расхожие данные неинформативны.
Поэтому мы сфокусировались на концепции «Выгоды и свойства» — какую выгоду приобретает студент при покупке продукта и какими свойствами продукта эта выгода обеспечивается. Так появилась наглядная таблица соотношения выгоды для студента и свойств отдельного онлайн-курса. Дальше нам нужно было определить метрики для измерения этих свойств.
Из каких этапов состояла разработка концепции оценки качества — и что получилось
Разработкой концепции «Выгоды и свойства» занималась небольшая команда из продакт-менеджера, аналитиков, специалистов Учебно-методического отдела и директора образовательного продукта.
На первом этапе обсуждалась сама концепция, какие задачи она должна решать и какую цель мы хотим с помощью неё достигнуть.
Далее, перед тем как составить опрос с выбором ответа, мы провели опрос без выбора ответов с помощью внутреннего кол-центра.
Следующим этапом мы провели исследование в формате опроса — как пользователей Нетологии, так и пользователей других онлайн-платформ. Для привлечения респондентов мы разослали форму опроса по базе Нетологии, а также привлекли агентство для поиска и сбора мнений людей, которые относятся к нашей целевой аудитории, но никогда не учились в Нетологии.
В исследовании приняли участие 1 187 человек, которых попросили ответить на следующие вопросы:
Сколько вы самостоятельно потратили на образование за последний год?
Что вам важно во время обучения?
Что вам кажется лишним на курсах в процессе обучения?
Что вас отталкивает от покупки при выборе онлайн-курса?
Какую длительность онлайн-курса вы считаете оптимальной для себя?
Какой результат вы ждали от последнего обучения, который вы проходили или проходите сейчас?
Выберите три решающих фактора для покупки онлайн-курса.
Выберите главную цель обучения.
Ответы на вопросы показали, что для студентов важно и какие выгоды они хотят получать при покупке курса.
Также мы провели интервью с руководителями каждого направления обучения Нетологии: интернет-маркетинг, управление продуктом, программирование, дизайн, аналитика и Data Science. Мы узнали, как внутри направления видят оценку качества продукта и свойства качественного онлайн-курса.
Полученные из двух источников данные объединили и получили сводную таблицу из шести выгод пользователя:
- усвоение — «программа курса выстроена таким образом, чтобы я легко усваивал необходимые мне знания и навыки»;
- практика — «я получу навыки и знания, которые применимы на практике»;
- сопровождение — «меня мотивируют к обучению и сопровождают в ходе него, чтобы я доучился до конца»;
- диплом — «у меня будет официальный документ, подтверждающий мой уровень знаний»;
- обратная связь — «я получу ценный фидбек от отраслевых экспертов»;
- трудоустройство — «при необходимости мне помогут в поиске работы».
Из этого следует, что качественный онлайн-курс должен обладать свойствами, которые обеспечивали бы выгоды для пользователя. Мы задумались, какими метриками можно их измерить и обратились к данным, которые были в компании.
На данный момент сформулировали метрики для всех выгод, кроме трудоустройства — эти метрики в процессе разработки.
Вот как выглядят метрики выгод «Усвоение», «Практика», «Сопровождение», «Диплом» и «Обратная связь»:
То, что не могли на тот момент измерить метриками из-за отсутствия данных, мы заносили в чеклисты Учебно-методического отдела.
Перед началом разработки нового курса специалисты этого отдела проводят исследование рынка и интервью с работодателями. Это позволяет убедиться, что темы курса соответствуют запросам рынка. Таким образом мы постепенно собирали недостающие метрики.
Как стали измерять качество образовательного продукта
За каждую выгоду для пользователя курс получает максимум 20 баллов. По каждому набору студентов на каждом онлайн-курсе измеряется индекс качества от 0 до 100 баллов. Они интерпретируются следующим образом:
- больше 70 — всё отлично, качество в норме;
- 60‒70 — есть над чем поработать;
- меньше 60 — качество ниже нормы, стоит обратить внимание.
На основе метрик собирается отчёт по качеству в Tableau. Он наглядно показывает рост или падение индекса каждого конкретного продукта в разрезе по каждому направлению обучения. Отчёт включает в себя шесть уровней оценки:
Антитоп курсов. Выводится 10 курсов по каждому направлению обучения с самым низким рейтингом. Рейтинг курса — это сводный показатель, которые складывается из оценок по выгодам (максимум — 100 баллов).
Оценки за выгоды. Выгоды также оцениваются в баллах, и каждая будет иметь разный вес в зависимости от того, что важно пользователю. На текущий момент мы измеряем 5 выгод, одна — в разработке.
Значения метрик курса. Это усреднённый количественный показатель по свойствам курса. На этом уровне можно посмотреть сводные метрики по курсу в целом. Каждая метрика имеет норму и отклонение.
Показатели по метрикам. Раскладываем метрики курса на конкретные значения по гранулам и занятиям.
Рекомендации от Учебно-методического отдела и команды обучающей платформы (LMS, Learning Management System), как можно улучшить метрику.
Сводный индекс качества по направлению обучения. Средний показатель индекса качества рассчитывается на основе всех завершившихся в исследуемый месяц курсов.
По отчёту видно, нужно ли какие-то курсы взять на переработку в первую очередь. Кроме того, отчёт на основе метрик показывает точечные проблемы внутри конкретного курса.
Метрики отчёта по качеству собираются без перерыва и формируются в сводные таблицы, в которых видны результаты оценки по месяцам. Таким образом, между собой сравниваются отдельные направления обучения, курсы в рамках каждого направления, отдельный курс от набора к набору.
Отчёт каждый месяц показывает, где и что просело или подросло. Зелёным цветом подсвечивается то, что имеет хорошее качество, — более 70 баллов. Что меньше 60 баллов — отображается красным и означает существенную проблему. Диапазон от 60 до 70 баллов считается средним показателем — на курсе есть на что обратить внимание и улучшить.
Профессия- Научитесь создавать продукт, который нужен на рынке
- Сможете автоматизировать рабочие процессы с помощью Python и Tableau, строить аналитические модели и тестировать гипотезы
- Закрепите полученные знания на практике — на дипломном реальном проекте с доступом к данным
Кто занимается переработкой курсов и как отслеживаются метрики о качестве продукта
Вячеслав Сычёв
Менеджер проектов
Учебно-методического отдела Нетологии
За переработку контента онлайн-курса отвечают продюсеры и продуктовые методологи направления обучения.
Весь процесс разработки курсов носит сложный и системный характер: продукты с каждым годом усложняются и появляются отдельные курсы по освоению или улучшению разных навыков, специализации и профессии. Перед началом переработки курса продуктовые методологи смотрят на результаты отчёта по качеству, на базе которого принимается решение о необходимости изменений.
Продуктовые методологи Учебно-методического отдела на основе отчёта по качеству выдвигают гипотезы о недостатках курса и готовят предложения по его улучшению. Эти предложения также принимаются на основе метрик, динамики их изменения и экспертного опыта.
В целом при анализе данных фигурирует более 50 различных метрик, которые соотносятся не только с выгодами пользователей, но и с процессом обучения каждого студента на каждом наборе курса. Эти данные выгружаются из обучающей платформы (LMS), где у каждого студента есть личный пользовательский кабинет. Там фиксируется, как он проходит программу курса, какие гранулы занятия посмотрел и в какой степени.
Дальше мы видим, как меняется динамика употребления обучающего контента от набора к набору курса. Например, вебинар на первом наборе посмотрели 80% студентов, на втором — 50%, на третьем — ещё меньше. Так мы понимаем, что эта часть курса не в порядке, и выстраиваем гипотезы о причинах отказа от просмотра. Например, если содержание вебинара быстро устаревает, он теряет ценность для студентов и они не смотрят его. Наша задача — регулярно актуализировать вебинар для каждого набора студентов.
Отчёт о качестве помогает отследить соотношение этих метрик на каждом наборе почти 200 различных курсов Нетологии.
Например, одно из направлений обучения относительно других в среднем получило не очень хорошие оценки за год по индексу качества. В отчёте можно кликнуть на это направление и увидеть, что в рамках всего направления есть один или несколько курсов с индексом ниже 60 баллов. Они нуждаются в доработке и сильно влияют на рейтинг всего направления. Дальше можно кликнуть на проблемный курс и посмотреть, какие именно наборы пострадали.
Мы погружаемся ещё глубже в эти проблемные участки и смотрим каждое занятие, которое состоит из гранул — вебинаров, видеолекций, домашних заданий, тестов, квизов. Затем смотрим на уровне экспертов курса: кто преподаёт, как давно, какие у него оценки в рейтинге, нравятся ли студентам его вебинары, сколько времени он тратит на проверку заданий, насколько содержательную обратную связь даёт, оказалась ли она ценной для студента.
Также мы можем увидеть, как учится каждый отдельный студент — от оставленной заявки на курс до завершения обучения и трудоустройства.
Пример
Берём конкретный курс и анализируем его гранулы. Мы понимаем, что этот курс состоит из вебинаров, видеолекций, тестов, квизов, домашних заданий, в нём задействованы конкретные преподаватели и аспиранты.
Допустим, курс включает в себя 16 вебинаров. Из них 6 сильно выделяются среди остальных низкими показателями: их плохо досматривают до конца, от набора к набору количество просмотров падает. А бывает, что количество кликов на вебинар падает, но при этом количество досмотров до конца среди открывших вебинар растёт от набора к набору. Значит, нужно проработать вебинар так, чтобы повысить количество кликов. Потому что содержание вебинара само по себе полезно и интересно студентам. Так мы просматриваем и анализируем каждую гранулу занятия.
То же самое касается и преподавателей. По отчёту мы смотрим, сколько их всего на курсе и какие из них имеют низкие рейтинги и нежелательные показатели. Например, преподаватель провёл один вебинар и получил пятёрку от студентов, после второго вебинара — уже четвёрку, после третьего — тройку. Внимательнее смотрим другие метрики по преподавателю и видим: CSI падает, среднее время проверки задания от 7 до 21 дня — при условии о проверке в течение 3‒5 дней. Идём к этому преподавателю и разбираемся в проблеме. Вместе ищем варианты решения и добиваемся, чтобы преподаватель соответствовал показателям.
В последующих отчётах можно отследить в динамике, как отрабатывают внесённые в проблемный курс изменения. Например, до переработки индекс качества курса был на уровне 68 баллов, а после — 75.
Нам удалось добиться того, что понятие «качество курса» больше не определяется каждым отдельным человеком субъективно.
Качество стало измеримым — оценивая его, можно оперировать цифрами и понимать, из чего оно складывается.
Резюмируем
Аналитика играет ключевую роль в развитии образовательного продукта. Имеет значение то, насколько сама компания готова погружаться в анализ данных и как она может их использовать для улучшения качества онлайн-курсов.
Пример Нетологии показывает, что можно создать чёткую и рабочую систему мониторинга и проверки качества продукта — от создания и запуска курса до его реализации из набора в набор.
Собственная система аналитики и проверки качества онлайн-курсов даёт более реалистичное понимание того, насколько он хорош и помогает ли студентам достигать своих целей. Особенно важно, что такая оценка даётся не столько с позиции субъективного экспертного мнения, сколько с точки зрения измеряемых метрик.
Кроме того, принятие решений о корректировке продукта на основе цифр позволяет компании оптимизировать ресурсы и обоснованно тратить средства на доработку только тех курсов или отдельных гранул в нём, которые в этом критически нуждаются.
В целом по компании система аналитики задаёт единый стандарт качества курсов по всем направлениям обучения.
Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.
Мария Стефова
Продакт-менеджер Нетологии
Вячеслав Сычёв
Менеджер проектов Учебно-методического отдела Нетологии