Сегодня в Нетологии несколько сотен курсов, над проектированием которых трудится большая команда специалистов. Одно из ключевых требований к образовательному контенту — высокий уровень качества. Стремление к этому продиктовано заботой о студентах, которые становятся всё взыскательнее и справедливо претендуют на то, чтобы обучение было не просто интересным, но приносило реальную пользу и помогало добиваться поставленных целей.
Руководительница направления продуктовых методологов Нетологии Инна Ониашвили рассказала, почему в компании возникла необходимость в специальной системе аудита образовательного контента, как её внедряли и какую пользу это принесло.
Инна Ониашвили
Руководительница направления продуктовых методологов в Нетологии
Почему мы решили разработать систему оценки качества образовательного контента
На сегодняшний день в Нетологии более 300 курсов, включая платные и бесплатные программы. Они распределяются между несколькими направлениями: «Дизайн и UX», «Программирование», «Аналитика и Data Science», «Бизнес и управление», «Интернет-маркетинг», «Высшее образование» и другими. Над продуктами трудится большая команда педагогических дизайнеров — более 50 специалистов.
Качество обучения у нас всегда стояло в приоритете. Но три года назад, когда количество курсов и педагогических дизайнеров начало расти, внутри команд стал назревать рассинхрон в ви́дении качественной программы.
Мы столкнулись с тем, что каждая команда разрабатывает программы и учебные материалы по-своему. Конечно, каждый специалист при создании курса обязательно руководствуется правилами проектирования образовательных программ, но несмотря на это, контент даже внутри одного направления мог получаться разным:
- иногда отличалась структура программ и занятий;
- не было единого подхода к выбору форматов обучения;
- логика построения вебинаров и видеолекций могли отличаться;
- презентации и визуальные материалы были собраны по-разному;
- могли отличаться инструкции к домашним заданиям и тестам;
- объём и продолжительность занятий сильно варьировались от курса к курсу.
У всех направлений своя специфика обучения и особенности целевой аудитории, которые нужно и важно учитывать. Однако мы поняли, что нам нужен общий фундамент, который объединял бы все курсы компании и задавал бы единую планку качества.
Обучение дизайну интерфейсов отличается от обучения Python-разработке, но общие принципы всё же есть: как мы формулируем образовательные результаты, как выбираем форматы, как выстраиваем структуру занятия, как создаём презентации и так далее.
Пока мы не зафиксировали и не согласовали со всеми единые правила работы, результат получался непредсказуемым, несмотря на экспертность каждого конкретного сотрудника.
Мы решили выстроить единую систему качества программ — в компании с большим объёмом курсов, с большой командой педдизайнеров, которые на тот момент работали в отдельных обособленных командах и мало взаимодействовали между собой. Отсюда начался долгий и сложный путь длиной в два с половиной года.
Каким был процесс до введения новой системы аудита
Педагогический дизайнер разрабатывал программы и материалы вместе с экспертом. Он опирался на принципы педагогического дизайна, на своё личное ви́дение и ви́дение эксперта, как должна выглядеть программа, занятия и практика к ним. Порой эксперт мог настоять на своей структуре занятия и своём формате презентации, которые могли выглядеть иначе, чем остальной материал в курсе.
В процессе создания материалов у педагогического дизайнера мог замылиться глаз — так бывает, и это естественно. Когда долго работаешь с материалом, со временем сложнее смотреть на курс глазами студента и видеть в нём слепые пятна. Порой из-за быстрой разработки, множества курсов или усталости невольно можно было что-то упустить или не заметить.
Унифицировать работу всей методической команды на тот момент было трудно. Регламентирующие качество методологи УМО и разрабатывающие программы педдизайнеры работали в разных отделах и не были структурно связаны между собой. Каждая команда жила в своём «методическом государстве» со своими правилами.
Кстати, в июле 2021 года в Нетологии появилась должность продуктового методолога, а спустя три месяца сформировался целый отдел таких специалистов. Благодаря им компании удалось по-новому взглянуть на взаимодействие сотрудников, повысить уровень образовательных программ и качественно улучшить опыт своих студентов.
Подробнее об этом опыте Инна Ониашвили рассказала в статье «Продуктовый методолог: зачем Нетология внедрила новую должность в процесс производства курсов и какие результаты это принесло».
Как внедрялась новая система аудита — хронология, успехи и трудности
2020 год — создали единый чеклист качества программы
Мы — методологи УМО — решили исправить проблему, собрав большой чеклист качества образовательной программы. Он содержал в себе все базовые критерии, касающиеся:
- структуры программы, её связности и логичности;
- качества проработки целей и образовательных результатов;
- целесообразности выбора форматов теории и практики, разнообразия выбранных форматов;
- равномерности учебной нагрузки;
- качества материалов — видео, вебинаров, воркшопов, домашних заданий, тестов, дипломных проектов;
- образовательной среды и мотивации.
Что получилось: за несколько подходов УМО собрал большой чеклист аж на 90+ критериев. Многие коллеги откликнулись на чеклист позитивно, оценили его детализацию и масштаб, увидели в нём полезного помощника.
Трудности, с которыми столкнулись: собрать классный артефакт — это, конечно, здорово и тоже очень важно. Думаю, для работы в небольшой команде этого было бы достаточно. Но в нашем случае внедрить чеклист и сделать его рабочим инструментом было не так просто. Команды продолжали работать по-своему и расценивали чеклист как рекомендательный, а не обязательный документ.
2020 год — организовали аудит программ по единому чеклисту
Чтобы чеклист стал рабочим инструментом, мы решили провести аудит курсов Нетологии. Поставили перед собой цель проверить флагманские курсы и курсы, где были сильные колебания по образовательным метрикам. Мы хотели помочь командам улучшить продукты и постепенно привести их к единым стандартам.
Оценку по чеклисту проводили методологи УМО — сотрудники, которые не участвовали в создании курса и могли оценить его критически и со стороны.
Также мы продвигали чеклист как инструмент для самопроверки, который помогает педдизайнеру на старте создания или переработки своего курса.
Что получилось: за полгода проверили 30+ продуктов, внесли в курсы доработки.
Трудности, с которыми столкнулись: во время аудита поняли, что многих недочётов и ошибок можно было избежать ещё на этапе создания курса, и мы сейчас вкладываем ресурсы в доработку того, что стоило учесть на старте. Для самопроверки чеклист всё ещё использовался не системно.
2021 год — запустили единый производственный процесс, внедрили обязательный этап проверки качества
Мы решили проверять качество материалов ещё на старте разработки — то есть, проверять занятия ещё до того, как пройдёт съёмка урока и материал будет загружен в кабинет студента. Проверять задачи должны были методологи УМО и руководители методических команд.
Стало ясно, что вручную организовать такую тщательную проверку — нереально. Поэтому для управления задачами мы перевели весь производственный процесс в единый трекер в ПланФикс, куда нужно заводить каждое разрабатываемое занятие. ПланФикс напоминает Trello, состоит из канбан-доски и карточек. Каждая задача проходит через этапы «В работе», «Проверка УМО», «На доработке» и так далее.
После того как педдизайнер завершил разработку черновика, задача падает на проверку и только потом двигается дальше на редактуру, дизайн, съёмку и загрузку в кабинет студента.
Что получилось: мы объединились и сделали единый масштабный процесс разработки программ, благодаря которому можем управлять качеством ещё на старте создания курса. Получили массу дополнительных преимуществ — благодаря нововведениям мы теперь можем системно управлять объёмом и скоростью нашей работы.
Трудности, с которыми столкнулись:
- Внедрение происходило очень долго — больше полугода ушло только на выстраивание системы и переход команд. Не обошлось без технических багов и головоломок.
- Мы не очень убедительно объяснили коллегам новый процесс на ранних этапах. Этап проверки увеличивал разработку на несколько рабочих дней, из-за этого многие сотрудники сопротивлялись нововведениям. Были те, кто расценивал проверки как лишний надзор, а не поддержку. Приходилось много и долго работать над тем, чтобы донести ценность проверок качества.
- Методологи и руководители не могли охватить весь объём задач на проверку, их количество от месяца к месяцу росло. Сотрудникам приходилось совмещать проверку с основными задачами. Это был, пожалуй, один из самых сложных этапов.
2022 год — создали команду по управлению качеством, внедрили план по сокращению процента доработок
Наш процесс окончательно сформировался и теперь выглядит так. Все этапы проходят в едином производственном трекере.
Мы собрали отдельную команду ревьюеров — специалистов по оценке качества учебного контента. Каждый ревьюер прикреплён к своим направлениям и проверяет все занятия, которые разрабатываются в рамках каждого направления.
На руководителях педдизайнеров осталась проверка структуры программы — только после её утверждения педдизайнер отправляется разрабатывать материалы.
Ежеквартально мы ставим перед собой план сократить процент занятий, которые не проходят проверку качества.
Что получилось: нам удалось системно запустить работу нового отдела — и процесс проверки качества окончательно встал на рельсы. Команды увидели ценность и важность нового формата работы. Мы начали активно работать с результатами проверки качества и повышать процент задач, прошедших без доработок.
Трудности, с которыми столкнулись:
- Объём работы. Перевод абсолютно всех курсов в единую систему — минимизирование курсов, проходящих мимо проверок.
- Работа над гибкостью системы — нужно было найти баланс между едиными правилами и особенностями конкретного курса.
- Выстраивание доверительных отношений между ревьюером и педдизайнером. Изначально педдизайнеры восприняли новую роль настороженно, и потребовалось время, чтобы между сотрудниками случился мэтч.
Весь путь в одной картинке
За три года от разработки чеклиста для аудита мы продвинулись к созданию целой команды специалистов, которые пристально следят за качеством образовательного контента Нетологии.
Как Нетология проводит проверку качества образовательного контента теперь
Ольга Куратникова
руководитель группы по управлению качеством контента в Нетологии
В процессе проверок участвуют два сотрудника: педдизайнер, который отправляет своё занятие на проверку, и ревьюер, который это занятие проверяет. Весь процесс организован в нашем производственном трекере. Максимальный срок проверки — 5 рабочих дней, но обычно она проходит за 2–3 дня, иногда ещё быстрее.
Проверка занятия происходит на основании паспорта — сводного документа, содержащего в себе основную информацию по уроку. Проверяющие просматривают паспорт и черновой материал — это может быть презентация вебинара или видеозанятия, а может инструкция к домашнему заданию, тесту и тому подобное.
Основные задачи ревьюера:
- проверка качества образовательного контента и формулирование обратной связи методистам;
- отсмотр итогового контента на соответствие внесённым правкам и рекомендациям;
- оптимизация стандартов качества образовательного контента;
- анализ результатов проверок;
- улучшение процессов проверок — обновление чеклистов, методических инструкций и так далее.
Качества и навыки, которые очень помогают ревьюеру в его работе — это умение взглянуть на материал свежим взглядом и глазами студента, отличное знание внутренних методических документов компании, насмотренность, внимательность к мелочам, терпение, способность погрузиться в контент занятия.
Все свои замечания и рекомендации ревьюер фиксирует в чеклисте проверки — ставит оценку по каждому пункту, соблюдаются эти критерии качества в занятии или нет. Какие-то замечания носят рекомендательный характер, и внесение исправлений в занятие остаётся на усмотрение педдизайнера. А если есть тот или иной объём критичных недочётов, задача отправляется на доработку. При этом в чеклисте ревьюер указывает конкретные замечания и причины, по которым возвращает материал педдизайнеру.
По итогу каждого месяца ревьюеры собирают отчёт по проверяемому направлению, в котором анализируют:
- общее количество задач;
- количество задач, отправленных на доработку;
- топ причин доработок — по всему направлению и по каждому сотруднику.
С результатами отчётов работает руководитель методической команды — продуктовый методолог. На основе этих данных он видит зоны для развития своих команд, продумывает способы сокращения процента доработок и организует внутреннее обучение по тем компетенциям, которые требуют развития у команды.
Педдизайнеры, задачи которых в течение трёх месяцев не отправлялись на доработку, освобождаются от проверок.
Взаимодействие ревьюера с педдизайнерами обычно строится на основе уважения, поддержки и помощи друг другу. Ревьюер выступает не контроллером, а скорее помощником, который сверяет контент занятий с критериями качества, принятыми в компании.
Для педдизайнеров-новичков ревьюер является отчасти наставником-бадди — он не просто выверяет контент, а вводит методиста в курс стандартов компании.
Какую пользу принесло введение новой системы аудита образовательного контента
Выработали универсальные стандарты качества, которые используем в создании программы и занятий. Все курсы проверяются на соблюдение этих критериев. Однако критерии не высечены на камне — мы их регулярно корректируем и обновляем. Если в методологии компании появляются изменения, мы оперативно внедряем их в наши чеклисты.
Ввели план для всей методической команды — увеличить процент контента, который проходит проверку сразу и без последующих доработок. Сначала целились в 40%, сейчас — в 90%. Каждый квартал мы освобождаем от проверок тех педдизайнеров, которые 3 месяца проходят проверки без доработок.
За 2022 год проверили и скорректировали около 2 000 единиц контента — вебинаров, видео, домашних заданий и так далее. При этом мы продолжаем исследовать материалы, потому что такой аудит — это базовый минимум методической гигиены, который необходимо соблюдать, чтобы наши студенты получали качественные материалы.
Повышаем уровень экспертности сотрудников. Благодаря тому, что начали проводить обучение по темам, которые вызывают сложности у педагогических дизайнеров и подсвечивают их зоны роста.
Каталог курсов- Получите необходимые знания и навыки для уверенного старта в онлайн-образовании
- Упакуете свой опыт как конкурентное преимущество и сможете перейти на дистанционный формат работы
- Разберётесь в процессах планирования и реализации образовательных проектов
Резюмируем
Создание чеклиста критериев качества стало для нас отправной точкой. Этот этап формирования именно своего ви́дения качественного курса универсален для компаний и команд любого масштаба. Может казаться, что все и так всё понимают, но по опыту — сколько людей, столько и мнений, и представлений о качестве. Поэтому важно договориться о единых правилах всей командой.
Отдельный вопрос — как внедрить эти критерии в реальные продукты. В нашем случае — в большой компании с большой командой — потребовалось создать полноценный операционный процесс и собрать отдел, который будет заниматься проверками качества материалов. Думаю, в небольших командах вполне можно использовать чеклист для самопроверки или кросс-проверки между педдизайнерами.
Помимо того, что систему нужно внедрить, она требует постоянной и обязательной поддержки — как минимум, необходимо регулярно актуализировать критерии качества. В Нетологии мы ещё следим за динамикой проверок каждой команды и каждого педдизайнера и регулярно повышаем показатели.
Итого, в нашей системе для создания качественного контента требуется минимум четыре участника:
- педагогический дизайнер — разрабатывает программу и контент;
- эксперт — преподаватель, с которым педдизайнер работает над курсом;
- руководитель методической команды — проверяет и утверждает структуру программы;
- ревьюер — проверяет качество занятий.
На самом деле участников гораздо больше — мы затронули только этап разработки. Если смотреть шире, то ещё в этом процессе задействованы продюсер курса, исследователь компетенций на рынке, редакторы, дизайнеры, команда видеопродакшена, координатор курса.
Мнение автора и редакции может не совпадать. Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.
Инна Ониашвили
Руководительница направления продуктовых методологов в Нетологии