Петля улучшений в онлайн-курсах / Skillbox Media

Содержание:

• Что такое петля улучшений
• Собираем обратную связь
• Определяем уровень проблемы и скорость её решения
• Работаем над ошибками
• Примеры факапов с выводами из них

Из этой статьи вы узнаете:

• что такое петля улучшений курса;
• что влияет на доходимость студентов до конца курса;
• в чём разница между NPS и CSAT, когда мы оцениваем удовлетворённость учащихся;
• как оценить уровень проблемы, найденной в курсе, и что с ней делать;
• примеры факапов в курсах и выводов, которые из них можно сделать.

• Программный директор направления «Маркетинг» в Skillbox.
• Разработал семь программ Skillbox, в том числе «SMM с нуля», «Таргетолог с нуля», «Таргетолог PRO», «Интернет-маркетолог с нуля».
• Участвовал в запуске как минимум десяти курсов компании.
• Аккредитованный партнёр по образованию myTarget и «ВКонтакте».
• Преподавал в IQBuzz, «Нетологии», 1day1step и «Деловой среде».
• Практик-экспериментатор и только после — управленец.

Курс выпущен — и всплывают недочёты, устаревают приведённые преподавателями примеры, меняются интерфейсы программ и приложений, о которых в курсе идёт речь. Приходится постоянно возвращаться, адаптировать, вносить исправления и улучшения.

Внутренний перфекционист в каждом создателе образовательного продукта требует сделать его идеальным сразу, но лучше изначально принять тот факт, что ошибки — это нормально, они будут всегда. Не ошибается только тот, кто ничего не делает. Лучше просто настроиться на то, что работа над ошибками и всякие доделки — нормальная жизнь курса после запуска. Главное — правильно всё распланировать. Расскажу про свой подход.

Что такое петля улучшений

Петлёй улучшений называется процесс постоянного анализа продукта и восприятия его клиентами, усовершенствования и адаптации. С помощью «петли» решаются две ключевые задачи:

Достижение цели. Предположим, наша цель — научить студентов готовить вкусные пирожки с вишней, тогда результатом достижения этой цели будет готовый пирожок и его вкусовые качества. Если в рецепте, приведённом на занятии, было три опечатки, студент всё равно научится замешивать тесто, варить джем и включать духовку, а в результате сделает собственный пирожок. Рвать на себе волосы из-за мелких недочётов бессмысленно, срочно перезаписывать занятие — тоже.

Представим другую ситуацию. Мы учили студентов работать с конкретным онлайн-сервисом, но дизайн последнего вдруг изменился: горизонтальное меню стало вертикальным, хотя все функции остались прежними. Информация немного устарела, но ценность полученных у нас знаний сохранилась — и студент всё равно сможет воспользоваться рекомендациями.

Если курс или вебинар в целом соответствует заложенной в него цели, то исправления можно вносить аккуратно и точечно. Другое дело, что недочёты могут быть серьёзными. Как такие вычислить и что с ними делать, разберём дальше.

Сокращение возвратов. Понятно, что для любой компании, в том числе и образовательной, возвраты проданного продукта означают потерю денег. Возвраты показывают, насколько терпимо студенты относятся к площадке обучения. Например, в Skillbox меньше трёх процентов возвратов. Это означает, что большинство студентов получают то, ради чего пришли. Такую тенденцию нужно поддерживать, улучшать этот опыт, поэтому требуется следить не только за собственными ошибками, но и за впечатлением учеников о конкретном курсе и платформе в целом.

Собираем обратную связь

Есть несколько метрик, которые позволяют нам отслеживать, как курс воспринимает аудитория. Разберём основные.

Индекс NPS (англ. Net Promoter Score) отражает лояльность покупателя бренду. Суть индекса можно выразить в ключевом вопросе: «Готовы ли вы рекомендовать нашу компанию друзьям?»

Для студента NPS — шкала со значениями от одного (клиент не будет рекомендовать) до десяти (клиент обязательно порекомендует). Если человек действительно готов дать рекомендацию, то обычно ставит оценку 8–9. Средним и даже хорошим уровнем NPS в разных сферах считаются значения от 5 до 8. При этом чем больше аудитория, тем больше будет негатива, чем меньше аудитория — тем больше возможности сделать эту метрику лояльнее.

В LMS Skillbox у нас есть линейка с теми же значениями и вопросом «Готовы ли вы рекомендовать нас?». Студент выбирает любое подходящее, после этого видит три разные категории для рекомендации, которые ему нравятся больше всего, и поле для отзывов.

Возможно, я вас удивлю, но я считаю NPS самой бессмысленной метрикой в рамках петли улучшений. Ведь рекомендация в большинстве случаев зависит не от качества контента или, например, уровня его подачи, а от состояния человека в данный момент времени. Если у него хорошее настроение, то он, может быть, и готов рекомендовать, а если плохое — то нет.

Динамика количества оценок и значения NPS может быть никак не связана с контентом и его подачей, но она связана с восприятием. Чем лучше ваш бренд и обслуживание клиентской базы, тем лучше будут показатели. Однако полностью ориентироваться только на эту метрику не стоит, её эффективность относительна.

Доходимость до конца курса, или COR (Completion Rate), — важная метрика, которая показывает, как студенты проходят тот или иной курс и насколько хорошо мы удерживаем аудиторию.

Часто создатели курсов рассчитывают на то, что взрослые люди принимают осознанное решение учиться, платят за обучение деньги и поэтому будут проявлять старательность и активность. Но на самом деле они лишь хотят закрыть потребность в своём желании развиваться, однако зачастую не готовы предпринимать усилия для того, чтобы превратить это желание во что-то деятельное.

Возникает проблема: студенты теряют запал уже после просмотра первого модуля, а иногда не доходят даже до него.

Исключение составляет аудитория, которую я называю «сейчас или поздно»: в основном это люди от 45 лет, у которых нет другого выхода, кроме как научиться чему-то новому, — например, в их маленьком городе закрыли единственное подходящее им место работы или их профессия в принципе исчезает. Они могут не знать, что такое «скроллить», «гуглдок», и не уметь сделать копию этого загадочного гуглдока, им придётся постоянно обращаться к преподавателю за разъяснением самых простых вопросов. Но, несмотря на все преграды, они сделают всё, чтобы получить нужные знания и навыки.

Для остальных студентов увеличивать доходимость приходится разными способами. Перечислю несколько из них ниже.

1. Помочь определиться с целями. Например, в Skillbox есть личные консультанты, которые ещё до начала обучения проговаривают с теми, кто записался на курс, основы: ради чего человек пришёл учиться, сколько времени он готов потратить на обучение и как он может получить поддержку (тьюторов, кураторов, в общих чатах). Всё это помогает замотивировать людей на учёбу, и показатель доходимости до конца курса начинает расти.

Читайте также:

6 признаков студента, который дойдёт до конца курса

2. Закрепить успех. Казалось бы, человек, который сдал первое домашнее задание, сдаст и второе, и третье и вообще будет отлично учиться дальше. На самом деле студенты быстро перегорают и постепенно теряют интерес к тому, что начинает у них получаться. Поэтому каждого нужно постоянно мотивировать, подбадривать и поддерживать. В Skillbox для этого есть специальные мотивирующие уроки: до и после первого модуля, на «экваторе» (в середине курса) и в последнем модуле.

Всего несколько роликов по 1,5 минуты — такая поддержка помогает человеку не бросать учёбу, продвигаться всё дальше. После прохождения «экватора» студенты часто оставляют положительные отзывы, им приятна забота, их радует собственный успех. А внутреннее восприятие и доходимость до конца курса напрямую связаны друг с другом.

3. Поддерживать темп обучения. Сейчас распространено микрообучение: одна глобальная задача, разбитая на компетенции или модули, а модуль разбит на небольшие уроки от 5 до 15 минут — это и есть темп. Он зависит и от создателей курса, и от самого ученика. Например, может поддержать студентов банальный, на первый взгляд, урок в начале курса, в котором ведущий курса говорит ему: «Молодец, ты смог пройти первый модуль, теперь мы двигаемся в заданном темпе, ты понял, что ты можешь, что у тебя есть цель, — выпиши её».

С темпом может возникнуть и другая проблема: когда мы готовим курс или занятие, иногда эксперту хочется рассказать о предмете всё, что он знает. Но это бессмысленно, ведь такой гигантский объём информации за короткий срок просто не уложится в головах слушателей, цель не будет достигнута.

Когда-то модули, которые я записывал, занимали до четырёх часов, хотя по стандарту это один, максимум два часа. Их проходимость занимала до двух недель. Методологи убеждали меня упрощать и сокращать. Я послушался. В итоге показатели проходимости упали до восьми-девяти дней, и всё пошло хорошо.

Люди забывают то, что они учили, уже через час, поэтому должна быть чёткая структура и система подсказок: тайм-коды к видео и инструкции.

Проблема также может крыться в терминах, когда педагоги и студенты говорят на разных языках. Никогда не стоит забывать о том, что студент должен понимать, о чём мы пишем или спрашиваем. Если в материале или тесте есть заведомо новые для аудитории термины, то обязательно нужен глоссарий.

Это неоднозначная метрика, но нужно учитывать любую обратную связь, в том числе:

• оставленную в чатах;
• отправленную по электронной почте;
• переданную преподавателям;
• оставленную вместе с оценкой;
• полученную от внешних экспертов в результате аудита или обучения.

Обратную связь нужно получать отовсюду, а у студентов должна быть возможность её оставить. Читать негативные отзывы при этом очень полезно, чтобы отрабатывать их и не работать потом на возвратах, теряя деньги.

Однако обратная связь может быть связана с конкретными техническими накладками (например, звук пропал, ссылки не работают), а может быть и обычным субъективным мнением. Вот, например, реальные отзывы об одном и том же видео:

• «Слишком быстрая скорость речи, практически нет пауз между темами, не сразу понимаешь, что речь идёт уже о чём-то другом».
• «Этот материал намного лучше, чем был в 2019 году! Если смотреть на скорости 1,25, то ещё лучше!»

Технические баги можно быстро поправить. А вот субъективные мнения — не повод срочно менять контент или его подачу: как говорится, «на вкус все фломастеры разные», у каждого своя точка зрения. Но и полностью игнорировать их тоже не стоит, они могут быть полезны.

Определяем уровень проблемы и скорость её решения

Я делю проблемы учебных курсов на несколько типов по степени важности и скорости, которая требуется на их исправление.

• Стоп-препятствие. Иначе говоря, некая ошибка, зачастую техническая, которая не даёт пройти обучение. Например, со звуком сначала всё было нормально, но по какой-то причине он вдруг пропал.
• Возвраты. Конечно, речь идёт о множественных возвратах. Если один студент потребовал деньги назад, то это повод проанализировать ситуацию, но если возвратов уже три — это система, значит, учащиеся столкнулись с некой общей проблемой.
• Неактуальность контента. Бывает, что инструменты, которые мы используем в работе, меняются — например, те же интерфейсы рабочих приложений, которые использованы в курсе. Со временем информацию можно актуализировать, но нужно понимать, действительно ли изменения критичны и как они влияют на достижение цели.
• Низкий CSAT. Он может означать как плохое качество контента или, например, тестов, так и проблемы с преподавателем. В любом случае на поиск и решение этих проблем потребуется время.
• Проходимость. Проблема может заключаться как в самих курсах, так и в мотивации студентов. Второй случай — тоже в зоне ответственности создателей курсов, но не входит в петлю улучшений курса.

Моментально реагировать нужно на стоп-препятствия, поскольку они непосредственно влияют на возможности обучения.

Все остальные исправления могут быть спланированы в рамках одного-трёх месяцев. За это время нужно понаблюдать за динамикой изменений в количественных параметрах и следить за отзывами.

Работаем над ошибками

Есть три вида реакции на проблемы любого типа, будь то контент, тесты, домашние работы или взаимодействие со студентами.