Мы убедились, что растущее количество метрик, требующих внимания и усилий, чтобы принять решение, – это проблема, касающаяся и студента. Соответственно, как и для контента, здесь тоже актуальна суперметрика – успеваемость. Она объединяет все логируемое взаимодействие студента с учебным продуктом: верность решений, количество попыток, использование подсказок и помогающих механик вместе с понятной интерпретацией. Давайте познакомимся с этой метрикой.

По своей сути метрика успеваемости близка метрике посильности: она также основана на обобщении супербаллов. Главное различие этих метрик заключается в том, что при расчете посильности мы обобщаем супербалл факторов, которые относятся к контенту (отдельной задачи, урока, темы), а при расчете успеваемости используем средние характеристики, имеющие отношение к студенту.

Текущая успеваемость

В общем виде успеваемость считается как средний супербалл студента, а вычислительный код, в котором мы сразу интегрировали и подсчет успеваемости, и ошибки, и выведение референсных категорий (как в главе о посильности), выглядит так:

Принцип расчета заключается в вычислении среднего значения всех имеющихся на текущий момент супербаллов данного студента. Другими словами, мы должны отобрать все задания, которые решал студент к настоящему времени, и подсчитать среднее значение супербаллов по этим заданиям. В результате применения указанного кода получим простую таблицу (первые шесть строк которой можно посмотреть, используя знакомую команду head(as.data.frame(lp_se_j)) (скрин. 10).

^{Скриншот 10}

Каждому студенту соответствует значение успеваемости и соответствующее ей значение стандартной ошибки. Обе метрики сопровождаются референсными категориями в предпоследнем и последнем столбцах). Метрика может принимать значения в интервале от 0 до 1 включительно, где 0 означает, что студент не справился ни с одной задачей, а близкие к нулю цифры – что студент решал подавляющее большинство заданий с большим количеством попыток и с использованием всех имеющихся помогающих механик. Важно заметить, что, поскольку при расчете супербалла мы заложили дифференциацию тех студентов, которые совсем не справились с задачей, и тех, кто справился, но с большого числа попыток и прибегал к подсказкам (используя потолочное значение корректировки на попытку), чистый 0 будет соответствовать только случаям, когда студент не справился ни с одной из предложенных задач. В свою очередь, 1 соответствует случаям, когда студент каждую задачу на текущий момент решил с первой попытки без помогающих механик. Такая успеваемость называется текущей.

Метрики успеваемости и посильности имеют единую интерпретацию (табл. 15).

^{Таблица 15. Референсные интервалы и интерпретация успеваемости}

Мини-практикум. Каковы значение и категория текущей успеваемости студента 06ec7a233d9c27e55d8e633faf02602f?

Правильный ответ: 0,79 (оптимальная)[37].

Успеваемость по урокам и темам

На практике нас может интересовать не только текущее значение успеваемости, но и отдельные показатели успеваемости по урокам или темам (или другим укрупняющим сущностям контента). Если нужно рассчитать успеваемость студента по теме, мы отбираем все его супербаллы по этой теме и находим среднее значение. Делается это с помощью кода, который, как и предыдущий, уже включает расчет и стандартной ошибки, и референсных категорий:

Результирующая таблица будет иметь следующий вид (скрин. 11):

^{Скриншот 11}

Мы видим, что теперь успеваемость (третий столбец) приведена по каждой теме (второй столбец), пройденной студентом (первый столбец). В разрезе тем подсчитаны и стандартные ошибки.

Мини-практикум. По какой теме успеваемость студента из мини-практикума выше (06ec7a233d9c27e55d8e633faf02602f) была лучшей?

Правильный ответ: по теме 23404d4f со значением успеваемости 0,90[38].

Аналогичный подсчет производится и для урока, и для курса, и для любых других иерархий. Важен еще один момент: мы можем посчитать успеваемость по урокам или темам двумя способами: изолированным и накопительным. Изолированный способ я описал ранее: отбираем супербаллы студента по конкретному уроку (теме или курсу) и делаем подсчет. В изолированном виде метрика показывает, насколько легким или трудным оказался для него именно этот урок. Но на практике важно отслеживать успеваемость и в динамике: видеть, падает ли она, растет или сохраняется от урока к уроку и от темы к теме. Для этого мы считаем накопительную успеваемость.

Накопительная успеваемость

Для того чтобы рассчитать накопительную успеваемость по темам, нужно сделать следующее. Для первой темы принцип расчета не меняется: отбираем супербаллы этого студента по данной теме и находим среднее значение. А вот для второй и последующих тем (или уроков) принцип расчета иной. Для подсчета по второй теме нужно отобрать супербаллы этого студента и по первой, и по второй темам, вместе взятым, и рассчитать среднее значение. Для третьей темы нужно отобрать супербаллы для трех тем, вместе взятых.

В коде эта формула представляется так:

Таким образом, рассчитанная успеваемость будет учитывать накопительный эффект: мы можем увидеть положительные или отрицательные изменения или не увидеть их вовсе.

Положительные изменения показывают, что от темы к теме успеваемость студента улучшается. Отрицательные, наоборот, свидетельствуют об ухудшении успеваемости студента в течение курса. Именно отображение накопительного эффекта является достоинством этой метрики (в отличие от расчета по урокам или темам изолированно).

Мини-практикум. Какова динамика накопительной успеваемости студента?

Правильный ответ: плавно нисходящая (от 0,90 к 0,79), при этом находящаяся в оптимальной категории[39].

Работа с обеими метриками, изолированной и накопительной, очень полезна. Глядя на изолированную метрику по темам, мы увидим, какие темы вызывали особые трудности у студента, а какие, наоборот, были для него простыми. А метрика в накопительном виде показывает именно тренд в успеваемости студента. По моему опыту, чаще всего значительный негативный тренд в течение нескольких тем четко предсказывает, что студент бросит обучение (на профессиональном сленге это называется «отвал»). В то же время отдельные темы, вызвавшие особые трудности, в меньшей степени предвещают «отвал», что не отменяет необходимости вносить улучшения в эти темы, если трудности их усвоения характерны для большого числа студентов.

Расчет успеваемости как конструктор

Успеваемость может быть посчитана и для учебной группы (или подгруппы). В датасете наши студенты отнесены к двум условным группам: A и В. Для этого мы отобрали супербаллы не конкретного студента, а нужной нам группы (или подгруппы) и рассчитываем среднее значение по уроку, теме или курсу. В этом случае вычислительный код для расчета успеваемости группы выглядит так:

В результате применения этого кода получим таблицу следующего вида (скрин. 12):

^{Скриншот 12}

Наконец, мы можем увидеть успеваемость группы в интересующем нас разрезе, например по урокам или по темам. Для этого вместо корзинок по группам нужно собрать корзинки по темам и группам. В предыдущем коде команду group_by(group) заменяем на group_by(topic_id, group). В результате получим более подробную аналитику успеваемости групп по каждой теме (скрин. 13).

^{Скриншот 13}

Таким образом, как и в случае с посильностью, код для вычисления успеваемости работает как конструктор: мы можем сконструировать аналитическое решение (почти) для любой комбинации описывающих переменных. Согласитесь, это очень удобно.

Работая с метриками, важно понимать, насколько им можно доверять. Для этого мы обращаемся к расчету стандартной ошибки. Практика показывает, что метрикам можно доверять, если значение стандартной ошибки по ним не превышает 0,05–0,075. Это формирует достаточно плотные или узкие доверительные интервалы по метрике.

Практические советы

Основной сценарий практического использования опирается на метрику успеваемости в условиях сопровождения и поддержки студентов. Человеческий компонент (менторы, наставники, консультанты) занимает важное место во многих учебных проектах. Этот компонент помогает студентам не чувствовать себя одинокими в процессе обучения, создает ощущение, что на кого-то можно положиться и кто-то обязательно придет на помощь, если в процессе обучения возникли сложности, а автоматизированные инструменты поддержки не дали эффекта. При этом этот компонент является очень капиталоемким, потому что там задействовано самое дорогое – человеческий ресурс, и часто это высококвалифицированные специалисты. Компании нередко сталкиваются с трудностями при наращивании этого человеческого компонента: в какой-то момент линейное масштабирование (с ростом числа студента растет команда поддержки и сопровождения) становится невозможным.

Метрика успеваемости может улучшить качество сопровождения. Есть два ключевых варианта сценария использования этой метрики. Первый направлен на выявление конкретных трудностей у конкретных студентов. Мы можем регулярно (например, ежедневно или еженедельно) производить мониторинг студентов, показавших низкие значения (например, в категории frustrating или suboptimal) по определенным урокам. Далее этим студентам можно предложить подключиться к дополнительному вебинару по этому уроку. Это работает лучше по сравнению с подходом, когда у нас есть «контактный час» и любой желающий при наличии проблемы может прийти. Почему? Потому что мы предлагаем помощь именно тем, кому она действительно будет полезна (на основе аналитики).

Второй вариант сценария подразумевает выявление студентов, испытывающих систематические трудности, например тех, кто последовательно несколько уроков или тем оказывается в категории frustrating или suboptimal. Им можно предложить систематическое сопровождение (например, выделенный чат). Другой способ – назначить сильных студентов помогать тем, кто испытывает трудности. И опять нам поможет метрика успеваемости: нужно просто обратить внимание на студентов группы optimal и дать им возможность побыть в роли помощников своих одногруппников.

Итак, использование метрики успеваемости поможет гибко настроить и таргетировать сопровождение и поддержку студентов, предлагая и направляя помощь тем, кому она действительно нужна, и не перегружая общением тех, кто не испытывает трудностей в обучении.