Мы познакомились с базовыми и усовершенствованными метриками контента и студентов. Посильность помогает улучшать учебный контент и настраивать его на студентов в среднем, так как данная метрика основана на подсчете среднего супербалла для конкретной единицы контента. Успеваемость показывает, как конкретный студент в целом справляется с уроком, темой или курсом к настоящему моменту, поскольку эта метрика – средний супербалл по данному студенту.

Дельта

На практике могут возникать ситуации, когда нужно посмотреть, как данный студент учится относительно других студентов, или, другими словами, относительно среднего студента. Этот запрос обычно обусловлен растущим интересом к персонализации учебного опыта – настройки обучения не на студентов в среднем и целом, а на конкретного студента. И для этого важно понять, какие учебные трудности испытывает конкретный студент.

Так у меня появилась метрика под названием «дельта», которое говорит само за себя: дельтой обычно обозначается разница между двумя значениями. В нашем случае дельта – это разница между тем, как с заданием справлялись студенты в среднем, и тем, как с ним справляется конкретный студент. Таким образом, дельта представляет собой разность между посильностью задания и супербаллом данного студента по этому заданию.

Вспомним, что посильность и супербалл могут принимать значения от 0 до 1 включительно, следовательно, дельта как их разность может принимать значения от –1 до 1 включительно. Отрицательные значения дельты свидетельствуют о том, что для данного студента задание оказалось менее посильным, чем для студентов в среднем; положительные, наоборот, – что данному студенту справиться с заданием оказалось проще, чем студентам в среднем. Значения, близкие к нулю (обычно в интервале от –0,1 до 0,1), означают, что этот студент, решая данное задание, не отличается от других.

Рассмотрим, как дельта рассчитывается в коде. Обращаю ваше внимание на то, что для подсчета нам нужны два объекта: данные с рассчитанными супербаллами и посильность заданий (таблица cf_se_i[40]). Таким образом, представленный код должен применяться после расчета посильности, описанного в соответствующей главе этой книги. Итак, код для расчета метрики «дельта» по заданиям выглядит так:

В этом коде мы сначала объединяем данные по супербаллам студентов за задания со значениями их посильности с помощью команды df %>% inner_join(cf_se_i, by = "task_id"). Таким образом, в одной строке у нас появятся идентификатор студента, идентификатор задания, супербалл студента за задание и посильность задания. Это позволит рассчитать собственно дельту с помощью команды delta_i = round(scoreij – cf_i, 2) как разность супербалла студента за задание с посильностью этого задания. Затем для удобства определяем референсный индекс с помощью команды delta_i_label = case_when(delta_i < -0.1 ~ "negative", delta_i > 0.1 ~ "positive", TRUE ~ "neutral"), маркирующей значения в интервале от –0,1 до 0,1 как нейтральные, а меньшие и большие значения – как отрицательные и положительные соответственно.

Мини-практикум. Каковы дельты студента 00dbddaf9eef1970f1e76b13b5450266 в заданиях 00b215f49dd523c7, 09406474610bb1ec и 13e69a781ac0a474?

Правильный ответ: 0,21 (позитивная), – 0,69 (негативная) и 0,08 (нейтральная)[41].

Дельта может быть интересной метрикой не только для отдельного задания, но и для более высоких уровней контента – уроков или тем. Для урока сначала необходимо подсчитать все дельты для заданий внутри этого урока, а затем вычислить по ним среднее значение.

Для других уровней контента подсчет будет аналогичным.

Мини-практикум. Сколько уроков для студента 00dbddaf9eef1970f1e76b13b5450266 имеют положительные, нейтральные и отрицательные дельты?

Правильный ответ: 5 положительных, 8 отрицательных, 13 нейтральных[42].

Дельта – полезный инструмент для настройки обучения на конкретных студентов, так как позволяет определять, каким студентам не давались отдельные задания или целые уроки и темы, и помогать им. Ценность метрики заключается в том, что она позволяет вслед за посильностью уточнить трудности. Если посильность высвечивает трудные элементы контента в целом, то дельта показывает, что даже оптимальные с точки зрения посильности элементы контента могут быть непосильными для отдельных студентов; идентифицирует как студентов, так и конкретные элементы контента. С практической точки зрения дельта может стать инструментом для персонализации. Например, студенты получают различный автоматизированный фидбэк в зависимости от категории дельты в разных разрезах, наставники могут рекомендовать дополнительный материал на основании значений дельты, а студентам с отрицательной дельтой может быть назначен «бадди» из числа студентов с положительной дельтой. Эти приемы сейчас апробируются в Практикуме.

Прогресс

Практический запрос всегда инициирует создание новых метрик. Однажды ко мне обратились коллеги с таким запросом. Студентам непрозрачен и непонятен прогресс в обучении – им важно видеть, где они уже преуспели, а где нужно поднажать. Обычно для этих целей платформы используют метрику прогресса, которая рассчитывается как доля уже пройденного или решенного от того, что платформа предлагает (готова предложить) в рамках изучаемого урока, темы или курса. Однако у такой метрики есть проблема: прогресс не отражает усилий, затраченных на его достижение; другими словами – того, какова посильность этого прогресса. Для примера: если мы возьмем двух студентов, прошедших равную долю заданий в уроке, их метрика прогресса будет одинаковой. Но если учесть, что один выполнил эти задания с первой попытки и без использования помогающих механик, а второй многократно пытался и часто обращался к помощи, станет очевидным, что прогресс не отражает реальности, он не будет валидной метрикой, которую мы можем показать студенту.

В ходе размышлений над тем, как с позиций валидности продемонстрировать студентам прогресс, мне пришла в голову идея корректировать значение прогресса на значение успеваемости. Так, два упомянутых студента получат разные значения метрик, отражающие индивидуальные различия в достижении прогресса. Мы решили назвать эту метрику скорректированным прогрессом. В коде ее расчет выглядит так:

Разберем код подробнее. Сначала группируем данные по темам group_by(topic_id). Затем в каждой теме считаем общее количество заданий mutate(total_tasks = n_distinct(task_id)). Далее для каждого студента в каждой теме считаем количество заданий, с которыми он взаимодействовал, – tasks_interacted = n_distinct(task_id), и соответствующее значение успеваемости lp_j = round(mean(scoreij), 2). Наконец – значение прогресса как отношение пройденного к общему числу заданий в теме prog = round(tasks_interacted / total_tasks, 2) и завершаем корректировкой полученного значения на успеваемость cor_prog = round(prog * lp_j, 2). Это значение и есть скорректированный прогресс.

Мини-практикум. Чему равен прогресс и скорректированный прогресс студента 00dbddaf9eef1970f1e76b13b5450266 по теме a9768f44? Интерпретируйте эти значения.

Правильный ответ: прогресс студента равен 0,77, так как студент взаимодействовал с 10 задачами из 13 представленных в теме, при этом его скорректированный прогресс равен 0,49, так как успеваемость была субоптимальной – 0,63[43].

Обратите внимание, что скорректированный прогресс более ценен для интерпретации. На графике (рис. 5) мы видим, что чем дальше студенты продвигаются по темам в смысле технического прогресса (доли сделанного от имеющегося), тем более разнообразным получается их скорректированный прогресс. У тех, кто имеет 100 %-ный технический прогресс (справа), – разнообразный скорректированный прогресс. Это может свидетельствовать о такой проблеме: завершая тему, студенты по-разному владеют материалом, и, очевидно, тем, кто имеет низкий скорректированный прогресс по завершении обучения, необходима дополнительная практика.

^{Рис. 5. Соотношение прогресса и скорректированного прогресса}

Важно отметить, что скорректированный прогресс полезно считать не только для уроков или тем, но и для метауровней содержания, например скиллов. Когда есть определенное количество учебного контента или заданий на определенный скилл, но они распределены между уроками или темами, скорректированный прогресс покажет процесс освоения в пределах этого скилла по всем урокам и темам.

Практика показывает, что студенты считают эту метрику полезной, особенно в сочетании с долей пройденного. Другими словами, они видят свой скорректированный прогресс относительно чистого прогресса (доли уже пройденного). Это помогает им сфокусировать усилия на повторении или дополнительной практике там, где различия между скорректированным и чистым прогрессом велики.