В этой главе мы опишем исследование, которое провели с целью изучить, насколько учебные трудности, выраженные с помощью метрики «дельта», связаны с досрочным завершением обучения. Можем ли мы использовать дельту как инструмент работы с учебными трудностями студента и тем самым увеличивать вероятность успешного прохождения обучающей программы? Такие исследования называют валидизационными.
Для достижения этой цели мы взяли данные по дельтам студентов одной из учебных программ (профессий), а также статус их обучения (закончили ли они обучение, продолжают ли учиться или отчислились), дату и причину их отчисления. Напомним, что дельта – это метрика, которая показывает, насколько конкретному студенту легко или тяжело учиться по сравнению со средним студентом. Дельта рассчитывается как для отдельных заданий – квизов, так и для более крупных единиц обучающей программы – уроков, тем и курсов.
В этом исследовании нас интересовали как раз эти более крупные дельты курсов и тем, так как можно предположить, что студент принимает решение отчислиться не потому, что ему тяжело даются некоторые отдельные задания, а скорее, потому, что ему сложно учиться в целом. Основная часть отчислений происходит в начале обучения, поэтому мы сфокусировались на курсах начального периода обучения. Мы выделили в исследовании несколько этапов, которые отвечают на следующие вопросы:
1. Есть ли различия в дельтах за курс у студентов, которые отчисляются после этого курса, и у студентов, которые остаются после этого курса? За сколько курсов до отчисления проявляется это различие?
2. Позволяют ли дельты по темам говорить о том, какие темы более важны для определения возможного отчисления?
Для ответа на эти вопросы мы взяли данные по дельтам курсов и тем, имеющие отношение к студентам, проходившим обучение в течение полугода, за два курса с начала обучения. Всего за полгода эти два курса прошли 1159 студентов, из которых 224 отчислились в какой-то момент этого периода – 181 студент после первого и 43 студента после второго курса. Посмотрим на распределение дельт по этим курсам (табл. 16).
Таблица 16. Основные описательные статистики
Мы видим, что средняя дельта студентов за каждый курс находится около нуля. Это довольно ожидаемо и означает, что по этому показателю выборка не отклоняется от генеральной совокупности. Кроме того, дельта за курс 2 характеризуется гораздо большим разбросом, особенно это видно на положительной дельте: на втором курсе некоторым студентам было значительно проще учиться, чем среднему студенту. Возможно, это некий эффект снежного кома: студенты, которые лучше освоили первый курс, намного лучше чувствовали себя на втором. Также возможно, что дельты за второй курс обладают большим числом выбросов. Посмотрим на графические распределения дельт (рис. 6) и попробуем проверить, существует ли такая взаимосвязь между курсами.
Рис. 6. Распределения дельт в курсах 1 и 2
Мы видим, что дельты курса 1 расположены более плотно вокруг 0, чем дельты курса 2, а также что очень высокие значения положительной дельты на курсе 2 – это, скорее, выбросы. Посмотрим на взаимное распределение дельт за эти два курса (рис. 7); выбросы удалены ради визуальной чистоты.
Рис. 7. Взаимные распределения дельт в курсах 1 и 2
Действительно, студенты, которые испытывали трудности на курсе 1, склонны испытывать трудности также на курсе 2, и наоборот. Но все же большинство студентов находятся в средней зоне: они не испытывают ни существенных трудностей, ни существенной легкости по сравнению со средним студентом. Если оценивать уровень взаимосвязи между двумя дельтами, то корреляция между ними равна 0,47, что свидетельствует о достаточно высоком уровне взаимосвязи между показателями дельты на этих двух курсах.
Мы описали данные для этого исследования, теперь перейдем к поставленному в нем вопросу. Сформулируем гипотезы нашего исследования.
1. Студенты, отчисляющиеся в течение или после прохождения курса, испытывают большие сложности на данном курсе, чем те, кто продолжает обучение или уже закончили его и приступили к профессии.
2. Студенты, отчисляющиеся в течение или после прохождения курса, испытывают большие сложности на предыдущем курсе, чем студенты, которые продолжают обучение или уже закончили его и приступили к профессии.
На каждом курсе мы разделили студентов на три группы на основании их результатов:
1) студенты, успешно прошедшие этот курс и продолжающие обучение в настоящее время или успешно закончившие обучение;
2) студенты, успешно прошедшие этот курс, но отчислившиеся в дальнейшем;
3) студенты, отчислившиеся по итогам этого курса.
Для проверки первой гипотезы мы сравнивали дельты первой и третьей групп студентов, а для проверки второй – первой и второй групп. Предполагаем, что дельты обучающихся в среднем выше, чем дельты отчисляющихся. Посмотрим эти данные на графиках (рис. 8–10), где представлены ящичные диаграммы для каждой пары групп студентов.
Рис. 8. Дельта за курс 1 у продолжающих учиться студентов и студентов, отчислившихся после этого курса
Рис. 9. Дельта за курс 2 у продолжающих учиться студентов и студентов, отчислившихся после этого курса
Рис. 10. Дельта за курс 1 у продолжающих учиться студентов и студентов, отчислившихся после следующего (второго) курса
На этих диаграммах видно, что дельты студентов, продолжающих обучение, несколько выше дельт отчислившихся студентов, а значит, графически наши гипотезы выглядят верными. Осталось провести статистический анализ, чтобы посмотреть на значимость и размер этих различий.
Для анализа мы использовали t-критерий Стьюдента для независимых выборок с поправкой Тьюки на множественные сравнения, а для расчета размера эффекта – показатель D Коэна (табл. 17).
Таблица 17. Результаты статистических тестов (к рис. 8–10)
Таким образом, можно сделать вывод, что у студентов, которые отчисляются, дельта значительно ниже. При этом по дельте на курсе 1 очевиден прогноз, какие студенты станут отчисляться после курса 2. По результатам этого анализа можно утверждать, что необходимо обращать внимание на студентов, испытывающих учебные трудности, еще и потому, что работа с ними позволяет уменьшить вероятность прекращения их обучения.
Однако студенты отчисляются по разным причинам, в том числе по личным, финансовым и другим. И если отчисление по учебным причинам можно предупредить, то работать с неучебными сложно.
Посмотрим, сможем ли мы разграничить студентов, отчисляющихся по разным причинам (в Практикуме каждое отчисление классифицировано на две категории: по учебным и неучебным причинам). Если у студента все получается, но он отчисляется по неучебной причине, то дельты отчисляющихся по учебным и неучебным причинам должны различаться. Стоит отметить, что со второго курса отчислились всего 43 человека, и если их классифицировать, то у нас будет достаточно мало студентов в каждой группе. Это уменьшает возможности статистического вывода.
Приведем аналогичные ящичные диаграммы (рис. 11–13).
Рис. 11. Дельта за курс 1 у студентов, отчислившихся по разным причинам после данного курса
Рис. 12. Дельта за курс 2 у студентов, отчислившихся по разным причинам после данного курса
Рис. 13. Дельта за курс 1 у студентов, отчислившихся по разным причинам после следующего курса
Здесь мы видим интересную картину: в первом случае дельты одинаковые, тогда как во втором и третьем различаются, и довольно существенно. Если проверить это статистически, то получим следующие результаты (табл. 18).
Таблица 18. Результаты статистических тестов (к рис. 11–13)
Мы видим, что различаются дельты тех, кто отчислился после второго курса, но не после первого. Этому может быть несколько вариантов объяснения:
• результаты по второму курсу – случайный выброс из-за небольшого размера выборки;
• после успешного прохождения первого курса (на котором происходит знакомство с профессией) уменьшается доля тех, кому сложно учиться, поэтому те, кто отчисляется по неучебным причинам, в среднем трудностей не испытывают.
В любом случае этот результат помогает понять, какие студенты уже близки к тому, чтобы отчислиться, и обратить особое внимание на тех, кто испытывает особые трудности в обучении.
Описанное исследование позволяет сделать следующие выводы о связи учебных трудностей и доходимости студентов.
1. Успеваемость студентов (их учебные успехи и трудности) довольно тесно связана с их доходимостью. Зная, насколько преуспевает конкретный студент по сравнению с другими, можно судить о том, будет ли он учиться дальше или бросит учебу. Если мы хотим увеличить количество студентов, которые продолжат учиться и дойдут до конца обучения, целесообразно работать над их успеваемостью и помогать справляться с учебными трудностями.
2. Имеет значение успеваемость не только в конкретный момент, но и на предыдущих этапах обучения. Успеваемость на предыдущих курсах влияет на то, бросит ли студент учебу в дальнейшем, хотя и не так сильно, как текущая успеваемость. По сути, любая неуспеваемость имеет критическое значение и может способствовать тому, что студент бросит учебу.
Важно отметить, что в практике психометриков и аналитиков подобные валидизационные исследования должны проводиться в отношении всех метрик. Валидизация – это центральное понятие психометрики как науки. Процесс валидизации не исчерпывается единственным исследованием: это всегда сумма аргументов в пользу инструментов, метрик и алгоритмов. Или против них – так тоже бывает.