Итак, вы познакомились с моей любимой, без преувеличения, наукой – психометрикой. Вместе мы сделали первые шаги в расчетах и интерпретациях базовых метрик этой науки. Узнали, как эти метрики могут быть полезны малым и большим EdTechʼам. Я очень этому рад.

Рассмотренные в книге метрики можно классифицировать по двум основаниям. Первое – для какой стороны взаимодействия рассчитывается метрика, для студента или для контента; собственно, это позволяет выделить метрики студента и метрики контента. Второе – основана метрика на одной или сразу на всех (или многих) сторонах взаимодействия студента с контентом; так мы различаем базовые и суперметрики. Например, метрика доли верных ответов на задание – это метрика, характеризующая задание, учитывающая только верность ответа; это базовая метрика студента. Тогда как метрика успеваемости – это метрика, характеризующая студента, рассчитанная на основе супербалла, содержащего всю информацию о взаимодействии студента с заданием; это суперметрика студента.

Кроме того, базовые метрики отличаются от суперметрик еще и тем, что последние могут быть рассчитаны для любого уровня вложенности как на стороне студента (студент, когорта и пр.), так и на стороне контента (задание, урок, тема и пр.), тогда как базовые метрики определяются на индивидуальном уровне – для отдельного задания и конкретного студента.

Наконец, мы проанализировали и другие суперметрики, характеризующие студентов и разработанные для более глубокого понимания их учебного опыта и учебного прогресса, а также соответствующих практических приложений. Метрики, относящиеся к контенту, помогают улучшать его и делать это эффективно: улучшать там, где нужно, и не касаться того, где все хорошо. Метрики студента, в свою очередь, помогают балансировать учебный опыт и улучшать результаты через дополнительные интервенции – сопровождение и поддержку, коллаборативное обучение, автоматизированные инструменты (табл. 19).

^{Таблица 19. Обобщающая таблица о (психо)метриках, рассмотренных в книге}

Говоря о продуктовой или бизнес-ценности рассмотренных метрик, важно отметить следующее. Работая с метриками, мы должны ориентироваться на единую и удобную шкалу интерпретации, которая включает в себя четыре категории: фрустрирующую, субоптимальную, оптимальную, скучную. Они применимы к обеим взаимодействующим сторонам: и к студентам, и к контенту. Моя практика и исследования показали и продолжают показывать, что именно оптимальная категория приводит к желаемым продуктовым и бизнес-результатам: контент пробных уроков оптимальной посильности в большей мере способствует покупке платной части курса; студенты с оптимальной успеваемостью дольше остаются на курсе и чаще успешно заканчивают обучение. Таким образом, (психо)метрики, рассмотренные в этой книге, живут не в вакууме, а тесно связаны с метриками EdTech-бизнеса, с краткого обзора которых начинается введение к этой книге.

Однако важно заметить, что содержание этой книги стоит рассматривать исключительно как путь от 0 до 1. А путь от 1 до 100 еще более увлекателен. Почему я в этом уверен? Потому что возможности психометрики с точки зрения поиска возможностей для максимизации успеха студентов, улучшения образовательных продуктов, усиления образовательного бизнеса очень широкие, если не безграничные. Расскажу коротко об этих возможностях.

Самое главное – это студенты и их успех. Поэтому первая возможность – это поиск ответа на вопрос: как максимизировать успех студента? Здесь психометрика включается в исследовании процесса обучения, выявлении продуктивных стратегий обучения и паттернов взаимодействия с учебным продуктом. Так, анализ сильных и слабых студентов не по отдельности, а как класса поможет найти стратегии обучения в конкретном образовательном продукте, уже подтвержденные опытом сильных студентов, и совершить их трансфер к слабым. Кроме того, имея данные не только об учебных результатах, но и о внешних критериях (например, о трудоустройстве после обучения в продукте или сдаче экзамена после онлайн-подготовки в продукте), психометрика поможет найти стратегии для максимизации успеха или наступления этих целевых для студента событий.

Вторая возможность – это углубленное исследование того, как работает учебный контент. Одним из примеров является поиск взаимосвязей между учебными трудностями, с которыми сталкиваются студенты, и разматывание этого клубка трудностей. Приведу пример сети учебных трудностей, о которой я рассказывал в 2022 году на большой конференции Яндекса об образовании. На схеме (рис. 14) точки обозначают задачи, а оттенки серого цвета соответствуют темам – от первой (черного цвета), в которой всего четыре задачи, и далее по часовой стрелке к последней (белого цвета). Мы видим, как трудности, возникая в одной задаче первой темы, далее накапливаются от темы к теме (линии показывают взаимосвязи между отрицательными дельтами и фактически индивидуальными трудностями студентов в каждой задаче) и как проблемы, возникшие в одних заданиях, последовательно формируют проблемы в других, накапливаясь от темы к теме (при этом одна тема, предпоследняя, не формирует связанных трудностей: она является дополнительной). Такой подход подкрепляет работу с посильностью, помогает смотреть на проблемы контента не изолированно, а в системе и, соответственно, вносить не точечные изменения (улучшая одну задачу), а системные улучшения в контент.

^{Рис. 14. Сеть учебных трудностей}

Третья возможность – это психометрический подход к изучению и моделированию таких продуктовых метрик, как конверсия, удержание, завершение. В книге я коротко коснулся этого, когда говорил о том, что контент пробных уроков оптимальной посильности в большей мере способствует покупке основной, платной его части. Мы также убедились, что успеваемость студентов, выраженная через метрику «дельта», связана с успешным завершением обучения. Но это все описательные шаги. Расширенные же возможности психометрики связаны с моделированием всего образовательного продукта, максимизирующим желаемые продуктовые и бизнес-метрики. Такое моделирование позволяет найти оптимальные длительность, последовательность, посильность элементов учебного контента и учебного опыта и заранее оценить рентабельность соответствующих доработок. Так психометрика становится инструментом директоров по продукту (Chief Product Officer, CPO), владельцев продукта (Product Owner, PO), лидеров продукта и других, отличающихся названием, но схожих по целям и задачам руководителей. Это направление – продуктовая психометрика – фокус моих профессиональных интересов сейчас и тема для следующей книги. C препринтом одной из глав вы можете познакомиться на моем сайте www.abbakumov.com, где найдете дополнительные полезные материалы и к этой книге.

Верю, что мне удалось заинтересовать вас продолжать психометрические шаги. Всегда готов помочь вам в этом.

С уважением и благодарностью,