Последние пять лет мы наблюдаем динамичный рост EdTech. В широком смысле EdTech – это область, связанная с применением технологий для улучшения образования в целом, к которой относятся:

• онлайн-курсы;

• мобильные приложения;

• тренажеры и симуляторы;

• системы управления обучением и электронные журналы;

• программы управления контентом;

• инструменты виртуальной и дополненной реальности;

• технологии персонализированного обучения и многое другое.

Однако чаще (в более привычном нам смысле) аббревиатура EdTech ассоциируется со сферами бизнеса, в которых студенты заходят на веб-сайт или в мобильное приложение и получают там новые знания. Этот бизнес может быть большим и малым. Примерами большого бизнеса являются Яндекс Практикум, DataCamp, Duolingo и многие другие компании в России[1] и за рубежом[2]. К малым можно смело отнести индивидуальных онлайн-преподавателей и небольшие онлайн-школы, применяющие образовательные технологии в своей практике. На такие малые и большие сферы применения EdTech я ориентируюсь в этой книге. Кроме того, рассчитываю, что и более широкому кругу читателей из сфер образования и обучения эта книга окажется полезной.

В EdTech любят метрики и используют их на самых разных уровнях управления бизнесом. Например, метрика рентабельности ROI (Return on Investment) помогает понять, окупились ли расходы на создание, рекламу и проведение курса, а метрика ROMI (Return on Marketing Investment) показывает, насколько хорошо работают используемые маркетингом инструменты для привлечения студентов на курс. Метрика количества уникальных пользователей представляет текущий объем аудитории курса и позволяет отследить динамику этой аудитории во времени, а LTV (Lifetime Value) – сколько прибыли приносит отдельный студент за все время взаимодействия с EdTech-провайдером.

Существуют метрики удовлетворенности и лояльности студентов. Например, CSI (Customer Satisfaction Index) говорит о том, доволен ли студент обучением в целом или его отдельными аспектами, NPS (Net Promoter Score) – готов ли студент рекомендовать конкретный курс своим знакомым и друзьям, a метрика реферальности – сколько новых студентов приходят благодаря рекомендации обучающихся в данное время студентов.

Для оценки качества обучения обычно используют метрики COR (Completion Rate), или «доходимость», которая показывает долю студентов, успешно завершивших обучение, и Transformation (или Success) Rate, которая отражает степень уверенности студента в том, что цели его обучения достигнуты. Наконец, как и любому бизнесу, EdTech важно изучать долю и причины возвратов, для чего используется соответствующая метрика. Приведенный список, безусловно, неполный, но он отлично иллюстрирует, как важны метрики и работа с ними для современного образовательного бизнеса.

Главная ценность упомянутых метрик заключается в том, что они делают бизнес видимым и, следовательно, управляемым. Однако парадокс заключается в том, что в них отлично выражена бизнес-составляющая, но практически отсутствует составляющая образовательная. Другими словами, показывают ли нам указанные метрики, работает или нет учебный контент и насколько хорошо он это делает; осваивают ли студенты желаемое и насколько уверенными они могут быть в этом; оптимальны ли формат обучения и учебная нагрузка и, собственно, происходит ли обучение в самом деле? Едва ли. Разве что косвенно. Получается, собственно обучение – то, на основе чего строится EdTech-бизнес, – остается скрытым, а значит, неуправляемым.

При этом наука, которая уже полтора века измеряет обучение и помогает настраивать его на студентов, есть. Она называется психометрика и дает прямые ответы на вопросы о студентах, контенте и их взаимодействии. Подтверждения этому мы с вами найдем на страницах этой книги, а пока поверьте мне на слово. Но, собственно, почему вы должны мне поверить?

Самое время представиться. Меня зовут Дмитрий Аббакумов. Двадцать лет назад я «завалил» промежуточные тесты на первом курсе университета. К счастью, они были экспериментальными, и нас, заваливших, тогда не отчислили. Однако после этого провала я решил разобраться в том, как работают инструменты измерения и оценки знаний, почему они бывают хорошими и плохими (как было в случае с моим университетским опытом) и чем хорошие отличаются от плохих. Так я познакомился с наукой психометрикой: сначала прошел обучение в лаборатории «Гуманитарные технологии» при МГУ им. М. В. Ломоносова, затем учился на первом потоке студентов единственной в России магистерской программы по психометрике «Измерения в психологии и образовании»[3] в НИУ «Высшая школа экономики», а впоследствии получил докторскую степень по психометрике в одном из сильнейших университетов мира – KU Leuven, Бельгия. Вот куда завел меня тот заваленный в университете тест. После защиты диссертации я вернулся в Россию, и здесь один из основателей Практикума, Михаил Янович, пригласил меня присоединиться к команде. В Практикуме я сфокусировался на измерении и исследовании того, как учатся наши студенты, как работают тренажеры и микротеория и как через улучшение учебного опыта повышать шансы студентов на успех и наращивать результаты образовательного бизнеса. В течение трех лет моей работы в российском Практикуме и его международном подразделении, впоследствии ставшем самостоятельным бизнесом под названием TripleTen, психометрика стала ядерной технологической компетенцией и одним из ключевых элементов успеха этого бизнеса. В это время я выступал с открытыми лекциями и преподавал на программах School of Education – без преувеличения, кузницы кадров российского EdTech. Мне искренне хотелось (и хочется сейчас) сделать так, чтобы психометрика помогла большему количеству образовательных проектов. Так в конце 2023 года появилась идея написать книгу о психометрике в EdTech.

В этой книге вы узнаете, что такое психометрика как наука и как приложить ее к EdTech-бизнесу; как правильно логировать данные, рассчитывать характеристики контента и студентов и другие важные (психо)метрики; как применять их для улучшения учебного опыта и результатов студентов и какой вклад работа с этими метриками вносит в образовательный бизнес. Книга неслучайно называется «Первые шаги»: она не только рассказывает о психометрическом подходе, но и содержит сниппеты вычислительного кода и практические упражнения с ключами, с помощью которых мы вместе сделаем эти первые шаги. А чтобы шагать было не страшно, а приятно, вы не встретите сложных формул. Я подробно объясняю вычисления в тексте, а затем дополняю пояснениями команды в сниппетах вычислительного кода. Кроме того, здесь много иллюстраций. Верю, что вам это понравится.

Однажды после одного из моих открытых воркшопов в School of Education участница Мария Коробова, которая преподает математику на российской платформе Stepik, поделилась со мной отзывом: «Я в восхищении от технологии и особенно от того, что она применима у меня на маленьком курсе. Спасибо вам огромное, что это придумали и что делитесь!» (Кстати, с метрикой «посильность», о которой говорит Мария, вы познакомитесь в одной из глав книги.) Она рассказала, что регулярно подсчитывает (психо)метрики для своего курса, вносит в него изменения и видит положительные результаты. Я вдохновляюсь такими отзывами и той пользой, которую психометрика приносит малым и большим EdTech, и надеюсь, что вы вдохновитесь вместе со мной и эта книга поможет вам максимизировать ценность ваших образовательных продуктов.

У книги есть соавторы: одна из глав написана совместно с Марией Ковалёвой и Николаем Кутковым, руководителем и исследователем лаборатории образовательных технологий Практикума, которая изучает образовательные технологии и оценивает их влияние на учебные результаты студентов Практикума. Сейчас, например, лаборатория исследует, как инструменты на основе YandexGPT помогают студентам лучше учиться.

Эта книга была бы невозможной без моего друга и научного редактора Инны Антипкиной. Инна – опытный психометрик, кандидат наук об образовании, активно преподает, разрабатывает инструменты оценивания и занимается исследованиями в Институте образования Высшей школы экономики.

Похоже, мы плавно перешли к благодарностям. Помимо горячей благодарности моим соавторам и редактору, хочу выразить особую признательность моей «литературной крестной» Анастасии Чуковской, которая заинтересовалась идеей книги, стала менеджером этого проекта, помогла довести начатое до результата и способствовала моему книжному дебюту. В лице Анастасии я благодарю всех участников этого сложного производственного процесса – подготовки книги – со стороны Яндекса.

Отдельно хочу поблагодарить арт-директора Валентину Смирнову и иллюстратора Олесю Ткач.

Я благодарю издательство МИФ и его сотрудников, работавших над книгой, за профессионализм и внимание к деталям, и лично ответственного редактора Анну Таривердиеву за теплую атмосферу партнерства.

Поскольку материал для книги не появился бы, если бы я не попал в Практикум (а затем в TripleTen), хочу поблагодарить всех коллег, кто поверил в силу моей любимой науки и помогал извлекать из психометрики пользу для наших студентов и EdTech-бизнеса: Михаила Яновича, Елену Швец, Виктора Ламбурта, Марка Сысоева, Анастасию Богапову, Марию Меркулову, Ингвара Сильницкого, Сергея Парфёнова, Льва Якимова, Мадина Тлишева и других.

Отдельную благодарность хочу выразить первым читателям и рецензентам книги: Оксане Власовой, Сергею Жданову, Дарье Кравченко, Веронике Кышовой и Асе Фурсовой – за ценные советы, уточненные формулировки и теплые слова поддержки.

Наконец, хочу сказать спасибо моему верному компаньону – мини-бультерьеру Финику.

31 июля 2024 года