Эффективность обучения (learning effectiveness) – мера совпадения реально достигнутых результатов с заявленными целями образовательной программы. В английском языке есть три слова, описывающих понятие эффективности: efficiency (соотношение затрат и выгод), effectiveness (результативность), efficacy (соответствие ожиданиям и целям).
Для оценки эффективности используют два типа показателей:
1. Потребительские метрики (consumptive metrics) – «Смотрите, сколько вам это стоит!»
2. Метрики результативности (impact metrics) – «Смотрите, сколько ценности мы вам приносим!»
В 1959 году американский исследователь Дональд Киркпатрик предложил модель оценки эффективности обучения, которая получила широкое распространение и сегодня является классической. Она предполагает, что оценка осуществляется на четырех уровнях, однако важность этих уровней для разных заинтересованных сторон (стейкхолдеров) различна.
1. Реакция
В какой степени участники обучения позитивно реагируют на обучающее событие.
2. Научение
В какой степени участники в результате участия в обучающем событии приобрели ожидаемые знания, умения и установки.
3. Поведение
В какой степени участники применяют изученное в ходе обучения после возвращения на рабочее место.
4. Результаты
В какой степени в результате обучающих мероприятий и последующих событий (напоминание, оценка, контроль) достигнуты цели компании.
Дональд Киркпатрик (Donald Kirkpatrick) (1924–2014) – американский исследователь, почетный профессор в Университете Висконсина и бывший президент Американского общества по обучению и развитию (ASTD). В 1954 году создал «четырехуровневую» модель для оценки курса обучения, которая послужила предметом его кандидатской диссертации. Идеи Киркпатрика были опубликованы для более широкой аудитории в 1959 году в серии статей в американском «Журнале обучения и развития», но их лучше знают из таких книг, как «Оценка учебных программ» (Evaluating Training Programs, 1994) и «Влияние обучения на поведение и внедрение четырех уровней» (Transferring Learning to Behavior and Implementing the Four Levels, 2005).
ROE (return on expectations) – отдача на ожидания (или отдача ожиданий, возврат на ожидания) – главный коэффициент, по которому можно оценить эффективность обучения. Это соотношение между ожиданиями от обучения (на всех уровнях оценки), и реальных результатов. При использовании эффективных образовательных программ ожидания превосходятся, и этим создается новая ценность.
Уровень 0. Входные данные и индикаторы
• Сколько обученных людей?
• Сколько часов обучения?
• Каковы затраты на обучение одного человека?
Уровень 1. Реакция и запланированные действия
• Была ли программа релевантна для сотрудников?
• Будет ли программа помогать слушателям достигать успеха?
• Предоставляет ли программа новые знания?
• Будут ли слушатели программы использовать на практике то, что узнали?
• Будут ли слушатели рекомендовать программу своим коллегам?
• Что можно улучшить относительно образовательных материалов, образовательной среды или навыков преподавания?
Уровень 2. Научение
• Знают ли слушатели, как смогут применить полученные знания?
• Смогут ли слушатели применить полученные знания?
• Каковы следующие шаги слушателей по наращиванию собственной экспертизы?
Уровень 3. Поведение
• Насколько эффективно слушатели могут применить то, что они узнали?
• Насколько часто им придется применять полученные знания?
• Какой процент полученных знаний в принципе применим на практике?
• Если слушатели применяют полученные знания в рабочем процессе – кто предоставляет им поддержку или помощь?
• Если слушатели не применяют на практике полученные знания – почему так происходит?
Уровень 4. Результаты
• До какой степени применение полученных знаний и умений слушателями помогает улучшить показатели выпуска, качественные, временны́е и затратные показатели компании?
• Повышается ли уровень удовлетворенности клиентов, удовлетворенности качеством условий труда или степень инновационности?
• Почему мы можем утверждать, что программа действительно оказала положительное влияние на перечисленные показатели?
Уровень 5. ROI (return on investments)
• Правда ли, что количественно оцененные результаты образовательной программы превосходят расходы на разработку программы?
• ROI = Net Program Benefits/Program Costs × 100.
ROI (return on investments) – методика Джека Филлипса, помогающая с помощью различных формул измерить отдачу от инвестиций в обучение как отношение денежного выражения всех выгод, связанных с обучением, к денежной оценке всех затрат (инвестиций) в обучение. Расчет этого показателя сложен и во многом субъективен, поэтому часто получение и расчет ROI не несет значительной ценности.
Джек Дж. Филлипс (Jack J. Phillips) (р. 1945) – доктор философии, член Консультативного совета KnowledgeAdvisors, Inc., председатель Института ROI, ведущего поставщика услуг для измерения, оценки показателей и аналитики. Разработал методологию ROI, создал или отредактировал более 75 книг по оценке, метрикам и аналитике. Автор книги «Руководство по оценке и методам обучения» (Handbook of Training Evaluation and Measurement Methods, 1983). Сегодня его работы печатаются в Wall Street Journal, Bloomberg Businessweek, Fortune и CNN.
Основана на измерении производительности компании через определение пробелов в знаниях и навыках сотрудников и отдачи от их восполнения через систему обучения. Параметрами оценки при ее использовании являются проблемы в реализации бизнес-процессов (в денежном эквиваленте), оценка знаний и навыков, необходимых сотруднику для устранения проблем в бизнес-процессах, а также проблемы в реализации бизнес-процессов, связанные с работой сотрудников.
Модель Дж. Филлипса
• материальные выгоды (оценка производительности труда в денежном эквиваленте, изменение издержек);
• нематериальные выгоды (изменение удовлетворенности сотрудников, текучести кадров, затрат на подбор персонала);
• стоимость услуг преподавателей; стоимость оборудования, учебно-методических материалов, организация питания, стоимость отрыва участников от работы на период обучения.
Модель человеческого капитала
• продолжительность выполнения операций;
• проблемы с движением денежных средств, недостачи;
• какой процент проблемы можно отнести на счет мотивации, навыков, технических решений;
• процент проблемы в реализации бизнес-процесса, обусловленный работой сотрудника, удовлетворенность клиентов.
Модель Д. Киркпатрика
• оценка программы, преподавателя, степени полезности содержания программы, условий обучения;
• оценка уровня усвоения материала участниками программы;
• соответствие полученных навыков рабочим обязанностям сотрудника, применимость и актуальность полученных знаний;
• производительность сотрудника после обучения.
Индекс лояльности NPS (net promoter score) – индекс готовности рекомендовать, метрика лояльности. Респондентам предлагается ответить на один единственный вопрос: «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?».
Любая система оценки проходит несколько этапов развития. В 2017 году журнал Chief Learning Officer предложил разделить процесс на четыре составляющие:
Корпоративный университет Сбербанка находится одновременно на всех четырех этапах развития системы оценки эффективности и успешно применяет некоторые продвинутые методы оценки в различных образовательных программах.
Программа профессиональной переподготовки «Сбербанк 2020»
• Уровень менеджмента: средний. Обучено более 2000 человек.
• Методы оценки эффективности: оценка успешности внедрения бизнес-проекта.
• Отслеживание карьерных траекторий.
• Оценка профессиональных компетенций.
• 9,2 – оценка удовлетворенности слушателей.
«Риск-менеджмент I, II»
• Уровень менеджмента: линейный, средний. Обучено 15 000 человек.
• Методы оценки эффективности: метод proxy-индикатора для оценки динамики риск-культуры в банке (на основе опроса 90 000 сотрудников).
• В основе опросника – шкала Лайкерта.
• 75 % – общий показатель риск-культуры.
• 9,0 – оценка удовлетворенности слушателей.
«Мастерская руководителя ВСП» (внутреннее структурное подразделение)
• Уровень менеджмента: линейный. Обучено более 18 000 человек.
• Методы оценки эффективности: пилот по оценке влияния обучения на бизнес-показатели через интегральную оценку работы с отклонениями.
• 9,7 – оценка удовлетворенности слушателей.
Для вовлечения руководителей в оценку изменения поведения своих подчиненных была разработана анкета с чек-листом. Она автоматически направляется руководителям через 3–6 месяцев после окончания программы обучения.
Рассмотрим оценку изменений на примере программ Корпоративного университета Сбербанка.
• «Ценообразование и структурирование банковских продуктов». На дистанционной программе слушатели изучают влияние продуктов и сделок на риски банка, выявляют последствия некорректного структурирования продуктов и сделок. NPS слушателей программы составляет 62 %, а показатель NPS от руководителей – 66 %.
• «Эффективные переговоры 2.0». На программе смешанного формата слушатели учатся внедрять в переговорную практику алгоритмы и приемы, повышающие эффективность переговоров, применяют техники вывода переговоров из «тупика». NPS слушателей программы составляет 71 %, а показатель NPS от руководителей – 45 %.
• «Дизайн-мышление: от инсайтов к инновациям». На программе слушатели изучают 6 этапов дизайн-мышления для формирования культуры экспериментирования, создания инновационных решений с учетом потребностей целевой аудитории. NPS слушателей программы составляет свыше 70 %, а показатель NPS от руководителей – 50 %.
Не стоит равнозначно смотреть на показатели NPS руководителей и слушателей. Разница между результатами анкетирования заключается в разных уровнях проведения оценки по модели Д. Киркпатрика. Слушатели оценивают эффективность по первому уровню Киркпатрика (оценка программы, преподавателя, условий обучения) и указывают, насколько они готовы порекомендовать коллегам учиться на программе. Руководитель в первую очередь оценивает сотрудника по третьему уровню модели (соответствие полученных навыков рабочим обязанностям, применимость и актуальность полученных знаний в рабочих ситуациях), поэтому такой показатель может быть меньше, чем NPS слушателей. Такой подход помогает минимизировать эмоциональную составляющую, которая свойственна слушателям сразу после завершения курса. В некоторых случаях NPS слушателей может быть высоким по причинам, не зависящим от обучающей программы (например, окружающая среда или харизма тренера). Однако использование чек-листов, направляемых руководителям (которые могли не обучаться на программе и не столкнуться с данными факторами), помогает повысить объективность оценки.