В первой половине XX века ведущими теоретиками обучения были бихевиористы, занимавшиеся оперантным научением и внешним подкреплением [напр., Thorndike, 1913; Pavlov, 1927; Skinner, 1974]. Однако тем, что происходит во время обучения внутри «черного ящика» (т. е. мыслительными процессами), они не занимались и не хотели заниматься. Вместо этого их интересовала среда и наблюдаемое поведение – причина и следствие. Бихевиористы изучали отношения между стимулом и реакцией, а также влияние среды на обучение. Приобретенная ассоциация между стимулом и реакцией называется обусловливанием и по большей части состоит из имплицитного научения и памяти (бессознательной и процедурной). Различают классическое обусловливание (происходящее пассивно) и оперантное (требующее от индивида активных действий).
Классическое, или респондентное, обусловливание подразумевает формирование ассоциации между двумя последовательными стимулами (ассоциативное научение). При регулярном повторении этих стимулов создается условный рефлекс на первый, поскольку мозг ожидает, что за ним последует второй. Самый известный пример классического обусловливания – собаки Павлова (поэтому этот тип обусловливания также называют павловским). Перед каждой кормежкой И. П. Павлов звонил в колокольчик. Со временем у собак развивался условный рефлекс, заставлявший их выделять слюну при звуке колокольчика. Выделение слюны при виде пищи – естественный процесс, но в данном случае колокольчик становился условным стимулом, вызывающим слюноотделение даже в отсутствие еды.
Подобно собакам и другим животным, люди осваивают многие виды поведения через классическое обусловливание. Подумайте, например, о лимоне (или лайме, что больше нравится). Наверняка от одной мысли у вас начинает выделяться слюна, потому что мозг приучился ассоциировать лимон с кислым вкусом (кроме того, цитрусовые, как известно, сами по себе стимулируют слюноотделение). Так что, если у вас пересохло во рту, подумайте о ломтике лимона.
Если обратиться к видеоиграм, то сигнал «тревоги» в Metal Gear Solid (Konami), звучащий каждый раз, когда противник вас замечает, – это тоже условный стимул, который вызывает у игроков повышенное внимание и готовность бить или бежать. Другой пример – звон колокольчиков в Assassin’s Creed 2 (Ubisoft), который указывает на сундуки, знаки и другие секреты. Игрок имплицитно научается ассоциировать этот звук с сокровищами и впоследствии, услышав его, начинает внимательно оглядываться в поисках вознаграждения.
Оперантное обусловливание, или научение, – это процесс управления поведением посредством поощрений и наказаний. Первые исследования в этой области начал проводить Э. Торндайк [1913], но главным популяризатором стал Б. Ф. Скиннер [см. Skinner, 1974].
Если вкратце, то вы путем повторения приучаетесь связывать один стимул с вероятностью другого стимула, вызываемого неким конкретным действием. Для проведения экспериментов Скиннер разработал специальную камеру с окошком и рычагом, которую сейчас называют «ящиком Скиннера». Животное (как правило, крысу или голубя) в одиночестве помещали в данную камеру. Если после определенного стимула (например, вспышки или звукового сигнала) подопытное животное нажимало на рычаг, то окошко открывалось и в камеру попадал корм. Как и в классическом обусловливании, формируется связь между условным стимулом (звук) и положительным подкреплением (награда в виде еды), но в данном случае также подразумевается выполнение животным действия (нажать на рычаг), то есть изменение в поведении. В ряде экспериментов к полу камеры подводили электричество, и если животное вело себя неправильно или не реагировало на стимул, то получало наказание в виде удара током.
В ходе многочисленных экспериментов Скиннер вывел ряд основных поведенческих правил [см. Alessi, Trollip, 2001].
1. Положительное подкрепление (награда) приводит к повышению частотности поведения (получение еды после нажатия на рычаг побуждало крыс нажимать на рычаг чаще).
2. Поведение, за которым следует устранение наказания (т. е. отрицательное подкрепление), тоже происходит чаще (крысы нажимали на рычаг, чтобы избежать ударов током).
3. Наказание за действие приводит к снижению частотности поведения (удар током после нажатия на рычаг побуждает крыс не нажимать на рычаг). Того же можно добиться отрицательным наказанием, когда, наоборот, отнимается что-то хорошее (например, при нажатии на кнопку из клетки убирается еда).
4. Если поведение, частотность которого была повышена посредством вознаграждения, более не подкрепляется (еда перестает поступать при нажатии на рычаг), происходит затухание.
5. Поведение, которое вознаграждается всегда, быстро повышает свою частотность, но так же быстро затухает, если вознаграждение убрать.
6. Награда, выдаваемая нерегулярно (после непредсказуемого числа откликов), наиболее эффективна в выработке поведения и является основой игровой зависимости у людей.
Оперантное научение имеет ряд явных преимуществ и в XX веке активно применялось в образовательной, военной и трудовой среде. Однако при этом его широко критиковали, поскольку данная парадигма игнорирует важные ненаблюдаемые аспекты обучения (такие как внимание и память), а также поскольку бихевиористы часто закрывали глаза на нежелательные побочные эффекты. Например, наказание может вызывать стресс и агрессию, что вредит обучению [см., напр., Galea и др., 2015 о влиянии наказания на запоминание при моторном научении и Vogel, Schwabe, 2016 о влиянии стресса на работу в классе], не говоря уже о том, что стресс и тревожность вредят здоровью (и крысы, и человека).
Об этом важно помнить при разработке введения в игру: да, игроки должны получать отрицательную обратную связь, если не делают то, что нужно (например, не перепрыгивают пропасть), но при этом следует избегать наказаний (т. е. убивать персонажа, вместо того чтобы позволить ему выкарабкаться и попробовать снова). Испытания и трудности, безусловно, важны для игр, и я не утверждаю, будто убивать персонажа игрока нельзя никогда. Следует, впрочем, проявлять осторожность, когда игрок только разучивает новую механику, – особенно в самом начале игры, пока он еще недостаточно вовлечен в процесс (и тем более если ваша игра бесплатная).