Чтобы научиться решать сложные задачи, перцептронам требовалось хорошее представление тех проблем, которые они пытались решить. Как позже резюмировали Минский и Пейперт, исследователям, желавшим изучать искусственные нейронные сети, «пришлось бы отвлечься от дел и выработать адекватные идеи о представлении знаний». Соответственно, специалисты по компьютерным наукам начали искать новые способы фиксации сложных форм знаний, которые люди используют для взаимодействия с окружающим миром.

Давней и сложной задачей для систем искусственного интеллекта оставалось кодирование знаний, на которых строится наше толкование утверждений об окружающем мире. Люди знают множество вещей, которые не обязательно явно представлены в нашем зрительном или языковом опыте — например, то, что у канареек есть кожа или что рыбы едят. Поиск способов представлять и использовать эти знания стал одной из центральных тем в исследованиях искусственного интеллекта.

Одним из направлений, где эти знания играют важную роль, является понимание языка. Одно и то же слово — «bank» — по всей видимости, означает совершенно разные вещи в предложениях «The bank has a high interest rate» («У банка высокая процентная ставка») и «Despite the fast-flowing water he made it to the bank» («Несмотря на быстрое течение, он добрался до берега»). Контекст, в котором появляется слово, влияет на его интерпретацию. Хомский сосредоточился на синтаксисе языка — том, как слова объединяются в предложения. Наши же знания о мире связаны с семантикой языка — значениями этих слов и предложений.

Чтобы понять каждое слово в предложении, нам приходится учитывать другие слова, с которыми оно соседствует. Значение слова отражает связи между этими словами. Эта идея — о том, что слова объединены в сети, — открыла путь к возрождению структур, напоминавших искусственные нейронные сети. Изучение словесных сетей заставило когнитивистов задуматься о механизмах распространения информации по этим сетям, что привело к переоткрытию некоторых идей, использовавшихся в перцептронах и других ранних моделях нейросетей. То, что начиналось как модели мозга, со временем превратилось в модели разума, предложив новый способ формализации человеческого мышления.

Семантические сети

У Росса Квиллиана был необычный академический путь. Он так и не получил степень бакалавра — лишь два с половиной года изучал английскую филологию в Калифорнийском университете в Лос-Анджелесе (UCLA). Тем не менее ему удалось поступить в магистратуру Чикагского университета, где время от времени принимали студентов даже без бакалаврского диплома, а оттуда в 1961 году он перешел на работу в Научно-исследовательскую лабораторию электроники Массачусетского технологического института (MIT). Эта лаборатория выросла из разработок новых радарных систем во время Второй мировой войны и превратилась в мощнейший центр исследований в области связи и вычислений. Именно к этой группе присоединился Клод Шеннон, перейдя в MIT в 1956 году, и именно она стала интеллектуальным пристанищем для Ноама Хомского и его коллег, работавших над формальными теориями языка.

В этой атмосфере Квиллиан напряженно размышлял о том, как создать компьютерную систему, способную представлять значения слов. В частности, он ломал голову над тем, как уловить существующие между словами взаимосвязи. В статье 1962 года, обобщающей его размышления, он привел простой пример: «Хотя в английском символе "murder" [убийство] по сути не осталось ничего от английского символа "death" [смерть], любой носитель языка скажет нам, что понятие, обозначаемое словом "death", является частью — пусть и не всей — понятия, обозначаемого словом "murder"».

Квиллиан рассматривал связи между словами как способ решения проблем, возникающих из-за многозначности некоторых слов. В предложении «The bank has a high interest rate» подсказка о том, что слово «bank» относится к финансовому учреждению, исходит от слов «interest» [процент] и «rate» [ставка]. Но с тем же успехом она могла исходить и от других слов — «account» [счет], «savings» [сбережения], «mortgage» [ипотека] и так далее. Проблема заключается в том, что ни в написании этих слов, ни в их использовании в предложении — то есть в их синтаксисе — нет ничего, что могло бы подсказать компьютеру, что именно они являются ключевыми подсказками к значению слова «bank». Квиллиан видел решение в другом: «Слова действительно содержат общий элемент, а именно некоторую отсылку к деньгам, но это явно и исключительно часть их семантического содержания, или значения».

Квиллиан пытался понять, что может потребоваться для фиксации этого семантического содержания. Его основная идея заключалась в создании своего рода автоматизированного словаря, в котором значение каждого слова выражалось бы через его связь с другими словами — нечто вроде схемы организации, предложенной преподобным Джоном Уилкинсом в главе 1, но обновленной для двадцатого века. В обычном словаре каждое слово определяется коротким предложением. Например, словарь Мерриама-Вебстера определяет «wheel» [колесо] как «круглую раму из твердого материала, которая может быть сплошной, частично сплошной или со спицами и способна вращаться на оси». Но каждое из этих слов — «circular» [круглый], «axle» [ось] и так далее — само по себе имеет определение в другом месте словаря. Мы можем представить себе линию, соединяющую слово «wheel» со словами «circular» и «axle», чтобы показать эту связь. В результате мы получаем сеть слов, где каждое слово связано со словами, составляющими его семантические части.

То, что описывал Квиллиан, сегодня известно как семантическая сеть — сеть, в которой слова или понятия соединены друг с другом связями, указывающими на их отношения. Сегодня мы очень привыкли думать категориями сетей. Когда мы бродим по интернету, кликая по ссылкам, мы исследуем сеть, которая имеет много общего с идеей Квиллиана. Например, страница Википедии, посвященная «wheel», предлагает гиперссылки на страницы «axle» и «rolling». Конечно, в 1962 году Всемирной паутины еще не существовало, и мысль о том, чтобы фиксировать значение слов через подобную сеть, была радикальной идеей.

Но это была всего лишь идея. Квиллиан прекрасно понимал все трудности, отмечая: «Надеюсь, очевидно, что создание подобной памяти на практике потребует гигантского объема работы, причем работы весьма утомительной и грязной. Однако ничто из предложенного не кажется действительно недостижимым при согласованных усилиях». В течение следующих четырех лет он занимался именно такой целенаправленной работой, получив докторскую степень в Университете Карнеги — Меллона, где работал с Алленом Ньюэллом и Гербертом Саймоном. Результатом стала работающая система, способная симулировать процессы логического вывода и разрешения многозначности, которые Квиллиан считал ключевыми для понимания языка.

Семантическая сеть Квиллиана позволила эффективно кодировать семантическую информацию, связанную со словами. На рисунке 8.1 показан пример упрощенной семантической сети, хранящей информацию о животных. Различные фрагменты информации расположены в разных частях семантической сети. Например, слово «канарейка» имеет связи, указывающие на то, что это «птица», которая, в свою очередь, является «животным». Каждое из этих слов также связано с конкретными признаками, такими как «умеет петь» для канарейки и «имеет кожу» для животного. У канареек есть кожа, но это свойство они разделяют с другими животными. Вместо того чтобы хранить эту информацию отдельно для каждого животного, её можно сохранить один раз как признак всего, что относится к этой категории. Таким образом, семантическая сеть экономит много места, которое в противном случае расходовалось бы на избыточные признаки.

Рисунок 8.1. Иллюстрация Коллинза и Квиллиана, показывающая фрагмент семантической сети, которая отражает иерархические отношения между животными и их свойствами.

Отчет, опубликованный Квиллианом в 1967 году с описанием его системы, заканчивается примечанием: «Для тех, кто, подобно автору, склонен рассматривать эту модель как психологическую теорию, открывается множество новых проблем. Помимо исследования достаточности модели памяти для других типов поведения, стоит задача выяснить, как изменения в такой структуре влияют на эффективность работы, и впоследствии сопоставить конкретные особенности модели с индивидуальными различиями в поведении испытуемых». И вновь это предвосхитило его следующий шаг. Еще завершая работу над докторской, он устроился в Bolt, Beranek, and Newman — исследовательскую компанию в Кембридже, штат Массачусетс, созданную несколькими сотрудниками Массачусетского технологического института. Там он познакомился с Алланом Коллинзом, психологом, который как раз заканчивал аспирантуру в Мичиганском университете. Коллинз и Квиллиан вместе работали над оценкой того, насколько хорошо семантические сети могут объяснить человеческое поведение. Коллинз был экспертом в области человеческой памяти и использования времени реакции как меры доступности той или иной информации. В модели Квиллиана истинность утверждения «Канарейка умеет летать» проверялась путем «активации» слов «канарейка» и «умеет летать» с последующим распространением этой активации по связям в сети. От «канарейки» она распространялась на «умеет петь», «желтая» и «птица». От «умеет летать» активация также распространялась на «птицу». Как только слово «птица» получало активацию с обоих направлений, связь считалась установленной — что означало истинность утверждения — и система могла выдать ответ. Коллинз и Квиллиан предполагали, что распространение активации по сети может занимать определенное время, подобно тому как клик по ссылке на веб-странице заставляет ждать загрузки следующей страницы. Чтобы оценить, верно ли предложение «У канарейки есть кожа», активации нужно пройти по трем связям между «канарейкой» и «имеет кожу». Это могло занять больше времени, чем проверка предложения вроде «Канарейка умеет петь», которое задействует всего одну связь.

Коллинз и Квиллиан провели эксперимент для проверки этого предсказания, пригласив к участию нескольких своих коллег из Bolt, Beranek, and Newman. Результаты подтвердили их гипотезу: они обнаружили, что людям требовалось больше времени, чтобы подтвердить истинность такого утверждения, как «У канарейки есть кожа», по сравнению с «Канарейка умеет петь». Им также требовалось больше времени, чтобы подтвердить, что «Канарейка — это животное», чем «Канарейка — это канарейка», хотя последнее, пожалуй, менее удивительно. В каждом случае время, необходимое людям для вынесения этих суждений, зависело от количества связей, которые им приходилось проходить в семантической сети Квиллиана. В последующих работах они обнаружили, что если людей просят оценить два утверждения подряд, задействующие одни и те же понятия — например, спрашивают, «Умеет ли канарейка петь» сразу после «Умеет ли канарейка летать», — они отвечали быстрее, что согласуется с идеей о том, что связанные с «канарейкой» слова уже активированы.

Семантическая сеть Квиллиана оказалась не просто эффективным способом хранения фактов — она превращалась в теорию о том, как люди могут оценивать суждения об окружающем мире. Фактически она начинала казаться новым способом осмыслить само мышление.

«Распространение активации» ширится

Бет Лофтус заметно выделялась на фоне других в аспирантуре по математической психологии в Стэнфорде. Гордон Бауэр, один из профессоров, стоявших у истоков этой программы, так отзывался о ней: «Она была не только прекрасно подготовлена в области высшей математики, но и была крайне целеустремленным, полным энтузиазма, обаятельным и продуктивным исследователем». Но она также выделялась и тем, что часто оказывалась единственной женщиной в области, где доминировали мужчины.

И, честно говоря, ей было скучновато.

Дело было не в математике. После того как в подростковом возрасте у Лофтус скоропостижно скончалась мать, она обнаружила, что разговоры о математике — один из немногих способов найти общий язык с отцом. Поэтому она блестяще училась в школе и изучала математику в качестве основной специальности в Калифорнийском университете в Лос-Анджелесе, записываясь на курсы психологии лишь тогда, когда ей нужно было добрать предметы по выбору. Причина её скуки крылась скорее в том, где возможности математики оказывались ограниченными. Как она рассказала мне: «Мне не нравилось, что приходится постоянно упрощать допущения о человеческом поведении, чтобы математические выкладки оставались выполнимыми».

Лофтус работала над диссертацией о том, как компьютеры можно использовать для облегчения обучения, — это был отголосок её планов стать учителем математики после колледжа. Но именно на занятиях по социальной психологии она наконец-то по-настоящему увлеклась исследованиями. Преподаватель, Джонатан Фридман, познакомил её с темой семантической памяти. Вместе они начали проводить эксперименты, измеряя, сколько времени требуется людям, чтобы ответить на вопросы вроде «Как называется фрукт желтого цвета?».

Лофтус и Фридман обнаружили, что люди быстрее отвечали на эти вопросы, когда категория — фрукт — предъявлялась перед цветом, а не наоборот. В последующем эксперименте она показала, что люди реагировали ещё быстрее, если та же категория использовалась в одном из недавних вопросов. На самом деле степень этого ускорения зависела от интервала между вопросами: если людям задавали два вопроса о фруктах подряд, они отвечали очень быстро, чуть медленнее — если между ними вклинивался другой вопрос, и ещё медленнее — если разделяющих вопросов было два.

Лофтус начала преподавать в Новой школе социальных исследований в Нью-Йорке и продолжила проводить эксперименты по семантической памяти. Например, она показала, что время, необходимое людям для принятия решения о принадлежности объекта к какой-либо категории, зависит от силы ассоциативной связи между словами, обозначающими объект и эту категорию.

Лучший способ понять идею о том, что слова связаны друг с другом ассоциациями, — это провести наш собственный небольшой эксперимент. Я собираюсь дать вам список слов. Прочитав каждое слово, запишите первое пришедшее на ум слово. Затем переверните страницу, чтобы увидеть мои догадки. Готовы?

Вот эти слова: улей, мяу, омлет, дуб, утолить.

А вот мои догадки о словах, которые вы записали: пчела, кошка, яйца, дерево, жажда.

Готов поспорить, что я угадал хотя бы некоторые из них, пусть даже вы могли написать абсолютно любое слово, какое захотите. Я могу сделать это не потому, что умею читать мысли, а благодаря тщательным исследованиям, которые психологи провели для понимания семантической ассоциации — того факта, что некоторые слова автоматически вызывают в памяти другие.

Лофтус использовала эти автоматические ассоциации при планировании своего эксперимента. Студентам Новой школы показывали два слова на карточке: первым словом была категория, а вторым — объект. Их задача состояла в том, чтобы подтвердить принадлежность объекта к категории. При этом она варьировала силу и направление ассоциативной связи между словами, представляющими категорию и объект. На некоторых карточках были слова с сильной двусторонней связью, например «дерево — дуб». На других связь была сильной от категории к объекту, но не наоборот, например «морепродукты — креветка». В следующем наборе всё менялось местами: сильная ассоциация вела только от объекта к категории, например «насекомое — бабочка». И, наконец, последний набор содержал слова со слабой связью в обоих направлениях, например «ткань — орлон». (Орлон — это разновидность синтетического волокна, популярная в 1970-х годах, наподобие нейлона. Мне тоже пришлось искать значение этого слова.) Лофтус обнаружила, что люди быстрее подтверждали принадлежность объекта к категории, когда категория была сильно связана с объектом («дерево — дуб» или «морепродукты — креветка»), по сравнению со случаями, когда этой связи не было («насекомое — бабочка» или «ткань — орлон»): сильные ассоциации от категорий к объектам приводили к более быстрому реагированию.

Когда Аллан Коллинз увидел результаты экспериментов, проведенных Лофтус, он сразу понял, что они согласуются с идеей распространения активации. На самом деле они не просто согласовались с ней. Они объясняли, как именно она работает.

Росс Квиллиан придумал идею распространения активации в качестве технического приема для отслеживания информации в своей компьютерной программе — он активировал каждое пройденное слово, переходя по ссылкам, пока не устанавливалась связь. Коллинз и Лофтус превратили её в полноценную психологическую теорию.

Расширенная теория представляла активацию как непрерывную величину — скорее как вещественное число, нежели как бинарное значение. С каждым словом в семантической сети связывалось число, отражающее текущую степень его активации. Без дополнительных сигналов эта активация со временем снижалась бы и постепенно угасала — именно это показали эксперименты Лофтус с повторным предъявлением одной и той же категории. Однако дополнительные сигналы могли поступать от активации, распространяющейся по ассоциативным связям разной силы между словами: при этом по более сильным связям передавалось больше активации, что и продемонстрировали эксперименты Лофтус, в которых пара «морепродукты — креветка» вызывала более быстрый ответ, чем «насекомое — бабочка». Активация от всех этих связей складывалась, и когда суммарный сигнал превышал определенный порог, активировалось уже само это слово.

Рисунок 8.2. Семантическая сеть в представлении Коллинза и Лофтус, где слова связаны своими ассоциациями.

Всё это должно звучать знакомо: исходя из свойств семантической памяти, Коллинз и Лофтус заново открыли механизм, чрезвычайно похожий на то, как активация распространяется в перцептроне. Но в отличие от перцептрона, где информация вынуждена передаваться строго от сенсорных входов к реакциям, Коллинз и Лофтус представляли распространение активации по всей семантической сети. Они сосредоточились на простой семантической сети, состоящей всего лишь из слов, соединенных ассоциативными связями, а не из иерархии категорий и фактов (см. рисунок 8.2). Мы можем взять крошечный фрагмент этой семантической сети, чтобы проиллюстрировать, как работает такое распространение активации. Если мы возьмем слово «цветы», у него найдутся две связи: одна от «фиалок», а другая от «роз». Активация слова «цветы» будет вещественным числом, которое мы можем записать как активация_цветы. Связи различаются по силе, и, как и в перцептроне, сила связи выражается весом. Мы можем записать веса связей от «фиалок» и «роз» к «цветам» как вес_{фиалки,цветы} и вес_{розы,цветы} соответственно. Эти слова также будут иметь свои собственные значения активации: активация_фиалки и активация_розы. Если кто-то видит слово «розы», то это слово активируется, и его активация начинает распространяться. В следующий момент входной сигнал для слова «цветы» составит

вход_цветы = активация_розы × вес_{розы,цветы}.

Но эта активация также распространяется и на «фиалки» точно таким же образом:

вход_фиалки = активация_розы × вес_{розы,фиалки}.

Если этого входного сигнала достаточно для запуска их активации, то и «розы», и «фиалки» могут получить некоторую активацию, которая внесет свой вклад во входной сигнал «цветов». Таким образом, активация распространяется туда и обратно между словами.

Коллинз и Лофтус показали, что распространение активации способно объяснить не только выводы Лофтус, но и множество других результатов исследований семантической памяти. В частности, оно объясняет, почему проще назвать фрукт, который является желтым, чем желтый фрукт: поскольку слово «фрукт» ассоциируется с меньшим количеством слов, чем «желтый», активация «фрукта» активирует меньшее число других слов, что облегчает выбор ответа. Статья, которую они написали об этой версии распространения активации, стала одной из самых цитируемых во всей психологии. Если вы откроете современный учебник по психологии, описывающий происходящее в головах людей, то наверняка встретите там рассуждения о том, как одно «активирует» другое. Распространение активации проделало путь от идеи специалиста по информатике о том, как связывать факты друг с другом, до нашего лучшего предположения о том, как видимое и слышимое меняет наше ментальное состояние.

Интерактивная активация

Когда Джею Макклелланду впервые пришлось вести учебный курс вместе с Дэвидом Румельхартом, он был в ужасе.

Шел 1974 год, и Макклелланд только-только устроился профессором в Калифорнийский университет в Сан-Диего, едва успев защитить докторскую диссертацию в Пенсильванском университете. Румельхарт к тому времени преподавал уже семь лет: он окончил программу по математической психологии в Стэнфорде вскоре после того, как туда пришла Бет Лофтус, и недавно получил пожизненный профессорский статус. Но дело было не только в его большем опыте. За ним также закрепилась репутация невероятно умного человека. К тому же он сам написал учебник для курса, который они вели.

Курс прошел вполне успешно. Макклелланд благополучно провел свои занятия. Но он на всю жизнь запомнил, как читал лекции Румельхарт:

Они бывали двух типов. В первом случае Дэвид заходил в аудиторию почти без подготовки и порой произносил невероятно затянутые, невнятно пробормотанные трехчасовые монологи. Другой тип лекций был полной противоположностью — живой, вдохновляющий, уверенный и расширяющий границы сознания.

После занятий Макклелланд возвращался в лабораторию, где упорно трудился над тем, чтобы понять, как люди воспринимают слова.

С точки зрения когнитивного психолога, чтение — это удивительный феномен. Слова состоят из букв, точно так же как объекты складываются из признаков. Изучение того, как восприятие букв превращается в восприятие слов, дает шанс приблизиться к разгадке глубоких вопросов о том, как наш разум делит мир на части, а затем собирает их воедино. Когда Макклелланд только начинал работать над этой проблемой, теории чтения — да и всего остального, что делает человеческий разум, — строились на идее поэтапного протекания процессов. Сначала распознаются буквы, затем слова. У Макклелланда была другая идея. Что, если вместо этого когнитивные процессы каскадом перетекают друг в друга? Возможно, распознавание букв постепенно перетекает в распознавание слов? Он написал статью с изложением этой идеи и отправил ее в Psychological Review. Ответное письмо от редактора было недвусмысленным: идея хороша, но вам нужно изложить ее математически.

Математическое моделирование не входило в арсенал Макклелланда. Но он знал человека, который создавал необходимые ему инструменты в конце того же коридора: Дэвида Румельхарта. Тот даже вел об этом целый курс.

Макклелланд стал ходить на занятия Румельхарта по математической психологии. Как и следовало ожидать, исходя из опыта совместного преподавания, эти занятия не были похожи ни на один курс, который он когда-либо посещал:

Учебника не было, и мы не читали литературу по существующим моделям. Вместо этого мы приходили на занятия с данными. Каждую неделю один из студентов представлял собранные им или ею данные. Дэвид просил студента предложить интерпретацию выявленной закономерности, и обычно у того были лишь робкие, неоформленные мысли. С помощью сократовского метода Дэвид наводил студента на идеи, которые можно было бы выразить математическим языком. Затем он принимался писать уравнения на доске, упрощая сложные выражения и на примерах обучая нас профессиональным хитростям. К концу занятия мы часто получали законченное математическое описание, которое довольно хорошо объясняло данные. Самым важным для меня было то, что эти занятия показали: в разработке собственных теоретических идей нет ничего особенно загадочного. Нужно просто изложить их, перевести в уравнения, а затем вывести все следствия.

Этот курс придал Макклелланду уверенности, и он начал создавать собственную математическую модель.

Джей Макклелланд был глубоко впечатлен докладом Джима Андерсона, в котором тот показывал, как простые нейронные сети с обучением по Хеббу могут воспроизводить особенности человеческой памяти. Андерсон получил образование в области физики и физиологии в MIT, но нашел свое интеллектуальное пристанище в Брауновском университете, где он работал на стыке кафедры прикладной математики, Центра нейронаук и отделения когнитивных и лингвистических наук. (Он все еще работал в Брауновском университете тридцать лет спустя, когда я получил там свою первую должность преподавателя. Его курс по нейронным сетям пользовался дурной славой: студентам разрешалось брать амбициозные исследовательские проекты, которые невозможно было закончить за один семестр, из-за чего старшекурсникам приходилось в спешке доделывать их ночами напролет, чтобы получить диплом.)

Рисунок 8.3. Иллюстрация каскадной модели Макклелланда, предполагавшей, что информация об идентификации слова распространяется через ряд этапов, что напоминает модели нейронных сетей и распространения активации.

Модель Макклелланда основывалась на идее о том, что чтение слова происходит не дискретными этапами, а за счет постепенного накопления активации, аналогичного тому, что наблюдается в таких нейронных сетях. Вместо того чтобы сначала определять, какие буквы могут присутствовать в слове, а затем — из каких слов состоят эти буквы, у человека начинают активироваться определенные буквы на основе видимых частей этих букв, что, в свою очередь, постепенно активирует некоторые слова. Это можно представить в виде своего рода семантической сети, в которой части букв связаны с соответствующими буквами, а те, в свою очередь, — со словами (см. рисунок 8.3). В таком случае распространение активации предлагает альтернативу последовательному распознаванию сначала букв, а затем слов.

Макклелланд показал, что эта модель способна воспроизводить некоторые феномены, которые ранее использовались в качестве аргументов в пользу дискретных этапов, и сделал другие предсказания, которые, по-видимому, соответствовали экспериментальным данным, полученным на людях. Его статья, содержащая множество новых математических выкладок, была принята к публикации в журнале Psychological Review. Из этого также выросло новое сотрудничество с Румельхартом, поскольку выяснилось, что тот независимо размышлял в очень похожем направлении.

Рисунок 8.4. Пример, использованный Макклелландом и Румельхартом, чтобы показать, как буквы влияют на наши выводы о словах, но и слова также влияют на наши выводы о буквах. В данном случае последняя буква может быть R или K, однако остальные буквы и наше знание слов помогают разрешить эту неоднозначность.

Румельхарт тоже исследовал процесс чтения и тоже испытывал разочарование по поводу идеи, что он протекает строго поэтапно. Но его неудовлетворенность была иной: дело было не в самих дискретных этапах, а в представлении об отсутствии взаимодействия между ними. Распознавание букв считалось просто отдельным процессом, который после завершения передавал информацию для распознавания слов. Но при этом знания о словах никак не могли повлиять на то, какие именно буквы вы видите. Румельхарту это казалось неправильным. Например, если вы читаете четырехбуквенное слово и уже поняли, что первые три буквы — W, O и R, то вариантов для следующей буквы остается крайне мало (см. рисунок 8.4). Казалось естественным, что разумная система вроде человеческого мозга должна использовать это ограничение. Румельхарт много размышлял о семантических сетях и понял, что модель Макклелланда можно модифицировать так, чтобы она отражала взаимодействие между этапами чтения. Вместо того чтобы проводить связи только от частей букв к буквам, а от букв — к словам, можно сделать эти связи двунаправленными (см. рисунок 8.5). Тогда по мере активации букв будут активироваться и соответствующие слова, а затем активация сможет возвращаться обратно к возможным буквам. К сожалению, в отличие от исходной модели Макклелланда, не существовало простого математического описания того, как поведет себя эта модель при циркуляции активации туда и обратно по системе. Вместо этого им пришлось запускать огромное количество компьютерных симуляций. Как вспоминал Румельхарт:

Мы сели и перенесли все это на компьютер, построили эти компьютерные модели — и просто не понимали их. Мы не понимали, почему они работают или не работают, что именно было в них ключевым. У нас еще не было никакой стройной теории. Мы бились и бились, постепенно проникая в суть этих взаимодействующих систем, и стали совершенно одержимы ими. Мы во что бы то ни стало хотели заставить все это работать.

Рисунок 8.5. Иллюстрация интерактивной модели активации чтения Румельхарта и Макклелланда. Линии со стрелками на концах обозначают возбуждающие связи, увеличивающие активацию элемента, с которым они соединены. Линии с точками на концах обозначают тормозящие связи, уменьшающие активацию элемента, с которым они соединены.

В конце концов — примерно два года спустя — они во всем разобрались и опубликовали серию статей о том, что они назвали интерактивной моделью активации.

Интерактивная модель активации превратила распространение активации из способа объяснения того, как идеи влияют друг на друга, в совершенно новый способ описания ментальных процессов в целом. Нет причин, по которым сеть должна представлять исключительно слова — в более общем смысле элементами сети может быть все что угодно, что требует ментального представления, а взвешенные связи между ними отражают силу ассоциаций между этими репрезентациями. Макклелланд и Румельхарт показали, что распространение активации в такой сети более общего типа способно воспроизводить широкий спектр явлений при чтении — например, то, как контекст влияет на интерпретацию неоднозначных букв. Таким образом, это предложило элегантное решение индуктивной задачи, возникающей при чтении: если у вас есть неполная информация, распространение активации позволяет объединить ограничения из разных источников для поиска решения.

Но на еще более фундаментальном уровне этот подход предлагал иную картину того, как может быть устроено мышление (см. рисунок 8.6). В логике наше текущее ментальное состояние представляет собой набор известных нам фактов, а мышление меняет это состояние путем применения правил вывода для получения новых фактов. В семантической сети или в сетях более общего вида, которые исследовали Макклелланд и Румельхарт, наше текущее ментальное состояние определяется активацией элементов сети, а мышление меняет ментальное состояние посредством распространения активации.

Если мы вообразим очень простую сеть, состоящую всего из трех элементов, будет естественно представить активацию этих элементов в виде точки в пространстве. Мы можем построить график с тремя осями, где каждая ось соответствует уровню активации одного из элементов. Если бы в нашем текущем ментальном состоянии активация этих элементов составляла 0,4, 0,1 и 0,9 соответственно, мы могли бы изобразить это, найдя на графике точку с координатами (0,4; 0,1; 0,9). Теперь, когда мы запускаем распространение активации, значения активации меняются, перенося нас в другую точку пространства и переводя в другое ментальное состояние. Повторение этого процесса и соединение точек вычерчивает траекторию в пространстве. Форма этой линии определяется связями в сети, которые влияют на то, как именно распространяется активация.

Рисунок 8.6. Две совершенно разные модели мышления. (а) В логике наше текущее ментальное состояние — это набор фактов, а мышление — это процесс применения правил вывода. (б) В семантической сети или модели интерактивной активации наше текущее ментальное состояние — это точка в пространстве, оси которого соответствуют активации различных слов или понятий, а мышление — это движение в этом пространстве в результате распространения активации.

Такова наша новая модель мышления. Ментальное состояние — это точка в пространстве, обобщающая активацию всех понятий в нашей голове. Мышление вычерчивает кривую в пространстве активации. И фундаментальное значение для направления нашего мышления имеет набор сформированных нами связей — сами эти связи и их веса.

Но, заново открывая для себя некоторые идеи, которые ранее использовались для моделирования мозга — в форме искусственных нейронных сетей, — психологи также заново открыли для себя главную проблему, с которой сталкивался этот подход. Модель интерактивной активации по сути представляла собой многослойную нейронную сеть — тот тип модели, для которой не существовало эффективного алгоритма поиска подходящего набора весов. Чтобы продвинуться вперед в рамках этого нового взгляда на разум, им предстояло понять, как подобные системы могут обучаться.