Размышляя о желательных свойствах системы памяти, мы решили, что она должна извлекать характеристики человека по любому набору признаков, которые однозначно его идентифицируют. В нашей модели эти признаки – входные сигналы для элементов характеристик.

Обладает ли сеть ИАК таким свойством?

Рассмотрим пример: подаем входной сигнал на элемент «Кен (имя)». Из структуры сети очевидно, что активация сначала распространится на элемент «Кен (персона)», а затем – на элементы его характеристик. В этот момент сеть покажет повышенную активацию для элементов «Акулы», «20+», «Среднее образование», «Холост» и «Взломщик» по сравнению с другими элементами в каждой категории. Но распространение активации на этом не останавливается. Ведь достигнув элементов характеристик, активация создаст обратную связь. Например, активированный элемент «20+» через взаимные связи активирует все связанные с ним элементы персон (всех гангстеров 20 с небольшим лет). Другие элементы характеристик активируют другие элементы персон. В совокупности эти элементы персон активируют связанные с ними характеристики. Караул!

Чтобы процесс не вышел из-под контроля, нужны четкая организация, правила и инструменты. Во-первых, активация нарастает не мгновенно, а постепенно – неважно, вызвана она внешним сигналом или влиянием связанных элементов. Концептуально процесс непрерывен, но в компьютерных симуляциях он разбивается на дискретные шаги, каждый из которых соответствует малой доле секунды. Во-вторых, для корректной работы активация элемента должна оказывать лишь небольшое влияние на другие элементы за один шаг. Джей установил, что оптимальное значение – 10%. Например, если элемент А имеет активацию 0,8, то за один шаг его влияние на другие элементы составит всего 0,08 (10% от 0,8). В-третьих, полезно ограничить диапазон активации: верхний предел – 1, нижний – чуть меньше 0. Наконец, существует тенденция к затуханию: активация стремится вернуться к уровню покоя – чуть ниже нуля.

Теперь остается только произвести расчеты. Начав с уровня покоя каждого элемента, мы вычисляем активации в конце первого временного шага: определяем возбуждающие и тормозящие сигналы от каждого элемента ко всем остальным, учитываем затухание и следим, чтобы значения оставались в заданных пределах. Процесс повторяется многократно – обычно рассматривается 100 временных шагов. Проводить такие вычисления вручную было бы мучительно долго, но для компьютера это элементарная задача. Поэтому для этой и практически любой другой нейронной сети стандартная практика – написать компьютерную программу для выполнения расчетов.

Рисунок 4.6. Фрагменты состояния сети для Кена и Ника. Интенсивность цвета вокруг элемента отражает уровень его активации. Показаны только элементы со значимой активацией. Пунктирные линии обозначают основные потоки активации. На схеме (b) входной сигнал на элемент «Кен (имя)» активирует все элементы характеристик Кена. Элемент «Кен (персона)» имеет максимальную активацию, поскольку получает внешний входной сигнал. На схеме (b) показан элемент «Ник (персона)», у которого три общие с Кеном характеристики («Акулы», среднее образование, холост). Активация от этих элементов возвращается к элементу «Ник (персона)», умеренно его активируя. Некоторые характеристики Ника не показаны – они еще не достигли значимого уровня активации

Вернемся к Кену (рисунок 4.6). Подадим входной сигнал +1 на элемент «Кен (имя)» и дадим сети пройти 100 временных шагов – за это время уровни активации стабилизируются. Результат радует: активированы именно те элементы, которые и должны. Мы видим положительную активацию элементов «Кен (имя)», «Акулы», «20+», «Среднее образование», «Холост» и «Взломщик» (рисунок 4.6a), а элементы характеристик, не относящихся к Кену, имеют очень низкую активацию (они не показаны на рисунке). Как и следовало ожидать, элемент «Кен (персона)» демонстрирует самую высокую активацию среди всех элементов персон. Но есть замечательная деталь: еще два элемента персон показывают некоторую положительную активацию. Догадаетесь какие? Подсказка – в таблице с характеристиками гангстеров.

Это элементы «Ник (персона)» и «Нил (персона)». Почему именно они? Характеристики Ника и Нила очень похожи на характеристики Кена. Фактически у Ника, Нила и Кена совпадают все характеристики, кроме возраста и профессии. Благодаря этому сходству несколько элементов характеристик, первоначально активированных элементом «Кен (персона)», создают обратную связь с элементами «Ник (персона)» и «Нил (персона)». Их активация слабее, чем у элемента «Кен (персона)», по двум причинам: во-первых, элемент Кена получил мощный входной сигнал от элемента «Кен (имя)» плюс обратную связь от собственных характеристик; во-вторых, у него была фора. Элементы персон, имеющих мало общего с Кеном, активированы минимально – они не получают обратной связи от элементов характеристик.

Еще одно любопытное наблюдение: некоторые характеристики Кена активируются сильнее других. Например, элемент «Среднее образование» активнее элемента «20+». Почему так происходит? Давайте разберемся. Как вообще активируется элемент «20+»? В нашем примере он не получает внешних сигналов – их получает только элемент «Кен (имя)». Значит, активация может прийти только от элементов персон. Какие из них активны? Как мы выяснили, это Кен, Ник и Нил – самые активные элементы персон. У всех троих есть среднее образование, поэтому элемент «Среднее образование» получает возбуждающие сигналы от каждого из них, и эти сигналы суммируются. А вот элемент «20+» получает активацию только от элемента «Кен (персона)», но не от Ника и Нила – они оба активируют элемент «30+». Активация элемента «30+» стремится подавить элемент «20+» через взаимное торможение. Однако полностью погасить его активацию не удается – слишком велика разница в уровнях их активации.

А что произойдет, если вместо имени Кена мы подадим сигналы на все остальные его характеристики («Акулы», «20+», «Среднее образование», «Холост», «Взломщик»)? Как и следует ожидать, эти элементы совместно активируют «Кен (персона)», который затем активирует «Кен (имя)». Набор характеристик уникален для Кена, поэтому его элемент персоны получает максимальную активацию. Если бы у Кена был полный двойник по характеристикам – назовем его Немо, – то элементы «Кен (имя)» и «Немо (имя)» активировались бы одинаково, поскольку элементы их персон получили бы равную активацию. Это вполне разумное поведение для системы памяти: думая о характеристиках, общих для группы людей, мы активируем элементы всех этих людей.

Пока мы анализировали работу сети на примере Кена, но те же принципы применимы к Арту и ко всем остальным гангстерам в базе данных. Процесс везде одинаков: мы подаем сигнал на один или несколько элементов характеристик, они активируют связанный с ними элемент персоны, а тот активирует остальные, пока неактивные характеристики. Обратная связь, затухание и латеральное торможение работают совместно с возбуждающими сигналами. После множества циклов сеть приходит в стабильное состояние – момент, когда мы снимаем показания.

Второе важное свойство системы памяти – способность восполнять недостающую информацию. Как создать пробел в знаниях сети? Например, как сделать так, чтобы сеть не «знала», что Ланс – взломщик? Просто удалим связь между элементами «Ланс (персона)» и «Взломщик». Что произойдет, если теперь подать сигнал на элемент «Ланс (имя)»? Активация дойдет до элемента «Ланс (персона)» и оттуда распространится на все его характеристики, кроме профессии (эту связь мы удалили). Характеристики Ланса активируют другие элементы персон – в первую очередь «Джон (персона)», поскольку у Джона и Ланса много общего. Джон оказывается взломщиком, поэтому его элемент активирует «Взломщик», тем самым восполняя пробел в данных о Лансе.

Вы можете подумать, что нам просто повезло, – ведь Джон мог оказаться наркоторговцем или букмекером, и тогда сеть ошиблась бы. И вы будете правы. Нам действительно повезло, и сеть вполне может ошибаться. Но важно то, что ее предположения не случайны. Они основаны на ближайших совпадениях, и эти совпадения могут ввести сеть в заблуждение – точно так же, как смешение черт похожих людей может исказить наши воспоминания. Сеть демонстрирует выводы на основе сходства: восполняет недостающие характеристики, опираясь на похожие случаи. Часто это правильная стратегия – объекты, схожие в одном, обычно схожи и в другом. Но даже если такой подход чаще приводит к верным выводам, он может и подвести. Удалим из сети информацию о возрасте Кена – и сеть ошибочно предположит, что ему за 30 (как большинству «Акул»). По сути, у сети возникнет ложное воспоминание, ведь Кену на самом деле от 20 до 30.

Наконец, мы надеялись, что сеть сможет обобщать знания о конкретных людях и делать выводы о группах. Например, на вопрос «Какие они, "Ракеты"?» сеть должна ответить: им обычно от 20 до 30 (9 из 15), и они чаще холосты (тоже 9 из 15, хотя и не те же самые). А на вопрос «Какие они, "Акулы"?» – что им обычно за 30 (9 из 12), и многие женаты (6 из 12). Проверим, справится ли наша сеть с такими вопросами.

Как же нам узнать у сети, что представляют собой «Ракеты»? Если хотите, подумайте об этом пару минут. Можете взглянуть на схему сети ИАК на рисунке 4.5 выше.

Решение – подать сигнал на элемент «Ракеты». Этот входной сигнал активирует элемент каждого члена команды «Ракеты», а те, в свою очередь, активируют соответствующие характеристики. Элементы «20+» и «Холост» получат больше активации, чем конкурирующие характеристики, поскольку их активируют девять из 15 элементов-персон. По сути, нейронная сеть работает как система голосования, где голоса подаются в виде активации. Сеть приходит в состояние, где элементы «20+» и «Холост» обладают наивысшей активацией. Как мы и надеялись, наша сеть выдает нам типичные характеристики банды «Ракет». Фактически она сделала обобщение о «Ракетах».

Здесь проявляется удивительное свойство эмерджентности! Ни один отдельный элемент или связь не обладает знанием об общих свойствах «Ракет». Но все вместе они эти свойства знают.

Интерлюдия. Чему следует учить?

Ноябрь 2025 г. Джин и Лев, старшие сотрудники Департамента образования, выбирают между двумя учебниками для дошкольников. Первая книга, «Город событий», содержит сотни иллюстраций с изображением людей и животных в действии. На первой странице – плотник с молотком, летящая ворона, пожарный, тушащий пламя, парящая колибри и десятки подобных картинок. Вторая книга, «Как устроен мир», использует простые предложения и иллюстрации для описания свойств предметов. Например, на первой странице написано: «Большинство птиц умеют летать» и «У большинства деревьев есть листья».

Лев. Считаю крайне важным прямо объяснять детям свойства окружающего мира. «Как устроен мир» делает это просто и изящно. Ребенок, который постоянно слышит от родителей, что птицы летают, запомнит это навсегда.

Джин. Не согласна. Дети узнают о способности птиц летать не через прямые утверждения. Они делают обобщения на основе примеров.

Лев. Мы говорим о двухлетних малышах! Они понятия не имеют об обобщениях.

Джин. Обобщение происходит естественным образом при многократных встречах с явлениями. Вам кто-нибудь прямо говорил, что большинство птиц летают?

Лев (улыбается). Наверное, мама говорила.

Джин. А еще она рассказывала, что у стульев обычно четыре ножки, у машин есть колеса, у самолетов – крылья, а бегемоты толстые? Список бесконечен! Думаю, многое мы узнаем именно из примеров. Если я вижу летящего голубя, ворону, колибри, а потом встречаю птицу, похожую на них, я ожидаю, что она тоже умеет летать. Поэтому мне нравится «Город событий». Книга просто показывает примеры.

Лев. Вы всерьез полагаете, что такие крохи способны сознательно делать выводы о полетах?

Джин. Выводы не обязательно осознанные, но они делаются.

Лев. Не могу себе этого представить.

Джин. Не стоит отвергать идею только потому, что вы не можете ее вообразить!