Шлюз между водохранилищами на разных уровнях – удачная метафора для связей между элементами сети. В этой метафоре элемент представлен резервуаром, а его активация – уровнем воды. Такая аналогия помогает понять различия в силе связей. Широкий шлюз позволяет передающему резервуару существенно влиять на уровень воды в принимающем. Точно так же большой вес связи между передающим и принимающим элементами позволяет первому сильно влиять на уровень активации второго. Эта интерпретация соответствует биологическим нейронным сетям, где активация одного нейрона вызывает больший или меньший выброс нейромедиаторов в синапсах, что приводит к более или менее интенсивной активации принимающих нейронов. В главе 9 мы рассмотрим эксперименты, демонстрирующие, как связи между нейронами могут укрепляться под действием активационных сигналов – в полном соответствии с идеями Хебба.

Как и любая метафора, аналогия со шлюзом несовершенна. Например, она плохо подходит для описания тормозных связей, где передающий элемент снижает активацию принимающего. И все же она помогает интуитивно понять принципы работы межэлементных связей. На рисунке 3.8 показаны два элемента – А и В. Элемент А получает умеренный или высокий входной сигнал. Он соединен с элементом В возбуждающей связью с низким или высоким весом. По традиции связи с бóльшим весом изображают более толстыми линиями.

Рисунок 3.8. Высокий вес связи (сила связи) означает, что передающий нейрон может сильнее влиять на принимающий нейрон

Низкий вес означает, что элемент А слабо влияет на элемент В. При малом весе умеренный входной сигнал в элемент А вызывает лишь слабую активацию элемента В, а сильный входной сигнал – умеренную активацию. Напротив, высокий вес означает, что элемент А сильно влияет на элемент В. Возвращаясь к метафоре с резервуарами: передающий резервуар оказывает максимальное воздействие при высоком уровне воды (соответствует высокой входной активации) и широком шлюзе (соответствует большому весу связи).

Подобно тому как мы представляли активацию числами, весá связей тоже можно выразить численно. Тормозные связи имеют отрицательные веса, выраженные отрицательными числами, а возбуждающие – положительные веса, выраженные положительными числами.

С учетом этих обозначений мы можем теперь указывать уровни активации и весá связей (силу связей) в нейронной сети. Вернемся к нашей сети с холодильником, но теперь (см. рисунок 3.9) предположим, что связь между элементом «Жажда» и элементом «Идти к холодильнику» имеет высокий вес (+0,9), а связь между элементом «Голод» и тем же выходным элементом – низкий вес (+0,3). Такая сеть может моделировать ситуацию, когда у человека есть устойчивая привычка идти к холодильнику, чтобы утолить жажду, но гораздо меньшая склонность делать это, если он голоден (возможно, вместо этого он тянется к банке с печеньем!). Как и раньше, элемент «Идти к холодильнику» должен получить активацию не менее 0,5 для генерации выходного сигнала (то есть его порог по-прежнему равен 0,5).

Рисунок 3.9. Связи разного веса определяют степень влияния передающих нейронов

Эта нейронная сеть обладает иными свойствами, чем рассмотренная ранее (см. рисунок 3.7), поскольку ее связи имеют разные веса. В первой версии нашей сети все связи имели вес 1, что позволяло элементам «Голод» и «Жажда» одинаково сильно влиять на элемент «Холодильник». В новой версии это не так. Проанализируем ее работу: исходя из сказанного выше, мы ожидаем, что связи с большим весом окажут более сильное влияние на принимающий элемент, чем связи с меньшим весом. Следовательно, элемент «Жажда» должен влиять сильнее, чем элемент «Голод».

В нашей модели это реализуется следующим образом: влияние одного элемента на другой равно произведению активации передающего элемента и веса связи с принимающим элементом. Это соответствует нашим ожиданиям: передающие элементы с высокой активацией и большими весами связей должны вызывать более существенные изменения активации, чем элементы с низкой активацией и малыми весами.

Рассмотрим случай, когда элемент «Жажда» имеет активацию 0,6 (довольно сильная жажда), а элемент «Голод» неактивен. Влияние элемента «Жажда» на элемент «Идти к холодильнику» составит: активация «Жажды» (0,6) × вес связи (0,9) = 0,54. Поскольку это единственное воздействие на выходной элемент, его активация будет равна 0,54. Этого достаточно для превышения порога 0,5, и действие – поход к холодильнику – произойдет.

Теперь рассмотрим противоположный случай: элемент «Голод» с активацией 0,6 (довольно сильный голод), а элемент «Жажда» не получает входного сигнала. Влияние на элемент «Идти к холодильнику» составит 0,6 × 0,3 = 0,18, что значительно ниже порогового значения 0,5, поэтому действие не произойдет.

Итак, высокий вес связи между «Жаждой» и «Идти к холодильнику» и низкий вес связи с «Голодом» приводят к тому, что выходной элемент активируется при сильной жажде, но не при сильном голоде.

А что, если активация элемента «Жажда» составит 0,2 (слабая жажда), а элемента «Голод» – 1 (максимальный голод)? Сможете вычислить, превысит ли активация элемента «Идти к холодильнику» пороговое значение? Попробуйте сами, прежде чем смотреть ответ.

В этом случае элемент «Идти к холодильнику» получит воздействие 0,2 × 0,9 = 0,18 от «Жажды» и 1 × 0,3 = 0,3 от «Голода». Суммарная активация составит 0,18 + 0,3 = 0,48, что немного не дотягивает до порога. Если бы наша сеть моделировала человека с такими связями, мы бы предсказали: в данной ситуации он не отправится к холодильнику, хотя малейшее усиление голода или жажды может сдвинуть его с места.