Давайте остановимся и кратко подведем итоги. Во-первых, нейронные сети состоят из элементов. Мысль представляет собой паттерн активации множества таких элементов. Они активируют друг друга, передавая активацию через связи разного веса. Именно в связях хранится знание нейронной сети. Влияние передающего элемента на принимающий зависит от степени активации передающего элемента и силы связи между ними.
В рамках этих базовых принципов мы отметили, что активация может возникать либо от внешних входных сигналов, либо от уже активных элементов сети. Уровни активации варьируются от минимума до максимума. Веса связей могут быть возбуждающими или тормозными – активация передающего элемента может повышать или снижать активацию связанных с ним элементов. Возбуждающие связи могут формироваться, укрепляться или ослабевать по мере накопления опыта. Влияние передающего элемента на принимающий равно произведению активации передающего элемента и веса связи. Если принимающий элемент является выходным, он может запустить внешнюю реакцию при достижении порогового уровня активации. Полезное расширение этой идеи: элементы внутри сети тоже могут иметь пороги активации и молчать, пока порог не превышен. Именно эта идея использовалась в AlexNet для повышения производительности, и, вероятно, те же процессы происходят в мозге.
Важно понимать взаимозависимость между потоками активации и изменением весов связей. Потоки активации определяются текущими весами связей, а изменения весов направляются информацией, которую несут потоки активации. Этот повторяющийся процесс позволяет нейронным сетям – и биологическим, и искусственным – адаптироваться и совершенствоваться со временем.
Впереди нас ждет исследование того, как различные аспекты познания возникают из взаимодействия элементов в нейронных сетях. Во второй части мы рассмотрим следующие вопросы: кáк воспоминания приходят нам на ум, как они обобщаются на основе примеров и заполняют пробелы в знаниях, как контекст влияет на восприятие, понимание языка и других людей, даже на эмоции, почему мы поступаем так, а не иначе. Эти исследования способны изменить ваше представление о собственном разуме.