Энтомологу, который хочет понять, как муравьиная колония огибает препятствия, необходимо кое-что знать о самих муравьях. Не знай он, например, что муравьи выделяют феромоны и склонны следовать по наиболее сильному феромонному следу, он не смог бы дать четкого механистического объяснения тому, как колонии муравьев в итоге находят кратчайший путь в обход препятствия.

Важная цель нашей книги — познакомить вас с нейронными сетями, которые демонстрируют многие эмерджентные свойства, присущие человеческому разуму. Эти нейросети будут состоять из элементов, чьи свойства основаны на свойствах нейронов реального мозга. Поэтому нам нужно кое-что знать об этих свойствах. Более того, нам необходимо уметь соотносить то, что происходит в реальном мозге, с тем, что происходит в нейронных сетях — хотя бы в общих чертах. Это и есть наша задача в данной главе. Мы не будем пытаться охватить всю нейробиологию целиком. Вместо этого мы сосредоточимся на ключевых принципах, которые оказались полезными при создании нейросетей. Однако даже простое понимание этих базовых принципов позволит заглянуть в то, как интеллект может возникать в людях и машинах.

До конца 1800-х годов о микроструктуре мозга было известно крайне мало. В то время оставалось неясным, состоит ли мозг, подобно другим органам, из отдельных клеток или же он является исключением из этого правила. Частично это объяснялось отсутствием надежных методов окрашивания нервной ткани. Всё изменилось в 1873 году, когда итальянский врач Камилло Гольджи изобрел метод серебряного окрашивания, который он назвал la reazione nera (черная реакция) и который впоследствии стал известен как метод окрашивания по Гольджи. Благодаря этому нервная ткань стала видна (под микроскопом) так, как никогда прежде: на желтом фоне можно было четко разглядеть тела клеток, сильно разветвленные дендриты и аксоны. Подобные изображения привели Гольджи и других ученых к поддержке мнения о том, что нервная система представляет собой непрерывную единую сеть. Это был вполне логичный вывод, поскольку в то время из-за разрешающей способности микроскопов нервная ткань казалась сплетением единой нити.

Эту точку зрения оспорил Сантьяго Рамон-и-Кахаль. Рожденный в 1852 году, Рамон-и-Кахаль мечтал стать художником, и его потрясающие наброски нервных клеток свидетельствуют о том, что у него определенно был талант для осуществления этой мечты. Однако отец убедил его изучать медицину, и, оглядываясь назад, стоит признать, что это было к лучшему. Рамон-и-Кахаль стал врачом, а позже начал использовать метод окрашивания по Гольджи для изучения нервной ткани. Он дорабатывал и совершенствовал метод Гольджи — менял концентрацию красителя и варьировал время погружения ткани. Путем проб и ошибок он обнаружил, что лучше использовать нервную ткань эмбрионов, поскольку новообразованные нервные клетки еще не покрыты жировой оболочкой и эффективнее впитывают краситель. Эти открытия потребовали многих лет кропотливой работы, но Рамон-и-Кахаль был готов к упорному труду. Он писал:

Всякий великий труд — плод терпения и настойчивости, помноженных на упорную концентрацию внимания на одном предмете в течение месяцев или лет.

Упорный труд окупился. В 1888 году Рамон-и-Кахаль сформулировал нейронную доктрину, согласно которой нервная система, включая мозг, состоит из отдельных клеток, а не является непрерывной единой сетью, как утверждал Гольджи (и большинство других нейробиологов того времени). Далее Рамон-и-Кахаль пришел к выводу, что каждая из этих нервных клеток, получивших название нейронов, передает свои импульсы соседним нейронам через крошечный промежуток, называемый сегодня синапсом.

Нейроны, которые видел Рамон-и-Кахаль, различаются по размеру, форме и структуре в зависимости от их роли и местоположения. Давайте поближе рассмотрим один из основных типов нейронов в неокортексе человека (эволюционно самой молодой части внешней коры головного мозга), которые иногда называют пирамидными клетками (рис. 3.1). Тело такой клетки по форме напоминает пирамиду (отсюда и название), и из него выходит длинная тонкая нить, называемая аксоном. Клетка также имеет множество разветвленных отростков, называемых дендритами, которые часто обобщенно называют дендритным деревом. Дендритное дерево нейрона может простираться на несколько миллиметров (примерно на четверть дюйма) во все стороны от тела клетки. Аксон нейрона может иметь локальные ответвления, распространяющиеся на аналогичное расстояние. У крупных животных длина некоторых аксонов может превышать метр (около сорока дюймов). Синапс — это щель между аксоном одного нейрона и дендритами другого, соседнего нейрона.

Рисунок 3.1. Типичный нейрон, называемый пирамидной клеткой, в неокортексе человека. Другие нейроны могут быть больше или меньше. (Изменено на основе оригинала: https://commons.wikimedia.org/w/index.php?curid=1592349.)

Типичный нейрон получает сигналы от других нейронов через свое дендритное дерево и передает сигналы другим нейронам через аксон и его ответвления. Прием и передача этих сигналов происходят через синапсы. Один нейрон может иметь десятки тысяч синапсов с соседними нейронами. Эти соседние нейроны, в свою очередь, могут передавать сигналы другим нейронам через собственные наборы синапсов. Таким образом формируется сеть, которая позволяет нейрону в одной области мозга взаимодействовать — напрямую или опосредованно — с нейронами в других областях мозга и с нейронами спинного мозга. Эти нейроны спинного мозга, в свою очередь, могут связываться с нейронами в остальных частях тела, некоторые из которых отвечают за движение наших мышц. Поэтому, когда мы задействуем мышцы рук, чтобы поймать мяч, или мышцы рта, чтобы спеть песню, мы реагируем на сигналы далеких нейронов головного мозга, которые оказывают свое влияние через триллионы синапсов.

Рамон-и-Кахаль понимал, что его открытие синапса было революционным. Он чувствовал, что сделал самые первые шаги на пути человечества к пониманию разума. Он писал:

Подобно энтомологу в поисках ярких бабочек, моё внимание охотилось в садах серого вещества за клетками нежных и изящных очертаний — таинственными бабочками души, чей взмах крыльев, возможно, однажды откроет нам тайны разума.

Инженерное изящество

Муравьи часто используют феромоны для передачи сигналов друг другу. Нейроны часто используют химические вещества, называемые нейромедиаторами, чтобы передавать сигналы друг другу. Муравьи вырабатывают разные виды феромонов. Нейроны вырабатывают разные типы нейромедиаторов (возможно, вы слышали о некоторых из них — дофамин, серотонин и глутамат являются общеизвестными нейромедиаторами). Муравьи реагируют на встреченные феромоны, меняя свое поведение. Нейроны реагируют на получаемые нейромедиаторы, изменяя свой внутренний электрический заряд, или потенциал. Это изменение потенциала определяет, передаст ли нейрон сигнал своим соседям. В целом нейроны взаимодействуют друг с другом посредством химических сигналов через синапсы, что становится возможным благодаря электрическим изменениям внутри самих нейронов.

Что это за изменения внутри нейронов и как они происходят? Детальные механизмы сложны, но общий обзор позволяет уловить суть, а эта суть способна передать часть лежащей в основе природной инженерии — которая, на наш взгляд, просто захватывает дух.

Первые нейроны развились у существ, живших в океане. Океанская вода богата солями, такими как хлорид натрия и хлорид калия. Молекулы этих солей состоят из двух атомов; например, молекула хлорида натрия состоит из атома натрия и атома хлора. При растворении в воде эти соли легко распадаются на положительно и отрицательно заряженные ионы. Атом натрия, к примеру, теряет электрон и, поскольку протонов в нём теперь больше, чем электронов, становится положительно заряженным ионом. Атом хлора приобретает электрон и становится отрицательно заряженным хлорид-ионом.

Нейроны древних океанических существ, находясь в богатой этими ионами водной среде, приспособились использовать их для создания локальных электрических полей. Эти механизмы продолжали использоваться животными, которые давно покинули океан, поскольку их нейроны по-прежнему оставались окружены и, по сути, пропитаны океанской водой (точнее, внеклеточной жидкостью). В ходе эволюции у нейронов в состоянии покоя концентрация отрицательно заряженных ионов внутри клеточных мембран стала более высокой по сравнению с положительно заряженными ионами во внеклеточной жидкости. Отрицательный заряд внутри нейрона притягивает эти положительные ионы, но клеточная мембрана нейрона не позволяет им проникнуть внутрь. Таким образом, в состоянии покоя нейрон имеет отрицательное напряжение в -70 милливольт. Это напряжение покоя может временно нарушаться, когда нейрон получает сигналы от других нейронов (или напрямую от органов чувств, но пока оставим этот частный случай в стороне).

Представим, что у нас есть передающий нейрон и принимающий нейрон, и сосредоточимся на синапсе между ними (рисунок 3.2). Принимающий нейрон находится в состоянии покоя, но передающий нейрон испытывает взрыв активности, который называют потенциалом действия, или спайком. Потенциал действия представляет собой короткую электрическую волну, которая распространяется от тела клетки передающего нейрона к окончаниям его аксона — это похоже на волну, возникающую, когда в пруд падает камень.

Вы, конечно, можете резонно возразить: «Минуточку. А как этот передающий нейрон вообще получил свой потенциал действия?» Ответ заключается в том, что этот потенциал действия был вызван другими (вышестоящими) передающими нейронами. Иными словами, наш передающий нейрон сам был принимающим для этих вышестоящих передающих нейронов. Он стал передающим благодаря сигналу, который получил, — точно так же, как наш принимающий нейрон станет передающим для других, нижестоящих нейронов.

Итак, вернемся к нашему передающему нейрону, по аксону которого распространяется потенциал действия. Когда потенциал действия достигает передающей стороны синапса, в синапс между передающим и принимающим нейронами высвобождается химическое вещество, называемое нейромедиатором. Этот нейромедиатор открывает поры на принимающей стороне, позволяя положительно заряженным ионам устремиться внутрь. Если в принимающий нейрон проникает достаточное количество положительно заряженных ионов, он может запустить собственный потенциал действия. Как правило, в запуск потенциала действия в принимающем нейроне вносит вклад множество передающих нейронов. Нейромедиатор, высвобождаемый по направлению к принимающему нейрону в каждом синапсе, позже снова захватывается передающим нейроном.

Рисунок 3.2. Процессы в синапсе. Потенциал действия в передающем нейроне вызывает высвобождение нейромедиаторов в синапс, что может запустить потенциал действия в принимающем нейроне.

Стоит выделить четыре свойства взаимодействия между нейронами, поскольку они сыграют важную роль в наших дальнейших рассуждениях о нейронных сетях.

Во-первых, хотя потенциалы действия представляют собой дискретные события, происходящие по принципу «всё или ничего», мы и многие другие специалисты по моделированию рассматриваем передаваемый нейроном сигнал как непрерывную величину, называемую частотой импульсации (обычно измеряется в количестве потенциалов действия в секунду). Это удобно, поскольку значимые сигналы обычно переносятся группами нейронов, а их коллективное влияние нарастает и снова угасает в течение десятков миллисекунд. Группа нейронов, каждый из которых производит по пятьдесят потенциалов действия в секунду, гораздо более активна (и влиятельна), чем группа нейронов, производящих по десять потенциалов действия в секунду. Во 2-й главе мы приравняли частоту импульсации нейронов к активации элементов нейросети.

Во-вторых, передающий нейрон может влиять на принимающий нейрон, увеличивая или уменьшая частоту его импульсации. Эти возбуждающие или тормозные эффекты возникают из-за того, что различные нейромедиаторы могут открывать каналы в клеточной мембране, позволяя положительным или отрицательным ионам проникать внутрь нейрона из окружающей жидкости. Положительные ионы смещают потенциал нейрона ближе к порогу возбуждения, что обеспечивает базовый механизм, лежащий в основе возбуждения нейрона. Отрицательные ионы, проникающие в нейрон (или положительные ионы, покидающие его), смещают потенциал нейрона дальше от порога возбуждения, обеспечивая базовый механизм, лежащий в основе торможения нейрона. Таким образом, влияние одного нейрона на другой может быть возбуждающим или тормозным. Без возбуждения мозг был бы инертным и неспособным порождать мысли или действия. Без торможения ничто не сдерживало бы непрерывную генерацию потенциалов действия, и мозг вечно продолжал бы гудеть, заглушая шумом любые полезные сигналы.

В-третьих, влияние одного нейрона на другой — это всегда вопрос степени. Отдельные синапсы различаются по своей силе, и один передающий нейрон может иметь несколько синапсов на одном принимающем. А когда мы думаем о целых группах нейронов, влияние одной группы на другую можно представить как зависящее от общего числа синапсов от каждого передающего нейрона к каждому принимающему. В целом то, насколько сильно один нейрон воздействует на другой, зависит от множества факторов. В нейронных сетях мы будем концептуализировать это градуальное влияние как силу связи между элементами.

В-четвертых, и в-последних, общий входной сигнал нейрона объединяет все получаемые им отдельные сигналы. Сигнал на одном синапсе вызывает очень небольшое изменение — обычно недостаточное для возникновения потенциала действия в принимающем нейроне. Но типичный пирамидный нейрон имеет на своем дендритном дереве десятки тысяч синапсов — точек, где он принимает сигналы от других нейронов. В первом приближении нейроны, по сути, вычисляют совокупный входной сигнал, который представляет собой сумму всех возбуждающих входов за вычетом суммы тормозных входов. Положительный суммарный входной сигнал, как правило, увеличивает частоту импульсации нейрона, тогда как отрицательный суммарный входной сигнал снижает её.

Это вся нейробиология, которая нам нужна. Теперь мы готовы использовать эти четыре свойства нейронов для построения нейронных сетей.

Концепция нейронных сетей

Далее мы воспользуемся рассмотренными принципами нейробиологии, чтобы построить нейронные сети и изучить, как они работают.

Основным обрабатывающим элементом мозга является нейрон. Эквивалентный ему базовый компонент в нейронной сети называется элементом. Элементы — это гипотетические конструкты: мы постулируем их существование и смотрим, какие выводы можем из этого сделать. Элементы в моделях не обязательно точно соответствуют отдельным биологическим нейронам. Зачастую полезно представлять элемент как совокупность нейронов, совместная активность которых выражает то, о чем мы можем думать, — например, какой-то объект или возможное действие.

Некоторые нейроны генерируют потенциалы действия в ответ на события во внешнем мире. Например, обонятельные нейроны могут реагировать на дуновение аромата духов, а нейроны глаза — на вспышку света. Подобным же образом в наших нейронных сетях будут элементы, способные принимать сигналы извне сети. Мы будем называть их входными элементами.

Импульсация нейронов, получающих достаточный внешний сигнал, закономерно влияет на другие нейроны, с которыми они связаны. В целом, чем выше частота импульсации нейрона, тем сильнее его влияние на другие связанные с ним нейроны. Мы точно так же предположим, что каждый элемент нейронной сети имеет определенный уровень активации. Поскольку мы приняли, что элемент соответствует группе нейронов, уровень активации элемента соответствует средней частоте импульсации группы нейронов, которую данный элемент представляет. Как и в случае с нейронами, чем выше уровень активации элемента, тем сильнее его влияние на другие связанные с ним элементы.

Как мы обсуждали в 1-й главе, элементы нейросети часто изображаются в виде кружков. Один из способов показать уровень активации элемента — толщина ореола вокруг представляющего его кружка (рисунок 3.3).

Рисунок 3.3. Три элемента с разным уровнем активации. Активация элемента соответствует средней частоте импульсации представляемой им группы нейронов.

На рисунке 3.3 показаны три подписанных элемента — А, B и C, которые можно рассматривать как строительные блоки нашей первой нейросети. Элемент A имеет высокий уровень активации, B — средний уровень активации, а C — еще более низкий.

Другой, более точный способ передать уровень активации каждого элемента — обозначить её числом. Обычно значения активации должны лежать в пределах между минимальным и максимальным значениями. На данный момент мы примем одно распространенное соглашение, согласно которому активация может находиться в диапазоне от значений чуть ниже 0 до 1. В этом случае уровень активации, равный 0, может соответствовать базовой частоте импульсации; положительные числа будут обозначать частоту выше базовой, а отрицательные — ниже базовой. На рисунке 3.4 изображены те же элементы, что и на предыдущем рисунке, но здесь уровни активации показаны числами.

Рисунок 3.4. Активация может быть представлена положительными или отрицательными числами в зависимости от того, выше или ниже базового уровня находится частота импульсации элемента.

Пока всё идёт хорошо. Но чтобы наши элементы образовали сеть, между ними должны быть связи. Если один элемент влияет на активацию другого, давайте обозначим эту связь линией. Далее договоримся обозначать возбуждающую связь стрелкой на принимающем конце, а тормозящую — точкой на конце. На рисунке 3.5 элемент A имеет возбуждающую связь с элементом B и тормозящую — с элементом C. Элементы B и C не связаны друг с другом и не оказывают взаимного влияния. Кроме того, схема показывает, что ни элемент B, ни элемент C не влияют на элемент A. Такие связи действительно существуют, и мы рассмотрим их в последующих главах. Чтобы включить подобные связи — скажем, обратную возбуждающую связь от элемента B к элементу A, — мы могли бы добавить вторую стрелку или (для краткости) показать одну линию со стрелками на обоих концах.

Рисунок 3.5. Связь между элементами A и B — возбуждающая; связь между элементами A и C — тормозящая. Таким образом, активация элемента A увеличивает активацию элемента B и уменьшает активацию элемента C. Поскольку связь между элементами B и C отсутствует, на активацию элемента C не влияет напрямую активация элемента B, и наоборот.

Вернемся к нашим входным элементам, которые принимают внешний сигнал и активируются. На рисунке 3.6 стрелки показывают, что внешний сигнал может поступать на два крайних левых элемента, приводя к их активации. Входные элементы соединены с другими элементами, которые не могут получать прямой сигнал из внешнего мира. Однако, поскольку они имеют возбуждающие связи от входных элементов, они тоже могут активироваться. Эти элементы в среднем слое, в свою очередь, имеют связи с крайним правым элементом, так что они могут вызвать и его активацию. Такие крайние правые элементы принято считать выходными, поскольку они передают активацию за пределы сети, что, возможно, соответствует потенциальным действиям; для простоты в нашей сети есть только один такой элемент. Как мы отмечали ранее, внутренние слои, которые не получают внешних сигналов и не выдают результатов вовне, часто называют скрытыми слоями. Наша сеть имеет один скрытый слой с двумя элементами. Современные сети глубокого обучения иногда могут иметь до тысячи скрытых слоев, причем каждый слой может насчитывать сотни или даже тысячи элементов.

В мозге не всегда понятно, как именно подсчитывать количество скрытых слоев, и как в мозге, так и в искусственных сетях могут существовать связи, идущие в обход слоев. Такие сети сложнее, чем та, что представлена на рисунке 3.6, но они работают в основном по тем же принципам, которые мы только начинаем изучать.

Обратите внимание на характерную схему связей на рисунке 3.6. Как показано на панели 1, элемент D в скрытом слое получает возбуждающие воздействия от обоих входных элементов, тогда как элемент C получает возбуждающее воздействие только от элемента A. Выходной элемент E получает возбуждающие воздействия от обоих скрытых элементов. На панели 1 показано состояние покоя элементов нашей сети, когда внешние сигналы отсутствуют, а активация всех элементов равна 0.

Рисунок 3.6. Упрощенная схема потоков активации в нейронной сети.

Теперь давайте рассмотрим процесс распространения активации в нашей нейронной сети. Прежде всего отметим, что мы изобразили пошаговый процесс, в котором активация на одном слое полностью определяется до того, как повлиять на активацию на следующем слое. Такой пошаговый процесс обычен для искусственных нейронных сетей и может служить отправной точкой для размышлений о моделях обработки информации в мозге, хотя в реальном мозге для нарастания активации требуется некоторое время — обычно значительно меньше секунды.

На панели 2 входной сигнал, поступивший на элементы A и B, привел к их активации. Размер ореола указывает на величину активации. В данном случае оба элемента активированы в равной степени, поскольку мы подали одинаковый внешний сигнал.

Далее давайте рассмотрим, как активация передается через связи. Пока что мы используем связи, которые передают полную активацию каждого передающего элемента в качестве его воздействия на каждый из связанных с ним принимающих элементов. На панели 3 элемент C получает активацию только от элемента A, поэтому его активация равна активации элемента A. В отличие от него, мы замечаем, что элемент D становится более активным, чем любой из элементов, от которых он получает активацию. Это происходит потому, что элемент D суммирует активацию, получаемую от элементов A и B. На панели 4 элемент E становится еще более активным, чем все остальные, поскольку он суммирует активацию от элементов C и D, и он активирован сильнее, чем любой другой элемент в сети.

Эта сеть наглядно показывает, как внешний сигнал вызывает активацию во входных элементах, как эта активация распространяется на другие элементы и как активация отдельного элемента зависит от суммы активаций, полученных им от других элементов. Именно так работала первая модель нейронной сети Джея Макклелланда, вдохновленная течением воды через заводи в горном ручье. На самом деле активация не течет подобно воде; скорее, связанные друг с другом элементы влияют на активацию друг друга. Тем не менее метафора Джея помогает понять принципы работы нейронной сети.

Мы уже отмечали, что в мозге активация нарастает постепенно в течение короткого времени, достигая устойчивого состояния, если входной сигнал действует достаточно долго. Соответственно, как только входной сигнал прекращается, активация элемента стремится вернуться к состоянию покоя, показанному на панели 1. Как и следовало ожидать, нейроны не могут оставаться активными вечно.

Тест-драйв нейронной сети

Мы еще в самом начале нашего пути, но давайте попробуем представить себе нейронную сеть, которая начинает улавливать некоторые аспекты поведения. Представим, что у человека есть популяция нейронов, которые срабатывают, когда он испытывает жажду. Чем сильнее жажда, тем активнее они срабатывают. У него также есть другая популяция нейронов, которые активируются, когда он голоден. Представим далее, что у этого человека есть третья популяция нейронов, активация которых — при условии достаточно высокой частоты их импульсов — приводит к тому, что человек идет к холодильнику. В организме человека эквивалентом этого выходного сигнала может быть команда различным скелетным мышцам начать движение к холодильнику. Наконец, предположим, что связи как от нейронов голода, так и от нейронов жажды являются возбуждающими и могут влиять на срабатывание этих нейронов «Иди к холодильнику» (позже мы рассмотрим, как такие связи могут возникать).

Как мы могли бы изобразить эту ситуацию в нейронной сети? Мы можем начать с элемента «Жажда», элемента «Голод» и элемента «Пойти к холодильнику» (рисунок 3.7). Поскольку элемент «Жажда» влияет на активацию элемента «Пойти к холодильнику», между этими двумя элементами есть связь. Аналогично, существует связь между элементом «Голод» и элементом «Пойти к холодильнику». Между элементом «Жажда» и элементом «Голод» связи нет, так как мы предполагаем, что чувство жажды не вызывает чувства голода, и наоборот.

Мы особо подчеркивали мысль о том, что для совершения действия — похода к холодильнику — активность нейронов «Пойти к холодильнику» должна превысить определенный уровень. В нашей модели мы отражаем это, задавая пороговое значение активации, которое в данном примере мы установили равным 0,5.

Теперь давайте рассмотрим работу этой нейронной сети. Сначала представим случай, когда элемент «Жажда» имеет активацию 0,3, а элемент «Голод» полностью неактивен. Эта ситуация отражает случай, когда человек испытывает легкую жажду и совсем не голоден. Как и прежде, мы предполагаем, что связь между элементом «Жажда» и элементом «Пойти к холодильнику» полностью передает активацию первого второму, так что этот элемент тоже получит активацию, равную 0,3 единицы. Это меньше порогового значения 0,5, и элемент «Пойти к холодильнику» не сгенерирует выходной сигнал. Если же элемент «Жажда» получит входной сигнал величиной 0,6 единицы (что соответствует более сильной жажде), элемент «Пойти к холодильнику» достигнет уровня активации 0,6, что превышает пороговое значение 0,5 и заставит его выдать выходной сигнал. Аналогично, отсутствие сигнала на входе элемента «Жажда» и сигнал 0,6 на входе элемента «Голод» также заставили бы нейрон «Пойти к холодильнику» выдать результат.

Рисунок 3.7: Нейронная сеть, в которой элемент «Пойти к холодильнику» срабатывает только в том случае, если получает входной сигнал, превышающий пороговое значение 0,5.

Теперь представьте случай умеренной жажды и умеренного голода. Допустим, и элемент «Жажда», и элемент «Голод» имеют активацию 0,3, и оба передают эту величину элементу «Пойти к холодильнику». Поскольку элементы суммируют сигналы, получаемые от других элементов, общая активация элемента «Пойти к холодильнику» составит 0,6. Это выше порогового значения и заставит элемент выдать сигнал. Из тех же соображений, активация «Жажды» 0,4 и «Голода» 0,2 заставят элемент «Пойти к холодильнику» сработать, а вот 0,2 «Жажды» и 0,2 «Голода» — нет.

Эта игрушечная нейронная сеть иллюстрирует понятия порога и суммации активации (то есть активации от элементов «Жажда» и «Голод» суммировались в элементе «Пойти к холодильнику»). Кроме того, она отражает важный психологический нюанс: действие, которое может начаться в ответ либо на сильную жажду, либо на сильный голод, также может быть инициировано при умеренном уровне жажды и умеренном уровне голода. Следовательно, иногда мы можем совершить какое-то действие под влиянием совокупности причин, ни одна из которых сама по себе не была бы достаточной. Подобные суммирующиеся влияния на действия человека — и, более того, на наше восприятие и мысли — очень часто наблюдаются в психологических экспериментах.

Заметьте, что активация была единственной «валютой» этой нейронной сети. Если активации было достаточно, элемент «Пойти к холодильнику» выдавал реакцию, если нет — не выдавал. Даже активация элементов «Жажда» и «Голод» не была строго обязательной: если бы мы простимулировали гипотетический элемент «Пойти к холодильнику» извне — с помощью электрического тока, — человек все равно пошел бы к холодильнику. Подобные прямые эффекты электрической стимуляции наблюдались в экспериментах на животных. Это свойство всех нейронных сетей: активация — их единственная валюта. Мы полагаем, что то же самое можно сказать обо всех процессах, происходящих в разуме.

Интерлюдия: Конфабулированные объяснения

Декабрь 1981 года. Самолет летит в Лос-Анджелес, штат Калифорния. Исаак одет в толстовку Калтеха, а Кендалл — в толстовку Бизнес-школы Маршалла при Университете Южной Калифорнии. Они сидят на соседних креслах.

Кендалл: Калтех, значит? Вы инженер?

Исаак: Нет, я изучаю нейронауки.

Кендалл: Значит, врач? Удаляете опухоли мозга и все такое?

Исаак: Нет, я изучаю, как мы можем понять свои действия, исследуя мозг.

Кендалл: А, типа психологии. Моя бывшая этим увлекалась. По-моему, полнейшая чушь. Уж поверьте, понять поступки людей совсем не сложно. Я вот понимаю поступки людей. (Бегло осматривает салон самолета и останавливает взгляд на человеке, сидящем через проход от них.) Видите вон того парня? Он только что сделал глоток воды. Видели? И я скажу вам, почему он это сделал. Потому что у него возникла мысль, что он хочет пить. Вот и всё! Появилась мысль — и он выпил воды. Так что вам стоит потребовать у Калтеха вернуть деньги за обучение.

Исаак: Но что же такое эта мысль? Откуда она берется?

Кендалл: Да бросьте вы! У людей есть мысли. Их мысли приводят к их действиям, ладно? Вот скажу вам: если кто-то идет к холодильнику, значит, у него возникла мысль, что он голоден или хочет пить. Или и то, и другое.

Исаак: Я согласен, что у людей есть мысли об их действиях. И иногда, как в вашем примере с холодильником, эти мысли действительно хорошо коррелируют с их действиями.

Кендалл: Хорошо коррелируют с их действиями? Да о чем вы вообще? Мысль заставляет их идти к холодильнику. Они говорят себе: «Я хочу пить. Мне нужно сходить к холодильнику».

Исаак: (Поворачиваясь к Кендаллу.) Смотрите, я работаю с пациентами с «расщепленным мозгом». Это люди, у которых был перерезан пучок нервов, соединяющий левое и правое полушария мозга, из-за чего две половины их мозга не могут общаться друг с другом. Они, по сути, ходят с двумя независимыми мозгами. Одно из полушарий, обычно левое, способно формулировать речь. Правое — нет. Так вот, если правильно выстроить эксперимент, можно показать правому полушарию сообщение, которое левое полушарие не получит.

Кендалл: Какое, например, сообщение?

Исаак: Вы могли бы, например, велеть ему «пройтись».

Кендалл: Но если правое полушарие не умеет формулировать речь, разве оно вообще способно понять указание?

Исаак: Оно не может формулировать речь, но может прочесть и понять указание. Человек встает и идет гулять! Но вот что удивительно. Если вы спросите его, почему он пошел гулять, он тут же придумает объяснение вроде: «Мне нужно взять что-нибудь попить».

Кендалл: И этот ответ исходит от левого полушария?

Исаак: Да, левое полушарие не знает, что правое выполняет инструкцию. Поэтому оно конфабулирует — сочиняет объяснение.

Кендалл: То есть человек врет?

Исаак: Хм, не думаю, что они считают это ложью. Скорее они просто ищут объяснение своему действию. И это объяснение в данном случае оказывается неверным.

Кендалл: Но разве эти пациенты не особый случай из-за отсутствия связей в мозгу? Думаю, большинство нормальных людей понимают причины своих поступков. Мы слышим, как мы думаем. Мы сами управляем собственными действиями на основе возникающих мыслей.

Исаак: Согласен, обладание разумом порой ощущается как внутренний диалог с самими собой. Но кажущиеся безупречными объяснения, которые наш разум находит для наших поступков, могут быть ошибочными. И это случается с каждым из нас. В одном эксперименте психологи Нисбетт и Уилсон просили людей выбрать одни из четырех нейлоновых чулок, которые висели на вешалках на одинаковом расстоянии друг от друга. Непропорционально большое число участников выбрало самый последний чулок.

Кендалл: Потому что он был лучшим?

Исаак: На самом деле все четыре чулка были абсолютно одинаковыми. Люди просто чаще выбирали последний чулок. Но никто из них не сказал, что на их выбор как-то повлияло расположение чулка! Вместо этого они рассуждали о плотности вязки, плетении или качестве изготовления чулок. Они сами себя убедили, что причина в этом. Но они просто конфабулировали.

Кендалл: (Качая головой.) По-вашему выходит, что в этой жизни мы вообще не можем знать причин своих поступков. Верится с трудом.

Исаак: Я не говорю, что вообще никогда не можем. Наш разум предлагает нам объяснения наших поступков. Иногда они верны, а иногда ошибочны.

Кендалл: Но если эти объяснения просто как бы возникают по ходу дела, то каковы же истинные причины наших поступков?

Исаак: Не знаю. Возможно, нейробиология когда-нибудь даст убедительные ответы на этот вопрос.

Кендалл: Не знаете? Но ведь это не наши мысли?

Исаак: Наши мысли — это не просто словесные формулировки, которые мы сознательно фиксируем в уме.

Кендалл: А что же тогда такое наши мысли, если конкретно?

Исаак: Не знаю.

Мысль как паттерн активации

Мы только что познакомились с первым из двух ключевых свойств нейронных сетей — активацией. Свойство активации гласит, что элементы нейросети могут активироваться в разной степени и что эта активация может в различной степени влиять на активацию других элементов. Из этого центрального свойства вытекает потенциально очень глубокое следствие.

Вот оно: для нас, как, пожалуй, и для большинства когнитивных нейробиологов, наши мысли — это паттерны активации в ансамбле нейронов головного мозга. В данном случае мы используем термин «мысль» в самом широком смысле. Восприятие чего-либо, мысль о том, что мы можем опоздать на поезд, и переживание какой-то эмоции — всё это, для наших нынешних целей, примеры мыслей. И все они представляют собой паттерны активации в группах нейронов нашего мозга.

Допустим, вы идете по улице и слышите, как кто-то зовет вас по имени. Колеблющиеся молекулы воздуха бьют по барабанной перепонке, посылая нейронный сигнал в мозг. Активируются нейроны слуховой коры, настроенные на свойства входящего сигнала. Они, в свою очередь, заставляют активироваться другие нейроны в других областях мозга. Возникает определенный паттерн активации, и вы осознаете, что слышите свое имя. Вы останавливаетесь и оборачиваетесь. Появляется другой паттерн активации, на этот раз в зонах зрительной коры, и вы узнаете своего друга. Оказывается, он со своей собакой. Запускается еще один паттерн активации. Вы испытываете прилив радости от встречи с другом, вызванный активацией в других областях вашего мозга. Сигналы из мозга передаются мышцам лица, и вы расплываетесь в улыбке. Вы останавливаетесь поговорить. Разговор заходит о его собаке. Его собака заставляет вас вспомнить о своей собственной, и в вашем мозгу начинают вспыхивать паттерны активации, связанные с понятием «собака». Эти процессы запускаются как видом собаки перед вами, так и паттернами, связанными с собаками в целом. Вы предлагаете ему выпить по чашке кофе и делаете несколько шагов в сторону ближайшего кафе, но ваш телефон издает звуковой сигнал — это запускает новый паттерн активации, который напоминает вам о предстоящей рабочей встрече. Вы на мгновение задумываетесь, есть ли у вас время выпить кофе с другом, но понимаете, что из-за этого опоздаете. Вы испытываете разочарование и принимаете осознанное решение отказаться от кофе и беседы.

Все аспекты этих восприятий, эмоций и решений основаны на паттернах нейронной активности в вашем мозге. На самом деле, согласно нашему нейросетевому подходу к познанию, ваши мысли — это всего лишь паттерны активности. В одних случаях они возникают под воздействием сигналов из внешнего мира, в других — инициируются уже существующими паттернами, потенциально соответствующими предшествующей мысли.

Хотя мысли представляют собой паттерны активации в мозге, далеко не все паттерны активации можно с полным правом назвать мыслями. Представьте ситуацию, когда вы едете на машине на работу и не замечаете, как свернули на нужный съезд с шоссе и останавливались на попадавшихся по пути светофорах. В таком случае кто-то может сказать: «О, должно быть, по дороге у меня было много неосознанных мыслей!» С другой стороны, мы можем использовать слово «мысль» применительно лишь к сознательно переживаемым состояниям ума и сказать, что ехали на работу не думая. В любом случае процессы, происходившие в нашем мозге, — часть которых привела к действиям, а часть к субъективному опыту, — сопровождались приливами и отливами паттернов активации.

Есть что-то завораживающее в представлении о мыслях как о паттернах активации — они формируются, расширяются, перетекают друг в друга, затем, возможно, на время затухают, но возникают вновь, порой меняя форму под влиянием малейшего нового сигнала. Они могут быть невероятно сложными и зачастую труднопредсказуемыми исходя из начальной конфигурации. Нам они напоминают мурмурацию ласточек.

Знание — в связях

Хорошо, мысли — это паттерны активации, но что определяет конкретный паттерн, соответствующий той или иной мысли?

Например, когда вы думаете о том, где припарковали машину, ее местоположение обычно само всплывает в памяти. Таким образом, сигнал о возвращении к машине вызывает паттерн активации, содержащий информацию о конкретном парковочном месте. Как это происходит?

Традиционно — и, пожалуй, вполне естественно — исследователи памяти предполагали, что мы храним в мозгу своего рода запись паттерна активации, который присутствовал в нашем сознании в момент первоначального опыта. Ключевая особенность нашего подхода, основанного на нейросетях, состоит в том, что после полученного опыта сохраняется не сам паттерн активации, а изменения силы связей между нейронами, участвовавшими в этом паттерне. Сила связи указывает на степень влияния, которое один нейрон (или один элемент) оказывает на другой нейрон (или элемент). Как мы уже обсуждали выше, в мозге эти влияния осуществляются в синапсах между нейронами, сила которых сама по себе может варьироваться.

Давайте посмотрим, как наш подход, основанный на связях, объясняет то, что произошло, когда вы вспомнили, где припарковали машину. Когда вы припарковали машину, укрепились связи между нейронами, представляющими вашу машину, и нейронами, представляющими парковочное место. Затем эти связи сделали возможной реактивацию репрезентации парковочного места, когда вы подумали о машине. Точно так же у человека, который идет к холодильнику, когда испытывает жажду, есть связи между нейронами, чья активация соответствует жажде, и нейронами, отвечающими за действие «идти к холодильнику». Разрабатывая нейросеть для описания подобной ситуации, мы предположили наличие связи между элементом «Жажда» и элементом «Идти к холодильнику». В реальном мозге такая связь должна быть результатом опыта, ведь мы не рождаемся с готовой ассоциацией между жаждой и холодильником.

Точно так же рассмотрим представления людей о вещах в мире — например, о птицах. Когда кто-то произносит слово «птица», у нас поначалу могут активироваться нейронные паттерны, представляющие крылья, перья и клювы. Если мы узнаем о птицах больше, у нас могут также активироваться нейронные паттерны, представляющие высокую скорость метаболизма или представление о том, что птицы — это организмы, произошедшие от динозавров. Таким образом, наша репрезентация понятия птицы может со временем развиваться на основе получаемых нами знаний. Согласно концепции нейронных сетей, биологический след этого развивающегося знания, как и биологический след памяти, содержится в связях между нейронами.

Это подводит нас ко второму из двух ключевых свойств нейронных сетей: знания, содержащиеся в нейросети, — то, что позволяет распознавать объекты, помнить факты и воскрешать в памяти прошлый опыт, — хранятся в связях между ее элементами. Мы называем это коннекционистским свойством нейронных сетей.

Важной особенностью этого свойства является то, что при многократном повторении соответствующие связи могут создавать устойчивые русла, направляющие поток активации, подобно тому как бегущая вода прокладывает русла на земной поверхности. Некоторые из этих путей — например, тот, что основан на связях между репрезентацией лица нового знакомого и его именем, — могут быть слабыми и недолговечными, подобно ручейку, который сбегает по усыпанной листьями подъездной дорожке после короткого дождя. Другие пути — например, связывающие активацию от посадки в автомобиль с активацией, побуждающей пристегнуть ремень безопасности, — могут стать прочными и долговечными, наподобие реки Колорадо, пробивающей себе путь сквозь отвесные стены Гранд-Каньона. Чем больше течет вода, тем глубже русло; чем интенсивнее поток активации в нейросети, тем сильнее связи.

Заманчиво думать о памяти о каком-то событии как о записи самого этого события — чем-то вроде дневниковой записи или видеоклипа. Однако, согласно коннекционистскому свойству, после пережитого опыта остается вовсе не его запись в строгом смысле слова, а совокупность изменений в связях, позволяющих приблизительно реконструировать этот опыт. Новый опыт порождает новые связи между группами нейронов, и благодаря этим новым связям активация одних нейронов (представляющих, к примеру, лицо друга или мысль о припаркованной машине) может влиять на активацию других нейронов (представляющих паттерн имени нашего друга или место парковки автомобиля).

Доказательства способности мозга формировать новые связи в ответ на новый опыт получены в ходе самых разных экспериментов и наблюдений. Например, в одном исследовании молодые люди учились жонглировать и практиковались, оттачивая это умение в течение трех месяцев. По сравнению с контрольной группой (которая не училась жонглированию), сканирование их мозга показало увеличение объема серого вещества в областях, связанных с обработкой и хранением информации о сложных зрительных движениях. Затем участники исследования перестали жонглировать. Через три месяца размеры этих областей мозга вернулись к исходному уровню. Известно, что новые нейроны в исследуемой области мозга не растут, так чем же объясняются изменения в сером веществе? Последующие исследования подтвердили, что по мере того как участники сначала учились жонглировать, а затем утрачивали этот навык, в их мозге формировались, а затем распадались новые связи.

Схожие свидетельства были получены в исследовании с участием человекообразных обезьян. Обезьяны, которых научили использовать грабли, чтобы доставать пищу, находившуюся вне зоны их обычной досягаемости, продемонстрировали более высокую связность в определенных областях мозга по сравнению с обезьянами, не проходившими такого обучения. Множество подобных экспериментов, а также наблюдения за пациентами после инсульта, которые теряют связи, а затем восстанавливают их — порой после значительных повреждений мозга, — подтвердили важный вывод: воспоминания и обучение, связанные с новым опытом, увеличивают связность нейронов в мозге, и эти связи, по сути, и являются хранилищами знаний и прошлого опыта.

Как формируются эти связи? В 1940-х годах, задолго до того как были собраны подобные экспериментальные доказательства, канадский психолог Дональд Хебб высказал идею, которая стала краеугольным камнем для размышлений над этим вопросом. Хебб страстно стремился найти биологическую основу для поведения и разума в самом мозге. Будучи молодым психологом, он сталкивался с теориями разума, совершенно оторванными от работы мозга. Разум тогда считался — а во многих кругах считается и по сей день — скорее областью философии, далекой, пожалуй, от физического мира. Для Хебба такое положение дел было глубоко неудовлетворительным. Он был убежден, что разум необходимо объяснять через призму физиологии мозга, и не боялся двигаться в этом направлении. Он задавал масштабные вопросы и искал на них глубокие ответы, используя интегративный подход. В книге «Очерки о разуме», оглядываясь на свой научный путь, он писал:

Психология и философия развелись некоторое время назад, но, как и у других разведенных супругов, у них все еще остаются общие проблемы.

Одной из фундаментальных проблем, за решение которых взялся Хебб, был вопрос о том, как опыт меняет мозг. Он предложил простую идею: когда один нейрон активирует другой, соседний нейрон, связь между этими двумя нейронами становится прочнее. В частности, он писал:

Если аксон клетки А находится достаточно близко к клетке Б, чтобы возбуждать ее, и повторно или постоянно участвует в ее активации, то в одной или обеих клетках происходит некий процесс роста или метаболическое изменение, повышающее эффективность А как одной из клеток, активирующих Б.

Позже эта идея была обобщена и популяризирована в виде легко запоминающейся фразы: «Нейроны, которые возбуждаются вместе, связываются вместе». Суть идеи Хебба заключалась в том, что если два нейрона часто активны в непосредственной временной близости, то сила (возбуждающей) связи между ними увеличивается. Важная сопутствующая идея состоит в том, что если один нейрон часто активен, а другой нет, или наоборот, сила их взаимных связей уменьшается.

Этот принцип находит отражение во многих аспектах нашей повседневной жизни. Чем больше человек в чем-то практикуется — например, в игре на музыкальном инструменте или разговорной речи на новом языке (или, если речь идет об обезьяне в психологическом эксперименте, в доставании еды граблями), — тем лучше у него это получается. Эти изменения, согласно Хеббу, происходят потому, что нейронные ансамбли, представляющие стимул, постепенно всё прочнее связываются с нейронными ансамблями, представляющими ответную реакцию. В полном соответствии с поговоркой «Повторение — мать учения», эти связи при многократной совместной активации становятся быстрее, прочнее и эффективнее. Привычные реакции на стимулы опираются на прочные связи между репрезентацией стимула и репрезентацией запуска привычного действия. Пристегивание ремня безопасности при посадке в автомобиль — пример как раз такого действия.

В нейронных сетях более быстрая, прочная и эффективная связь между элементами обозначается связью с большей силой, которую также называют весом. Более сильные связи — то есть связи с большим весом — обладают большим влиянием.

Интерлюдия: Держа в руках мозг

Август 2023 года. Сан-Франциско, Калифорния. Эсекиэль ведет занятие по нейробиологии у студентов бакалавриата. Он пустил по рядам человеческий мозг, чтобы студенты могли подержать его в руках и рассмотреть. Большинство относится к этому спокойно, но одна из студенток, Прия, кажется особенно озадаченной и взволнованной этим опытом.

Эсекиэль: Всё, чем был этот человек, всё, что он когда-то знал, его надежды и печали, его стихи и его планы, его любовь и его утраты — всё это вы сейчас держите в своих руках.

Прия: Я правда не понимаю. Этот человек мертв. Этот мозг мертв. Как он может хранить знания?

Эсекиэль: Его знания кроются в связях между нейронами. Таких связей — сотни триллионов. В них заключены его память и его знания.

Прия: Значит, теоретически, если бы удалось активировать нейроны, соответствующие слову «предложение» и имени его жены, то можно было бы оживить воспоминание о том месте, где он сделал предложение?

Эсекиэль: Думаю, да, хотя мы не знаем, как воздействовать именно на те синапсы, которые хранят конкретные воспоминания о его жене. Эти синапсы разбросаны по всей коре — внешней оболочке мозга.

Прия: А можно ли как-то оживить весь этот мозг?

Эсекиэль: Да, есть серьезные ученые, которые верят, что это возможно. Они называют эту процедуру перфузией ex vivo. На сегодняшний день исследователям удалось оживить лишь несколько нейронов в мозге свиньи.

Прия: То есть чисто теоретически этот мозг можно оживить, и он будет знать все, что когда-то знал этот человек.

Эсекиэль: Думаю, да, хотя это было бы непросто. Этот человек потратил всю жизнь на создание синаптических связей, с которыми он умер. Эти связи никуда не делись, они подобны высохшему руслу реки. Если бы удалось оживить его нейроны, эти связи воссоздали бы паттерны активации, существовавшие при жизни этого человека. Все его знания — в этих связях.

Весомые вопросы

Шлюз между резервуарами, расположенными на разной высоте, служит удобной метафорой для связей между элементами сети. В этой метафоре элемент представлен резервуаром, а уровень его активации — уровнем воды. Это позволяет наглядно представить различия в силе связей. Широкий шлюз позволяет «передающему» резервуару оказывать существенное влияние на уровень воды в «принимающем». Точно так же большой вес связи между передающим и принимающим элементами позволяет первому оказывать сильное влияние на уровень активации второго. Такая интерпретация соответствует биологическим нейронным сетям, в которых возбуждение одного нейрона вызывает больший или меньший выброс нейромедиаторов в синапсах, что приводит к большей или меньшей частоте импульсации в принимающих нейронах. В главе 9 мы рассмотрим эксперименты, показывающие, как связи между нейронами могут укрепляться под воздействием сигналов активации в соответствии с идеями Хебба.

Как и любая метафора, сравнение со шлюзом несовершенно. В частности, его непросто применить к тормозным связям, при которых передающий элемент снижает активацию принимающего. Тем не менее оно помогает интуитивно понять, как работают связи между элементами. На рисунке 3.8 показаны два элемента: элемент A и элемент B. На элемент A поступает либо умеренный, либо высокий уровень входного сигнала. Он соединен с элементом B возбуждающей связью, которая может иметь либо малый, либо большой вес. По общепринятому правилу связи с бо́льшим весом изображаются более толстыми линиями по сравнению с линиями для связей с меньшим весом.

Рисунок 3.8. Большой вес (или сила) связи указывает на то, что передающий нейрон может оказывать большее влияние на принимающий нейрон.

Малый вес означает, что элемент A оказывает относительно слабое влияние на элемент B. При малом весе умеренный входной сигнал на элементе A приводит к относительно слабой активации элемента B, а сильный входной сигнал на элементе A — к умеренной активации элемента B. Напротив, бо́льший вес означает, что элемент A оказывает более сильное влияние на элемент B. В терминах нашей метафоры с резервуарами передающий резервуар обладает максимальным влиянием, когда в нем высокий уровень воды (что соответствует высокому уровню входной активации) и широкий шлюз (что соответствует большому весу связи).

Точно так же, как мы выражали уровни активации числами, мы можем выражать числами и веса связей. Тормозные связи имеют отрицательные веса, обозначаемые отрицательными числами, а возбуждающие — положительные веса, обозначаемые положительными числами.

Приняв это соглашение, мы теперь можем обозначить уровни активации и веса (или силу) связей в нейронной сети. Давайте снова рассмотрим нашу нейросеть для холодильника. Но на этот раз (см. рисунок 3.9) предположим, что связь между элементом «Жажда» и элементом «Пойти к холодильнику» имеет большой вес (равный +0,9), а связь между элементом «Голод» и элементом «Пойти к холодильнику» — малый вес (равный +0,3). Такая сеть могла бы моделировать сценарий, при котором у человека выработалась сильная привычка идти к холодильнику при жажде, но гораздо более слабая склонность делать это при голоде (возможно, вместо этого он тянется к банке с печеньем!). Как и прежде, элемент «Пойти к холодильнику» должен получить уровень активации не менее 0,5, чтобы сгенерировать выходной сигнал (иными словами, его порог активации по-прежнему равен 0,5).

Рисунок 3.9. Взвешенные связи меняют степень влияния, которое могут оказывать передающие нейроны.

Эта нейронная сеть обладает иными свойствами, нежели та, которую мы рассматривали ранее (см. рисунок 3.7), поскольку ее связи имеют другие веса (или силу). В первой версии наша нейросеть для холодильника имела связи с весами, равными 1, что позволяло элементам «Голод» и «Жажда» оказывать сильное воздействие на элемент «Пойти к холодильнику». В текущей версии это не так. Давайте проанализируем ее активацию: исходя из сказанного выше, мы ожидаем, что бо́льшие веса будут оказывать более сильное влияние — в данном случае за счет повышения активации в принимающем элементе, — чем меньшие веса. Таким образом, элемент «Жажда» должен оказывать более сильное влияние по сравнению с элементом «Голод».

Мы отражаем эту идею в нашей модели, допуская, что влияние одного элемента на другой равно активации передающего элемента, помноженной на вес его связи с принимающим элементом. Это согласуется с нашим ожиданием того, что передающие элементы с большей активацией и более сильными весами связей должны вызывать более значительное изменение активации по сравнению с передающими элементами с более низкой активацией и меньшими весами связей.

Рассмотрим случай, когда элемент «Жажда» имеет активацию 0,6 (то есть относительно высокий уровень жажды), а элемент «Голод» не активирован вовсе. Влияние элемента «Жажда» на элемент «Пойти к холодильнику» будет равно активации элемента «Жажда» (0,6), умноженной на вес связи между элементами «Жажда» и «Пойти к холодильнику» (0,9), то есть 0,54. В данном случае это единственное влияние, оказываемое на элемент «Пойти к холодильнику», поэтому его активация будет равна 0,54, и этого окажется достаточно, чтобы превысить порог в 0,5, в результате чего произойдет действие «пойти к холодильнику».

В противовес этому рассмотрим случай, когда элемент «Голод» имеет активацию 0,6 (то есть относительно высокий уровень голода), а элемент «Жажда» не получает никаких входных сигналов. В этот раз влияние на элемент «Пойти к холодильнику» будет равно 0,6 × 0,3 = 0,18, что значительно меньше порогового значения для этого элемента, поэтому действие не произойдет.

Следствием высокого веса связи от элемента «Жажда» к элементу «Пойти к холодильнику» и низкого веса от элемента «Голод» является то, что выходной элемент превышает порог при высоком уровне жажды, но не при высоком уровне голода.

А что если элемент «Жажда» имеет активацию 0,2 (относительно низкий уровень), а элемент «Голод» — 1 (максимальный уровень голода)? Сможете ли вы определить, превысит ли порог элемент «Пойти к холодильнику»? Попробуйте сделать это, прежде чем смотреть ответ ниже.

В этом случае элемент «Пойти к холодильнику» получит воздействие, равное 0,2 × 0,9 = 0,18, от элемента «Жажда» и воздействие, равное 1 × 0,3 = 0,3, от элемента «Голод». Общая активация будет равна сумме этих влияний, то есть 0,18 + 0,3 = 0,48, что чуть ниже порога. Если бы наша сеть моделировала человека с такими связями, мы бы предсказали, что при данном сценарии он не прогуляется до холодильника, хотя даже самого незначительного усиления голода или жажды могло бы хватить, чтобы сдвинуть его с места.

Сила торможения

Мечехвосты — существа весьма примечательные. Свое название они получили благодаря симпатичному зеленовато-серому экзоскелету в форме подковы, под которым скрываются голова, брюшко и шипастый хвост, похожий на хвост ската. Самки примерно на треть крупнее самцов, могут достигать около двух футов в длину и весить около десяти фунтов. Они остаются практически неизменными на протяжении вот уже 450 миллионов лет, легко опережая по возрасту динозавров.

Зрение — их сильная сторона. В общей сложности у них девять глаз и дополнительный набор световых рецепторов по всей длине хвоста. Два их глаза — сложные, то есть они состоят из множества отдельных структурных единиц, называемых омматидиями. Нередко у одного мечехвоста насчитывается около тысячи омматидиев. Судя по всему, сложные глаза помогают мечехвостам избегать хищников и находить подходящих партнеров для спаривания.

Каждый омматидий представляет собой специализированный тип нейрона с единственным исходящим нервным волокном. Эти волокна крупные и легкодоступные, к любому из них можно прикрепить электрод и зарегистрировать его потенциалы действия. Кроме того, омматидии достаточно велики, чтобы можно было направить луч света так, чтобы его воспринимал строго один омматидий. Как показано на рисунке 3.10, когда источник света стимулирует омматидий А, в его нервном волокне — назовем его волокном А — генерируется высокая частота разрядов. Поскольку омматидий Б не стимулируется источником света, волокно Б продолжает разряжаться на базовом уровне или ниже него. И напротив, когда источник света стимулирует омматидий Б, высокая частота разрядов наблюдается в волокне Б, тогда как частота разрядов волокна А остается на базовом уровне или ниже.

Рисунок 3.10. Влияние двунаправленного торможения в сложных глазах мечехвостов.

Пока все идет ровно так, как и следовало ожидать. Но нас ждет сюрприз: что, по-вашему, произойдет, если источник света будет стимулировать одновременно и омматидий А, и омматидий Б? Логично предположить, что и нервное волокно А, и нервное волокно Б будут разряжаться с той же частотой, что и при изолированной стимуляции. Однако происходит совсем другое. На самом деле и волокно А, и волокно Б демонстрируют активацию, которая, хоть и превышает базовый уровень, заметно ослаблена или снижена по сравнению с активацией, возникающей при их изолированной стимуляции.

Почему?

Ответ кроется в феномене латерального торможения — способности возбужденного нейрона тормозить активацию своих соседей. Это торможение обеспечивается латеральным сплетением, которое соединяет нервные волокна в сложном глазу мечехвоста. Эти связи передают тормозные сигналы от возбужденных нейронов к соседним.

Почему латеральное торможение приводит к ослаблению активации в волокне А и волокне Б? Чтобы проанализировать эту ситуацию, мы можем абстрагироваться от деталей и представить эти волокна в виде элементов, как мы делали это ранее. Мы можем вообразить нейронную сеть, состоящую из двух элементов — элемента А и элемента Б, каждый из которых представляет соответствующее нервное волокно. Эта сеть отличается от сети для холодильника в двух отношениях. Во-первых, в нашей сети присутствуют тормозные, а не возбуждающие связи. Во-вторых, связи в данном случае двунаправленные: элемент А тормозит элемент Б, а элемент Б одновременно тормозит элемент А.

Тормозные двунаправленные связи мало на что влияют в тех случаях, когда сигнал поступает только на один из двух элементов. Эти случаи соответствуют сценарию, когда либо омматидий А, либо омматидий Б получает сигнал от источника света. Рассмотрим, например, случай, когда элемент А получает сигнал, а элемент Б — нет. Активация элемента А уверенно растет, в то время как тормозная связь от элемента А к элементу Б ослабляет активацию элемента Б до уровня чуть ниже базового, так что он оказывает еще меньшее тормозное влияние на А, чем оказывал бы при отсутствии светового сигнала на обоих элементах. Таким образом, активация элемента А уверенно растет, тогда как активация элемента Б подавляется ниже базового уровня. Аналогичная динамика наблюдается, когда элемент Б получает активацию, а элемент А — нет. Эти результаты отражают паттерн потенциалов действия, наблюдаемый у мечехвоста, когда ровно один омматидий получает сигнал от источника света.

Процесс распространения активации очень интересно представить в случае, когда на элемент А и элемент Б поступает одинаковый входной сигнал. Элемент А получает сигнал, увеличивающий его активацию, но этот рост теперь сдерживается тормозным влиянием со стороны элемента Б, который, тормозя активацию элемента А, одновременно испытывает тормозящее влияние на собственную активацию со стороны элемента А. Это заставляет каждый элемент генерировать импульсы на более низком уровне, чем если бы он был единственным элементом, получающим внешний сигнал, — результат, который соответствует явлению, наблюдавшемуся в эксперименте.

Что произойдет, если подать на элемент А чуть более сильный сигнал (скажем, 0,55), чем на элемент Б (скажем, 0,50)? Можете ли вы мысленно представить, что произойдет?

Вновь оба элемента будут оказывать тормозное влияние друг на друга. Однако вспомните, что влияние передающего элемента на принимающий равно уровню активации передающего элемента, умноженному на вес связи между ними. Поскольку элемент А получил более сильный входной сигнал, он обладает большей активацией и, следовательно, окажет более сильное тормозное влияние на элемент Б, чем элемент Б — на элемент А. В результате разница между активациями этих двух элементов станет еще более выраженной. Этот эффект можно представить как усиление контраста. Усиление контраста посредством латерального торможения происходит во всем нашем мозге — это повсеместная характеристика нейронной активности, — и подобные механизмы также широко используются в системах искусственного интеллекта. На протяжении всей второй части книги мы будем наблюдать латеральное торможение в действии на примере наших моделей человеческого мышления и поведения. Например, как мы увидим в главе 6, этот эффект усиления контраста гарантирует, что организм способен делать решительный выбор в пользу элемента с более высокой активацией, вместо того чтобы оказаться парализованным из-за противодействия конкурирующих активаций. Процесс, подобный латеральному торможению, также находит широкое применение в технологиях ИИ.

Взгляд в прошлое и будущее

Давайте остановимся и кратко резюмируем то, что мы уже разобрали. Во-первых, нейронные сети состоят из обрабатывающих элементов, называемых элементами. Мысль — это паттерн активации группы элементов. Элементы активируют другие элементы, распространяя активацию по связям с определенным весом. Именно в связях хранятся знания нейронной сети. Влияние передающего элемента на принимающий зависит от степени активации передатчика и силы связи между ними.

В рамках этих базовых идей мы отметили, что активация может возникать либо под воздействием внешних для сети сигналов, либо от других, уже активированных элементов. Уровни активации варьируются между минимальным и максимальным значениями. Веса связей могут быть возбуждающими или тормозными, так что активация передающего элемента может увеличивать или уменьшать активацию тех элементов, с которыми он связан. Возбуждающие веса связей могут возникать, увеличиваться или уменьшаться с накоплением опыта. Влияние передающего элемента на принимающий равно произведению уровня активации передающего элемента на вес связи с принимающим элементом. Если принимающий элемент является выходным, он может инициировать внешнюю реакцию, когда получает достаточную активацию для превышения определенного порога. Полезное развитие этой идеи — представить, что элементы внутри сети также могут иметь пороги, так что они практически бездействуют, пока этот порог не будет превышен. Это была одна из идей, использованных в AlexNet для повышения ее эффективности, и то же самое, вероятно, происходит и в мозге.

Важно отметить, что между потоками активации и изменением весов связей существует взаимозависимость. На потоки активации влияет текущий набор весов связей, в то время как изменения весов связей направляются информацией, которую несут в себе эти потоки. Этот итеративный процесс позволяет нейронным сетям — как биологическим, так и искусственным — адаптироваться и со временем улучшать свою работу.

Забегая вперед, мы начнем исследовать, как различные аспекты познания могут возникать в результате взаимодействия элементов в нейронных сетях. Во второй части мы рассмотрим такие вопросы: как воспоминания всплывают в нашей памяти? Как они обобщают единичные примеры и благодаря чему способны восполнять пробелы в наших знаниях? Как контекст формирует восприятие, наше понимание языка и других людей и даже наши эмоции? Почему мы поступаем так, как поступаем? Эти исследования способны изменить то, как вы думаете о собственном разуме.