Теперь применим рассмотренные принципы нейронауки для разработки нейронных сетей и изучения их работы.

Базовый вычислительный элемент мозга – нейрон. Соответствующий базовый элемент нейронной сети называется элементом. Элементы – это гипотетические конструкты: мы постулируем, что они существуют, и исследуем, чему мы можем научиться, если это так. Элементы в моделях не обязательно точно соответствуют отдельным нейронам. Часто удобнее представлять элемент как группу нейронов, совместная активность которых отражает нечто осмысленное – например, объект или возможное действие.

Некоторые нейроны генерируют потенциалы действия в ответ на события внешнего мира. Например, обонятельные нейроны реагируют на запах духов, а нейроны глаза – на вспышку света. Аналогично в наших нейронных сетях будут элементы, способные принимать сигналы извне сети. Мы будем называть их входными элементами.

Нейроны, получающие достаточно сильный внешний сигнал, надежно активируют связанные с ними нейроны. Чем выше частота разрядов нейрона, тем сильнее его влияние на связанные с ним нейроны. Точно так же мы предполагаем, что каждый элемент нейронной сети имеет уровень активации. Поскольку элемент соответствует группе нейронов, его уровень активации отражает среднюю частоту разрядов этой группы. Как и у нейронов, чем выше активация элемента, тем сильнее его влияние на связанные с ним элементы.

Как говорилось в главе 1, элементы нейронной сети обычно изображают кружками. Уровень активации элемента можно показать толщиной ореола вокруг кружка (рисунок 3.3).

Рисунок 3.3. Три элемента с разными уровнями активации. Активация элемента соответствует средней частоте разрядов группы нейронов, которую он представляет

На рисунке 3.3 показаны три элемента – A, B и C, которые можно считать строительными блоками нашей первой нейронной сети. Элемент A активирован сильно, B – средне, а C – еще слабее.

Есть другой, более точный способ показать уровень активации – при помощи чисел. Значения активации должны быть ограничены минимумом и максимумом. Примем распространенное соглашение: активация варьируется от чуть меньше 0 до 1. Нулевая активация соответствует базовой частоте разрядов; положительные значения означают частоту выше базовой, отрицательные – ниже базовой. На рисунке 3.4 изображены те же элементы, но их активация показана числами.

Рисунок 3.4. Активация представлена положительными или отрицательными числами в зависимости от того, превышает ли частота разрядов элемента базовый уровень или нет

Пока все понятно. Но чтобы элементы образовали сеть, между ними должны быть связи. Если один элемент влияет на активацию другого, обозначим связь линией. Договоримся показывать возбуждающую связь стрелкой на принимающем конце, а тормозящую – точкой. На рисунке 3.5 элемент A имеет возбуждающую связь с элементом B и тормозящую – с элементом C. Элементы B и C не связаны и не влияют друг на друга. Кроме того, схема показывает, что ни B, ни C не влияют на A. Такие обратные связи существуют, и мы рассмотрим их в следующих главах. Чтобы показать, например, обратную возбуждающую связь от B к A, можно добавить вторую стрелку или изобразить одну линию со стрелками на обоих концах.

Рисунок 3.5. Связь между элементами A и B – возбуждающая; связь между A и C – тормозящая. Поэтому активация элемента A усиливает активацию B и ослабляет активацию C. Поскольку B и C не связаны, активация C напрямую не зависит от активации B, и наоборот

Вернемся к входным элементам, которые принимают внешние сигналы и активируются. На рисунке 3.6 стрелки показывают, что внешние сигналы поступают на два левых элемента, активируя их. Входные элементы связаны с другими элементами, которые не могут напрямую получать сигналы извне. Однако благодаря возбуждающим связям от входных элементов они тоже могут активироваться. Эти элементы среднего слоя, в свою очередь, связаны с крайним правым элементом и могут его активировать. Такие крайние правые элементы обычно считают выходными, поскольку они передают активацию за пределы сети, возможно, инициируя действия; для простоты в нашей сети есть только один такой элемент. Как мы уже отмечали, внутренние слои, не получающие внешних сигналов и не выдающие выходных данных, называются скрытыми слоями. В нашей сети один скрытый слой с двумя элементами. Современные сети глубокого обучения могут иметь до 1000 скрытых слоев, и в каждом слое – сотни или даже тысячи элементов.

В мозге не всегда можно точно подсчитать количество скрытых слоев, и как в естественных, так и в искусственных сетях встречаются связи, перескакивающие через слои. Такие сети сложнее той, что изображена на рисунке 3.6, но работают они по тем же принципам, которые мы начинаем изучать.

Обратите внимание на схему связей на рисунке 3.6. Как видно на панели 1, элемент D в скрытом слое получает возбуждающие сигналы от обоих входных элементов, а элемент C – только от элемента A. Выходной элемент E получает возбуждающие сигналы от обоих элементов скрытого слоя. Панель 1 демонстрирует состояние покоя: внешние сигналы отсутствуют, активация всех элементов равна нулю.

Рисунок 3.6. Упрощенная схема потоков активации в нейронной сети

Рассмотрим, как распространяется активация в нашей нейронной сети. Сразу оговоримся: мы изобразили пошаговый процесс, где активация каждого слоя полностью определяется до того, как повлиять на следующий слой. Такой пошаговый процесс типичен для искусственных нейронных сетей и может служить отправной точкой для моделирования процессов в мозге, хотя в мозге активация нарастает постепенно – обычно меньше чем за секунду.

На панели 2 входные сигналы активировали элементы A и B. Размер ореола показывает степень активации. Оба элемента активированы одинаково, поскольку мы подали равные входные сигналы.

Теперь проследим, как активация передается по связям. Пока что наши связи передают полную активацию передающего элемента всем связанным с ним принимающим элементам. На панели 3 элемент C получает активацию только от A, поэтому его активация равна активации A. Элемент D, напротив, активирован сильнее любого из источников своей активации. Это происходит потому, что D суммирует активацию от A и B. На панели 4 элемент E становится самым активным в сети, поскольку суммирует активацию от C и D.

Эта сеть показывает, как внешние сигналы активируют входные элементы, как активация распространяется дальше и как активация элемента определяется суммой получаемых им сигналов. Именно так работала первая нейросетевая модель Джея Макклелланда, вдохновленная потоками воды в горах. Активация, конечно, не течет, как вода, – связанные элементы влияют на активацию друг друга. И все же метафора Джея помогает понять принципы работы нейронной сети.

Мы уже отмечали, что в мозге активация нарастает постепенно и при достаточно длительном входном сигнале достигает устойчивого состояния. Соответственно, при прекращении входного сигнала активация элементов стремится вернуться к состоянию покоя, показанному на панели 1. Как и следовало ожидать, нейроны не остаются активными вечно.