Представьте себе такую картину: вы переезжаете в новый город и должны выбрать одну из нескольких квартир. Ваш агент по недвижимости подобрал разные варианты, но первые из них вас разочаровывают. Первая находится слишком далеко от вашей работы, вторая — далеко от работы вашей партнерши, третья расположена чересчур близко к шумной магистрали, четвертая слишком темная, пятая — не по карману, но вот шестая! Шестая кажется идеальной. Вы взволнованно звоните своей партнерше и объясняете, почему, по вашему мнению, стоит внести залог за эту квартиру: у нее подходящее расположение, отличные характеристики и разумная цена. Она соглашается с вами и дает добро. Вы спешно звоните своему агенту.

Эта зарисовка описывает совершенно обыденный пример мышления. Когда мы мыслим, мы воспринимаем значимую информацию, сознательно сопоставляем ее в соответствии со своими приоритетами и приходим к соответствующему выводу. Мы мыслим подобным образом снова и снова, каждый день нашей жизни, и такие мысли создают саму ткань нашего повседневного опыта — настолько, что мы можем упускать из виду, насколько они удивительны. Жизнь, по крайней мере в том виде, в каком мы ее проживаем, едва ли мыслима без тех осознанных мыслей, которые у нас возникают, и кажется очевидным, что именно они служат руководством для наших действий.

Наше восприятие, мысли, решения и действия — это процессы, составляющие наш разум. Но как возникает разум?

Большинство людей скажут вам, что разум каким-то образом исходит от мозга. Но такое объяснение глубоко неудовлетворительно. Как именно мозг порождает эти процессы, которые мы приписываем разуму? Мы можем представить себе работу сердца, перекачивающего кровь, или сокращение мышц. Но какие процессы в мозгу способны порождать наши мысли? Какие процессы могут создавать поэзию, мосты, математику и вакцины? И подсказывать, как выбрать ту самую, идеальную квартиру?

Одним из тех, кого неотступно преследовала эта тайна, был французский философ и ученый Рене Декарт.

Блестящая ошибка Декарта

В 1630-х годах, прогуливаясь по королевским садам Версаля, Декарт наткнулся на нечто неожиданное. Каждый раз, когда он наступал на определенные плиты прогулочной дорожки, расположенная неподалеку статуя начинала двигаться. Заинтересовавшись, он расспросил об устройстве этого механизма. Оказалось, что движение статуи вызывалось водой, текущей по гидравлическим трубкам. Поток приводился в движение, когда кто-то наступал на плиту, соединенную с трубками. Вдохновленный этим, Декарт выдвинул гипотезу, что подобный механизм отвечает и за биологические движения. По его мнению, внешние раздражители — например, тепло от огня — заставляли «животные духи», содержащиеся в крошечных трубках (которые сегодня мы знаем как пучки нейронов), устремляться к шишковидной железе в мозге (рис. 2.1). Оттуда «животные духи» перенаправлялись по другим трубкам к той части тела, которой требовалось среагировать — например, отпрянуть от огня.

Идеи Декарта оказались ошибочными почти во всем. Нейроны не содержат придуманной им жидкости, нервные сигналы не передаются посредством давления на жидкости, а шишковидная железа не участвует в регуляции движений. Тем не менее это было гениально. Декарт интуитивно верно понял, что наши действия — это механический процесс, который может протекать без участия контролирующего разума. Он предположил, что подобно тому, как кровообращение является механическим процессом, похожим на работу водяного насоса, некоторые аспекты разума (например, уклонение от источника боли) также могут быть механическими процессами аналогичного рода.

Рисунок 2.1. Декарт предположил, что уклонение от раздражителя можно объяснить механистически, без привлечения контролирующего разума. Его объяснение строилось на движении жидкости по крошечным трубкам, отчасти похожим на нервные волокна. Он полагал, что подобным образом можно объяснить все поведение животных и некоторые аспекты человеческого поведения. Этот рисунок взят из трактата Декарта «L’Homme».

Однако смелость Декарта имела свои границы. В своих трудах он не допускал мысли, что человеческое мышление тоже может осуществляться посредством механического процесса. Вместо этого он взывал к бесплотному духу, который взаимодействовал с телом, но существовал отдельно от него. По его мнению, эта духовная субстанция, или душа, была тем единственным, что позволяло людям обладать разумом, способным мыслить: использовать язык, следовать законам логики и заниматься математикой.

Лишь немногие современные ученые разделяют детали дуалистической доктрины Декарта. И все же в различных обличьях его ключевая идея — о том, что высшие операции разума качественно и принципиально отделимы от более простых и механических процессов, свойственных нам наряду с другими животными, — сохраняется и по сей день. Многие влиятельные психологи, прежде всего Даниэль Канеман, постулируют существование двух отдельных систем мышления: одна управляет более автоматическими, рефлекторными действиями, а другая контролирует медленное, осознанное мышление. Многие авторитетные лингвисты, и в первую очередь Ноам Хомский, полагают, что человеческий мозг изначально генетически предрасположен к усвоению и использованию языка. По их мнению, уникальный человеческий языковой модуль, управляемый особым набором правил и качественно отличающийся от других когнитивных процессов, — это то, что делает язык возможным, и является главным качеством, отличающим человека от других животных. Широкий круг когнитивистов, тяготеющих к компьютерным моделям, по-прежнему утверждает, что наша способность к логическому и математическому мышлению опирается на особую символическую систему, отличную от нейронных систем, направляющих наши более базовые реакции на сенсорные раздражители.

Многие другие ученые — и мы относим себя к их числу — выбирают альтернативный подход. Они исходят из того, что все наши мысли, наш опыт и наши действия являются эмерджентным следствием нейронной активности мозга. Взаимодействие нейронов, функционирующих по единому набору базовых принципов, порождает не только простые рефлекторные движения, описанные Декартом, но и сложнейшие когнитивные процессы, связанные с языком и математикой. Взаимодействие между нейронами — это двигатель разума.

Это утверждение, по крайней мере поначалу, вызывает недоверие. Как может система, полностью зависящая от работы нейронов — ни один из которых в отдельности не способен ни на что даже отдаленно похожее на то, что мы воспринимаем как мысль, — порождать весь спектр человеческого познания? Оказывается, полезную метафору для нашего интеллекта дает поведение муравьев.

Интеллект муравьев

Если вы когда-нибудь наткнетесь на вереницу муравьев, идущих от своего гнезда к источнику пищи и обратно, попробуйте провести следующий эксперимент: положите на их пути препятствие так, чтобы у них была возможность обойти его как коротким, так и длинным путем. Так, например, муравьи, приближающиеся к препятствию, могут повернуть направо, чтобы пойти по короткому пути, или налево, чтобы пойти по длинному. Понаблюдайте за тем, что они будут делать. А если у вас нет возможности прямо сейчас понаблюдать за такой вереницей, просто попробуйте предсказать их действия.

Рисунок 2.2: Муравьи, кажется, достаточно умны, чтобы «знать» более короткий путь в обход препятствия на своем пути.

Развернутся ли муравьи, приближающиеся к препятствию со стороны гнезда, и просто пойдут обратно домой? Или они разделятся на две вереницы примерно одинакового размера, так что половина муравьев пойдет длинным путем, а другая половина — коротким (рисунок 2.2, третий ряд)? Или они каким-то образом коллективно выберут более короткий путь в обход препятствия?

Оказывается, муравьиные сообщества очень эффективно выбирают наиболее оптимальный путь. Всего за несколько минут почти все муравьи в итоге начинают обходить препятствие по короткому пути (рисунок 2.2, нижний ряд). Кажется, будто знание о кратчайшем пути становится доступным всей колонии.

Как это возможно? Что является источником интеллекта муравьиной колонии?

Когда мы задаем этот вопрос людям, они первым делом склонны к антропоморфизму. Возможно, возвращающиеся муравьи как-то сообщают тем, кто приближается к препятствию, что нужно идти направо, а не налево? Но для этого муравьям потребовалось бы иметь представление о довольно абстрактных понятиях длинных и коротких расстояний и обладать способностью осмысленно передавать эти понятия сородичам. Никаких доказательств наличия у муравьев подобных способностей нет. Или, может быть, более умная матка колонии как-то направляет своих подопечных по лучшему маршруту? Но матка обычно находится глубоко в гнезде, да и будь она снаружи, ее интеллект вряд ли позволил бы ей концептуализировать расстояния.

В отношении муравьев верны два утверждения. Во-первых, прокладывая путь от своего гнезда к источнику пищи и обратно, они оставляют следы химических веществ, называемых феромонами. Во-вторых, муравьи склонны следовать по феромоновым следам, оставленным другими муравьями. В случае выбора конкретного пути нам нужно лишь предположить, что муравей пойдет по тому пути, где количество феромонов наибольшее.

Вот процесс, основанный на этих двух утверждениях, который может объяснить способность муравьев коллективно выбирать короткий путь в обход препятствия. Для начала давайте представим мир, состоящий всего из двух муравьев, ползущих от своего гнезда к источнику пищи (звездочка на рисунке 2.3). По пути они наталкиваются на препятствие (фрагмент 1). Первый муравей по имени Тал (от англ. Takes a Left — «поворачивает налево») огибает препятствие слева, а второй муравей, Тар (от англ. Takes a Right — «поворачивает направо»), поворачивает направо. По пути они оставляют феромоны. Как показано на рисунке, препятствие расположено таким образом, что путь Тара оказывается короче пути Тала.

Поскольку Тар идет более коротким путем, он добирается до пищи первым (фрагмент 2). Тар берет кусочек еды, который теперь должен отнести обратно в гнездо. Но здесь нужно принять решение: по какому пути Тару возвращаться назад? Существует только один путь, на котором есть хоть какие-то феромоны, — и это тот самый путь, по которому Тар пришел сюда. Поэтому Тар возвращается по собственным следам и идет той же дорогой, которой пришел.

Рисунок 2.3: Когда один муравей (Тар) находит пищу и возвращается тем же путем, каким пришел, второй муравей (Тал) следует за первым. Оба муравья просто идут домой по самому сильному феромоновому следу.

Тем временем Тал, выбравший длинный путь в обход препятствия, наконец добирается до источника пищи (фрагмент 3). Он тоже берет кусочек еды и должен возвращаться. Но какой путь выбрать Талу? Теперь у него есть два варианта: более короткий путь, которым Тар воспользовался дважды (туда и обратно), или более длинный путь, по которому сам Тал только что пришел к еде. Более короткий путь, по которому шел Тар, содержит большее количество феромонов, так как Тар прошел по нему дважды. Следовательно, на обратном пути Тал выберет более короткий путь (фрагмент 4).

Динамика отношений между Талом и Таром в целом применима ко всем муравьям в колонии. Позднее другие муравьи, сталкиваясь с выбором, какой дорогой идти к пище и обратно, будут обнаруживать большее количество феромонов в более высокой концентрации на более коротком пути. Поэтому в большинстве своем они также выберут более короткий путь.

То, что мы здесь описали, — это модель, упрощенное представление реальности, исследующая следствия утверждений о прокладывании феромоновых следов и следовании по ним в поведении муравьев. Модель показывает, что способность муравьиной колонии находить кратчайший путь в обход препятствий может быть эмерджентным следствием процессов прокладывания феромонового следа и следования по нему, определяющих поведение всей популяции муравьев в целом, и для этого вовсе не требуется, чтобы каждый отдельный муравей взвешивал альтернативы и осознанно выбирал наилучший маршрут.

Подобным же образом мы рассматриваем разум как эмерджентное следствие активности нейронов в мозге. Мыслительные способности нашего разума не обязательно должны зависеть от мыслительных способностей отдельных изолированных нейронов.

Мы предлагаем вам рассмотреть возможность того, что некоторые способности муравьиной колонии могут служить полезной метафорой для мыслительных способностей разума. Точно так же, как кажущееся целенаправленным поведение муравьиной колонии эмерджентно возникает из поведения отдельных муравьев, которые на индивидуальном уровне не преследуют никакой конкретной цели, выдающиеся возможности человеческого разума могут аналогичным образом возникать из взаимодействия нейронов, каждый из которых по отдельности не способен ни на что даже отдаленно похожее на то, что мы считаем интеллектом.

Главная цель этой книги — показать, как именно мыслительные способности эмерджентно возникают из активности множества нейронов, чьи совместные усилия порождают опыт, мысль и действие. Нейронные сети станут важнейшим инструментом в наших поисках ответа на этот вопрос «как».

Интерлюдия: Интеллект слизевиков

Сентябрь 1999 года. Токио. Тосиюки разглядывает плазмодиальный слизевик. Вид, за которым он наблюдает, Physarum polycephalum, такой же ярко-желтый, как Губка Боб Квадратные Штаны, и чем-то напоминает коралл или лишайник. У него в самом буквальном смысле нет мозга. Тем не менее Тосиюки, похоже, пытается выяснить, способен ли он пройти лабиринт. Он разрезал один polycephalum на части и разложил их по пластиковому лабиринту. Он также поместил немного корма для слизевика у двух концов лабиринта. Существует ровно один путь, который обеспечивает наиболее прямое соединение между источниками пищи — все остальные пути тупиковые или извилистые. Кажется, что слизевик совершенно неподвижен, как и сам Тосиюки. Через несколько минут он засыпает. Его дочь Марико, только что вернувшаяся из школы, заходит в комнату и принимается разглядывать слизевика. Спустя какое-то время...

Тосиюки: (Просыпаясь и глядя на дочь.) Чему ты улыбаешься?

Марико: Ты проснулся как раз вовремя!

Тосиюки: Что ты имеешь в виду?

Марико: Когда ты заснул, слизевик находился только в тех немногих местах, куда ты его положил. Позже он разросся повсюду, проникнув во все коридоры лабиринта, включая тупики. Но теперь посмотри на него! Он растет только на самом коротком пути между двумя порциями корма! Твой эксперимент удался!

Тосиюки: (Кивает.) Я видел, как он это делает, много раз, но почему-то это всё равно меня удивляет.

Марико: Но как он вообще может знать, как найти кратчайший путь между двумя точками?

Тосиюки: Вот это, Марико-тян, как раз самый правильный вопрос. К нашему сожалению, мы пока не знаем наверняка. Но у меня есть догадка, что слизевик выделяет слизистый химический маркер, который позволяет ему отмечать места, где он уже побывал.

Марико: То есть ты хочешь сказать, что кусочки слизевика могут общаться друг с другом?

Тосиюки: Да, примитивным образом, с помощью химических сигналов.

Марико: Ты хочешь сказать, что слизевик обладает интеллектом?

Тосиюки: Давай подумаем о том, на что он способен: ты видела, что он может находить наиболее эффективный путь между двумя точками. Он также может выбирать условия, наиболее способствующие выживанию, по всей видимости, принимая решения. Так что да, я бы сказал, что слизевик обладает своего рода интеллектом.

Марико: Как вообще что-то может быть разумным, если ни одна его отдельная часть разумностью не обладает?

Тосиюки: В природе такое происходит постоянно. Муравьиные колонии умеют находить кратчайший путь в обход препятствия, но ни один отдельно взятый муравей на это не способен. Пчелиные рои могут находить лучшие места для строительства гнезда, но ни одна пчела сама по себе этого сделать не может. То же самое происходит и со слизевиком. Подобные формы интеллекта эмерджентно возникают из взаимодействия элементов системы, которые сами по себе разумом не обладают.

Марико: Но эти формы интеллекта — всего лишь иллюзия! Описанные тобой группы лишь кажутся разумными. Они не разумны так, как разумны люди.

Тосиюки: Почему же?

Марико: Ну, во-первых, люди — это не колония и не какой-то суперорганизм. Мы — отдельные личности.

Тосиюки: Возможно, человеческий мозг можно представить как нечто похожее на колонию нейронов. Ни один нейрон по отдельности не разумен, но коллективно...

Марико: (Помолчав немного.) И всё равно мне это кажется неправильным. Мы действуем посредством мышления. А этот слизевик не думает.

Тосиюки: Я понимаю твои чувства. Но природа, похоже, говорит нам, что нам нужно пересмотреть то, как мы думаем о собственном мышлении.

Понимание разума через эмерджентность в нейронных сетях

Нейрон — это клетка. Это базовый строительный блок нервной системы. В вашем мозге насчитывается порядка ста миллиардов нейронов, и еще миллиарды находятся в остальном теле. Многие нейроны в мозге тесно связаны друг с другом. В этом смысле ваш мозг представляет собой нейронную сеть.

Как и у муравья (или у отдельной птицы в примере с мурмурацией из главы 1), репертуар действий нейрона довольно ограничен. В числе прочего он посылает другим нейронам слабые электрические импульсы, называемые потенциалами действия, или спайками. Их можно зарегистрировать с помощью электродов, введенных в мозг, и передать на динамик, где каждый из них прозвучит как короткий щелчок. В отсутствие внешних сигналов типичный нейрон обычно генерирует импульсы с низкой частотой. Мы будем называть ее базовой частотой импульсации. При активации он посылает потенциалы действия с частотой выше базовой. В других случаях, когда он заторможен, частота его импульсации опускается ниже базового уровня.

Некоторые нейроны могут активироваться непосредственно сигналами из внешнего мира — это особые сенсорные рецепторные нейроны. Большинство же нейронов получают сигналы от других связанных с ними нейронов. Эти входящие сигналы могут либо возбуждать нейрон (увеличивая частоту его импульсации), либо тормозить его (снижая частоту импульсации).

Как подобные разряды могут приводить хоть к какому-то результату? Оказывается, они способны на многое.

Здесь мы опишем один из самых ранних примеров нейронной сети, способной делать то, на что не способен ни один из ее отдельных нейронов. Этот пример взят из работ нейробиологов Дэвида Хьюбела и Торстена Визеля, которые использовали сеть нейронов, чтобы объяснить, как мы начинаем формировать картину окружающего мира. В основу своей сети они положили революционные наблюдения за зрительной корой кошки в то время, когда перед ней проецировали слайды. За свой вклад в науку Хьюбел и Визель в 1981 году были удостоены Нобелевской премии по физиологии или медицине.

Когда Хьюбел и Визель начинали свои исследования в 1950-х годах, уже было известно, что многие нейроны глаза обрабатывают поступающий свет, генерируя потенциалы действия. Как и следовало ожидать, частота их импульсации значительно превышает базовый уровень, если световое пятно проецируется в центр их зрительного поля (области пространства, на которую нейрон реагирует сильнее всего), и остается на базовом уровне, если пятно находится за пределами зрительного поля. Удивительное свойство этих клеток заключалось в том, что если световое пятно появлялось чуть в стороне от центра их зрительного поля, они не реагировали на него небольшим повышением частоты импульсации по сравнению с базовой; напротив, они начинали разряжаться реже своего базового уровня. Иными словами, импульсация нейрона сетчатки тормозится, если световой стимул находится в его зрительном поле, но не в самом его центре (рис. 2.4).

Все это было прекрасно. Но перед Хьюбелом и Визелем встала загадка: как разум вообще способен распознавать осмысленные формы с помощью нейронов, реагирующих лишь на точки света? Глядя на окружающий мир, мы видим расположенные в пространстве объекты разных цветов и форм. Однако нейроны глаз не реагируют на цельные объекты. Вместо этого они могут активироваться, обнаруживая отдельные точки света — например, пятнышко или крупицу. Поэтому Хьюбел и Визель рассудили, что распознавание таких объектов, как лица и дома, должно происходить в мозге. Но как мозг это делает? Они решили начать с попытки найти нейроны, которые активировались бы в ответ на предъявление целых объектов.

Рисунок 2.4. Хьюбел и Визель знали, что некоторые зрительные нейроны генерируют импульсы с частотой выше базовой, если световое пятно находится в центре их зрительного поля, на базовом уровне — если пятно находится вне зрительного поля, но ниже базовой — для световых пятен, смещенных от центра (но все еще находящихся внутри зрительного поля).

Свои поиски они вели легко и весело. В их отношении к научным исследованиям чувствовался задор двух мальчишек, которые шутки ради собирают робота в гараже. Зрительные стимулы, которые они показывали кошкам, были наспех вырезаны из картона, наклеены на слайды и демонстрировались с помощью диапроектора. Вместо экрана они подвесили простыню на проходящие под потолком трубы, из-за чего их лаборатория стала немного похожа на цирковой шатер. Когда они впервые обрабатывали кошку формальдегидом, они случайно окатили друг друга химическим душем, что показалось им чрезвычайно забавным.

План состоял в том, чтобы предъявлять кошке различные стимулы (множественное число от латинского слова stimulus — так нейробиологи называют входящий сигнал), предварительно введя электрод в одну из областей ее мозга, обрабатывающих зрительную информацию (рис. 2.5). Электрод был достаточно чувствительным, чтобы улавливать потенциалы действия отдельных нейронов. Если в мозге кошки есть нейрон, реагирующий на определенный сигнал, они рано или поздно смогут обнаружить его с помощью своего электрода.

Рисунок 2.5. Случайно открыв детекторы границ, Хьюбел и Визель начали изучать их более систематически, регистрируя потенциалы действия нейронов в зрительной коре головного мозга кошек.

Их замысел был амбициозным, но когда они только начинали, регистрация активности отдельных клеток была для них в новинку. В то время они знали выдающегося нейробиолога Вернона Маунткасла, который провел сотни подобных регистраций. «Мы понимали, что нам его никогда не догнать, поэтому сразу обеспечили себе солидный статус: присвоили первой же зарегистрированной клетке номер 3000, а последующие нумеровали уже от него», — писали они позже, вспоминая те первые дни. План сработал: «Вернон, похоже, был должным образом впечатлен масштабом нашей серии исследований».

Ложкой дегтя во всей этой истории было то, что, какие бы стимулы они ни предъявляли кошке, исследуемые нейроны упрямо продолжали работать на базовой частоте. Они пробовали различные конфигурации точек. Безрезультатно. Картинки с изображением того, что могло бы заинтересовать кошку, — тоже ничего. Зайдя в полный тупик, они даже пробовали танцевать перед кошкой. Но все тщетно. Нейроны, активность которых они регистрировали, не проявляли ни малейшего интереса.

Но однажды, когда они изучали очередной нейрон и меняли слайд в проекторе, всё изменилось. Нейрон вдруг начал бешено реагировать: щелк, щелк, щелк — один за другим, без остановки! И реагировал он вовсе не на изображение на слайде. Причиной послужила линия, которую образовывал край самого слайда. Произошло важнейшее событие в истории науки: Хьюбел и Визель открыли нейрон, реагирующий на изображение прямой линии, расположенной под определенным углом — под тем самым углом, который случайно спроецировал край их слайда. Они бегали по коридорам, крича от восторга.

Вопрос, разумеется, заключался в том, каким образом этому нейрону вообще удавалось распознавать прямую линию. Он не реагировал на точку, не реагировал на линии под большинством других углов, но стоило показать ему линию той ориентации, которую он, судя по всему, «предпочитал», как он отзывался на нее со всей страстью. Как возникло это свойство?

И здесь нам очень поможет обращение к понятию нейронной сети. Нейронная сеть, которую мы опишем ниже, очень похожа на сеть, предложенную Хьюбелом и Визелем, и отражает ее ключевые свойства.

Начнем с того, что линию можно представить как совокупность множества точек. Для простоты давайте вообразим, что четыре точки, обозначенные как A, B, C и D, определяют линию l. Предположим, что эти четыре точки находятся в центре зрительного поля четырех нейронов сетчатки одного из глаз кошки, которые мы можем назвать элемент A, элемент B, элемент C и элемент D. Как мы видели выше, точка в центре зрительного поля одного из этих нейронов заставляет соответствующий элемент сильно активироваться. Теперь предположим, что каждый из элементов A–D соединен с элементом E, расположенным в головном мозге. Это означает, что каждый из элементов A–D при активации может, в свою очередь, посылать сигналы активации элементу E.

Рисунок 2.6. Нейронная сеть с выходным нейроном — элементом E, — который активно реагирует, когда линия проходит через центры рецептивных полей входных элементов (A–D). При повороте входной линии реакция элемента E ослабевает.

Как мы отмечали в главе 1, нейроны — это базовые элементы обработки информации в мозге. Часто они имеют сложную древовидную форму, но мы можем изобразить их в виде кружков и назвать элементами, чтобы отличить компоненты нашей модели от реальных нейронов мозга. Кроме того, мы берем лишь минимальный набор элементов, чтобы просто проиллюстрировать главную идею. В итоге мы получаем рисунок 2.6a: нашу первую настоящую нейронную сеть. Стрелки между элементами обозначают связи. Если от одного элемента к другому идет стрелка, то активация первого элемента имеет тенденцию возбуждать (то есть усиливать активацию) второй элемент.

Мы подошли к самому интересному! Давайте представим, что делает наша нейронная сеть, когда глаз видит четыре точки — A, B, C и D. Точка A находится в центре зрительного поля элемента A, поэтому он начинает активно разряжаться (то есть генерировать множество спайков в секунду). То же самое происходит и с остальными элементами, поскольку они тоже обнаруживают точки в центрах своих зрительных полей. Все эти четыре элемента посылают мощный сигнал активации элементу E, так что элемент E тоже начинает разряжаться.

Замечательно то, что элемент E очень бурно разряжается в ответ на линию l, но гораздо слабее реагирует на другие линии, которые отличаются от линии l (более чем незначительно). Например, на рисунке 2.6b показана другая линия, повернутая относительно линии l. Какую активацию получает элемент E в этой ситуации? Давайте посмотрим. Элемент A активно разряжается, поскольку точка A по-прежнему находится в центре его зрительного поля. Точка B слегка смещена относительно центра, поэтому элемент B уже не разряжается так активно. Элемент C разряжается на уровне ниже базового, поскольку точка C находится в зоне «вне центра». Элемент D также разряжается на базовом уровне или ниже его. В результате элемент E не получает того же уровня возбуждения, что и для линии l, поэтому его реакция на этот входной сигнал будет гораздо слабее, чем на исходную линию.

Ни один из элементов A–D сам по себе не способен обнаружить присутствие линии, да и сам элемент E не реагирует непосредственно на линию в стимуле. Тем не менее, работая сообща — подобно тому, как трудились муравьи, — элементы этой небольшой нейронной сети создали «интеллект», способный распознавать линию. Произошла эмерджентность.

Как мы видим то, что видим?

Представьте, что вы смотрите на дерево. Вы видите его ствол, ветви и листья. Вы видите цвет — возможно, вспышку зелени, окутывающую коричневые сучья. Вы без труда отличаете дерево от фона. У вас есть ощущение глубины пространства, связанное с тем, насколько далеко оно находится. Возможно, вы видите, как дерево слегка качается на ветру. И вот вопрос: как вы видите всё то, что видите?

Наш первый импульс — поверить, что глаза в точности передают изображение внешнего мира, которое мы затем и воспринимаем. Но это заблуждение. Хрусталики наших глаз проецируют на сетчатку в глубине глаза уменьшенное, перевернутое и плоское изображение. Но мы видим вовсе не его. То, что мы видим вместо этого, — это реконструкция внешнего объекта: ориентированная правильно, трехмерная и соразмерная его видимой удаленности. Эта реконструкция опирается на работу зрительной коры и других взаимосвязанных областей мозга.

Зрительная кора работает с помощью иерархически организованных детекторов признаков. Как мы видели ранее, детектор признаков Хьюбела и Визеля представлял собой иерархическую сеть, в которой способность нейрона на более высоком уровне распознавать линии возникала из одновременной активации нейронов на более низком уровне. Но на этом эмерджентность не обязательно должна останавливаться.

Одновременно срабатывающие детекторы линий также могут помогать распознавать более сложные фигуры. Например, квадрат может быть обнаружен на основе одновременной активации четырех детекторов линий, подобных элементу E на рисунке 2.6, — по одному для каждой из четырех сторон квадрата. Детектор квадратов можно представить как элемент, находящийся в более глубоком слое, чем элементы распознавания линий. Еще более глубокий слой нейронной сети мог бы обеспечивать распознавание кубов, параллелепипедов и еще более сложных фигур.

На самом деле свойства отклика нейронов невозможно полностью описать такими простыми словами, как детекторы линий и детекторы квадратов. Действительно, то, что Хьюбел и Визель описывали как линии, больше похоже на участки чередующихся полос, а на более высоких уровнях формы, распознаваемые в зрительной коре, обычно не поддаются простому описанию. Тем не менее то, что мы видим, — это результат созидательного процесса, опирающегося на нейроны с постепенно усложняющимися профилями отклика на разных уровнях. Получив на вход изображение дерева на сетчатке, нейроны в самых нижних слоях зрительной коры распознают простые признаки, такие как линии и цвета. Нейроны на последующих слоях объединяют информацию о признаках, обнаруженных на более низких уровнях, чтобы распознавать признаки, связанные с более сложными формами, глубиной и движением. Нейроны в самых верхних слоях способны собирать воедино информацию от предыдущих слоев; они обладают детекторами признаков, которые активируются аспектами более высокого порядка, относящимися к форме дерева в целом. Примечательно, что здесь, по-видимому, нет какого-то особого нейрона — «детектора деревьев» или выделенной группы нейронов, отвечающих за наше восприятие дерева целиком. Вместо этого паттерн активации нейронов в областях мозга, отвечающих за зрительное восприятие, судя по всему, и составляет наше зрительное представление о дереве.

Классификация изображений в ИИ

Ставки на конкурсе ImageNet в 2012 году были высоки. Различные команды специалистов по компьютерным наукам соревновались друг с другом, чтобы выяснить, чей алгоритм сможет успешно классифицировать каждое из пятидесяти тысяч тестовых изображений, отнеся его к одной из тысячи заранее определенных категорий — от самых разных рукотворных объектов до природных явлений и существ, включая множество пород собак. Тестовым изображением могла быть, к примеру, фотография компьютерной клавиатуры; задача каждой команды состояла в том, чтобы создать алгоритм, способный распознать ее как клавиатуру. Мы, люди, справляемся с этой задачей без всяких усилий, поэтому может показаться, что она тривиальна. Но это не так. Клавиатуры бывают самых разных размеров, типов, форм и цветов. Их можно сфотографировать под разными углами и при разном освещении. На снимках иногда могут быть видны пальцы печатающего человека, а иногда нет; клавиатура может быть подключена к компьютеру, а может и нет. Тот факт, что нас, людей, такие различия не сбивают с толку, свидетельствует о возможностях нашего восприятия. Все становится еще сложнее, когда речь заходит о таких объектах, как кошки и собаки, которые могут двигаться и не имеют единой статичной формы.

Для ИИ-алгоритмов прошлого подобная классификация представляла серьезную трудность. Но у Алекса Крижевского были причины для сдержанного оптимизма. Он и его коллеги подошли к проблеме распознавания образов с несколькими остроумными инновациями. Удастся ли им обойти талантливых соперников? Весь мир ИИ пристально наблюдал за происходящим.

Как оказалось, борьбы не получилось. Алгоритм, ставший известным как AlexNet, показал точность попадания в топ-5 лучших вариантов на уровне 84,7% — то есть почти в 85% случаев правильный ответ оказывался среди пяти его первых догадок; занявший второе место результат составил 73,9% — существенная разница для состязания, где даже улучшение на один процент значило очень много. Весь компьютерный мир обратил на это внимание — так началась эра современного искусственного интеллекта.

Крижевский и его соавторы вдохновлялись двумя ключевыми принципами работы живого мозга. Во-первых, они использовали детекторы признаков, которые концептуально были схожи с описанными Хьюбелом и Визелем. Во-вторых, они позволили этим детекторам признаков взаимодействовать друг с другом в нейронной сети с иерархической структурой, аналогичной структуре зрительной коры человека. Нижние слои сети отвечали за распознавание простых признаков, что позволяло верхним слоям распознавать более сложные.

Но существовала проблема: никто на самом деле не знал, какие конкретно признаки должны распознаваться на каждом слое сети. Например, должен ли второй слой детекторов распознавать прямые линии, или лучше, чтобы он распознавал круги? Или, возможно, вообще какой-то другой признак? И на последующих, более высоких слоях проблема только усугублялась. Что именно должны распознавать эти слои, чтобы иметь возможность правильно распределять объекты по категориям?

Одним из подходов могло бы стать явное определение детекторов признаков для каждого слоя. Например, первый слой определял бы линии, второй — углы, третий — компоненты фигур более высокого порядка и так далее. Но такой подход был негибким и работал не слишком хорошо. Любой набор детекторов признаков, который могли придумать люди, оказывался недостаточно универсальным, чтобы справиться с огромным разнообразием тестовых изображений, с которыми сталкивался алгоритм.

AlexNet решила эту проблему посредством обучения тому, какие детекторы признаков работают лучше всего. Поначалу это может показаться невероятным — как нейронная сеть вообще может чему-то научиться, не говоря уже о выборе оптимальных детекторов признаков для каждого из своих слоев? Эта идея опирается на использование большого набора обучающих изображений и меток к ним (например, изображение кошки может иметь метку Кошка, а изображение клавиатуры — Клавиатура), а также нейронной сети (похожей на сеть на рисунке 1.1) с элементами, организованными во входной слой, выходной слой и несколько промежуточных скрытых слоев (на рисунке 1.1 был один скрытый слой). Суть идеи в том, чтобы обучить сеть: когда на входной слой подается изображение, сеть выдает соответствующую метку на выходном слое. Например, когда мы подаем на вход активацию, полученную из изображения кошки, мы хотим, чтобы выходной элемент, соответствующий метке Кошка, активировался максимально, а остальные выходные элементы — минимально. Входные данные сети соответствуют активациям входных элементов, а выходные данные — активациям выходных элементов. Внутри нейронной сети эти активации представляются в виде массивов числовых значений, соответствующих частоте импульсации нейронов. Например, при предъявлении картинки выходным элементам присваиваются значения активации, сумма которых равна 1. В идеале, когда предъявляется изображение кошки, элемент для Кошки будет иметь значение, близкое к 1, а для Клавиатуры — значение, близкое к 0.

Чтобы заставить сеть выдавать правильную метку для каждого входного сигнала, мы должны ее обучить. В данном случае под обучением понимается изменение весов связей в сети. До начала обучения все связи инициализируются абсолютно случайным образом. На этом этапе предъявление изображения — скажем, кошки — привело бы к очень размытой, недифференцированной картине активации нейронов, соответствующих возможным меткам, включая правильную метку (Кошка). Вот тут-то и появляется правильная метка. Мы отложим подробности на потом, а пока просто отметим, что алгоритм корректирует изначально случайные входящие и исходящие связи детекторов признаков таким образом, чтобы слегка увеличить активацию правильной метки и слегка уменьшить активацию всех неправильных меток. Этот процесс повторяется много тысяч раз со множеством различных изображений. Для каждого входного сигнала сеть корректирует свои связи и постепенно становится все более и более точной. В процессе этого формируется эффективная иерархическая система детекторов признаков, обеспечивающая все более высокие результаты.

После периода обучения детекторы признаков больше не меняются, и AlexNet готова к этапу тестирования. Теперь ей показывают изображения, которые она никогда раньше не видела. Ее детекторы признаков — созданные самой сетью в процессе обучения на тренировочных примерах — оказываются удивительно эффективными при классификации ранее не виданных изображений. Хотя люди иногда предпринимали подобные попытки, в этой области в основном отказались от стремления использовать слова или даже точные математические понятия, чтобы описать, какие именно признаки распознаются. Но какими бы ни были эти признаки, они оказываются необычайно полезными, помогая сети классифицировать изображения.

Многие исследователи начинают склоняться к мнению, что способность AlexNet классифицировать объекты аналогична процессу классификации в мозге. Мы согласны с тем, что сходства есть, и считаем, что они свидетельствуют о прогрессе, но верно и то, что сохраняется множество различий.

Интерлюдия. Реакция на AlexNet

Октябрь 2012 года. Пало-Альто. Анна — профессор нейробиологии, изучающая человеческое зрение. С ней связался для интервью Анил, аспирант, изучающий компьютерное зрение. Анил также является редактором отдела технологий в The Stanford Daily, и он хочет написать статью об AlexNet. Он обратился к Анне, чтобы узнать мнение нейробиологов о недавнем прорыве.

Анил: Спасибо, что согласились на это интервью! Я работаю над статьей об AlexNet. Не могли бы вы, как нейробиолог, изучающий человеческое зрение, рассказать об удивительном сходстве между архитектурой AlexNet и зрением человека?

Анна: Некоторые сходства действительно есть. AlexNet использует детекторы признаков, иерархически организованную нейронную сеть и знания о ранее идентифицированных объектах, чтобы направлять классификацию тех объектов, с которыми она сталкивается в данный момент. В этих аспектах прослеживается определенное сходство со зрительной системой человека.

Анил: Должно быть, вы невероятно рады тому, что то, что вы изучали в биологических нейронных сетях, теперь воссоздано в искусственных?

Анна: Нет, оно вовсе не воссоздано.

Анил: Простите, что?

Анна: Между тем, как распознают объекты люди и как это делает AlexNet, существуют принципиальные различия. Пожалуй, самое важное отличие заключается в том, что в AlexNet используются прямые связи, тогда как для зрительной системы человека характерны взаимные связи.

Анил: Понимаю. Я не ожидал, что разговор пойдет в этом русле. Не могли бы вы объяснить это чуть подробнее?

Анна: В AlexNet нижние слои передают информацию на верхние. Например, активация элементов для двух линий в определенной области пространства передается вперед на следующий слой, который может распознать угол. Этот следующий слой передаст информацию еще на один слой. Такие типы связей называют прямыми.

Анил: Надо полагать, в зрительной системе человека существуют обратные связи?

Анна: Да. Например, в мозге есть важная структура под названием таламус, которая получает активацию от глаз и передает ее в область зрительной коры, называемую V1. Это прямые связи. Но существуют также и возвратные связи от V1 к таламусу. На самом деле таких обратных связей даже больше, чем прямых. И они пронизывают всю зрительную систему.

Анил: Хорошо. Но что с того? Почему это важно?

Анна: (впервые за время интервью слегка улыбнувшись.) Хороший вопрос. Эти обратные связи необходимы нам потому, что мы распознаем объекты не только на основе восходящих сигналов, но и благодаря нашим нисходящим ожиданиям. Нисходящие ожидания задают контекст для того, что мы видим. Позвольте мне кое-что вам показать. (Достает изображение из своего компьютера.) Что вы видите?

Рисунок 2.7: Видите ли вы корову?

Анил: (вглядывается в течение нескольких секунд.) Я вообще ничего не вижу. Просто куча хаотичных пятен.

Анна: Хорошо, а теперь я скажу вам, что на этой картинке — морда коровы. Теперь видите?

Анил: (сначала смотрит пристально и неуверенно, но затем расплывается в улыбке.) Вижу! Она смотрит прямо на меня из левой части картинки! Маленькие темные пятнышки — это глаза, рядом с ними видны уши, а ближе к низу рисунка — нос.

Анна: И теперь вы уже никогда не сможете «развидеть» это. Понимаете, что произошло? Нисходящее ожидание увидеть корову изменило то, что вы увидели. Многие нейробиологи считают, что в этом и заключается функция обратных связей. То, что мы видим, представляет собой конструкт, формируемый как восходящими сигналами, так и нисходящими ожиданиями.

Анил: AlexNet использует только восходящие сигналы. (Ссутулившись, молчит несколько секунд.) Знаете, я шел к вам, думая, что вы будете в восторге от AlexNet. Что вы сочтете ее великим достижением.

Анна: Да, в каком-то смысле это действительно великое достижение. Тем не менее она далека от того, чтобы быть копией человеческого мозга. В AlexNet творчески использовалось множество трюков машинного обучения, которые просто не могут происходить в человеческом мозге. Например, там задействовано аппаратное обеспечение, способное обрабатывать более тысячи изображений одновременно, тогда как человек вынужден обрабатывать изображения по одному. Некоторые находят глубокий смысл в работе над подобными проектами.

Анил: Но только не вы?

Анна: Меня привлекает то, что я считаю вечными вопросами: Кто мы? Как возникает наш разум? Что делает возможным человеческое зрение? Это мои вопросы, и именно над ними я работаю. Другим нравится создавать инструменты, способные улучшить жизнь людей. И они работают над этим.

Анил: Значит, понимание разума и ИИ не имеют ничего общего?

Анна: Нет, нет. У них очень много общего по той простой причине, что современный ИИ — та его версия, которая демонстрирует столь впечатляющий прогресс, — основан на нейронных сетях. «Старый добрый» ИИ использовал разработанные человеком алгоритмы, основанные на явных правилах, а не на нейросетях. Но сегодняшний ИИ практически полностью опирается на нейронные сети. А ведь нейросети во многом создавались людьми, которые пытались понять человеческий разум. Так что теперь у нас одни и те же профессиональные инструменты. И следовательно, у нас много общего.

Анил: Правда ли, что понимание нейронных сетей может помочь объяснить как человеческий интеллект, так и искусственный?

Анна: Это вполне возможно. Я верю, что взаимодействие внутри нейронной сети — ключ к пониманию интеллекта, будь он биологическим или искусственным. Но это потребует постоянного и тесного диалога. Мой совет сообществу ИИ — учитывать то, как человеческий мозг решает интересующие их задачи. А тем, кто пытается понять человеческий разум, я советую не исключать возможности того, что некоторые инновации в области ИИ могут указать новые направления в исследованиях мозга. Надеюсь, обе эти сферы продолжат взаимно обогащать друг друга!

Рисунок 2.8: Теперь вы видите корову?

Мы обсудили, как мы можем распознавать и классифицировать окружающие объекты, но каким образом активация нейронов приводит к сознательному зрительному восприятию? Мы, люди, в отличие от AlexNet, способны осознанно видеть такие вещи, как деревья, а не просто распознавать и классифицировать объект как дерево. Мы открываем глаза и мгновенно воспринимаем богатую зрительную картину вокруг нас. Хотя AlexNet и позволяет предположить, как наш мозг классифицирует объект вроде дерева, она ничего не говорит о том, как у нас возникает опыт непосредственного видения этого объекта. Как же у людей формируется сознательный зрительный опыт?

Теорий существует множество, но никто не знает наверняка. Достоверно известно лишь то, что мы видим мир не таким, какой он есть на самом деле; скорее, мы видим конструкт, существующий целиком и полностью в нашем разуме. Этот конструкт часто является хорошим отражением того, что находится во внешнем мире, но сам по себе внешним миром не является. Как же активация нейронов может быть связана с сознательным зрительным восприятием? К этому глубокому вопросу мы обратимся в главе 10.

Но (гораздо) раньше, чем мы перейдем к этому, нам необходимо систематически осмыслить, что именно делает нейронная сеть и почему она способна дать нам инструменты, необходимые для понимания разума. К рассмотрению этих важнейших вопросов мы перейдем в следующей главе — главе 3.