Основная цель этого раздела — помочь сориентироваться тем, кто хочет узнать больше о темах, затронутых в каждой главе. В основном мы приводим книги и научные статьи, хотя изредка даем ссылки на видеоролики и научно-популярные статьи в Интернете.
Эти рекомендации отражают наши собственные вкусы и представления о том, что может быть полезно. Данный список не претендует на полноту и исчерпывающий охват темы. Хотя мы часто советуем материалы, с которыми согласны и/или которые написали сами, мы также включили ссылки на альтернативные точки зрения. В некоторых случаях мы делимся соображениями о том, почему та или иная работа сыграла поворотную роль на нашем собственном научном пути.
Большинство упомянутых здесь научных статей находятся в свободном доступе в Интернете. Зачастую достаточно зайти, к примеру, в Google Scholar, ввести название статьи и автора, чтобы найти ссылку для бесплатного скачивания или чтения.
Вторая задача этого раздела — предоставить примечания с указанием источников конкретных фактов, на которые мы опираемся в главах при выстраивании нашей аргументации. Тем не менее мы не стремились составить исчерпывающий библиографический список, характерный для академических трудов.
Глава 1. Приглашение
Классическая книга, которая прекрасно дополняет многие темы этой вводной главы, — «Глаз разума: Фантазии и размышления о самосознании и душе» (Bantam, 1982) под редакцией Дугласа Хофштадтера и Дэниела Деннета. В ней поднимаются глубокие вопросы о природе разума и о том, могут ли машины обладать собственным сознанием.
В разделе «Обывательские представления о разуме (и их ограниченность)» мы ссылаемся на книгу Джерри Фодора «Модулярность разума» (MIT Press, 1983).
В разделе «Что такое нейросеть?» мы описываем то, как Джей сопоставил ручей, последовательно впадающий в несколько заводей, с потоком информации в нейросети. Этот опыт отчасти вдохновил его на написание статьи под названием «О временных отношениях психических процессов: исследование каскадных систем процессов» (Psychological Review, 1979). Статья довольно длинная, но составить представление о ее главных идеях можно, прочитав всего одну-две первые страницы.
Глава 2. Как разум может возникнуть из мозга?
Увлекательным введением в тему эмерджентности служит книга Стивена Джонсона с весьма подходящим названием «Эмерджентность. Мозг, муравейник, город и софт» (Scribner, 2002). В ней на примере муравьиных колоний, мегаполисов и нейросетей объясняется, как сложные системы и паттерны поведения возникают из простых индивидуальных компонентов. Также там обсуждается интересная работа Деборы Гордон, посвященная эмерджентному поведению муравьев.
Статья в Википедии «Муравьиный алгоритм» (Ant Colony Optimization Algorithms) дополняет рассуждения в разделе «Интеллект муравьев».
В разделе «Понимание разума через эмерджентность в нейросетях» мы описываем классический труд Хьюбела и Визела. Более подробное изложение этой работы можно найти в их фундаментальной статье «Рецептивные поля, бинокулярное взаимодействие и функциональная архитектура зрительной коры кошки» (Journal of Physiology, 1962). Рисунок 19 из их статьи лег в основу рисунка 2.6 в книге «Эмерджентный разум».
Статья, в которой была представлена сеть AlexNet, показавшая революционные результаты в классификации изображений, называлась «Классификация ImageNet с помощью глубоких сверточных нейронных сетей» (NeurIPS, 2012).
Глава 3. Что делает нейросеть?
Плейлист «Нейросети» (Neural Networks) на YouTube-канале 3Blue1Brown предлагает наглядные и интуитивно понятные объяснения работы нейросетей и их ключевых принципов.
Раздел «Элегантность инженерных решений» предлагает лишь самый общий обзор устройства нейронов и нейронауки. Желающие погрузиться глубже могут обратиться к книге Дэвида Прести «Основополагающие концепции в нейронауке».
В интерлюдии под названием «Сконструированные объяснения» Исаак (вымышленный персонаж) ссылается на вполне реальную и крайне влиятельную статью Ричарда Нисбетта и Тимоти Уилсона «Рассказываем больше, чем можем знать: вербальные отчеты о психических процессах» (Psychological Review, 1977).
Глава 4. Нейросеть как система памяти
Дэвид Румельхарт, Джей Макклелланд и исследовательская группа PDP (в которую входили Джеффри Хинтон и Джеффри Элман, чьи работы мы обсуждаем в главе 8) написали книгу «Параллельная распределенная обработка: исследования микроструктуры познания» (MIT Press, 1986). Этот труд вышел в двух томах, которые в научных кругах стали называть просто «книгами по PDP». Первая глава первого тома, озаглавленная «Привлекательность параллельной распределенной обработки», содержит описание модели «Джетс» и «Шаркс» и рассматривает несколько других нейросетей, которые наверняка заинтересуют читателей книги «Эмерджентный разум».
Элизабет Лофтус, чьим работам посвящена четвертая глава, выступила на TED с лекцией «Насколько надежна ваша память?», которая отлично вводит в курс ее идей. Исследование воспоминаний, связанных с автомобильными авариями, можно найти в статье Элизабет Лофтус и Джона Палмера «Реконструкция дорожно-транспортного происшествия: пример взаимодействия языка и памяти» (Journal of Verbal Learning and Verbal Behavior, 1974). Стоит отметить, что знаменитый эксперимент Лофтус под названием «Потерявшийся в торговом центре» вызвал немало споров и повлек за собой множество последующих исследований. Зарегистрированное воспроизведение этого эксперимента, проведенное Джиллиан Мерфи и ее коллегами под названием «Снова потерявшийся в торговом центре» (Memory, 2023), разбирает сильные и слабые стороны оригинальной работы и подтверждает ее ключевые выводы.
Данные о том, что примерно две трети американцев верят, будто их память работает как видеокамера, взяты из статьи Дэниела Саймонса и Кристофера Шабри «Во что люди верят, когда речь заходит о работе памяти: репрезентативный опрос населения США» (PLOS One, 2011).
Глава 5. Контекст имеет значение
Статья Румельхарта «Интерактивная модель чтения» была опубликована в сборнике «Внимание и деятельность VI», который впервые увидел свет в 1977 году и был переиздан издательством Taylor & Francis в 2022 году.
Статья Румельхарта послужила основой для двух совместных работ Джея и Дэйва: «Модель интерактивной активации эффектов контекста при восприятии букв: Часть 1» (Psychological Review, 1981) и «Часть 2» (Psychological Review, 1982). В первой части авторы глубоко анализируют влияние контекста на восприятие и детально описывают саму модель.
Статья Джея и его соавторов «Интерактивная активация и удовлетворение взаимных ограничений в восприятии и познании» (Cognitive Science, 2014) содержит обзор работ, подтверждающих существование интерактивной активации, отвечает на критику роли интерактивной активации в познании, а также предлагает обзор исследований, которые описывают нейробиологические свидетельства процессов интерактивной активации в мозге.
Интересно, что роль контекста в восприятии, познании и действии находит отклик в квантовой физике. В своей книге 2021 года «Гельголанд» физик Карло Ровелли предполагает, что квантовые системы не обладают определенными свойствами независимо от своего контекста.
Глава 6. То, что мы делаем
Почти всё содержание этой главы основано на исследовании, описанном в статье «Принятие решений на основе ценности: с точки зрения интерактивной активации» (Psychological Review, 2020), написанной Гауравом, Джеймсом Гроссом и Джеем. Эта работа стала результатом нашего разговора, в котором Гаурав рассказал о результатах своих экспериментов, которые, казалось, не укладывались в представление о том, что решения всегда принимаются ради максимизации ценности или полезности.
Противоположная точка зрения состоит в том, что действия и решения направлены на максимизацию удовольствия и минимизацию боли. Одной из публикаций, представляющих этот взгляд, является статья Амитая Шенхава «Гипотеза аффективного градиента: ориентированное на аффект объяснение мотивированного поведения» (Trends in Cognitive Science, 2024).
Другой противоположный подход, занимающий центральное место в области, известной как нейроэкономика, предполагает, что мозг вычисляет и репрезентирует ценность. Популярным введением в эту область является учебник «Нейроэкономика: принятие решений и мозг» Пола Глимчера и его коллег (Academic Press, 2013).
Глава 7. Создание (и утрата) смысла
Многие темы, обсуждаемые в этой главе, были обобщены в статье «Подход параллельной распределенной обработки к семантическому познанию», написанной Джеем и Тимоти Роджерсом (Nature Reviews Neuroscience, 2003).
В последующей статье тех же авторов «Краткое изложение книги „Семантическое познание: подход параллельной распределенной обработки“» (Behavioral and Brain Sciences, 2008) был представлен обзор их книги 2004 года на эту тему и содержались дополнительные подробности о том, как понятия возникают в нейронных сетях. Публикация сопровождалась открытой экспертной дискуссией с участием нескольких авторов, часть из которых представила противоположные точки зрения.
Идеи Витгенштейна о словах и их значениях были изложены в его книге «Философские исследования», опубликованной посмертно в 1953 году.
Глава 8. Эмерджентная мыслящая машина
Статья Алана Тьюринга, которая обсуждается в этой главе, называется «Вычислительные машины и разум» (MIND, 1950).
Полную расшифровку диалогов между Лемойном и LLM можно найти (на момент написания этой книги) по адресу https://www.aidataanalytics.network/data-science-ai/news-trends/full-transcript-google-engineer-talks-to-sentient-artificial-intelligence-2.
Статистику эффективности различных LLM можно найти в публикации OpenAI, доступной (на момент написания книги) по адресу https://openai.com/index/gpt-4-research/.
Знаменитая статья Васвани и его коллег под названием «Внимание — это всё, что вам нужно» (Attention Is All You Need) была опубликована в сборнике Advances in Neural Information Processing Systems (2017).
На YouTube-канале 3Blue1Brown представлено видео с описанием разновидности архитектуры трансформера, используемой в ChatGPT, под названием «Transformers (How LLMs Work) Explained Visually» («Трансформеры: наглядное объяснение работы LLM»). На момент написания книги это видео доступно по адресу https://www.youtube.com/watch?v=wjZofJX0v4M.
Статья Гаурава и его студентов под названием «Свойственны ли большим языковым моделям те же эвристики принятия решений, что и людям? Исследование на примере GPT-3.5» (Journal of Experimental Psychology, 2024) описывает, как LLM и люди часто демонстрируют схожие паттерны принятия решений.
Глава 9. Обучаясь, мы меняем связи
s
В книге «Краткая история интеллекта» (Mariner, 2023) Макс Беннетт предлагает взвешенный взгляд на обучение биологических видов в эволюционном масштабе времени.
Свою знаменитую формулировку правила обучения Дональд Хебб представил в провидческой книге 1949 года «Организация поведения: нейропсихологическая теория», переизданной Taylor & Francis в 2002 году.
Современный обзор нашего понимания алгоритмов обучения в мозге представлен в работе Джеффри Мэги и Кристины Гринбергер «Формы и функции синаптической пластичности» (Annual Review of Neuroscience, 2020).
В статье Румельхарта, Хинтона и Уильямса «Обучение представлениям путем обратного распространения ошибок» (Nature, 1986) был независимо разработан алгоритм обратного распространения ошибки (предвосхищенный ранее другими исследователями) и применен к задачам, которые, как считалось, выходили за рамки возможностей обучения искусственных нейронных сетей. Эта работа сыграла ключевую роль в возрождении интереса к нейросетям в 1980-х годах и по сей день остается базовым алгоритмом обучения искусственных нейронных сетей в сфере ИИ.
Глава 10. Наши эмерджентные мысли
Принципиально иную альтернативу нашему подходу к разуму на основе нейронных сетей предлагают Джерри Фодор и Зенон Пылышин в статье «Коннекционизм и когнитивная архитектура: критический анализ» (Cognition, 1988). Авторы излагают свои аргументы в пользу того, что систематическое познание (включая понимание языка, а также логическое и математическое мышление) опирается на системы символических правил, и доказывают, что подходы на основе нейронных сетей (называвшиеся тогда коннекционизмом) никогда не смогут работать.
Взгляд на то, что язык устроен не столь систематично, как когда-то думали они и многие другие исследователи, описан в статье Джея «Фиксация градиентности: непрерывные изменения в звуке, слове, фразе и значении», опубликованной в сборнике The Handbook of Language Emergence (Wiley, 2016).
Статья Питера Уосона, описывающая результаты участников в оригинальной (абстрактной) версии его задачи по выбору карт, вышла под названием «Рассуждение по правилу» (Quarterly Journal of Psychology, 1968). Роль привязки правила к осмысленному контексту реального мира была показана, среди прочего, в статье Уосона и Шапиро «Естественный и искусственный опыт в задаче на рассуждение», опубликованной в том же журнале в 1971 году.
Статья Эндрю Лампинена и его коллег, включая Джея, под названием «Языковые модели, как и люди, демонстрируют эффекты содержания в задачах на рассуждение» (PNAS Nexus, 2024), показывает, что люди и LLM рассуждают гораздо надежнее, когда логические правила привязаны к повседневным ситуациям, нежели когда они имеют дело с произвольными правилами, касающимися абстрактных признаков.
«Аффективная нейронаука: основы эмоций человека и животных» (Oxford University Press, 1998) — фундаментальный труд Яака Панксеппа. В этой книге подробно обсуждается поисковая система и описываются лежащие в ее основе нейронные цепи.
Книга Анила Сета «Быть собой: новая наука о сознании» (Dutton, 2021) написана для широкой аудитории, что делает ее доступной для читателей, не имеющих специальной подготовки в области нейробиологии или философии.
Глава 11. Значение концепции нейронных сетей для нас самих и для ИИ
Суперспособность оптимистично оценивать то, что с нами происходит, перекликается с философией стоицизма. Прекрасным чтением в рамках этой философской традиции станет книга Марка Аврелия «Наедине с собой». Она была написана римским императором в период его правления (161–180 гг. н. э.) и представляет собой сборник личных записей и философских размышлений. Изначально этот текст не предназначался для публикации, а служил Аврелию личным дневником, помогавшим ему направлять свои мысли и поступки. Существует множество прекрасных переводов этого труда.
Теория взаимодополняющих систем обучения, рассмотренная в заключительном разделе этой главы — идея, впервые предложенная нейробиологом Дэвидом Марром, — была интегрирована в наш нейросетевой взгляд на обучение и память человека в статье Джея, написанной совместно с Брюсом Макнотоном и Рэндаллом О’Рейли, «Почему в гиппокампе и неокортексе существуют взаимодополняющие системы обучения» (Psychological Review, 1995).
В статье Джея «Моделирование высших когнитивных способностей человека с помощью глубоких нейронных сетей» (Trends in Cognitive Sciences, 2022) подчеркивается важность долгосрочных целей и погружения в структурированные системы рассуждений для обеспечения наших развитых способностей к математическому и научному мышлению.