математические модели нейронов: Rochester et al., “Tests on a Cell Assembly Theory of the Action of the Brain, Using a Large Digital Computer”.

язык программирования FORTRAN: Backus et al., “The FORTRAN Automatic Coding System”.

Фрэнк Розенблатт был психологом: биографические сведения о Розенблатте взяты из его некролога в The New York Times, “Dr. Frank Rosenblatt Dies at 43; Taught Neurobiology at Cornell”, July 13, 1971, p. 36.

«обсуждаемые концепции»: Розенблатт, «Перцептрон, воспринимающий и распознающий автомат (проект PARA)», с. ii.

Упрощенная версия перцептрона: Розенблатт на самом деле называл эту версию модели «элементарным перцептроном» в книге: Розенблатт, «Принципы нейродинамики: перцептроны и теория механизмов мозга», с. 85.

затем можно записать как: Для читателей, которые, возможно, захотят ознакомиться с более подробными математическими описаниями искусственных нейронных сетей, я приведу эти упрощенные уравнения здесь, в концевых сносках. В данном случае более традиционное уравнение выглядело бы как входr = ∑i aiwir, где ∑i означает сумму по значениям i, ai — это активация ассоциативного элемента i, а wir — вес от ассоциативного элемента i к реагирующему элементу r.

Хебб проявлял глубокий интерес: Биографические сведения о Хеббе взяты из: Hebb, “Donald O. Hebb”.

«При поступлении в девятый класс»: Hebb, “Donald O. Hebb”, p. 277.

«Ничего страшного, Хебб»: Hebb, “Donald O. Hebb”, p. 278.

«Возбужденный нейрон»: Hebb, «Условные и безусловные рефлексы и торможение», с. 8.

«представляет собой группу нейронов коры»: Hebb, “Donald O. Hebb”, p. 295.

«Когда аксон клетки А»: Хебб, «Организация поведения: Нейропсихологическая теория», с. 62.

«Нейроны, которые возбуждаются вместе, связываются вместе»: Shatz, “The Developing Brain”.

происходит в мозге: см. Caporale and Dan, «Пластичность, зависящая от времени прихода импульсов: правило обучения Хебба».

правило обучения Хебба: Изменение весов обычно записывается как ∆wir, поэтому правило обучения Хебба записывается как ∆wir = ηarai, где η — это скорость обучения.

посетил лабораторию Хебба, будучи аспирантом: Милнер, «Краткая история правила обучения Хебба», с. 7.

Розенблатт решил исследовать простую идею: Розенблатт рассматривал несколько различных правил обучения. Это «альфа»-правило; «гамма»-правило также изменяло остальные веса, чтобы поддерживать их в одном масштабе. Розенблатт, «Принципы нейродинамики: перцептроны и теория механизмов мозга».

используя те же термины: Используя те же обозначения, что и раньше, правило обучения перцептрона выглядит как ∆wir = η(tr − ar)ai, где ∆wir — это изменение веса wir, а η — скорость обучения.

доказать удивительную теорему: Наиболее подробное рассмотрение этого результата приводится в книге: Розенблатт, «Принципы нейродинамики: перцептроны и теория механизмов мозга».

что он был способен представить: Алгоритм обучения перцептрона гарантированно находит лишь какое-то решение, а не обязательно «наилучшее». Последующие исследования были сосредоточены на алгоритмах, которые находят лучшие способы разделения классов, таких как метод опорных векторов (см. Cristianini and Shawe-Taylor, «Введение в метод опорных векторов и другие методы обучения на основе ядер»).

интервью с ним: Статья опубликована в выпуске от 6 декабря 1958 года, с. 44–45.

«Любовь. Надежда. Отчаяние»: Это утверждение звучит еще более пронзительно, если знать, что Розенблатт был гомосексуалом — этот факт он доверил Джин Шоуман, студентке Корнелла, когда делал ей предложение в 1963 году. Интервью с Джин Шоуман Бенфей, 8 января 2025 года.

«Во-первых, это признанный недостаток математической строгости»: Розенблатт, «Принципы нейродинамики: перцептроны и теория механизмов мозга», с. vii–viii.

«Он был психологом»: Цитируется по: Olazaran, «Социологическое исследование официальной истории спора вокруг книги «Перцептроны»», с. 345.

«Он действительно многих раздражал»: Цитируется по: McCorduck, «Машины, которые думают: личный взгляд на историю и перспективы искусственного интеллекта», с. 88.

Минский вырос в Нью-Йорке: Биографические сведения о Минском взяты из статьи Джереми Бернштейна «ИИ: взгляд Марвина Минского на будущее».

«Он посещал занятия»: Jeremy Bernstein, «ИИ: взгляд Марвина Минского на будущее», с. 51.

«Возможно ли»: Минский, «Теория нейроаналоговых систем подкрепления и ее применение к проблеме моделирования мозга», с. 1–1.

«Он сказал: „Почему бы нам просто не попробовать?“»: Jeremy Bernstein, «ИИ: взгляд Марвина Минского на будущее», с. 69.

«либо это была плохая идея»: Jeremy Bernstein, «ИИ: взгляд Марвина Минского на будущее», с. 70.

он стал сооснователем группы искусственного интеллекта: Обзор взглядов Минского на ИИ в этот период см. в: Минский, «Шаги на пути к искусственному интеллекту».

«Например, он мог отличить буквы E от F»: Jeremy Bernstein, «ИИ: взгляд Марвина Минского на будущее», с. 99.

Чего хотел Минский: Обсуждение этой мотивации см. в предисловии к книге: Минский и Пейперт, «Перцептроны: расширенное издание».

статьи о зрительном восприятии человека: См., например: Taylor and Papert, «Теория константности восприятия».

представляет собой прямую линию: С помощью простого доказательства мы можем показать, что множество значений активации, при которых входной сигнал оказывается равным нулю, представляет собой прямую. входr = a₁w₁r + a₂w₂r, и нас интересует множество точек, где входr = 0. Приравняв a₁w₁r + a₂w₂r = 0, после несложных алгебраических преобразований мы получим a 2 =− a 1 w 1r w 2r

выражаться линейной границей: Говоря более лаконично, обычно отмечают, что перцептроны могут представлять (и выучивать) различия, являющиеся линейно разделимыми.

невозможно провести линию: Вот простое доказательство того, что «исключающее ИЛИ» не является линейно разделимым. Давайте используем wP и aP для обозначения веса и активации ассоциативного элемента, представляющего P, а wQ и aQ - для веса и активации элемента, представляющего Q. Первая строка таблицы истинности подразумевает, что wP aP + wQ aQ ≤ 0, поскольку реагирующий элемент должен выдать −1. Вторая строка указывает на то, что wP aP > 0, а третья - что wQ aQ > 0. Получаем противоречие, поскольку сумма двух положительных величин не может быть отрицательной. решить любую задачу классификации: Поскольку они способны представлять «И» и «ИЛИ», логическую формулу можно переписать в таком виде, где единственное вычисление, которое должен выполнить перцептрон, соответствует одной из этих операций. Например, любую логическую формулу можно записать в дизъюнктивной нормальной форме, состоящей из набора простых высказываний, объединенных знаком ˄, которые затем объединяются знаком ˅. Например, P ⊕ Q можно записать как (P ˄ ¬Q) ˅ (¬P ˄ Q). Тогда мы можем просто построить перцептрон с сенсорными элементами, соответствующими (P ˄ ¬Q) и (¬P ˄ Q), и весами, которые вычисляют ˅. должны быть сколь угодно большими: Минский и Пейперт также проанализировали перцептроны, в которых сенсорные элементы не были ограничены определенными областями изображения, а могли использовать информацию о значениях произвольного множества точек. Они показали, что связность абстрактной геометрической фигуры не может быть оценена перцептроном, использующим сенсорные элементы, основанные на конечном числе точек. Даже если бы фигура была сведена к изображению и задача состояла в том, чтобы определить, образуют ли пиксели на изображении связное множество, для этого потребовались бы сенсорные элементы, обращающиеся к числу пикселей, которое растет по мере увеличения размера изображения. «Что мы показали»: Джереми Бернштейн, «ИИ: Видение будущего Марвина Минского», с. 100. «Сети, подобно программам „грубой силы"»: Пейперт, "One AI or Many?", с. 13. «Это великая книга»: Ньюэлл, «Шаг к пониманию информационных процессов: „Перцептроны". Введение в вычислительную геометрию. Марвин Минский и Сеймур Пейперт. MIT Press, Кембридж, Массачусетс, 1969. vi+ 258 с., ил. Тканевый переплет, 12; бумажный, 4.95», с. 780. два слоя ассоциативных элементов: Блок, Найт и Розенблатт, «Анализ четырехслойного последовательно связанного перцептона. II». «вовсе нет»: Блок, «Рецензия на книгу „Перцептроны: Введение в вычислительную геометрию"», с. 513. «Розенблатт был бы удовлетворен»: Блок, «Рецензия на книгу „Перцептроны: Введение в вычислительную геометрию"», с. 517. «Этот подход напоминает»: Блок, «Рецензия на книгу „Перцептроны: Введение в вычислительную геометрию"», с. 518. «Перцептроны могли научиться чему угодно»: Минский и Пейперт, «Перцептроны»: расширенное издание, с. 256. ГЛАВА 8. МОДЕЛИ МОЗГА И МОДЕЛИ РАЗУМА «пришлось бы сделать перерыв»: Минский и Пейперт, «Перцептроны»: расширенное издание, с. xii. Росс Квиллиан имел необычную научную биографию: Биографические сведения в этом разделе почерпнуты из письма М. Росса Квиллиана Эдварду Фейгенбауму от 3 февраля 1971 года, которое хранится в архиве Эдварда А. Фейгенбаума в библиотеках Стэнфордского университета (фонд 1986-052, коробка 26, папка 20). «Хотя здесь, по сути, нет ничего»: Квиллиан, «Пересмотренный проект понимающей машины» (Quillian, "A Revised Design for an Understanding Machine"), с. 17. «Слова действительно содержат»: Квиллиан, «Пересмотренный проект понимающей машины» (Quillian, "A Revised Design for an Understanding Machine"), с. 18. семантическая сеть: Более подробную раннюю историю семантических сетей см. в: Сова, "Semantic Networks". сеть, имеющая много общего: Семантические сети человека, как выясняется, имеют много общего со структурой Всемирной паутины; см. Steyvers and Tenenbaum, "The Large-Scale Structure of Semantic Networks: Statistical Analyses and a Model of Semantic Growth". Это приводит к некоторым интересным аналогиям между поиском в человеческой памяти и поиском в Интернете, как показано в Griffiths, Steyvers, and Firl, "Google and the Mind: Predicting Fluency with PageRank". «Полагаю, это ясно»: Квиллиан, «Пересмотренный проект понимающей машины» (Quillian, "A Revised Design for an Understanding Machine"), с. 29. «Для тех, кто»: Квиллиан, «Понятия слов: теория и моделирование некоторых базовых семантических возможностей» (Quillian, "Word Concepts: A Theory and Simulation of Some Basic Semantic Capabilities"), с. 429. Коллинз и Квиллиан провели эксперимент: Коллинз и Квиллиан, «Время извлечения информации из семантической памяти» (Collins and Quillian, "Retrieval Time from Semantic Memory"). В последующей работе: Коллинз и Квиллиан, «Облегчение извлечения из семантической памяти: эффект повторения части логического вывода» (Collins and Quillian, "Facilitating Retrieval from Semantic Memory: The Effect of Repeating Part of an Inference"). «Она была не только прекрасно подготовлена»: Бауэр, «Прослеживая рождение звезды» (Bower, "Tracking the Birth of a Star"), с. 15. Биографические подробности в этом разделе заимствованы из: Линдсей и Руньян, «Элизабет Ф. Лофтус» (Lindzey and Runyan, "Elizabeth F. Loftus"). Дело было не в математике: Интервью с Элизабет Лофтус, 1 июня 2024 года. Лофтус и Фридман обнаружили: Фридман и Лофтус, «Извлечение слов из долговременной памяти» (Freedman and Loftus, "Retrieval of Words from Long-Term Memory"). В последующем эксперменте: Лофтус, «Активация семантической памяти» (Loftus, "Activation of Semantic Memory"). она показала, что: Лофтус, «Доминантность категории, доминантность примера и время категоризации» (Loftus, "Category Dominance, Instance Dominance, and Categorization Time"). тщательные исследования, проведенные психологами: В данном случае я использую работу Нельсона, Макэвоя и Шрайбера «Нормы словесных ассоциаций, рифм и фрагментов слов Южно-Флоридского университета» (The University of South Florida Word Association, Rhyme, and Word Fragment Norms). полная психологическая теория: Ступенью к этой теории стал доклад, с которым Лофтус выступила на конференции в Миннесотском университете в 1973 году; в нем ее результаты связывались с идеей семантических сетей. Итоговая статья была опубликована как Loftus, "How to Catch a Zebra in Semantic Memory" («Как поймать зебру в семантической памяти»). активация распространяется туда и обратно между словами: Чтобы отразить тот факт, что активация слова «цветы» угасает от момента к моменту, мы можем использовать вес_{цветы,цветы}, чтобы показать, насколько сильно активация «цветов» влияет на их активацию в следующий момент времени. Если этот вес меньше 1, то активация будет затухать. Объединив все это, мы получим активацию_цветы = активация_цветы × вес_{цветы, цветы} + активация_розы × вес_{розы,цветы} + активация_фиалки × вес_{фиалки,цветы.} Таким образом, активация «цветов» в следующий момент времени будет складываться из того, насколько они были активны ранее (немного уменьшившись с учетом затухания со временем), плюс активация связанных с ними слов, умноженная на веса этих связей. Статья, которую они написали: Коллинз и Лофтус, «Теория распространения активации в семантической обработке» (Collins and Loftus, "A Spreading Activation Theory of Semantic Processing"). он был в ужасе: Макклелланд описывает этот опыт на странице https://www.psychologicalscience.org/observer/david-rumelhart.

solve any classification problem: Because they can represent “and” and “or,” a logical formula could be rewritten in a form where the only computation the perceptron has to perform corresponds to one of these operations. For example, any logical formula can be written in disjunctive normal form, consisting of a set of propositions joined by ˄ that are then joined by ˅. For example, P ⊕ Q can be written as (P ˄ ¬Q) ˅ (¬P ˄ Q). We can then just build a perceptron with sensory units corresponding to (P ˄ ¬Q) and (¬P ˄ Q) and weights that compute ˅.

have to be arbitrarily large: Minsky and Papert also analyzed perceptrons where the sensory units were not constrained to regions of an image but could use information about the value of an arbitrary set of points. They showed that the connectedness of an abstract geometric figure could not be evaluated by a perceptron that used sensor units that were based on a finite number of points. Even if the figure were reduced to an image and the goal was to assess whether the pixels in the image formed a connected set, this would require sensor units that consulted a number of pixels that increased as the size of the image increased.

“What we showed”: Jeremy Bernstein, “A.I.: Marvin Minsky’s Vision of the Future,” p. 100.

“Networks, like ‘brute force’ programs”: Papert, “One AI or Many?,” p. 13.

“This is a great book”: Newell, “A Step Toward the Understanding of Information Processes: Perceptrons. An Introduction to Computational Geometry. Marvin Minsky and Seymour Papert. MIT Press, Cambridge, Mass., 1969. vi+ 258 pp., illus. Cloth, 12; paper, 4.95,” p. 780.

two layers of association units: Block, Knight, and Rosenblatt, “Analysis of a Four-Layer Series-Coupled Perceptron. II.”

“not at all”: Block, “A Review of ‘Perceptrons: An Introduction to Computational Geometry,’” p. 513.

“Rosenblatt would be content”: Block, “A Review of ‘Perceptrons: An Introduction to Computational Geometry,’” p. 517.

“This approach is reminiscent”: Block, “A Review of ‘Perceptrons: An Introduction to Computational Geometry,’” p. 518.

“Perceptrons could learn anything”: Minsky and Papert, Perceptrons: Expanded Edition, p. 256.

CHAPTER 8: BRAIN MODELS AND MIND MODELS

“would have to take time off”: Minsky and Papert, Perceptrons: Expanded Edition, p. xii.

Ross Quillian had an unusual academic pedigree: Biographical details in this section are drawn from a letter from M. Ross Quillian to Edward Feigenbaum dated February 3, 1971, available in the Edward A. Feigenbaum Papers at the Stanford University Libraries (Accession 1986–052, Box 26, Folder 20).

“While there is essentially nothing”: Quillian, “A Revised Design for an Understanding Machine,” p. 17.

“The words do contain”: Quillian, “A Revised Design for an Understanding Machine,” p. 18.

a semantic network: For a more detailed early history of semantic networks, see Sowa, “Semantic Networks.”

a network that has a lot in common: Human semantic networks turn out to have a lot in common with the structure of the World Wide Web; see Steyvers and Tenenbaum, “The Large-Scale Structure of Semantic Networks: Statistical Analyses and a Model of Semantic Growth.” This results in some interesting correspondences between human memory search and web search, as shown in Griffiths, Steyvers, and Firl, “Google and the Mind: Predicting Fluency with PageRank.”

“I trust that it is clear”: Quillian, “A Revised Design for an Understanding Machine,” p. 29.

“For those who”: Quillian, “Word Concepts: A Theory and Simulation of Some Basic Semantic Capabilities,” p. 429.

Collins and Quillian ran an experiment: Collins and Quillian, “Retrieval Time from Semantic Memory.”

In subsequent work: Collins and Quillian, “Facilitating Retrieval from Semantic Memory: The Effect of Repeating Part of an Inference.”

“Not only was she well trained”: Bower, “Tracking the Birth of a Star,” p. 15. Biographical details in this section are drawn from Lindzey and Runyan, “Elizabeth F. Loftus.”

It wasn’t the math: Interview with Elizabeth Loftus, June 1, 2024.

Loftus and Freedman found: Freedman and Loftus, “Retrieval of Words from Long-Term Memory.”

In a follow-up experiment: Loftus, “Activation of Semantic Memory.”

she showed that: Loftus, “Category Dominance, Instance Dominance, and Categorization Time.”

the careful research psychologists have done: In this case I’m making use of Nelson, McEvoy, and Schreiber, The University of South Florida Word Association, Rhyme, and Word Fragment Norms.

a complete psychological theory: A stepping stone to this theory was a talk that Loftus gave at a conference at the University of Minnesota in 1973, which connects her results to the idea of semantic networks. The resulting paper appeared as Loftus, “How to Catch a Zebra in Semantic Memory.”

activation spreads back and forth between words: To capture the fact that the activation of “flowers” decays from moment to moment, we can use weight_{flowers,flowers} to indicate how much the activation of “flowers” influences its activation at the next moment. If this weight is less than 1, then the activation will decay. Putting this all together, we have activation_flowers = activation_flowers × weight_{flowers,flowers}

+ activation_roses × weight_{roses,flowers}

+ activation_violets × weight_{violets,flowers.}

So, the activation of “flowers” at the next moment will be how active it was previously, decreased a little to reflect decay over time, plus the activations of the words it is connected to times the weights of those connections.

The paper that they wrote: Collins and Loftus, “A Spreading Activation Theory of Semantic Processing.”

he was terrified: McClelland describes the experience at https://www.psychologicalscience.org/observer/david-rumelhart.

Макклелланд только что устроился на работу: Биографические подробности в этом разделе взяты из статьи Макклелланда и Румельхарта «Джеймс Л. Макклелланд и Дэвид Э. Румельхарт (Награда за выдающийся научный вклад)» (McClelland and Rumelhart, “James L. McClelland and David E. Rumelhart (Award for Distinguished Scientific Contributions)”).

«Было два типа»: См. https://www.psychologicalscience.org/observer/david-rumelhart.

«Учебника не было»: См. https://www.psychologicalscience.org/observer/david-rumelhart.

доклад Джима Андерсона, который он слушал: См. James Anderson, “A Theory for the Recognition of Items from Short Memorized Lists” («Теория распознавания элементов из коротких заученных списков»).

была принята в Psychological Review: Макклелланд, «О временных соотношениях ментальных процессов: исследование систем каскадных процессов» (McClelland, “On the Time Relations of Mental Processes: An Examination of Systems of Processes in Cascade”).

«Мы сели»: Андерсон и Розенфельд, «Говорящие сети: устная история нейронных сетей» (Talking Nets: An Oral History of Neural Networks), с. 275.

серия статей: Макклелланд и Румельхарт, «Модель интерактивной активации контекстных эффектов при восприятии букв: I. Анализ основных результатов» (McClelland and Rumelhart, “An Interactive Activation Model of Context Effects in Letter Perception: I. An Account of Basic Findings”), и Румельхарт и Макклелланд, «Модель интерактивной активации контекстных эффектов при восприятии букв: II. Эффект контекстного усиления, а также некоторые проверки и расширения модели» (Rumelhart and McClelland, “An Interactive Activation Model of Context Effects in Letter Perception: II. The Contextual Enhancement Effect and Some Tests and Extensions of the Model”).