В наших локальных сетях мы, архитекторы сети, сами определяли, какие элементы чтó представляют. Теперь же мы хотим, чтобы сеть «наблюдала» за свойствами мира и строила представления на основе этих наблюдений. Иными словами, хотим, чтобы представления формировались в процессе обучения под воздействием опыта.

Кроме того, как мы уже отмечали, представления похожих объектов должны быть схожими между собой. Поскольку распределенные представления одновременно схватывают и суть, и уникальность объектов, те из них, что обладают общей сутью, неизбежно имеют отчасти сходные представления. Например, представление понятия «дуб» через пять элементов может выглядеть как 0.9, 0.8, 0.1, 0.2, 0.7. Если уровни активации варьируются от 0 до 1, это представление приблизительно соответствует паттерну В, В, Н, Н, В (где В – высокий, Н – низкий). Представление понятия «малиновка» может кардинально отличаться от представления дуба; для наглядности предположим, что оно выглядит как 0.1, 0.2, 0.9, 0.7, 0.1, что примерно соответствует паттерну Н, Н, В, В, Н. Теперь представление понятия «сосна» – которое ближе к дубу, чем к малиновке, – окажется более схожим с представлением дуба, чем с представлением малиновки. Например, может выглядеть как 0.7, 0.9, 0.1, 0.2, 1 (тоже паттерн В, В, Н, Н, В). Схожие распределенные представления создают схожие паттерны активности в популяции элементов (см. рисунок 7.2c).

Как мы увидим далее, распределенные представления сохраняют сходство между объектами, поскольку отражают усредненные характеристики, извлеченные из всех контекстов, в которых встречался объект. Например, распределенное представление малиновки может основываться на таких признаках птицы, как «оранжево-коричневая окраска», «способность летать», «наличие крыльев» и «питается червями». У другой птицы – скажем, канарейки, – которая обладает многими, но не всеми этими признаками (канарейка желтая, а не оранжево-коричневая), будет схожее, но не идентичное распределенное представление. Нам также хотелось бы, чтобы сети с распределенными представлениями обладали теми же полезными свойствами, которые мы обнаружили в сетях с локальными представлениями. Например, наша сеть «"Ракеты" и "Акулы"» из главы 4 умела выводить свойства объектов, с которыми прежде не сталкивалась. Зная, что Ланс – член банды «Ракеты», ему за 20 и у него неполное среднее образование, нейронная сеть могла заключить, что он, вероятно, взломщик, даже если этот факт не был ей известен заранее (то есть элемент-конъюнкция для Ланса не был связан с элементом «Взломщик»). Аналогичным образом мы ожидаем от нашей сети способности предсказать, что у воробья есть крылья и он умеет летать, основываясь лишь на знании того, что воробей – птица.

В связи с этим было бы замечательно, если бы распределенные представления способствовали формированию категорий. Поскольку они улавливают общие свойства различных экземпляров, они создают идеальные условия для возникновения категорий взаимосвязанных объектов. В идеале принадлежность к категории должна быть градуированной – как в реальной жизни: одни члены являются более типичными представителями категории, чем другие (например, малиновка – типичная птица, а курица – менее типичная). Более того, принадлежность к категории не должна быть жесткой и основываться на принципе «все или ничего». Да, у деревьев обычно широкие плоские листья, но у сосны – иголки. И все же она, безусловно, должна быть отнесена к категории деревьев.

Наконец, распределенные представления должны также отражать иерархические связи между категориями. Категория немецких овчарок – это подмножество категории собак; следовательно, немецкая овчарка должна наследовать многие из наиболее общих свойств собак. Как и другие собаки, немецкие овчарки должны классифицироваться как живые существа и иметь хвост, четыре лапы и подвижные уши. Нам не нужно заново узнавать эти свойства немецких овчарок, если мы уже знаем, что они присущи всем собакам.

Сети с распределенными представлениями справляются со всеми этим задачами. И даже способны на большее. Но как нейронные сети учатся создавать распределенные представления?