В прошлой главе я описал аффективную спираль смерти юного Элиезера вокруг понятия, которое он называл «интеллектом». Элиезер-1996 или даже Элиезер-1999 ни за что не согласился бы попытаться дать ему математическое определение — осознанно, намеренно отказался бы. Более того, он крайне неохотно давал бы «интеллекту» вообще какое-либо определение.
Почему? Потому что в ИИ существует классическая проблема подмены понятий: вы определяете «интеллект» как что-то вроде «логического вывода» или «способности отменять выводы, когда они теряют актуальность», затем создаете дешевенький доказыватель теорем или ad-hoc систему немонотонного вывода и заявляете: «Глядите, я создал интеллект!» Люди придумывали убогие определения интеллекта, концентрируясь на сопутствующих признаках, а не на сути, а затем гнались за этим записанным на бумаге поверхностным определением, забывая о, собственно говоря, настоящем интеллекте. Не то чтобы Элиезер-1996 пытался построить карьеру в области искусственного интеллекта. Он просто хотел создать разум, способный создать нанотехнологии. Поэтому у него не возникало соблазна переопределить интеллект ради того, чтобы раздуть значимость научной статьи.
Оглядываясь назад, мне кажется, что изрядную долю моих ошибок можно описать так: видя чужую глупость, меня уносило слишком далеко в противоположную сторону. Насмотревшись на то, как часто злоупотребляют попытками дать определение «интеллекту», я отказался определять его вообще. Что, если бы я сказал, что интеллект — это X, а он на самом деле не X? На интуитивном уровне я знал, что ищу, — нечто достаточно мощное, чтобы разбирать звезды на сырье, — и я не хотел попасть в ловушку и отвлекаться от этой цели на формулировки.
Точно так же, насмотревшись на множество ИИ-проектов, загубленных «завистью к физике» — стремлением придерживаться простой и элегантной математики, из-за чего они в итоге ограничивались игрушечными системами, — я сделал обобщение, что любая математика, достаточно простая, чтобы уложиться в изящное уравнение, скорее всего, не сработает для, собственно говоря, настоящего интеллекта. «За исключением теоремы Байеса», — добавлял Элиезер-2000, что, в зависимости от вашей точки зрения, либо смягчает тяжесть его проступка, либо показывает, что ему следовало усомниться во всем обобщении целиком, вместо того чтобы пытаться сделать единственное исключение.
Если вам интересно, почему Элиезер-2000 так думал — не верил в математику интеллекта, — что ж, мне уже трудно вспомнить то далекое время. Дело точно было не в том, что я когда-либо не любил математику. Если бы мне пришлось назвать первопричину, то это чтение слишком малого количества слишком популярных и не тех книг по искусственному интеллекту.
Но в те времена я и не думал, что ответы придут со стороны искусственного интеллекта; я практически списал его со счетов как безнадежно больную, мертвую область. Так что неудивительно, что я тратил слишком мало времени на его изучение. Я верил в клише о завышенных обещаниях искусственного интеллекта. Это укладывается в схему «слишком далеко в противоположном направлении»: область не сдержала своих обещаний, поэтому я был готов поставить на ней крест. В результате я не копал достаточно глубоко, чтобы найти настоящую, не фальшивую математику.
Мое юношеское неверие в математику универсального интеллекта было одновременно одной из худших и одной из лучших моих ошибок за всю жизнь.
Поскольку я не верил, что разгадка интеллекта может быть простой, я пошел и засел за когнитивную психологию, функциональную нейроанатомию, вычислительную нейроанатомию, эволюционную психологию, эволюционную биологию и не одно направление искусственного интеллекта. Когда мне приходили в голову, казалось бы, простые и блестящие идеи, я не останавливался на этом и не бежал сломя голову их реализовывать, потому что знал: даже если они верны, даже если они необходимы, их все равно будет недостаточно. Интеллект не должен был быть простым, у него не должно было быть ответа, способного уместиться на футболке. Он должен был быть огромным пазлом из множества деталей; и когда вы находили одну деталь, вы не убегали, торжествующе подняв её над головой, а продолжали искать. Попробуйте построить разум, в котором не хватает хотя бы одной детали, — и, весьма вероятно, ничего примечательного не произойдет.
Я ошибался, думая, что искусственный интеллект как академическая дисциплина — это бесплодная пустыня; и ошибался еще сильнее, думая, что математики интеллекта быть не может. Но я не жалею об изучении, например, функциональной нейроанатомии, хотя сейчас и считаю, что искусственный интеллект не должен иметь абсолютно ничего общего с человеческим мозгом. Изучение нейроанатомии означало, что я исходил из идеи: если разбить разум на части, этими частями окажутся вещи вроде «зрительной коры» и «мозжечка», а не «модуль торговли на фондовом рынке» или «модуль рассуждений на основе здравого смысла», что является классическим тупиковым путем в ИИ.
Изучение таких областей, как функциональная нейроанатомия и когнитивная психология, дало мне совершенно иное представление о том, как должен выглядеть разум, нежели то, которое можно получить, просто читая книги по ИИ — даже хорошие.
Если отбросить все неверные выводы и неверные обоснования и просто спросить, что это убеждение заставило юного Элиезера на самом деле делать...
Тогда вера в то, что искусственный интеллект болен, а настоящий ответ должен прийти из других, более здоровых областей, побудила его изучать множество когнитивных наук;
Вера в то, что у ИИ не может быть простых ответов, уберегла его от преждевременной остановки на одной блестящей идее и заставила накопить огромное количество информации;
Убеждение, что не следует давать определение интеллекту, привело к тому, что он долгое время изучал проблему, прежде чем годы спустя начал предлагать систематизации.
Вот что я имею в виду, когда говорю, что это была одна из лучших моих ошибок за всю жизнь.
Оглядываясь назад годы спустя, я извлек очень важный урок, суть которого заключалась в следующем:
То, что вы в итоге делаете, экранирует те умные причины, по которым вы это делаете.
Сравните поразительно умные рассуждения, которые побуждают вас изучать множество наук, с поразительно умными рассуждениями, которые говорят, что вам незачем читать все эти книги. Впоследствии, когда ваши потрясающе умные рассуждения окажутся глупостью, вы останетесь в гораздо лучшем положении, если ваши потрясающе умные рассуждения относились к первому типу.
Оглядываясь на свое прошлое, я поражаюсь числу полуслучайных успехов — тому, сколько раз я поступал правильно по неверным причинам. С вашей точки зрения, вам стоит списать это на антропный принцип: если бы я зашел в настоящий тупик, вы, скорее всего, ничего бы не услышали обо мне в этой книге. С моей же точки зрения это до сих пор вызывает некую неловкость. Мое воспитание в духе традиционного рационализма задало сильное направленное смещение этим «случайным успехам» — склоняло меня находить рационализации в пользу учебы, а не отказа от нее, не давало мне окончательно заблудиться и помогало оправляться от ошибок. И все же ничто из этого не было правильным действием по правильной причине, и оглядываться на собственную юность и видеть это — довольно жутко. Одна из моих главных целей при написании статей на Overcoming Bias — оставить след, ведущий туда, куда сам я забрел случайно, чтобы свести к минимуму роль везения в моем собственном становлении как рационалиста.
Так почему же это одна из худших моих ошибок за всю жизнь? Потому что иногда «неформальный» — это просто иной способ сказать «низкие стандарты». У меня были потрясающе умные доводы в пользу того, почему я могу обойтись без точного определения «интеллекта» и некоторых других моих терминов: а именно, что другие люди сбивались с пути, пытаясь дать им определения. Это были ворота, через которые могли проникнуть небрежные рассуждения.
Так следовало ли мне забежать вперед и попытаться сразу же сформулировать точное определение? Нет, все причины, по которым я считал этот путь ошибочным, были верны: невозможно взять правильное определение буквально из воздуха, если у вас недостаточно знаний.
Невозможно прийти к тому самому определению огня, если вы ничего не знаете об атомах и молекулах; в таком случае лучше сказать «вон та оранжево-яркая штука». И вам действительно нужно иметь возможность говорить об этой оранжево-яркой штуке, чтобы исследовать огонь, пусть даже вы и не можете точно сказать, что это такое. Но сегодня я бы сказал, что любым рассуждениям на подобном уровне нельзя доверять — скорее, это то, чем вы занимаетесь на пути к более глубокому пониманию, но вы не доверяете им, вы не опираетесь на них всем своим весом, вы не делаете из них твердых выводов, какими бы неопровержимыми ни казались эти неформальные рассуждения.
Юный Элиезер перенёс вес не на ту плитку пола — и наступил на взведённую ловушку.
*