Я думаю, что нечеткость играет гораздо более значимую роль в теории познания, чем принято считать на основании большинства существующих работ. Все обладает нечеткостью, однако мы не осознаем ее степени до тех пор, пока не пытаемся что‐либо прояснить. В то же время все строго определенное настолько далеко от тех представлений, с которыми мы обычно оперируем в мыслях, что невозможно даже на миг представить, что именно мы имеем в виду, когда формулируем свои мысли. Используя методы анализа и рефлексии, о которых я говорю, и двигаясь от нечеткого к точному, вы неизменно сталкиваетесь с риском допустить ошибку.

Излишняя оптимизация – корень всех зол.

В сочельник мы с женой приехали к моим родителям. Среди ночи я проснулся в испарине. Сначала я подумал, что просто слишком тепло укрылся. Сбросил одеяло, снял рубашку – но дело было не во мне. Осознание пришло внезапно, на стыке тревоги и ужаса: в комнате стояла невыносимая жара. Меня вдруг пронзила мысль – неужели пожар?

Я открыл дверь. В доме было темно и тихо. Воздух в коридоре оказался холодным.

Постепенно до меня дошло, что произошло. На верхнем этаже располагались две гостевые спальни и всего одна панель термостата – в незанятой комнате. Дверь в нашу спальню была закрыта, а в соседнюю – распахнута.

На дворе стояла типичная для Новой Англии морозная ночь, когда температура опускается ниже нуля. Система отопления подавала горячий воздух в обе спальни. Но из-за открытой двери в комнату с термостатом температура там никак не могла стабилизироваться – независимо от того, насколько интенсивно система нагревала воздух. Наша комната, отделенная от остального дома, получала тот же объем горячего воздуха, который система тратила на обогрев всего здания.

Что может быть проще термостата? В самом деле, он служит классическим примером простейшей замкнутой регулирующей системы – можно даже назвать его хрестоматийным кибернетическим образцом. Это скромный, непритязательный механический прибор, в котором нет и следа машинного обучения. Однако проблема выравнивания появилась во всей полноте – буквально заставила меня обливаться потом.

Во-первых, вы измеряете не то, что хотите измерить. Я стремился отрегулировать температуру в своей комнате, но мог контролировать ее только в другой комнате. Мне и в голову не пришло, что эти показатели никак не связаны – пока одна дверь закрыта, а другая открыта.

Во-вторых, иногда единственное, что может вас спасти, – это ваша собственная некомпетентность. Я вспомнил, что если бы система отопления была мощнее, а наша спальня лучше изолирована, мы могли бы буквально свариться в ней. Конечно, мы бы проснулись, но если взглянуть на другую сторону термодинамического спектра, холод куда опаснее. Гипотермия в слишком холодной спальне способна убить человека – и такие случаи действительно происходят [791].

В документальном фильме 1997 года «Руки на твердом теле» рассказывается о техасце по имени Дон Кертис, который установил у себя дома двадцатитонный кондиционер. «Этот агрегат был достаточно велик, чтобы охладить весь супермаркет Kmart», – рассказывал он. Магазин закрывался, и, по словам Кертиса, «они отдали мне кондиционер почти даром. Я подумал: „Ну, эта штука охладит мой дом!“ Но мне и в голову не пришло, что она снизит температуру до двадцати градусов ниже нуля. Вскоре мы это узнали». Кертис избежал гипотермического шока, но угроза была вполне реальной.

Пока я проветривал комнату и закрывал обе двери, я задумался о Норберте Винере – великом кибернетике ХХ века, который предвидел множество современных проблем, связанных с выравниванием. Именно он произнес знаменитую фразу: «Нам следует убедиться, что цели, заложенные в машину, совпадают с нами желаниями».

Но другое его замечание столь же пророческое и шокирующее: «В прошлом неполное и неадекватное восприятие человеческих намерений было относительно безвредным лишь потому, что ему сопутствовали технические ограничения, – писал Винер. – Это один из множества примеров того, как бессилие человека до сих пор ограждало нас от разрушительного натиска человеческих прихотей» [792]. Яркий пример проблемы, возникающей, когда наши растущие возможности разрушают эту защиту, – история Дона Кертиса. И я не могу не провести параллель между этим случаем и ИИ, который напоминает двадцатитонный кондиционер, проникающий в каждый дом.

В этом контексте остается надеяться, что мы сумеем скорректировать свои желания быстрее, чем утратим способность их контролировать. Как в 2018 году отметил Ник Бостром из Института будущего человечества, «существует огромная разница между техническими возможностями человечества, напоминающими на коня, галопом летящего через поля, и его мудростью, которая больше похожа на жеребенка, стоящего на нетвердых ногах» [793]. Сам Винер предупреждал о прославлении изобретательности – совокупности знаний и «ноу-хау» – без критической оценки того, что мы действительно хотим сделать, того, что он называл «ноу-вот» (знать-что). К сожалению, последнее остается в дефиците.

Еще в 1937 году Олдос Хаксли выразил эту мысль иначе: «Становится совершенно очевидным, что все, что до сих пор делала торжествующая наука, – это всего лишь улучшение средств для достижения несовершенных или фактически ухудшенных целей» [794].

* * *

До этого момента наша история выглядела вдохновляюще: она рассказывала об уверенном и стабильном научном прогрессе. Экосистема совместных усилий ученых и специалистов по этике, влияющих на ближайшие и отдаленные цели, распространяется по всему миру. Этот поток только зарождается, но становится все мощнее.

Сегодня исследования вопросов неравенства, справедливости, прозрачности и множества аспектов безопасности составляют значительную часть работ, представленных на крупнейших конференциях по ИИ и машинному обучению. Фактически это самые динамичные и быстрорастущие области не только в информационных технологиях, но и во всей науке. По словам одного ученого, на одной из крупнейших конференций 2016 года люди удивлялись, когда он заявил, что работает над вопросами безопасности. Год спустя на том же мероприятии никто уже не обращал на это внимания. Такие культурные изменения отражаются и в финансировании, и в акцентах самих исследований.

В предыдущих главах мы рассматривали как описание, так и содержание текущих исследовательских задач – прогресс заметен на всех направлениях.

Но книга не случайно начинается со слов Джорджа Бокса, напоминающего, что «все модели не верны». В этом духе давайте взглянем критически на некоторые аспекты нашей истории.