Опыт, отец всех наук[411][412].

В 1943 г. студентка физического факультета Висконсинского университета в Мэдисоне Джоан Хинтон слушала курс классической механики, который читал там Станислав Улам. За месяц до сессии она подошла к Уламу с вопросом, нельзя ли ей сдать экзамен досрочно. Ей нужно было уехать по важному делу. Она не могла сказать, по какому именно, но уехать нужно было немедленно. Улам нацарапал несколько вопросов на обороте конверта, и Хинтон в спешке написала ответы, пристроившись прямо на пыльном полу его кабинета. Коллеги и студенты Улама пропадали один за другим. Он подозревал, что их тайком привлекают к работе над секретными военными проектами, но никто не мог рассказать ему подробностей.

Улам очень хотел внести свой вклад в войну, но из-за плохого зрения его не взяли в ВВС США. Он родился в Польше в еврейской семье и лишь недавно попал в Америку. 20 августа 1939 г., за двенадцать дней до вторжения нацистов в Польшу, отец посадил его и его семнадцатилетнего брата на корабль, идущий в США. Вся семья Улама, кроме брата, погибла во время холокоста. В последнее время его коллега и товарищ по эмиграции Джон фон Нейман присылал ему письма с почтовыми штемпелями столичного Вашингтона. Улам предположил, что тот сотрудничает с военными, и написал другу послание, в котором предложил свои услуги.

Фон Нейман хранил по этому поводу таинственное молчание, но предложил Уламу встретиться в Чикаго, где он должен был пересаживаться с одного поезда на другой по дороге на запад страны. Фон Нейман вышел из поезда в сопровождении двух «мужчин, малость смахивающих на горилл»[413]. Улам распознал в них телохранителей и сделал вывод: «Должно быть, он – важная персона, раз его охраняют»[414]. Улам без всякой задней мысли упомянул о своем новом увлечении протекающими на атомном уровне ветвящимися процессами, в ходе которых «частицы размножаются так же, как, к примеру, бактерии», поскольку он как раз работал над новой теорией вероятностных систем. Оглядываясь назад, Улам понял, что это, должно быть, прозвучало до жути похоже на совершенно секретные ядерные цепные реакции, над которыми работали фон Нейман и его коллеги. Однако фон Нейман не подал виду, лишь «уставился… то ли с подозрением, то ли с изумлением и вяло улыбнулся»[415].

Позже Улам получил письмо с приглашением присоединиться к некому проекту, «имеющему отношение к физике процессов, происходящих в звездах»[416]. Улам немедленно согласился. Ему сообщили лишь пункт назначения: Нью-Мексико. Поскольку он никогда не слышал о таком месте, он пошел в библиотеку и взял путеводитель по этому штату. «На приложенной к концу книги полоске бумаги, на которой читатели обычно пишут свои фамилии, я нашел имена… всех тех других, кто загадочным образом исчез, не сказав куда, чтобы заняться секретной военной работой»[417]. Улам присоединялся к Манхэттенскому проекту.

Уламу поручили обсчет процесса взрыва бомбы, требовавший колоссального числа вычислений для описания твердого тела, которое вело себя подобно жидкости. Ему предстояло найти способ смоделировать экспоненциально нарастающий каскад сталкивающихся и возбуждающих друг друга частиц. Коллегам Улам в шутку представлялся как «чистый математик, которого математика затянула так, что в своей последней научной статье он не смог обойтись без десятичных дробей!»[418]. Фон Нейман считал, что эти вычисления потребуют «столько умножений, сколько не было сделано человечеством за всю его историю»[419]. Улам не согласился: «Когда я грубо прикинул, сколько операций умножения выполнили все школьники мира за последние пятьдесят лет, то увидел, что полученное мною число было в десять раз больше!» И тем не менее возможности компьютеров того времени были крайне ограниченны. Пока не появились более мощные машины, Уламу приходилось как-то ужимать свои модели до более удобоваримых размеров.

В 1946 г. Улам оказался прикован к больничной койке, восстанавливаясь после загадочного приступа энцефалита – возможно, побочного эффекта от радиационного облучения в Лос-Аламосе. После того как врачи просверлили в его черепе отверстие, чтобы снять отек, он несколько дней пробыл в коме. Это был самый травматичный опыт в его жизни. Он временно потерял дар речи и приходил в ужас от мысли, что его умственные способности уже никогда не будут прежними. Вторя совету, данному Паскалю лекарями тремястами годами ранее, лечащий врач Улама настоятельно рекомендовал ему избегать интеллектуальной деятельности. Улам, как и Паскаль, решил расслабляться с помощью игр. Он раскладывал бесконечные пасьянсы и размышлял, как можно оценить вероятность выигрыша в середине партии – примерно так же, как Паскаль обдумывал задачу о разделе ставки. Тут он и внес свой самый весомый вклад в развитие информатики. Нельзя было и надеяться исчерпывающе просчитать все комбинации каждой возможной игры – их число экспоненциально нарастало и было настолько огромным, что не поддавалось оценке. Улам находил, что это «вызывает неприятное удивление, в каком-то смысле даже унижает умственные способности человека, заставляя почувствовать, насколько узки границы рационального и традиционного мышления»[420].

Вместо этого, понял он, можно было разыграть некоторое количество случайных партий – относительно репрезентативную выборку из всех возможных, а затем на основе этой ограниченной симуляции оценить общую вероятность выигрыша. Улам тут же осознал, что этот метод можно применить к любому ветвящемуся процессу, в том числе и к ядерным реакциям. В случае, например, урана за судьбой отдельного нейтрона можно было следить так же, как мысленно представлять себе возможные расклады в пасьянсе. В каждый конкретный момент могло произойти одно из нескольких событий: нейтрон мог отразиться под определенным углом, поглотиться, ускориться или замедлиться. Вероятности каждого из этих событий были ученым известны. С их помощью можно смоделировать дальнейшую участь миллионов нейтронов, где каждый из них влиял на судьбу своих соседей. Вместо того чтобы прослеживать квадриллионы траекторий, ведущих ко всем возможным исходам, ученые брали случайный их набор, сформированный пропорционально заранее известным вероятностям событий. Вычисляя статистические показатели для непредвзятой репрезентативной выборки, они получали их оценку для всей совокупности. Так появился мощный метод, позволяющий справляться с расчетами неподъемной, казалось бы, сложности.

Фон Нейман дал этому изобретению название «метод Монте-Карло» в честь рая для азартных игроков – того самого «солнечного места для темных личностей»[421], где покончил с собой обожавший рулетку дядя Улама, Михал. В его наиболее известной на сегодняшний день форме алгоритм был реализован в 1953 г. физиком Арианной Розенблют, и сейчас это один из самых популярных методов моделирования поведения сложных систем[422]. Береговая охрана США использует его для оценки местоположения пропавших в море судов, а страховые компании – для расчета рисков в своих продуктах. Астрономы с его помощью оценивают возможные траектории астероидов, климатологи прогнозируют геологические процессы, а инженеры проектируют датчики. По сути, это метод ориентирования в неизвестном будущем, идеально подходящий для предсказания исходов в сферах, где действуют определенные правила, – от естественных наук до игр.

Учитывая нынешнее повсеместное распространение этого метода, нам легко принять как должное саму мысль, что правдоподобность того или иного исхода можно измерить. Метеорологи прогнозируют сорокапроцентную вероятность дождя, букмекерские конторы предлагают клиентам тщательно рассчитанные коэффициенты, статистики публикуют прогнозы итогов выборов. Но этой ментальной конструкции всего несколько сотен лет. От слепой веры в богов и судьбу люди перешли к науке принятия решений на основе данных. Игра в кости помогла математикам постичь законы случая, сделав более предсказуемым то, что когда-то казалось лишь удачей. Более совершенные статистические методы позволили распространить этот когнитивный сдвиг на сферы, устроенные куда сложнее. Одним из ранних примеров тому стал кригшпиль, а также первые программы массовой вакцинации. Теория игр давала формальную основу для науки о принятии решений, а исследователи ИИ трудились над созданием систем, способных производить колоссальные вычисления для обоснования выбора в крайне запутанных ситуациях. Когда мы оперируем количественно измеримым существованием альтернативных исходов, на нас ложится бо́льшая ответственность за принятие наилучших решений. У нас нет способа проверить, верны эти оценки или нет, поскольку нет контрфактических вселенных, из которых можно было бы собрать выборку. Выборы либо выигрываются, либо проигрываются, и все облака вероятных исходов схлопываются в единственную реальность. Моделирование – это как минимум удобная иллюзия контроля, которая рисует наше будущее управляемым и тем самым позволяет снижать уровень тревожности.

Пятьюдесятью годами позже догадка Улама поможет компьютерам овладеть игрой в го. Она, как считается, зародилась в Китае более трех тысяч лет назад, но по сей день остается самой популярной настольной игрой в мире. За один ход игрок может поставить один из своих камней на любое свободное пересечение линий на доске размером 19 × 19. Побеждает тот игрок, чьи камни к концу партии окружают бо́льшую территорию. Энтузиаст этой игры Эдвард Ласкер, как сообщается, восторженно говорил: «Если вычурные правила шахмат могли быть созданы только людьми, то правила го настолько элегантны, органичны и строги, что, если во Вселенной существуют другие разумные формы жизни, они почти наверняка играют в го». Хотя го часто сравнивают с военной кампанией, мастера этой игры Дэвид Ормерод и Ан Енгиль пишут, что ее также можно воспринимать как «разговор, спор или переговоры; как приготовление пищи или строительство; как течение жизни; как управление бизнесом или экономикой; как сложный танец или взаимодействие первозданных сил природы»[423].

Для исследователей ИИ го оказалась последним рубежом в области игр: к тому времени программы уже победили мастеров-людей в большинстве других популярных настольных игр. За простотой правил го скрывается невероятная сложность. На доске для го возможно около 10¹⁷⁰ различных позиций. Чтобы просчитать партию в го на три хода вперед, нужно перебрать 15 млн вариантов. Средняя шахматная партия заканчивается за пятьдесят ходов. Средняя партия в го длится более двухсот. Го безнадежно непознаваема; ни один разум – человеческий или компьютерный – никогда не сможет до конца постичь ее глубины. Методы полного перебора, которые работают в шашках и шахматах, в го бесполезны. Исследователям нужно было найти эффективный способ навигации по характерному для этой игры гигантскому дереву событий, анализируя лишь самые многообещающие ходы.

Но для начала им нужно было придумать, как в го вообще измерять перспективность того или иного хода. Это еще сложнее, чем в шахматах, – напомним, что для Deep Blue потребовалась функция оценки с более чем восемью тысячами параметров. В го не всегда очевидно, кто выигрывает, и даже мастер может ошибаться насчет силы своей позиции. Игрок в шашки может оценить положение, просто сравнив число своих шашек и дамок с аналогичным показателем у соперника. Оценка позиции в го – дело куда более тонкое. Когда игроков просят объяснить логику того или иного хода, они часто пожимают плечами и отвечают: «Интуиция!» Озарение Улама, навеянное раскладыванием пасьянсов, в итоге позволило заменить замысловатые функции оценки анализом смоделированных исходов.

В 1992 г. мысленный эксперимент Улама вдохновил аспиранта-физика Бернда Брюгманна на вопрос «А как бы в го играла природа?»[424]. Его решение, программа Monte Carlo Go, случайным образом выбирала некое подмножество из всех возможных следующих ходов, а затем развивала их в череде случайно выбранных ответных маневров до тех пор, пока одна из сторон не выигрывала или не проигрывала. Для определения исхода этой программе не нужна была функция оценки; она просто просчитывала разные варианты развития событий до самого конца, а затем выбирала ход с наибольшими шансами на победу.

Десять лет спустя несколько групп независимо друг от друга усовершенствовали метод Брюгманна. Вместо случайной выборки исходов эти программы стали отбирать только самые перспективные розыгрыши, оценивая их на основе накопленного опыта. Представьте себе игрока в казино перед несколькими игровыми автоматами, у каждого из которых своя сумма и своя вероятность выигрыша. Игрок не может заглянуть внутрь автоматов, чтобы понять, как они запрограммированы; он может лишь оценить их относительную прибыльность в процессе игры. Каждый раз ему нужно решать, за какой рычаг потянуть, находя компромисс между использованием уже имеющихся знаний и получением новых. С одной стороны, ему хочется играть с теми автоматами, которые, как он уже выяснил, сулят большую выгоду. С другой – ему также интересно исследовать все варианты, чтобы определить, нет ли автоматов с лучшей отдачей.

Так появился поиск по дереву методом Монте-Карло – целое семейство подходов, которые помогают игроку на собственном опыте накапливать знания и принимать решения, максимизирующие его выигрыш. С тех пор схожие алгоритмы нашли применение и в реальной жизни: от прогнозирования товарных остатков до программного обеспечения для беспилотных автомобилей. Программы, использующие этот метод, вскоре начали занимать все первые места на турнирах по го среди компьютеров. В 2012 г. программа Zen, основанная на поиске по дереву методом Монте-Карло и разработанная Едзи Одзимой, выиграла партию у профессионального игрока в го высшего ранга Масаки Такэмии, хотя и с форой. Это был первый случай, когда программа для игры в го победила мастера-человека. Масаки признавался: «Я и не подозревал, что компьютерное го шагнуло так далеко»[425]. Через несколько лет компьютеры станут играть лучше людей.

В статье 2001 г. один из пионеров обучения с подкреплением Ричард Саттон писал, что истинный интеллект требует того, что он называет верификацией: «Ключ к успешному ИИ – это его способность самостоятельно определять, правильно ли он работает или нет»[426]. И далее:

Сегодняшние системы ИИ в подавляющем большинстве случаев не способны верифицировать собственные знания. Создаются большие онтологии и базы знаний, которые полностью зависят от человеческого труда и поддержки. «У птиц есть крылья», – говорят они, но, конечно, у них нет никакой возможности это проверить.

Обучение с подкреплением и методы поиска по дереву Монте-Карло стали важным шагом в этом направлении. Благодаря своей сложной, созданной вручную функции оценки Deep Blue мог самостоятельно выбрать многообещающий ход. Но он не мог взглянуть на ситуацию шире и прикинуть, действительно ли это был наилучший из всех возможных ходов. Как не мог он и повысить качество своих суждений. Компьютерные программы, которым покорились шашки и шахматы, ориентировались в пространстве возможных решений и их ожидаемых исходов по карте, тщательно отрисованной их создателями-людьми. Саттон и Сэмюэл начали строить обучающиеся системы, которые умели строить собственную карту на основе решений, принимаемых ими в процессе игры, всякий раз отмечая на ней свои новые открытия. Обучающиеся системы оттачивают свою способность выносить суждения на основе опыта, а игры как раз и являются генераторами фиктивного опыта.

Аспирант Саттона Дэвид Сильвер сосредоточился на компьютерной го, проведя параллели между поиском по дереву методом Монте-Карло и обучением с подкреплением. По своей сути оба метода представляют собой обучение программ на основании проб и ошибок. Сильвер ушел из не особенно успешной игровой компании Elixir, которую он основал со своим другом детства и бывшим шахматным вундеркиндом Демисом Хассабисом, чтобы получить ученую степень. Тем временем Хассабис с коллегами основали специализирующийся на ИИ стартап DeepMind, к которому позже присоединится и Сильвер. Хассабис отверг академическую карьеру ради технологического сектора, рассудив, что получить финансирование от инвесторов будет проще, чем правительственные гранты. Процесс машинного обучения требует огромных объемов данных, что делает тренировку таких программ чрезвычайно дорогостоящим занятием. Решение Хассабиса отражает реальное положение дел, при котором исследования в области машинного обучения становятся все менее доступными для научных лабораторий с их ограниченным доступом к вычислительным ресурсам, а это грозит дальнейшей концентрацией власти в руках корпоративных интересов. В 2014 г. успех DeepMind с играми Atari убедил основателей Google Ларри Пейджа и Сергея Брина приобрести стартап. После этого его команда получила возможность использовать вычислительные ресурсы Google и смогла всерьез взяться за го.

В результате появилась AlphaGo – программа, сочетающая поиск по дереву методом Монте-Карло со структурой глубокой нейронной сети. Она научилась оценивать позицию на доске, сыграв сотни тысяч партий сама с собой. На ранних этапах обучения AlphaGo, казалось, делала странные ходы. Сильвер пытался наставить ее на путь истинный, но она упорствовала в своем странном поведении. «Мы думали, она неверно оценивает двадцать или тридцать позиций», – вспоминает Сильвер[427]. Они наняли живущего в Европе мастера го Фань Хуэя, чтобы тот помог им разобраться в происходящем. Потратив на анализ ходов AlphaGo много часов, Хуэй поставил свой диагноз: программа не ошибалась – ошибались они в своей оценке. Ходы, которые они, следуя традиционной мудрости, считали ошибочными, оказались лучше, чем они думали. AlphaGo «нашла решения, которые заставили его пересмотреть, что есть ошибка, – вспоминает Сильвер. – Я понял, что мы можем опровергнуть то, что люди считали общепризнанным знанием»[428].

В 2016 г. DeepMind организовала широко разрекламированный матч из пяти партий с чемпионом мира по го Ли Седолем, одним из сильнейших игроков последних десятилетий. Как и игра Каспарова[429] против Deep Blue, игра Ли против AlphaGo была не лучшей в его карьере. Люди-игроки часто полагаются на информацию, не относящуюся непосредственно к игре. Например, соперники в поисках подсказок следят за языком тела друг друга. Ли не мог ничего прочитать по лицу оператора-человека, который бесстрастно выполнял ходы AlphaGo. Программа выиграла матч, попутно изменив наши представления о том, как нужно играть в го. На тридцать седьмом ходу второй партии AlphaGo бросила вызов многовековой человеческой мудрости, поставив камень на пятую линию. Эксперты твердо верили, что четвертая линия – это важная граница, «линия влияния», за которой лучше всего ставить камни для закрепления за собой территорий. Один из комментаторов признавался, что сначала счел этот ход компьютерной ошибкой. Но этот ход оказался решающим для победы AlphaGo, превратив давнюю истину в простое суеверие. Это было решение инопланетного разума – стратегия, открытая в безумном вихре партий, которые AlphaGo играла сама с собой, не признавая никаких условностей. Это был «не человеческий ход»[430]. После партии Ли сказал:

Я думал, что AlphaGo основывается на вероятностных расчетах и что это просто машина, но, увидев этот ход, я изменил свое мнение. Несомненно, AlphaGo способна творить. Этот ход был действительно оригинальным и красивым… Этот ход заставил меня по-новому взглянуть на го[431].

Три года спустя Ли ушел из профессионального го, назвав ИИ «сущностью, которую невозможно победить»[432]. Многие игроки с тех пор признавали, что AlphaGo улучшила их игру. «AlphaGo – она как настоящее зеркало, – говорит Фань. – Когда играешь с AlphaGo, чувствуешь себя очень странно. Как будто ты все время голый. Когда видишь это впервые, не хочется смотреть, потому что думаешь: "Ой, это я? Настоящий я?"»[433]

Однако программы для игры в го не являются полностью непобедимыми. Другая компьютерная программа помогла людям вернуть себе преимущество в игре. В 2023 г. Келлин Пелрин, американский любитель с высоким рейтингом, одолел один из лучших игровых движков с открытым исходным кодом, KataGo, в четырнадцати партиях из пятнадцати. Свою антикомпьютерную стратегию он разработал с помощью другой игровой программы, которая выявила слепые зоны KataGo. Пелрин одурачил KataGo, прибегнув к тактике, которая была бы очевидной для игроков-людей. KataGo, однако, не видит ничего, кроме более масштабных мотивов в группах камней. Для самообучающихся программ характерно то, что они полагаются на узкий набор стратегий. Это одна из причин, почему такие программы опасны: хотя обычно они и превосходят людей, они также могут сталкиваться с катастрофическим и неожиданным провалом.

Компания DeepMind объявила, что ее программа овладела го на десять лет раньше, чем ожидалось, хотя эта оценка и была основана на необъективно отобранных данных. То, что технологии редко появляются в предсказанные сроки, меньше говорит о самих технологиях, чем о том, как плохо люди умеют делать прогнозы. Планы на будущее в области ИИ знамениты своей нелепостью: в 1956 г. группа ведущих исследователей ИИ заявила, что сможет решить некоторые из сложнейших проблем в этой области за два месяца согласованных усилий. По этой оценке, го покорилась компьютерам с опозданием на шестьдесят лет. Это, однако, не умаляет достижения: когда серьезные технологические проблемы решены, они часто кажутся тривиальными. Исследователь Джон Маккарти шутил, что, «как только что-то начинает работать, никто больше не называет это ИИ»[434]. Но самое впечатляющее в обучающихся системах – их способность выходить за пределы человеческого понимания посредством смоделированного опыта – является одновременно и самым тревожным.

Первое время команда DeepMind обучала AlphaGo на партиях экспертов-людей, прежде чем позволить ей начать учиться в ходе самоигры, как это впервые сделал Сэмюэл. Ожидалось, что программа извлечет пользу из изучения человеческих подходов. Этого не произошло. Следующая версия программы, AlphaGo Zero, училась уже исключительно в игре с собой. Ее результаты далеко превзошли показатели предшественницы. А третья итерация, AlphaZero, снабженная еще более общей архитектурой, была способна освоить в ходе самоигры го, шахматы или сёги. Натренировавшись играть в шахматы, AlphaZero победила действующего чемпиона мира[435] по компьютерным шахматам, программу Stockfish, которая была настолько хороша, что никто не знал, достигла ли она верхнего предела мастерства, или дальнейшие улучшения еще возможны. Stockfish была основана на тех же принципах минимакса, что и Deep Blue. Превосходство AlphaGo показало, что вручную созданные на основе экспертных знаний функции оценки не могут сравниться с обучением на опыте. Сегодня шахматные программы играют намного лучше людей. Двадцать пять лет назад Каспаров[436] обвинил операторов Deep Blue в жульничестве, утверждая, что они подменили ход машины ходом мастера-человека. Теперь же для игроков-людей стало обычным делом жульничать в онлайн-матчах с помощью компьютерных программ. Сайт Chess.com ежедневно блокирует около 800 аккаунтов по подозрению в мошенничестве с использованием машин.

Очарованные собственными способностями люди десятилетиями пытались построить системы, которые рассуждали бы так же, как они. Вместо этого мы обнаружили, что системы могут работать на высочайшем уровне, не обучаясь на человеческом опыте. Саттон называет это «горьким уроком». «Попытки заложить в систему то, как мы представляем себе наше мышление, – заключает он, – в долгосрочной перспективе не работают»[437]. Конечно, это не учитывает того факта, что сами игры являются продуктом человеческого творчества и отражают человеческие идеалы. Тем не менее компьютерные программы начали превосходить людей без того, чтобы в них были запрограммированы человеческие знания. Шахматная программа победила чемпиона мира среди людей в основном благодаря охвату поиска по пространству возможностей. Исследователи одолели го не тем, что скопировали человеческую манеру игры – например, когда доска разбивается на визуальные паттерны или создается сложная функция оценки, – а тем, что создали систему, способную научиться выносить суждения на основе сотен тысяч партий, сыгранных с самой собой. Методы обучения с подкреплением могут позволить нам выйти за рамки человеческого понимания. Но как мы можем доверять тому, что не способны понять? Как нам оценивать пророчества, звучащие из черного ящика? Игровая программа практически не представляет опасности. Но что насчет систем, которые, как мы надеемся, будут рулить беспилотными автомобилями, управлять энергетическими сетями или оценивать заявки на кредиты?

Могущество и опасность обучающихся систем – в их универсальности. Поначалу Сильвер отмахивался от опасений, что военные аналитики присматриваются к алгоритмам DeepMind. Он ответил одному репортеру, что «говорить, будто это имеет какое-то военное применение, – все равно что говорить, будто ИИ для шахмат может привести к разработкам в области вооружений»[438]. Несколько месяцев спустя ВВС США объявили, что приспособили MuZero, универсальный игровой алгоритм DeepMind, для использования в автономных дронах. В отличие от системы Belle Кена Томпсона, которая умела выдавать только шахматные ходы и была опасна лишь постольку, поскольку ее можно было скинуть кому-нибудь на голову, универсальные обучающиеся алгоритмы учатся – в этом весь их смысл. Компании, занимающиеся ИИ, с нарочитым простодушием составляют беззубые кодексы этических принципов, где клянутся никогда не разрабатывать военные технологии, и совершенно не обращают внимания на то, что они не могут контролировать, чему учатся их обучающиеся системы.

Конечно, обучающиеся системы способны на творческие решения, как в случае с тридцать седьмым ходом AlphaGo. Но они также печально известны тем, что упускают из вида суть. Подобно джиннам-буквалистам из сказок Шахерезады, компьютерные агенты близоруко выполняют свои обязанности, не замечая вреда или двусмысленности поставленных перед ними задач. Исследователи из OpenAI использовали обучение с подкреплением, чтобы натренировать свою систему играть в Coast Runners, видеоигру про гонки на катерах. Они поставили перед программой задачу максимизации числа набранных очков и оставили ее на несколько недель набираться игрового опыта. Они предполагали, что агент научится вести катер к финишу. Вместо этого он научился накручивать свой счет, вертясь на одном месте, чтобы снова и снова поражать непрерывно возникающие цели. Число очков оказалось плохим аналогом того поведения, которого хотели добиться от программы исследователи, – победы в гонке. Подобно крысам с вживленными электродами, которые отказываются от всех удовольствий, кроме стимуляции своих центров вознаграждения, обучающиеся агенты уязвимы для той же логики зависимости. Не случайно системы, все в большей мере определяющие очертания наших цифровых реальностей, вызывают такое сильное привыкание. Их работа сводится к максимизации непосредственно измеряемых величин – числа кликов, лайков, комментариев, без учета более значимых долгосрочных последствий, таких как психическое здоровье пользователей, их гражданская активность или радикализация под влиянием идеологий ненависти. Подобно героям Шахерезады, нам следует быть осторожными в своих желаниях.

Сосредоточившись на разработке ИИ посредством игр, инженеры, по сути, геймифицировали сами исследования в этой области. Одолев большинство популярных настольных игр, исследователи ИИ обращались ко все более сложным задачам. Используя методы теории игр, чтобы побудить агентов к сотрудничеству ради достижения долгосрочных целей, компания OpenAI обучила целый штат программ выступать в роли партнеров по командной видеоигре Dota. Майкл Боулинг и его коллеги по Университету Альберты разработали агента для игры в профессиональный покер, способного блефовать не хуже лучших в мире игроков-людей. Однако, чтобы стать по-настоящему полезным, машинное обучение должно было выйти за пределы игровых пространств и начать решать проблемы реального мира. Пока же исследователи добились большего успеха, геймифицируя реальный мир.

Специалистка по ИИ Фэй-Фэй Ли способствовала прогрессу в области систем компьютерного зрения, внеся в нее игровой элемент. В 2006 г. она начала работу над ImageNet, обширной базой размеченных людьми изображений. Эта база обеспечила возможность проведения ежегодного первенства по классификации изображений, которое позволяло группам со всего мира оценивать показатели своих программ по стандартной методике. Успехи более недавнего времени связаны с программами генеративного ИИ, которые способны порождать фотореалистичные портреты несуществующих людей или тексты, обладающие порой поразительным правдоподобием. Эти программы задействуют архитектуру, превращающую создание изображений и текстов в игру двух соперников с нулевой суммой. Сеть разделяется на два соревнующихся компонента: один, подобно художнику-фальсификатору, производит изображения, а другой, подобно детективу, старается выявить подделки, сравнивая их с известными работами, созданными людьми. К концу обучения изображения компонента-фальсификатора иногда неотличимы от работ, созданных человеком. Акт творчества переосмысляется тут как предмет соперничества двух игроков.

Аналогичным образом созданная в компании OpenAI языковая модель GPT, которая основана на так называемой архитектуре трансформера, учится предсказывать слова в рамках схемы обучения, напоминающей телевикторину Jeopardy! («Своя игра»). Модель получает обучающие данные: фрагменты текста, собранные со всего интернета (зачастую, стоит отметить, без ведома или согласия их авторов). Затем GPT учится угадывать слова, которые с наибольшей вероятностью соответствуют пробелам в тексте. В процессе она усваивает сложные статистические связи внутри языков и даже между ними. Эта простая игра в угадывание слов приводит к созданию моделей, способных выполнять на удивление сложные задачи. В отличие от игровых программ, обучающихся исключительно в ходе самоигры, эти программы заточены под то, чтобы имитировать человеческие реакции. Они могут казаться очень человечными, поскольку их обучали с помощью игр, вознаграждающих за подражание людям. После этого их ответы дополнительно оттачиваются людьми-оценщиками. Компании нанимают специальных сотрудников – часто из развивающихся стран и за низкую плату, – задача которых состоит в том, чтобы отсеивать неприемлемый контент из обучающих данных и результатов работы модели. Многие из этих сотрудников получают психологические травмы и ПТСР из-за того потока оскорбительных текстов и изображений, с которым им приходится работать в ежедневном режиме.

Для самообучающихся игровых программ арбитром истины выступает сама игра. Ход либо допустим, либо нет, он ведет либо к победе, либо к поражению. Но подобно тому, как математика не имеет связи с реальностью, большие языковые модели не имеют опоры в истине. Как известно, Витгенштейн рассматривал язык как своего рода игру. Значение слова скрывается в паутине отношений, являясь результатом игры между контекстом и намерением. Жак Деррида схожим образом описывал язык как нечто, не имеющее «центра», как поле «бесконечной» игры[439]. Смысл скользит в бескрайнем лабиринте зеркал. Большие языковые модели, обученные на одних лишь текстах, фабрикуют информацию: отвечают на вопрос о президенте Гватемалы, называя фамилию выдуманного диктатора, или уверенно дают ссылки на несуществующие научные статьи. Их ложь может быть опасной: чат-боты, например, уже провоцировали пользователей на самоубийство. Сгенерированный языковой моделью определитель грибов дает неверные подсказки, следование которым может привести к употреблению в пищу смертельно ядовитых поганок.

Можно считать, что результаты работы этих языковых моделей принадлежат к тому же платоновскому миру всех допустимых правилами шахматных партий. Многие из них бессмысленны, как и «невероятно убогие» ходы случайного шахматного движка Шеннона. Эти модели нанизывают слова, составляя из них грамматически верные сочетания, но не заботясь об их истинности. Простого способа проверить правдивость производимого такими языковыми моделями текста не существует – в отличие от игры в шахматы или шашки, где есть четкие критерии победы или оптимальной игры. То, что эти модели звучат настолько реалистично, делает их вранье еще более опасным. В этой научной области так долго не было общепринятого определения интеллекта, что его подменили представлениями вроде «пойму, что это он, как только увижу». Это ограничивает нашу оценку интеллекта системами, которые нам легко оценивать, – такими как язык. Поэтому, когда языковая модель создает иллюзию компетентности, она с легкостью удовлетворяет условию «как только увижу».

Люди уязвимы для языка. Если позаимствовать терминологию экспертов по компьютерной безопасности, он может быть нашей самой большой поверхностью атаки. Возьмем в качестве аналогии гусениц европейской бабочки голубянки арион, которые обманом заставляют один из видов красных муравьев заботиться о них на протяжении многих месяцев, имитируя сигналы бедствия и феромоны муравьиной матки. За эоны эволюции эти гусеницы выработали минимальную стратегию стимуляции, необходимую, чтобы убедить целую колонию муравьев, что перед ними – свои. Сигнал бедствия матки – самая незащищенная поверхность атаки у красных муравьев, а у человечества ею может быть язык. Многие из нас, похоже, готовы признать разумной программу, способную эмулировать речь. Это не значит, что корпорации решили задачу создания интеллекта и уж тем более – сознания. Это лишь значит, что, подобно гусенице ариона, они выработали особенно убедительную методику обмана. Перспективы этих моделей гораздо скромнее: скажем, в видеоиграх скоро появятся более гибкие и реалистичные диалоги с неигровыми персонажами.

Лживость языковых моделей – не единственная их тревожная черта. Игровая компания Latitude Games приобрела у OpenAI лицензию на модель GPT для создания текстовой приключенческой игры AI Dungeon. Игра получилась почти непригодной для использования, поскольку GPT недостаточно последовательна, чтобы вести затяжную кампанию в стиле Dungeons & Dragons. Однако некоторые игроки обнаружили, что могут использовать программу для генерации детской порнографии. Модель беззаботно выдавала этот проблемный контент до тех пор, пока Latitude Games и OpenAI не заблокировали все запросы откровенно сексуального характера. Тем не менее с помощью тщательно составленных запросов от языковых моделей все еще можно добиться оскорбительных ответов; известны сообщения о диалогах с такими неприятными субличностями модели, как Сидни, который угрожал одному пользователю словами «Ты никому не нужен и обречен»[440]. Вот чем опасно отношение к языку как к игре, лишенной всякого смысла.

Другие сферы интересов естественных наук могут подходить для геймификации лучше, чем язык. Математика, как рассуждал Гильберт, часто может быть сведена к своего рода логической игре, и исследователи добились определенных успехов, используя модели ИИ для решения математических задач, включая умножение матриц и топологические выкладки. В 1956 г. исследователи ИИ Аллен Ньюэлл, Герберт Саймон и Джон Шоу создали Logic Theorist – программу, способную строить математические доказательства, рассматривая логические высказывания как что-то вроде допустимых ходов в игре. Она сформулировала доказательства 38 теорем из классического математического труда Principia Mathematica, причем некоторые из них были изящнее, чем доказательства авторов книги.

Физика также подчиняется правилам и упорядочена. Физика сворачивания белка была впервые геймифицирована в 1990-х гг. Белки – это крупные молекулы со специфической трехмерной структурой, и они выполняют такие функции, как транспортировка грузов в клетке, управление химическими реакциями, пропуск других молекул внутрь клетки и из нее, а также борьба с патогенами. Их форма часто связана с их функцией, подобно тому как шестеренки в часах подходят одна к другой, в конечном итоге приводя в движение стрелки. Знание формы белковой молекулы облегчает биологам разработку нацеленных на нее лекарств.

Определение формы белка может оказаться сложнейшей задачей; это дорогостоящая и утомительная работа. Ученым известно около 200 млн отдельных белков, используемых живыми существами нашей планеты, и еще множество только предстоит открыть. На данный момент форма известна только для примерно 200 000 из них. В идеале мы могли бы предсказывать очертания белка по его составным частям, которые гораздо проще изучать. Философ Вильгельм фон Гумбольдт писал, что язык – это бесконечное использование конечных средств: из 26 букв латинского алфавита можно составить бесчисленное множество слов, а из них – бесконечное количество предложений с различными (пусть и нелепыми) значениями. В этом смысле белки напоминают язык: как из алфавита, они составлены из двух десятков аминокислот. Окончательная форма белка определяется силами притяжения и отталкивания между звеньями этих молекулярных цепочек, которые заставляют их скручиваться или собираться в складки. Эти цепочки, в свою очередь, задаются генетическим кодом белка. Следовательно, форма белка в принципе должна быть вычислима на основании его генетического кода, который намного легче определить. Это позволило бы ученым быстрее разрабатывать лекарства, действующие на определенные белковые мишени, или предсказывать влияние некоей генетической мутации на форму белка и тем самым получать новые знания о конкретном заболевании.

Однако расчет формы белка – это астрономически огромная задача. По оценке биолога Сайруса Левинталя, для типичной белковой молекулы существует около 10³⁰⁰ возможных способов сворачивания[441]. Если бы она последовательно принимала все возможные конфигурации и оставалась в каждой всего одну пикосекунду, этот процесс занял бы времени больше, чем существует Вселенная. Тем не менее в природе белки сворачиваются за миллисекунды. Это настолько сложная проблема, что в 2004 г. она вдохновила корпорацию IBM на создание преемника Deep Blue, суперкомпьютера Blue Gene. Deep Blue, разработанный с расчетом на сложность шахмат, мог производить 200 млн операций в секунду. Blue Gene, созданный для решения проблемы сворачивания белка, мог производить до 360 трлн. Однако, в отличие от успехов в области шахмат, одного лишь наращивания вычислительной мощности тут оказалось недостаточно.

В 1994 г., разочарованные разрозненностью попыток решить эту задачу, биофизики Джон Моулт и Кшиштоф Фиделис учредили проходящий раз в два года конкурс по предсказанию структуры белка под названием CASP (Critical Assessment of Structure Prediction – «Критическая оценка предсказания структуры»). И здесь мы снова видим силу геймификации исследований. Конкурс CASP быстро стал движущей силой для работ в этой области, строгим по своим правилам и открытым по организации мероприятием, задающим единый эталон, в сравнении с которым научные группы могли отслеживать свой прогресс, одновременно учась друг у друга. В качестве обучающих данных сообщество собирает сведения, полученные в тысячах реальных исследованиях структуры белков. Каждый конкурс CASP длится несколько месяцев. Анонимизированные команды представляют свои прогнозы структуры примерно для ста белковых последовательностей, отобранных организаторами. Эти прогнозы сравниваются с экспериментально установленными структурами, которые остаются неопубликованными до окончания конкурса. Затем публикуется рейтинг каждой команды, зависящий от того, насколько точно ее программа предсказала реальные данные.

Группа профессора Дэвида Бейкера из Вашингтонского университета стала одним из главных претендентов на победу в конкурсах CASP. Она назвала свою программу Rosetta – в честь камня, который позволил ученым расшифровать древнеегипетские иероглифы, – так же, как они надеялись перевести генетический код в трехмерные структуры. Испытывая нехватку вычислительных ресурсов, группа Бейкера выпустила публичный вариант программы Rosetta, которая позволяла добровольцам предоставлять свободное компьютерное время для обучения модели. Домашняя версия программы отображала ход своей работы в виде экранной заставки, и некоторые пользователи испытывали раздражение, когда замечали очевидные решения для сворачивания, которые программа еще не нашла. Бейкер совместно с гейм-дизайнерами превратил Rosetta в интерактивную игру Foldit (от Fold it – «Сложи это»)[442]. Иногда игроки в Foldit исследовали возможные способы сворачивания эффективнее, чем сама по себе Rosetta, что привело к определению нескольких сложных структур. Именно под впечатлением от игры Foldit компания DeepMind изначально и создала группу по сворачиванию белка. В конечном итоге ее инженеры приспособили популярную архитектуру трансформера, используемую в таких моделях, как GPT от OpenAI, для предсказания формы белковых молекул по их генетическому коду. В 2020 г. конкурс CASP показал, что созданная DeepMind система AlphaFold может предсказывать многие белковые структуры с точностью, близкой к размеру отдельного атома.

Теперь исследователи надеются научиться не только предсказывать форму природных белков, но и изобретать совершенно новые белки. Для эволюции, несмотря на все разнообразие произведенных ею видов, характерен творческий консерватизм. Жизнь, учитывая жесткие ограничения для выживания, снова и снова использует одни и те же белковые конструкции. Точно так же инопланетный стиль игры программы AlphaGo продемонстрировал, что за тысячи лет люди так и не исследовали до конца все пространство стратегий го. 200 млн известных в природе белков – это лишь ничтожная доля всех возможных. Для белка типичного размера, собранного из аминокислотных звеньев двадцати с лишним типов, существует примерно 10³³⁰ теоретических комбинаций. Это на 310 порядков больше, чем число атомов во всей Вселенной.

Компьютеры способны помочь исследователям изучить те участки белкового ландшафта, куда за миллиарды лет еще не добралась эволюция. Используя вычислительные методы, ученые могли бы изобретать и совершенствовать совершенно новые белки с множеством новых функций – от расщепления промышленных отходов и пластика до улавливания атмосферного углерода. Пока неясно, смогут ли эти системы экстраполировать свои навыки далеко за пределы имеющегося у нас массива обучающих данных и открывать действительно новые функции белков. Однако теоретически этот подход может быть с одинаковой легкостью использован как для разработки спасающего жизни лекарства, так и для создания несущего гибель биотоксина. Соответственно, эти генеративные системы могут оказаться опаснее любой языковой модели. При сегодняшнем уровне технологий достаточно искушенный в этих вопросах человек может оборудовать синтетическую биолабораторию у себя в гараже и в перспективе создать там токсин, столь же смертоносный, как любое известное оружие.

Хотя геймификация исследований и пошла на пользу области разработки ИИ, она также запустила в ней процессы, напоминающие по своей динамике гонку вооружений. Го чрезвычайно популярна в Азии, и матч Ли Седоля с AlphaGo в 2016 г. стал международным феноменом, привлекшим внимание более 100 млн зрителей. С тех пор его сравнивают со «спутниковым кризисом», который привел к спешке в разработке и внедрении непроверенных технологий. В 1957 г. Советский Союз успешно запустил на низкую околоземную орбиту «Спутник–1», первый искусственный спутник Земли. В разгар холодной войны американцев охватила паника. Если СССР справился с задачей запустить ракету в космос, он, несомненно, мог создавать и ядерные ракеты, способные поразить любую точку США. «Спутник» казался неопровержимым доказательством того, что Советский Союз в технологическом плане ушел дальше, чем предполагали многие американцы. Точно так же победа AlphaGo вызвала по всему миру ажиотаж новых инвестиций в ИИ. С тех пор Китай вложил в исследования ИИ почти 100 млрд долларов, и на его долю приходится почти пятая часть мирового финансирования в этой области. Другие страны последовали его примеру. Организованная DeepMind рекламная шумиха спровоцировала в сфере ИИ гонку между спецслужбами ведущих государств мира.

Корпорации, армии и академические учреждения теперь торопятся создать сильный искусственный интеллект (СИИ) – технологию, которую некоторые считают бессмыслицей, тогда как другие опасаются, что она сможет положить конец человечеству. Независимо от того, что из этого правда, неразумно создавать системы до того, как для них будут установлены соответствующие ограничения в области безопасности и этики. Представители крупного бизнеса утверждают, что технологический прогресс неизбежен и неостановим и что он подчиняется неумолимой логике сформулированной Гарреттом Хардином трагедии общин. Мы участвуем в технологической гонке вооружений, из которой нет никакой надежды вырваться, говорят они. Но мы не беспомощны и не должны подчинять собственную волю нашим моделям. Стоит отметить, что ранее правительства уже добивались успеха в вопросе запрета других сомнительных технологий, включая клонирование человека и лазерное оружие.

Вместо того чтобы выйти за пределы игр, исследователи ИИ нашли способы превратить в состязание как можно бо́льшую часть реальности. Как мы уже неоднократно видели, игры не способны передавать истинную сложность тех систем, которые они моделируют. Системы, оптимизирующие определенный показатель, подвержены тому, что известно как закон Гудхарта: «Когда мера становится целью, она перестает быть хорошей мерой»[443]. Распространенный пример этого – использование результатов государственных экзаменов в качестве критерия качества образования. Преподавателя эта система стимулирует к тому, чтобы натаскивать учеников на сдачу экзаменов. Ученик может не научиться ничему, кроме как хорошо сдавать такие экзамены, – а этот навык быстро становится бесполезным, как только человек оказывается на рынке труда.

Мир изобилует примерами работы закона Гудхарта. Возьмем обратный выкуп акций, когда компания скупает собственные акции, чтобы поддержать их стоимость, вместо того чтобы инвестировать средства в истинные показатели своего благополучия, такие как инфраструктура или удовлетворенность сотрудников. В своей книге «Благими намерениями государства»[444] политолог Джеймс Скотт подробно описывает несколько провальных инициатив, с помощью которых государства пытались улучшить условия жизни своих граждан. Для этого государствам сначала нужно было сделать мир более измеримым или, в терминах Скотта, «читаемым»[445]. Прусские ученые, надеясь увеличить доходы государства, вырубали девственные леса и засаживали освободившееся место лесопосадками, где древесные монокультуры стояли ровными рядами. Хотя их продуктивность было легче измерить, лесопосадки оказались значительно менее производительными и более уязвимыми, чем исходные лесные массивы со всем их биоразнообразием.

Делая вещи более измеримыми или сосредотачиваясь на плохих заменителях того, что нас действительно интересует, мы часто наносим вред системе, которую надеемся улучшить. Однако сама по себе возможность измерять те или иные вещи ощущается как прогресс. Геймификация наших онлайн-сообществ и рабочих мест потакает тому же рефлексу. Четкие показатели для отслеживания, цели, к которым можно стремиться, несомненная обратная связь, награды, которые можно собирать, – все это приносит нам огромное удовлетворение. Если судить по показателям, которые традиционно хотят оптимизировать экономисты, вроде ВВП, мир стремительно движется вперед. Но по таким показателям, как ожидаемая продолжительность жизни, имущественное неравенство и уровень самоубийств, люди во многих странах мира переживают не лучшие времена. Экономисты Энн Кейс и Ангус Дитон утверждают, что рост числа «смертей отчаяния» демонстрирует, что современный капитализм подводит большинство американцев[446]. Само понятие «экономика» – это попытка сделать жизнь миллиардов людей читаемой, сведенной к показателям, которые скорее обедняют мир, лишая его сложности, чем правдиво его объясняют.

Постепенно размываются даже представления о том, что является данными. Поскольку такие обучающиеся модели требуют огромных массивов информации, специалисты изучают возможность их обучения на сгенерированных ИИ результатах, что породило бы симулякры, порожденные симулякрами. В наших СМИ могут начать доминировать сгенерированные тексты и изображения, все более оторванные от реальной жизни, – плоды игры притворяющихся людьми математических уравнений, которые заставили соперничать друг с другом.

Основанные на игровых принципах системы ИИ останутся полезными в тех областях, где можно генерировать виртуальные данные. Но, что тревожно, моделям этого типа не хватает чего-то очень существенного – связи с реальностью. Игры – это замкнутые на себя вселенные. Языковые модели фабрикуют факты и цифры. Игровые движки превосходно справляются с теми играми, на которых их обучали, но не способны использовать эти умения в других играх. У обучающихся систем часто не получается обобщать или перепрофилировать усвоенные навыки. Люди рождаются на свет с гибким набором врожденных талантов. Навыки, необходимые для передвижения, речи, еды и питья, вплетались в нашу нейронную анатомию на протяжении всей эволюции. Мы используем эти врожденные таланты как основу для других: рефлекторное хватание младенца развивается в мастерское владение вилкой, джойстиком или клавиатурой. Его первые шаги становятся основой для занятий футболом, езды на велосипеде или танцев. Люди легко применяют навыки, полученные в одной области, в других: в своей дебютной кулинарной книге рэпер Снуп Догг объяснял свое умение сворачивать суши многолетним опытом изготовления самокруток.

Многие утверждают, что эта способность повторно использовать навыки, известная как перенос обучения, лежит в основе истинного интеллекта. Исследователи добились определенного прогресса в создании моделей, способных обобщать свои навыки, хотя большинству современных систем машинного обучения приходится осваивать каждую новую задачу полностью с нуля – и при этом они забывают свои навыки в других сферах. Представьте себе человека, которому нужно научиться готовить омлет с азов, используя только случайные движения. После ста лет проб и ошибок он осваивает это искусство. Если затем его попросят пожарить яичницу, он не сможет использовать то, чему научился, готовя омлеты, и должен будет начать все сначала, потратив еще сто лет на обучение, – при этом забыв, как делается омлет. Если ученый, руководящий этим экспериментом, решит, скажем, покрасить яйца в синий цвет, нашему повару придется учиться всему заново, но уже с синими яйцами. Все это обучение обходится чрезвычайно дорого. Человек может освоить игру Atari в тысячу раз быстрее, чем программа обучения с подкреплением, и с гораздо меньшими затратами энергии.

Геймификация исследований оказалась очень мощным инструментом. Открытые первенства, такие как CASP, создают для лабораторий равные условия, позволяя им честно демонстрировать свои успехи. Исследователи ИИ, соревнуясь в создании программ, способных превзойти мастеров-людей, разработали множество основополагающих алгоритмов, которые используются по сей день. Десятилетиями кино, книги и телевидение давали выход скрытым страхам человечества перед ИИ, сталкивая в боях на выживание создателей всеведущих компьютерных систем и их обретающие сознание создания. Вероятно, такие фантазии отчасти обусловлены тем, что наши представления об ИИ тесно связаны с соревновательными играми, на основе которых он и создавался: cogito ergo нулевая сумма[447]. Однако нет никаких причин смешивать интеллект – определяемый в данном случае как адаптивное стремление к цели – с сознанием, то есть с переживанием субъективной осознанности. С помощью заученных весов своих искусственных нейронов обучающиеся системы могут моделировать расчеты, производимые мыслью. Но мысль – это не то же самое, что осознанность, как могут подтвердить многие из тех, кто занимается медитацией. Мысли сами по себе не обладают сознанием, но являются объектами внутри субъективности. Эти программы создают иллюзию интеллекта: мысли без мыслителя, расчеты без «я», вокруг которого можно было бы выстроить личность, которую нужно было бы защищать. У этих программ нет собственной воли; они лишь отражают правила принятия решений, которые установили для них операторы-люди. Опасаться следует именно этих операторов. Игры многократно увеличили человеческую агентность, но теперь мы вступаем в эпоху огромного агентного неравенства. Подавляющее большинство данных и вычислительных мощностей сосредоточено в руках корпораций.

Суфийский поэт Руми писал: «Теленок думает, что Бог – корова»[448]. А разум думает, что Бог – это сверхразум: всевидящий, всезнающий, всемогущий. В поисках «настоящего» ИИ, или СИИ, инженеры, по сути, пытаются создать цифрового бога. Но, как считает исследователь Джулиан Тогелиус, интеллект не обязательно является свободно конвертируемым свойством: Deep Blue ясно показал, что мастерство в одной сфере не подразумевает мастерства в других. Влиятельная часть специалистов по ИИ убеждена, что настоящая проблема человечества – по крайней мере, на ближайшее будущее – не всемогущие, богоподобные алгоритмы, а их многочисленные недостатки. В 2016 г. репортеры издания ProPublica проанализировали алгоритм, используемый правоохранительными органами США для прогнозирования вероятности того, что заключенные, которые могли претендовать на условно-досрочное освобождение, вернутся к преступной деятельности[449]. Они обнаружили в его решениях признаки значительных расовых предрассудков. В 2017 г. исследовательница из Массачусетского технологического института Джой Буоламвини опубликовала диссертацию о предвзятых алгоритмах компьютерного зрения, в которой продемонстрировала, что они часто не распознают темнокожих женщин[450]. Программист Джеки Альсине в 2015 г. указал на проблемы в системе поиска изображений Google Lens, из-за которых она помечала некоторые фотографии темнокожих людей словом «горилла». Чтобы решить эту проблему, корпорация Google просто полностью удалила тег «горилла». Пользователи могут загружать изображения любых других животных, и Google Lens правильно укажет их вид. Но загрузите изображение гориллы, и эта служба не предложит никакого варианта. На момент написания этой книги проблема так и не решена[451]. В 2021 г. исследователи Эмили Бендер, Тимнит Гебру, Анджелина Макмиллан-Мейджор и Маргарет Митчелл попали на страницы СМИ благодаря своей статье, предупреждающей об опасностях обучения больших языковых моделей на текстах из интернета[452]. Эти модели как попугаи копируют лишенные смысла семантические структуры языка, но сохраняют предубеждения пользователей-людей, на чьих текстах они обучались. Google уволила Гебру и Митчелл за эту работу, в которой они также указали на то, насколько энергозатратно обучать модели ИИ, – существование такой проблемы большинство технологических компаний до сих пор едва признают.

Компании с прежним оптимизмом относятся к широчайшему внедрению технологий, которые ничуть не стесняются лгать, цель которых состоит в фальсификации, в то время как бесконтрольное распространение дезинформации уже разрушает саму ткань нашего общества. Социальные сети доказали, что геймификация показателей общественной жизни может наносить огромный вред, приводя к массовой радикализации и распространению меняющей мир дезинформации. Хотя в некоторых областях существующие системы и демонстрируют способность к творчеству, они не могут экстраполировать ее на новые сферы. Заключается ли истинный интеллект в способности выбирать выигрышные шахматные ходы, или истинный интеллект – это то, что изобретает игры вроде шахмат?