Иногда невозможно добиться большего, чем несовершенной уверенности в наших поступках, а никто не обязан делать невозможное.

Позвольте природе делать свое дело, прежде чем занимать ее место, не мешайте ее работе. Вы говорите, что знаете цену времени и не хотите его терять. Но разве не понимаете, что безделие не так губительно, как время, проведенное без пользы. А ребенок, которого воспитали плохо, гораздо дальше от мудрости, чем тот, которого совсем не воспитывали.

Если взглянуть на проблему шире, идея систем, которые «осознают свою неполноту и потенциальную способность совершать опасные действия» и стремятся к «знакам поощрения», даже если ради этого приходится отказаться от немедленного внешнего вознаграждения, звучит… по-католически.

На протяжении многих веков католические богословы искали ответ на вопрос: как прожить жизнь в соответствии с правилами веры, учитывая, что среди ученых-теологов нередко возникают разногласия о том, каковы эти правила на самом деле.

Представьте гипотетическую ситуацию: восемь из десяти теологов считают, что есть рыбу по пятницам допустимо, один запрещает это, а еще один, наоборот, настаивает. Как должен поступить благочестивый католик, который искренне боится прогневить Бога [771]? Здесь уместна пословица: «Человек, у которого одни часы, знает точное время; человек, у которого две пары часов, никогда в нем не уверен» [772].

В эпоху Возрождения (XV и XVIII века) эти вопросы активно обсуждались. Некоторые богословы отстаивали лаксизм: действие считается допустимым, пока остается шанс, что оно не содержит греха. Это течение было осуждено папой Иннокетием IX в 1591 году. Другие защищали ригоризм: действие осуждается, если есть хотя бы малейшая вероятно, что оно греховно. Папа Александр VIII запретил ригоризм в 1690 году [773].

Существовало множество конкурирующих теорий, пытавшихся оценить, насколько вероятно, что то или иное правило истинно, или какой процент разумных людей считает его таковым. Например, пробабилиоризм утверждал, что можно совершать действие, если оно с большей вероятностью не несет греха. Эквипробабилизм полагал, что действие допустимо, если шансы на греховность и безгрешность абсолютно равны. «Чистые пробабилисты» считали, что правило не может считаться строгим, пока есть «разумная» вероятность, что оно неверно. Их лозунг – Lex dubia non obligat («Сомнительное право не обязывает»). При этом они подчеркивали: аргумент в пользу игнорирования правила не должен быть лишь «едва возможным» – он обязан быть «истинно и убедительно вероятным» [774].

Дискуссии порождали потоки чернил, обвинения в ереси и папские буллы. В авторитетном «Руководстве по моральному богословию» раздел «Сомнения совести или моральные сомнения» завершается «Практическим заключением»: ригоризм слишком строг, лаксизм слишком легкомыслен, но к остальным подходам «церковь терпима» и может рассматривать их как моральные эвристические правила [775].

Если выйти за рамки теологии, те же аргументы можно применить к светской морали и даже к машинному обучению. Допустим, у вас есть несколько формальных критериев. «Лаксистский» подход позволит действовать, пока хотя бы один критерий улучшается№ «ригористский» потребует, чтобы ни один критерий не ухудшался.

Некоторое время эти споры затихли – даже среди католиков они утратили остроту. Однако в последние годы к ним вновь пробуждается интерес.

В 2009 году Уилл Макаскилл из Оксфорда и его сокурсник-аспирант Дэниель Дизи спорили в кладовке с метлами в подвале факультета философии (Мертон-стрит, 10) о том, допустимо ли есть мясо. «Это было единственное свободное место, которое мы нашли в колледже, – вспоминал Макаскилл. – Места хватало лишь чтобы прилечь. Мы сидели на грудах книг и других вещей и даже шутили». Шутка касалась научного реководителя Макаскилла – оксфордского философа Джона Брума.

Суть спора была не в том, аморально ли есть мясо само по себе, а в том, стоит ли его есть, если вы не уверены, что это аморально. «Если вы решите есть вегетарианскую пищу, – пояснял Макаскилл, – и окажется, что есть мясо допустимо, вы не совершите большой ошибки. Вы лишитесь лишь чуть-чуть удовольствия, но это неважно. Но если вегетарианцы правы и страдания животных морально значимы, то вы совершаете нечто глубоко неправильное. Здесь есть явная асимметрия. Вам не нужно быть абсолютно уверенным, что есть мясо неправильно: достаточно существенного риска, что это так».

Этот разговор заинтересовал Макаскилла. Аргумент выглядел убедительно, но он отличался от типичных вопросов этической философии: «Как правильно поступить, учитывая некий моральный стандарт?» и «Какой стандарт выбрать, чтобы определить правильное действие?». Здесь вопрос звучал иначе: «Как поступить, когда вы не знаете, какое действие правильно?» [776]

Макаскилл последовал совету своего научного руководителя Джона Брума: «Если тебя это заинтересовало, поговори с Тоби Ордом».

Уилл Макаскилл и Тоби Орд встретились на оксфордском кладбище – так началась самая плодотворная дружба в истории этики XXI века. Вместе с философом из Стокгольмского университета Кристером Биквистом они основали движение «эффективный альтруизм» – пожалуй, самое значительное этическое движение начала века [777]– и написали книгу о моральной неопределенности [778].

Существует несколько способов выбрать между конкурирующими теориями, когда вы сомневаетесь, какая из них верна. Подход «Моя любимая теория» говорит следовать той теории, которую считаете истинной. Но так можно упустить случаи, когда потенциальная ошибка настолько серьезна, что ее лучше избежать, даже если она маловероятна [779]. Другой подход – умножение вероятности справедливости теории на предполагаемый вред: не все теории позволяют легко классифицировать степени правильности и неправильности [780]. Эти подходы находят аналоги в машинном обучении. «Моя любимая теория» напоминает создание единственной наиболее вероятной модели вознаграждений или целей пользователя, которую затем оптимизируют. Теории усреднения соответствуют методам ансамблей, где берут средние значения нескольких систем. Но существуют и более сложные схемы.

Макаскилл сравнивает моральные теории с избирателями на выборах, что позволяет применить к ним «теории социального выбора» – дисциплину о групповом принятии решений [781]. Орд развивает метафору дальше: моральные теории – не просто избиратели, а законодатели в «парламенте морали», способные идти на компромиссы и формировать коалиции [782]. Эти идеи применимы не только к людям, но и к вычислительным системам, которым нужно найти способ поведения при отсутствии единого определенного стандарта. Многие из этих вопросов слабо изучены и в философии, и в информатике [783].

Для Макаскилла моральная неопределенность имеет не только описательный, но и предписывающий аспект. Нам нужно не только найти способы выбрать правильное действие в условиях неуверенности, но и сознательно поддерживать это ощущение неопределенности.

Учитывая, как менялись этические нормы за последние столетия, Макаскилл считает самонадеянным полагать, что мы уже достигли окончательного результата: «Мы видим, что моральный прогресс идет по дуге или по расширяющемуся кругу. Возможно, вы думаете, что мы достигли конца. Но вы точно не должны быть в этом уверены. Вероятно, через сто лет мы будем считать наши нынешние моральные представления варварскими».

Я вижу иронию в том, что Макаскилл – лидер движения эффективного альтруизма – наблюдает, как это движение стремится к широкому консенсусу. Существуют широко распространенные соглашения: о ценности далекого будущего; о важности снижения цивилизованных рисков и риска вымирания; о том, какие пожертвования приносят максимальную пользу (например, решение компании GiveWell в 2019 году передать 4,7 млн. долларов Фонду против малярии – Against Malaria Foundation, AMF) [784].

Макаскилл видит в этом обоюдоострый инструмент: с одной стороны, это обмен информацией и доверие к аргументам, с другом – риск преждевременного консенсуса. «Можно сказать: „Существуют правильные ответы, мы только что решили, что есть истина, и теперь делаем это“. А можно иначе: „Мы были разобщенным племенем, а теперь становимся единым целым…“. Слишком самонадеянно полагать, что эффективный альтруизм избежит этого.

Он отмечает: если вернуться на шесть лет назад, понятие эффективного альтруизма понималось шире, было много фракций и споров. Сейчас уровень согласия выше – особенно в ядре движения. Например, почти достигнут консенсус о важности далеких перспектив и о необходимости внимания к ИИ для этого будущего. «Согласие может быть прекрасным и тревожным одновременно», – говорит Макаскилл.

Осенью 2017 года на всемирной конференции сторонников эффективного альтруизма в Лондоне Макаскилл завершил выступление предупреждением. Он размышлял о том, как «создать общество и культуру, открытые новому, готовые менять образ мыслей». Он предупредил: превращение веры в догму – путь к краху движения, если появятся обязательные для всех воззрения. «Мы все согласны, что это плохо, – сказал он, – но создать культуру без этого чрезвычайно трудно».

Весной 2018 года на следующей конференции в Сан-Франциско Макаскилл выступил с более оптимистичной речью о том, «как эффективный альтруизм может сохранять любопытство».

Во время прогулки по лугу около колледжа Крайст-Черч я спросил Макаскилла о перспективе наделить ИИ с человекоподобными возможностями заранее заданной целевой функцией. «Да, – ответил он. – Я думал: „У нас только один шанс. Мы должны закодировать правильные ценности, и все готово!“ Этические проблемы сложны. Очевидно, нам нужна гибкость».

Он пояснил: разные моральные взгляды сильно расходятся в том, каков «хороший результат». Например, гедонистическая позиция считает смоделированное сознание не хуже естественного, а утилитарная настаивает, что мозг должен быть из плоти и крови. Это похожие теории, но они расходятся в том, как использовать человеческие амбиции во Вселенной. «Это будет война „нарциссизма малых различий“, но ставки будут космическими».

Однако конкурирующие моральные теории могут найти общее в том, на что тратить настоящее. Макаскилл называет это долгим размышлением – периодом, который может длиться миллионы лет. Мы можем решать проблемы ИИ и другие сложности, оставаясь относительно малыми по космическим меркам и пытаясь разобраться в своих ценностях.

«Одна из наших главных целей сейчас – сохранить общество, открытое самым разным моральным возможностям», – говорит Макаскилл. Это похоже на «сохранение достижимой полезности»: мы продолжаем преследовать разные цели для отдаленного будущего, даже если сейчас не знаем, какими они должны быть.

«Возможно, это настолько трудно, что потребует миллиона лет», – заметил Макаскилл.

«А может, стоит потратить миллион лет, чтобы сделать все правильно», – предположил я.

«Стоит, потому что это малая цена за правильные действия. Если мы заселим звезды, неся безнравственность, ценность наших достижений будет нулевой. Неверные моральные представления – риск глобальной катастрофы» [785], – заключил он.

Через коридор от Центра эффективного альтруизма находится оксфордский Институт будущего человечества, основанные Ником Бостромом. Одно из его ранних эссе – «Астрономические потери». Подзаголовок к нему гласит: «Альтернативные издержки отложенного технического развития».

Бостром рисует почти исступленное ощущение спешки: «Пока я пишу эти слова, солнца освещают и согревают пустые комнаты, энергия поглощается черными дырами, и наше общее достояние необратимо разрушается из-за энтропии в космическом масштабе. Это ресурсы, которые продвинутая цивилизация могла бы использовать для создания ценностей, например разумных существ, ведущих осмысленную жизнь. Уровень потерь поражает воображение».

Он оценивает: каждая секунда промедления в развитии космической цивилизации равна потере сотен триллионов человеческих жизней, которые могли бы существовать, если бы мы быстрее использовали энергию и материю.

Но как только прагматик решает, что технический прогресс важнее всего, эссе Бострома делает резкий поворот: «Подумайте, что будет, если мы вообще не достигнем этого будущего». Расчеты показывают: повышение шансов на успешное построение процветающей цивилизации на 0,1 % эквивалентно ускорению прогресса на десять миллионов лет. Значит, спешить не нужно.

Пол Кристиано размышлял над этими вопросами с 2010–2011 годов: «Сперва этот аргумент показался мне достаточно странным. Он сбивал с толку, но потом я осознал его и, можно сказать, купился» [786]. Собственные расчеты Пола были готовы в 2013–2014 годах. Он проверил математику Бострова и пришел к выводу: «Для отдельного ученого легче уменьшить риск исчезновения цивилизации на одну миллионную долю, чем ускорить прогресс на тысячу лет». Так он впоследствии и жил.

Создание сверхчеловеческого ИИ – один из необратимых шагов с серьезными последствиями. Сохранять неопределенность, неуверенность и открытость важно только для машин, но и для исследователей.

Бак Шлегерис из Института исследований машинного интеллекта вспоминал разговор о «волшебной кнопке» после Сингулярности: нажатие превратило бы человечество в однородную массу, оптимизированную для счастья (гедонизм). «Несколько лет назад я сам выступал за это, – признался он. – Теперь я не уверен. Возможно, это была бы хорошая идея, а может, и нет. Что делать, когда никто не знает?» [787]

«Я считаю, люди не должны нажимать такие кнопки», – заключил Шлегерис [788].