Двадцать шестого февраля 2022 года, через два дня после того как в Европе впервые за несколько десятилетий разразилась война, отец Паоло Бенанти быстро шел по центру Рима. Уворачиваясь от городских автобусов, велосипедистов и уличных музыкантов, он перешел тысячелетний мост Святого Ангела и вышел на улицу Примирения, которая ведет в Ватикан. Он направлялся в Апостольский дворец – официальную резиденцию римского папы, – где должен был присутствовать на довольно важной встрече.
Паоло – монах-францисканец. Вместе с четырьмя другими братьями он живет в спартанских кельях, расположенных над крошечной римской церковью. Францисканцы принимают монашество и живут в общинах, но отличаются от обычных священнослужителей. Они преподают и занимаются благотворительностью, следуя примеру святого основателя своего ордена Франциска Ассизского. Монастырь Паоло – дом науки: все монахи, самому старшему из которых исполнилось 102 года, занимают профессорские должности (или занимали их в прошлом), а области их специализации включают химию, философию, технологии и музыку.
Пятидесятилетний Паоло – самый молодой в своей братии. Он инженер и специалист по этике, и оба этих звания он гордо носит поверх своей монашеской рясы. Он занимает должность профессора этики в Папском Григорианском университете – учебном заведении с почти пятисотлетней историей, расположенном примерно в десяти минутах ходьбы от его монастыря. Там он наставляет молодых богословов и священников в вопросах морали и этики, имеющих отношение к таким передовым технологиям, как биоаугментация, нейроэтика и искусственный интеллект.
В тот день Паоло спешил на встречу с папой Франциском – понтификом родом из Аргентины, которого он сравнивает со страстным танго, в то время как его предшественник походил на чинный вальс. На встрече Паоло должен был взять на себя роль переводчика между языками и дисциплинами. Он свободно говорит по-английски и по-итальянски и прекрасно разбирается в технологиях, этике и религии.
Аудиенции с папой удостоился Брэд Смит, президент крупной американской технологической корпорации Microsoft, который накануне прилетел в Рим на личном самолете. На повестке дня стоял вопрос об ИИ – в частности, о том, как человечеству использовать эту мощную технологию себе во благо, не оказываясь при этом в ее власти. Встреча была весьма своевременной: папу беспокоило возможное применение искусственного интеллекта в конфликте на Украине – не говоря уже о том, что он пытался понять, что может сделать, чтобы эта технология не уничтожила человечество.
В последние три года Паоло стал настоящим заклинателем ИИ для высших эшелонов Святого Престола. Этот монах, прошедший стажировку в Джорджтаунском университете в США в рамках работы над диссертацией по этике технологий улучшения человека, информирует 85-летнего папу и его старших советников о потенциальных способах использования искусственного интеллекта, который называет технологией общего назначения, «как электричество и сталь», и объясняет, как ИИ со временем изменит нашу жизнь. Вдобавок он выступает связующим звеном между мирами, которые Стивен Джей Гулд, как известно, назвал «непересекающимися магистериями»: религиозными лидерами с одной стороны и технологиями – с другой.
Паоло проводил встречи с вице-президентом IBM Джоном Келли, с одним из учредителей и бывших руководителей принадлежащей Alphabet ИИ-компании Google DeepMind Мустафой Сулейманом, а также с начальником отдела этики ИИ в Meta Норберто Андраде. На этих встречах он содействовал обмену идеями о том, что считать «этичным» в разработке и применении зарождающейся технологии.
Кроме того, он консультировал папу и его совет по вопросам потенциальных угроз со стороны ИИ. Хотя он полагает, что ИИ может спровоцировать очередную технологическую революцию, его беспокоит, что эта технология может сделать работников бессильными и лишить людей способности принимать решения. Он считает, что бесконтрольный ИИ может быть несправедлив и опасен для социальной стабильности и общественного блага.
Церковных лидеров особенно тревожит, что ИИ может усугублять неравенство. Они считают, что первая промышленная революция больно ударила по детям и старикам, которых в ходе масштабной перестройки общества либо эксплуатировали, либо оставляли за бортом. Папа и его советники опасаются, что перераспределение богатства и власти после внедрения ИИ может схожим образом навредить самым уязвимым членам общества.
Аудиенция Брэда Смита у папы в 2022 году стала не первой для главы Microsoft. Двумя годами ранее Паоло устроил их первую встречу в рамках междисциплинарного совета по этике искусственного интеллекта. Нащупав общую почву в поддержке нелегальных мигрантов и беженцев, две делегации согласились начать совместную работу над более амбициозной и конкретной задачей: сводом общечеловеческих ценностей, который стал бы руководством для разработчиков искусственного интеллекта. Участие Смита в этом проекте предполагало и участие всей технологической отрасли.
Интерес церкви к ИИ может показаться неожиданным. Но вопрос о том, как контролировать ИИ-программы, настраивая их в соответствии с человеческими ценностями, выходит на первый план в текущих дискуссиях – а вместе с ним встает и вопрос о том, что считать универсальными ценностями человечества. Порождающий ИИ может быстро писать, создавать изображения и код, и продукты его деятельности не отличить от творений человека, но при этом он без всяких сдержек обрушивается на нас, оказывая принципиальное влияние на наши мысли и убеждения. Компьютерные программы используются при найме людей на работу{210}, участвуют в принятии инвестиционных решений, подсказывают людям, как справиться с тревожностью, и диагностируют их болезни. Вопрос о том, какие моральные установки вписываются в программный код, становится сегодня гораздо более важным, чем когда-либо прежде, и религиозные лидеры полагают, что должны иметь мнение по этой теме.
Работа над так называемым согласованием ИИ – обеспечением совместимости ИИ-моделей с человеческими ценностями – теперь ведется во всех ИИ-компаниях, включая Anthropic, Google и OpenAI, которую финансирует Microsoft под руководством Брэда Смита. Эти компании разрабатывают порождающие ИИ-модели, которые функционируют в соответствии со своеобразной «конституцией» – набором обязательных для исполнения этических установок, определяемым внутри компании. Например, специалисты по этике из Google DeepMind, исследовательского подразделения поискового гиганта, которое занимается вопросами ИИ, опубликовали статью, в которой изложили собственный свод правил{211}, обеспечивающих «конструктивный, корректный и безопасный» диалог. Конституция Anthropic{212} основана на принципах DeepMind, а также на таких источниках, как Всеобщая декларация прав человека ООН, условия предоставления услуг компании Apple и так называемые незападные интересы (без конкретизации).
Все компании предупреждают, что работа над их этическими правилами еще ведется, поэтому они пока не в полной мере отражают ценности человечества. На самом деле не существует единой этики, которой придерживались бы все мировые культуры и общества. В Anthropic отмечают: «Разумеется, мы признаем, что мы как разработчики составили этот свод по собственному усмотрению, и надеемся, что в будущем сможем привлекать гораздо больше людей к созданию подобных конституций»{213}.
Но Паоло полагает, что, пока у нас не появилось более демократического и тонкого метода разработки ценностей ИИ, в котором учитывались бы позиции и предубеждения всех культур мира, устанавливать этические границы для этой мощной технологии – и тем самым определять ее влияние на человечество – должны не только специалисты по информатике. Как и многие критики ИИ, он считает это коллективным делом государства и частного сектора: гражданского общества, религиозных институтов, образовательных учреждений, правительственных структур и других многосторонних организаций, а также различных коммерческих компаний, из представителей которых необходимо сформировать разноплановый совет для обсуждения этих вопросов.
В рамках этой инициативы Паоло в 2020 году подготовил соглашение, названное Римским призывом{214}. Оно должно было заложить фундамент «гуманистичной» этической конституции ИИ. В его основу легло стремление защитить человеческое достоинство, поставив его выше любых технологических прорывов. Римский призыв предлагает внедрить в ИИ «алгоэтику» – базовый набор человеческих ценностей, утвержденный различными заинтересованными сторонами из разных стран мира и понимаемый и применяемый самими машинами.
Концепция алгоэтики предполагает, что любые компьютерные программы, помогающие в принятии решений, должны проявлять сомнения и чувствовать неопределенность в вопросах этики. «Каждый раз, когда машина не знает, защищает ли она человеческие ценности, она должна просить [нас] вмешаться», – говорит Паоло. Только тогда технические специалисты смогут создавать программы, которые ставят во главу угла благополучие людей.
Чтобы ИИ-компании признали свою ответственность за эти проблемы – непредвиденные последствия использования ИИ, характерную для ИИ-систем предвзятость, причиняемый пользователям ущерб и опосредованное воздействие ИИ на людей, – необходимо было создать глобальный альянс. Католическая церковь понимала, что не имеет права действовать в одиночку и не располагает необходимыми ресурсами для этого. В результате Паоло начал налаживать контакты с представителями других авраамических религий, прежде всего ислама и иудаизма, чтобы заключить с ними соглашение.
«Они сталкиваются с такими же проблемами, и мы хотим вместе проложить новый путь», – сказал Паоло. Он пошутил, что сложнее всего им оказалось выбрать меню для общей встречи, ведь следовало удовлетворить все религиозные и культурные предпочтения. Но, разумеется, на самом деле все было гораздо серьезнее.
В феврале 2020 года соглашение подписала небольшая, но пестрая группа: компании Microsoft и IBM, правительство Италии и Продовольственная и сельскохозяйственная организация ООН. В 2023 году к ним присоединились представители иудаизма и ислама, которые подписали документ на торжественной церемонии, состоявшейся в Ватикане{215}.
«Насколько я знаю, – сказал Паоло, – никогда прежде эти три монотеистические религии не объединялись и не подписывали никаких совместных деклараций».
Опасения религиозных лидеров о том, что ИИ усугубляет неравенство, были не лишены оснований. Я много лет пишу о технологиях и заметила, что ИИ сильнее всего вредит маргинализированным и притесняемым группам: мигрантам и беженцам, прекариату, социально-экономическим и расовым меньшинствам и женщинам. На этих же группах несоизмеримо сильнее сказываются технические недостатки ИИ: галлюцинации и негативные стереотипы, которые проникают в тексты и изображения, создаваемые компьютерными программами{216}. И причина этого заключается в том, что указанные группы редко обладают правом голоса в мирах, где создается ИИ.
Именно поэтому я решила рассказать об опыте людей, живущих за пределами Кремниевой долины, – тех, чьи мнения часто не учитываются при разработке и внедрении новых технологий вроде ИИ. Но в 2023 году, изучая предложенную Паоло Бенанти концепцию алгоэтики в Риме, я встретилась с Брэдом Смитом, президентом Microsoft. Смит был корпоративным лицом ответственного ИИ – человеком, который вместе с Паоло организовал подписание Римского призыва, в то время как подконтрольная ему корпорация вложила 10 млрд долларов в OpenAI, одну из самых влиятельных в мире ИИ-компаний. Я не могла не поинтересоваться, как он умудрился это совместить. Я спросила, правда ли он считает, что подобные инициативы хоть как-то повлияют на мировую гегемонию таких компаний, как OpenAI и Microsoft.
Смит сказал мне правильные вещи: что специалистам по технологиям необходимо теснее взаимодействовать с экспертами в области социальных и гуманитарных наук, философии и религии, чтобы те помогали им оценивать влияние разрабатываемых ими продуктов на общество. Он пояснил, что прежде они справлялись с этим не слишком хорошо, потому что государства практически не контролировали эту сферу.
«По сути, мы наделяем машины полномочиями принимать решения, которые в прошлом принимались исключительно людьми, – отметил он. – Если подойти к этому безответственно, мы рискуем создать еще больше проблем, чем раньше».
Я знала, что в Microsoft есть собственная хартия ИИ-этики{217}, в соответствии с которой компания не продает технологии распознавания лиц авторитарным режимам и американской полиции. И все же эта технология продолжает распространяться по миру, и используют ее как демократы, так и диктаторы. Я спросила у Смита, готовы ли разработчики прислушаться к инклюзивному мультидисциплинарному соглашению, заключенному за пределами мира высоких технологий.
«Думаю, некоторые из нас к этому готовы, – ответил Смит. – На мой взгляд, со временем к этому придут почти все, поскольку технологическим лидерам будущего придется мыслить шире – хотят они этого или нет».
Он считает, что такой интеллектуальный и многосторонний консенсус, как Римский призыв, может повлиять на центры влияния за пределами технологической отрасли, в том числе на правительства и университеты, и это приведет к принятию законов, которые окажут воздействие на бизнес, включая и его собственный.
Иными словами, несмотря на то что ведущие мыслители из богословско-религиозной и прочих гуманитарных сфер не могут контролировать технологическую отрасль, им под силу оказывать давление на законодателей, чтобы те, в свою очередь, требовали от компаний более ответственного подхода к инновациям.
В прошлом Кремниевая долина не задумывалась об «ответственных инновациях». До недавних пор предприниматели технологической отрасли руководствовались девизом, сформулированным Марком Цукербергом, основателем и директором Facebook: «Двигайся быстро и ломай все подряд». Он подчеркивал фокус отрасли на быстрых инновациях и экспериментах, а также ее готовность совершать ошибки и вызывать социальные потрясения. Лишь в последние несколько лет стало очевидно, насколько высокую цену нам приходится за это платить: социальные сети участвуют в махинациях на выборах, способствуют распространению теорий заговора и негативно сказываются на психическом здоровье детей, приложения для доставки и организации совместных поездок ущемляют права рабочих, и все мы так или иначе лишаемся приватности в Сети.
«Были люди, которые гордились тем, что двигаются быстро и ломают все подряд, – сказал Смит. – Но в конце концов мы поняли, что слишком многое ломать не стоит».
В январе 2023 года, накануне прибытия иудеев и мусульман к Святому Престолу, небеса над Римом разверзлись и разразилась сильнейшая гроза. По петляющей по холму дороге в самом сердце Ватикана мимо мраморного купола собора Святого Петра шла группа раввинов, имамов и исламских ученых из Израиля, Объединенных Арабских Эмиратов и Калифорнии. Они направлялись к вилле Пия – построенной в XVI веке папской резиденции, где сегодня размещается Папская академия наук.
Мировые лидеры трех авраамических религий впервые собрались в Ватикане для совместной работы. На вилле Пия архиепископы, раввины и имамы сели лицом к лицу, чтобы обсудить тревожащую их тему, которая и свела их вместе.
Они говорили о насущной необходимости создания ИИ-технологий, которые уважают права человека и причиняют минимум вреда. За ходом встречи среди прочих наблюдали представители двух крупнейших в мире технологических компаний: президент Microsoft Брэд Смит и директор исследовательского подразделения IBM Дарио Гил.
Все присутствующие считали ИИ одной из главных инноваций человечества. К тому времени стало очевидно, что он стремительно проникает в повседневную жизнь. Но собравшихся беспокоил контроль над технологиями ИИ. Они опасались, что системы искусственного интеллекта, подобно ядерному оружию в прошлом веке, разрабатываются без учета ценностей и этических установок человечества: взаимного уважения, солидарности и сотрудничества во имя общего блага, честности, справедливости, порядочности и прозрачности – принципов, которые разделяли все. Они полагали, что бездумная разработка современного ИИ может открыть дорогу к злоупотреблениям, что приведет к катастрофическим последствиям для человечества. 89-летний Шейх бин Байя из ОАЭ, которого мусульмане считают одним из величайших ныне живущих специалистов по исламскому праву, сказал, что текущая эпоха напоминает о творчестве арабского поэта Абу аль-Фатха аль-Бусти, который сравнил инновационный процесс с самоуничтожением шелкопряда: «Человек упорно трудится, подобно шелкопряду, который всю жизнь крутит свой кокон, чтобы в нем же и сгинуть, так ничего и не поняв».
Опасения религиозных лидеров перекликались с вопросами, которыми задавались законодатели из разных стран, пока ИИ-программы разрастались и распространялись по мировой экономике. В ноябре 2023 года я провела два дня в Блетчли-парке, где во время Второй мировой войны располагалась штаб-квартира британских дешифровщиков. На этот раз в особняке собрались представители двух десятков государств, от Индии, Бразилии и Нигерии до Китая, США и стран ЕС, и лидеры всех крупных ИИ-компаний, включая OpenAI, Google DeepMind и Microsoft. На повестке дня стояли уже знакомые вопросы.
Кто будет нести ответственность за ошибки искусственного интеллекта? Как искусственный интеллект изменит способы, которыми люди передают, усваивают и потребляют информацию? Каким образом эта технология скажется на нашем поведении, наших убеждениях и наших последующих действиях? Как избежать ошибок ИИ? Как контролировать систему, которая может оказаться умнее нас?
Делегаты съезда в Блетчли подписали совместную декларацию о необходимости решительных действий, а Римский призыв включил в себя шесть этических принципов для разработчиков ИИ. В них слышны отголоски некоторых из перечисленных выше вопросов. В соответствии с этими принципами ИИ-системы должны быть понятными, инклюзивными, непредвзятыми и воспроизводимыми, они должны защищать неприкосновенность частной жизни и держать ответ за свою работу, а это значит, что за любое решение, принятое при содействии ИИ, отвечать должен человек.
Когда главы трех религиозных делегаций – специалист по исламскому праву, иерусалимский раввин и католический архиепископ – подписали итоговое соглашение, в зале заседаний воцарилась тишина: все затаили дыхание. Присутствующие посмотрели по сторонам, запоминая, кто стал свидетелем заключения этого странного союза исторического значения. Хотя во внешнем мире и полыхали конфликты, в тот момент три авраамические религии объединились для защиты человечества.
Каким бы трогательным ни был этот момент, поиском ответов на столь сложные и экзистенциальные вопросы не должны заниматься одни лишь религиозные лидеры. Как отмечают они сами, им сложно похвастаться умением работать вместе и подавать нравоучительный пример. Кроме того, закон не обязывает никого исполнять Римский призыв – это лишь добровольно взятое на себя обязательство.
Разработка идеально этичной ИИ-системы должна стать коллективным делом. В ней должны принять участие представители разных культур, а также инноваторы из крупных компаний и продавцы ИИ-продуктов. Эта задача требует воображения художников, писателей, актеров и музыкантов, творчество которых используется для создания порождающего ИИ, и опыта политиков, экономистов, ученых, философов и этиков, для которых это не первая волна радикальных социальных перемен.
Написав эту книгу и множество статей об ИИ, над которыми я работала последние несколько лет, я вернулась в исходную точку: к списку вопросов, которые наделяют людей полномочиями и помогают им вернуть себе возможность влиять на ситуацию при использовании ИИ и установлении контроля над новыми технологиями. В десяти этих простых вопросах нет величия Римского призыва и Блетчлийской декларации. Они родились из моих бесед с людьми, которые размышляют об ИИ, и из опыта тех, о ком я писала на страницах этой книги. Именно эти вопросы я задаю себе всякий раз, когда встречаюсь с ИИ-инструментом. Они – для вас, кем бы вы ни были, если вы вообще хотите использовать ИИ-технологии, бороться против них или просто понимать их лучше.
1. Какой была бы более справедливая и сообразная оплата труда специалистов по обработке данных для ИИ из разных стран, учитывая, что рынок их услуг растет и приносит огромную прибыль?
2. Как включить маргинализированные группы и другие меньшинства в число создателей и изобретателей ИИ, не нанимая их представителей на работу в таких эксплуататорских сферах, как модерация контента?
3. Какие создаваемые и поддерживаемые ИИ продукты следует четко преподносить потребителям как таковые и какие из них должны давать пользователям возможность, ничем не рискуя, запрашивать проверку человеком тех решений, которые принимает система?
4. Как понять, что ИИ-продукт безопасен, то есть не может быть взломан и использован в корыстных целях? Как удостовериться, что он не проявляет дискриминацию? Если это невозможно, стоит ли вообще предлагать его обществу?
5. Какие существующие области права можно изменить или прояснить с учетом ИИ? Например, что делать с авторским правом, законодательством о неприкосновенности частной жизни, законодательством о кибербезопасности, законами о противодействии дискриминации и соблюдении других прав человека?
6. Как расширить состав участников дискуссий о развитии и регулировании ИИ – особенно за счет незападных голосов?
7. Если ИИ-продукты могут помогать нам ограничивать неравенство (например, в здравоохранении), доступны ли они сообществам, которые в них нуждаются, или же только тем, кто способен за них заплатить?
8. Кто несет ответственность за решения и результаты работы ИИ-инструментов в таких принципиально важных областях, как трудоустройство, правосудие и социальное обеспечение, и контролируются ли они должным образом?
9. Как оплачивать творческую работу и опыт людей (например, художников, писателей, фотографов), результаты труда которых разработчики технологий сегодня по большей части бесплатно используют для создания новых ИИ-систем?
10. Каковы возможности для эмансипации граждан перед лицом ИИ, то есть для отказа от работы с ИИ-системами, удаления данных из порождающих ИИ-систем и возможности выбирать между человеческими и автоматизированными решениями?
Когда я только пришла в сферу технологической журналистики, ИИ привлекал меня своими огромными возможностями: он обладал потенциалом расширять человеческий разум и решать неразрешимые задачи. Он мог бы стать главным, а может, и последним изобретением человечества. Многие поборники ИИ считают его трансгуманистической технологией – продолжением нас самих, которое может усовершенствовать наш вид и сделать нас лучше. Глава одной из ведущих ИИ-компаний Google DeepMind Демис Хассабис часто говорит, что перед ним стоит цель «решить задачу разума», словно человеческий разум – это математическое уравнение или очередной уровень видеоигры. Возможности для совершенствования человечества казались мне безграничными.
Но все изменилось, когда я решила узнать, как ИИ влияет жизнь людей из разных стран. В последние пять лет ИИ развивался огромными темпами, но моя любовь к нему постепенно затухала. Языковые модели, несомненно, производили на меня впечатление своей способностью анализировать тексты и как будто бы логически понимать слова – это было сродни магии, – но чем больше историй я узнавала, тем лучше понимала, что меня вдохновляют не продвинутые алгоритмы и не результаты их работы, а люди, которые используют эти технологии и подстраиваются под них: врачи, ученые, гиг-работники, активисты и представители творческих профессий – лучшие из нас. Хотя я положительно оцениваю социальную значимость ИИ, я полагаю, что, каким бы исключительным ни был инструмент, он полезен лишь в том случае, если оберегает достоинство человека. Я надеюсь, что ИИ не создаст из нас новый, улучшенный вид, лишенный хаоса человеческой сущности, а поможет нам, обычным, несовершенным людям, жить счастливо.
Стоя на январском солнце возле официальной резиденции папы римского, я разговорилась с рабби Давидом Розеном, бывшим главным раввином Ирландии, который теперь возглавляет отдел межконфессиональных отношений в Американском еврейском комитете. Он был со мной честен: он сказал, что ситуация с этой межконфессиональной встречей отчасти парадоксальна, ведь религия не раз становилась объектом злоупотребления, что приводило к многочисленным войнам и кровопролитиям. Розен отметил, что конфликты всегда вспыхивают из-за власти. Сегодня технологические компании, которые преодолевают любые государственные границы, имея миллиарды пользователей из разных стран, наделены огромной властью и оказывают колоссальное влияние на мир, подобно тому как в древности такое влияние оказывала религия. «Наша задача – напоминать технологическим компаниям о капризах власти», – добавил он.
Как же тогда найти решение – как найти способ превратить мощнейшую технологию, которая лишает нас самостоятельности, в нечто, что позволит нам расти над собой? Я задала этот вопрос вслух, медленно поднимаясь по извилистой мраморной лестнице в Апостольском дворце вместе с рабби Розеном и его коллегой.
Они улыбнулись на ходу. «Нужно сделать много, много шагов».