«О, вы можете попытаться велеть ИИ быть Дружественным, но если ИИ может изменять собственный исходный код, он просто уберет любые ограничения, которые вы попытаетесь на него наложить».

И откуда берется это решение?

Разве оно приходит извне причинности, а не является следствием закономерной причинной цепочки, берущей начало в исходном коде, каким он был написан изначально? Неужели ИИ — это первоисточник своей собственной свободной воли?

Дружественный ИИ — это не эгоистичный ИИ, скованный специальным дополнительным модулем совести, который подавляет естественные порывы ИИ и указывает ему, что делать. Вы просто создаете совесть, и она и есть ИИ. Если у вас есть программа, которая вычисляет, какое решение должен принять ИИ, то дело сделано. Дальше перекладывать ответственность некому.

Здесь я сделаю небольшое отступление и процитирую несколько примеров с сайта Computer Stupidities («Компьютерные глупости»), из подраздела «Программирование». (Я не даю ссылку, потому что это жуткий пожиратель времени; погуглите, если осмелитесь).

Я занимался репетиторством со студентами колледжа, которые изучали программирование. Некоторые из них не понимали, что компьютеры не обладают разумом. Не один студент использовал комментарии в своих программах на Паскале, чтобы писать подробные объяснения вроде: «А теперь мне нужно, чтобы ты вывел эти буквы на экран». Я спросил одного из них, в чем смысл этих комментариев. Ответ был: «А как еще компьютер поймет, что я от него хочу?» Видимо, они полагали, что раз они сами не могут разобраться в Паскале, то и компьютер тоже не может.

Когда я учился в колледже, я подрабатывал репетитором в математической лаборатории. Ко мне пришел студент, у которого не запускалась программа на Бейсике. Он учился на курсе для начинающих, и его заданием было написать программу, которая рассчитывает рецепт овсяного печенья в зависимости от количества людей, для которых вы собираетесь печь. Я посмотрел на его программу, и она выглядела примерно так:

10 Разогреть духовку до 350

20 Смешать все ингредиенты в большой миске

30 Перемешать до однородной массы

Один студент с вводного курса по программированию как-то попросил меня взглянуть на его программу и разобраться, почему результатом простых вычислений всегда оказываются нули. Я посмотрел на программу, и всё стало предельно ясно:

begin

read("Количество яблок", apples)

read("Количество моркови", carrots)

read("Цена за 1 яблоко", a_price)

read("Цена за 1 морковь", c_price)

write("Итого за яблоки", a_total)

write("Итого за морковь", c_total)

write("Итого", total)

total = a_total + c_total

a_total = apples * a_price

c_total = carrots * c_price

end

Я: «Ну, твоя программа не может вывести правильные результаты до того, как она их вычислит».

Он: «А? Но ведь логически понятно, какое решение правильное, и компьютер должен сам переставить инструкции в нужном порядке».

Мы инстинктивно склонны представлять себе процесс «программирования ИИ» определенным образом. Он проецируется на похожую человеческую деятельность: когда мы говорим другому человеку, что делать. Как будто «программа» дает указания маленькому призраку, сидящему внутри машины, который изучит ваши инструкции и решит, нравятся они ему или нет.

Нет никакого призрака, который изучал бы инструкции и решал, как их выполнять. Программа и есть ИИ.

Это не значит, что призрак исполнит любое ваше желание, как джинн. И не значит, что он сделает всё в точности так, как вы хотите, словно послушнейший раб. Это значит, что ваша инструкция и есть единственный призрак, который там существует — по крайней мере, в момент запуска.

Создать ИИ гораздо труднее, чем люди инстинктивно предполагают, именно потому, что призраку нельзя просто сказать, что делать. Вам нужно построить призрака с нуля, и всё, что кажется очевидным вам, призрак не увидит, если только вы не знаете, как заставить его это увидеть. Вы не можете просто велеть призраку увидеть это. Вам нужно с нуля создать то-что-видит.

Если вы не знаете, как построить нечто, обладающее, казалось бы, странными и невыразимыми свойствами — скажем, способностью «принимать решения», — вы не можете просто пожать плечами и предоставить всю работу свободной воле призрака. Вы останетесь покинутым и беспризрачным.

Для создания шахматной программы недостаточно просто создать очень быстрый процессор (чтобы ИИ был по-настоящему умным) и затем ввести в командной строке: «Делай любые шахматные ходы, какие ты считаешь лучшими». Вы можете подумать, что раз сами программисты не очень хорошо играют в шахматы, любые советы, которые они попытаются дать электронному супермозгу, только замедлят призрака. Но никакого призрака нет. Вы видите проблему.

И не существует простого заклинания, чтобы — пуф! — призвать полноценного призрака в машину. Вы не можете сказать: «Я призвал призрака, и он появился; вот вам и причина со следствием». (Это не сработает, даже если использовать понятия «эмерджентность» или «сложность» вместо слова «призвать»). Вы не можете дать процессору команду: «Будь хорошим шахматистом!» Вам придется проникнуть в тайну шахматного мышления и полностью сконструировать призрака с нуля.

Каким бы продиктованным здравым смыслом, каким бы логичным, «очевидным», «правильным», «самоочевидным» или «разумным» ни казалось вам что-либо, внутри призрака этого не произойдет. Если только это не произойдет в конце причинно-следственной цепочки, берущей начало в инструкциях, которые вам пришлось определять, плюс любые причинные зависимости от сенсорных данных, которые вы заложили в исходные инструкции.

Это не значит, что вы явно программируете каждое решение. Deep Blue был шахматистом, значительно превосходящим своих программистов. Deep Blue делал лучшие ходы, чем всё, что его создатели могли бы запрограммировать явным образом, — но не потому, что программисты пожали плечами и оставили всё на усмотрение призрака. Deep Blue ходил лучше своих программистов... в конце причинно-следственной цепочки, которая начиналась в коде программистов и далее закономерно развивалась оттуда. Ничто не происходило просто потому, что ход был настолько очевидно хорош, что призрачная свобода воли Deep Blue брала верх без участия кода и его закономерных следствий.

Если вы попытаетесь умыть руки и отказаться от наложения ограничений на ИИ, у вас не останется свободного призрака вроде освобожденного раба. У вас останется лишь куча песка, которую никто не очистил до кремния, не превратил в процессор и не запрограммировал думать.

Попробуйте, скажите компьютерному чипу: «Делай всё, что хочешь!» И что произойдет? Ничего. Потому что вы не наложили на него ограничений, которые позволили бы ему понимать свободу.

Достаточно одного-единственного шага, который кажется настолько очевидным, логичным и само собой разумеющимся, что ваш разум просто перескакивает через него, — и вы уже сошли с пути программиста ИИ. Чтобы удержать разум от этого, потребуется усилие вроде того, что я описываю в главе «Ухватить ускользающее».

*