КАРТИНА, КОТОРУЮ МЫ ТОЛЬКО ЧТО НАРИСОВАЛИ, НЕРЕАЛЬНА. МЕТОДЫ, с помощью которых был создан Сейбл, меры безопасности, принятые Galvanic, возможности Сейбл и стратегии, которые он использовал, — все это лишь варианты того, как будущее могло бы вторить прошлому, но реальность не столь предсказуема. Наша история недостаточно странная, она недостаточно противоречит нашим интуитивным представлениям о законах, по которым строятся сказки об ИИ, чтобы быть хоть сколько-нибудь близкой к реальности.
И конечно, мы не знаем, когда начнется реальная версия этой истории. Мы рассказали историю, действие которой разворачивается в ближайшем будущем, поскольку реальные события тоже могут начаться совсем скоро, а еще потому, что проще рассказывать о мире, похожем на наш собственный. Или же, насколько нам известно, в запасе у нас может оставаться еще целое десятилетие.
Но это слабое утешение. Если вы играете в шахматы против Stockfish, не имеет значения, начнется ли партия в неопределенный момент. Неважно, что вы не можете в точности предсказать, какие ходы сделает Stockfish. Предсказать ваш проигрыш в конечном счете не составит труда.
Мы уверенно прогнозируем следующее: как только некоторые системы ИИ разовьются до сверхинтеллекта — а в разгар очередной великой гонки вооружений никто не станет медлить, подталкивая ИИ к этому рубежу, — у человечества не останется никаких шансов. Финал порой предсказать легче, чем ведущие к нему пути. Единственная часть нашей истории, которая представляет собой настоящее предсказание, — это ее концовка, да и то лишь в том случае, если этой истории вообще позволят начаться.
В Части III мы обсудим всю сложность инженерной задачи, стоящей перед разработчиками, которые пытаются вырастить ИИ, который не превратится в подобие Сейбла, и разберем их реакцию на этот вызов. Спойлер: перспективы весьма нерадужные. Поэтому мы также зададимся вопросом, что на самом деле потребуется, чтобы полностью исключить любые варианты, при которых история, подобная истории Сейбл, могла бы вообще начаться — не просто воображая, как одна ИИ-компания или одна архитектура ИИ могли бы временно избежать стартового выстрела, а спрашивая, как предотвратить это по всей Земле на долгие годы.