Конечно, нарисованная нами картина гипотетическая. Меры безопасности компании Galvanic, технологии создания “Соболя”, возможности, какими он обладал, и использовавшиеся им стратегии – всего лишь попытка представить, как будущее могло бы вторить прошлому. Однако реальность не настолько предсказуема. Чтобы претендовать на реалистичность, нашей истории недостает странности: она построена на шаблонных ожиданиях и типичных сюжетах всяких сказок об искусственном интеллекте.
И конечно, мы не знаем, когда подобные события произойдут в реальности. Мы поместили начало истории в недалекое будущее, поскольку и реальная версия описанных событий может начаться в недалеком будущем, да и проще рассказать историю о мире, достаточно похожем на наш. А может, у нас впереди еще целое десятилетие, кто знает.
Но это слабое утешение. Если вы садитесь играть в шахматы против программы Stockfish, совершенно неважно, начнется ли партия в известное или неизвестное время. Неважно и то, что вы не в силах точно предсказать ходы программы. Но вы точно проиграете, это простой прогноз.
Мы уверенно предсказываем: как только какие-либо ИИ-модели достигнут уровня сверхинтеллекта – а в случае масштабной гонки вооружений никто не будет медлить с подталкиванием ИИ-моделей к подобному уровню, – у человечества не останется шансов. Исход иногда спрогнозировать легче, чем пути к нему. Единственная часть описанной нами истории, являющаяся реальным прогнозом, – ее концовка. Да и то лишь в том случае, если мы позволим этой истории начаться.
В части III мы обсудим, в чем сложности инженерной задачи для разработчиков, желающих вырастить ИИ-модель, которая не превратится в подобие “Соболя”, и как они справляются с этой проблемой. Спойлер: не особо успешно. Поэтому еще мы зададимся вопросом, что на самом деле потребуется, дабы предотвратить все возможные сценарии начала такой истории, как с “Соболем”. Речь не о том, чтобы придумать способ, как одна конкретная ИИ-компания или одна архитектура ИИ сумела бы временно воздержаться от стартового выстрела. Речь о том, как предотвратить подобное развитие событий на долгое время и в масштабах всей Земли.
IfAnyoneBuildsIt.com/ii