1 Coursey B. M. The National Bureau of Standards and the Radium Dial Painters. Journal of Research of the National Institute of Standards and Technology, 126 (2022).

2 Elon Musk FULL INTERVIEW with Tucker Carlson (MUST WATCH). April 23, 2023, 13:25, youtube.com.

3 Pace B. Debate on Instrumental Convergence between LeCun, Russell, Bengio, Zador, and More. LessWrong, October 3, 2019.

Еще Лекун один раз обсуждал проблему инструментальной сходимости в комментариях к публичной ветке в Фейсбуке в 2019 году.

4 LeCun Y. Calm down. Human-level AI isn't here yet. X, March 19, 2023.

5 LeCun Y. Because they would have no desire to do anything else. X, March 20, 2023.

6 LeCun Y. No. My benevolent defensive AI will be better… X, March 20, 2023.

7 LeCun Y. We can design AI systems to be both superintelligent and submissive to humans. X, May 4, 2023.

8 McCarthy J. et al. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence. August 31, 1955, jmc.stanford.edu.

9 Dowling S. What Are the Odds of a Successful Space Launch? BBC, May 31, 2023; Anand Rao T. H. A Season Marred by Setbacks in Space Missions. Centre for Air Power Studies, July 25, 2024, capsindia.org.

Одно эмпирическое правило в ракетостроении гласит, что при первом или втором запуске ракеты нового типа шансы на взрыв составляют примерно 30 %. Регулярно взрываются даже ракеты с отработанными конструкциями. Средний показатель в истории превышает 8 % (впрочем, в последние пару десятилетий он ближе к 6 %). Даже у пилотируемых полетов показатель отказов за всю историю выше 1 % (в последние пару десятилетий – около 0,79 %).

10 Doman M., Sveen B. AI's Dark In-joke. ABC News, July 14, 2023; METR (Model Evaluation & Threat Research). Q&A with Geoffrey Hinton. June 27, 2024, 38:07, youtube.com.

Хинтона, похоже, дезинформировали насчет степени уверенности Юдковского в катастрофе, поскольку он назвал величину 99,999 %. Хотя мы, авторы, и считаем катастрофу наиболее вероятным исходом по умолчанию, пять девяток – это абсурдный уровень уверенности, под которым ни один из нас не подпишется.

11 Doman M., Sveen B. AI's Dark In-joke.

12 METR. Q&A with Geoffrey Hinton.

13 Nearly Half of OpenAI's AGI Safety Researchers Resign Amid Growing Focus on Commercial Product Development. Benzinga, August 28, 2024; Goldman S. Exodus at OpenAI: Nearly half of AGI Safety Staffers Have Left, Says Former Researcher. Fortune, August 28, 2024; Hashim S. OpenAI Employee Says He Was Fired for Raising Security Concerns to Board. Transformer (blog), June 4, 2024; Metz R., Ghaffary S. OpenAI Dissolves High-Profile Safety Team after Chief Scientist Sutskever's Exit. Bloomberg, May 17, 2024; Samuel S. 'I Lost Trust': Why the OpenAI Team in Charge of Safeguarding Humanity Imploded. Vox, May 18, 2024.

Леопольд Ашенбреннер и Павел Измайлов были уволены, предположительно, за утечку данных компании. По утверждению Ашенбреннера, его уволили за то, что он поднял вопросы безопасности перед советом директоров. Руководители группы Ян Лейке и Илья Суцкевер ушли сами – наряду с Уильямом Сондерсом, Райаном Лоу, Яном Хендриком Кирхнером, Коллином Бернсом, Джеффри Ву, Джонатаном Уэсато, Стивеном Биллсом, Юрием Бурдой, Тодором Марковым и соучредителем Джоном Шульманом. По состоянию на начало 2025 года Лео Гао и Боуэн Бейкер все еще работали в OpenAI, но группу, занимавшуюся сверхсогласованием, расформировали.

14 Haselton T., Goswami R. OpenAI Сo-founder Ilya Sutskever Announces His New AI Startup, Safe Superintelligence.

15 Robison K. OpenAI Researcher Who Resigned over Safety Concerns Joins Anthropic. The Verge, May 28, 2024.

16 Jābir ibn H.ayyān. Kit^-ab al-Ah.j^-ar 'alá Ra'y Balīn^-as. 8th–9th century, trans. Haq S. N. in A Critical Study of J^-abir ibn H.ayy^-an's Kit^-ab al-Ah.j^-ar 'alá Ra'y Balīn^-as. Thesis, University College London, 1990, discovery.ucl.ac.uk.

Джабир ибн Хайян, известный как отец арабской химии, – алхимик (или группа алхимиков), который добился успехов в очистке металлов. По поводу превращения свинца в золото он писал:

Что касается преобразования тел из одного состояния в другое, более высокое или более низкое, то это, согласно нашей доктрине, внешнее и внутреннее, ибо в действительности это то, чем являются внешнее и внутреннее. Причина в том, что все составляющие всех вещей следуют круговому образу перемен.

У любого тела внешнее явно, тогда как внутреннее скрыто, и именно в последнем кроется польза. Например, внешнее для свинца – это дурно пахнущий свинец, и это заметно для всех людей. Но его внутреннее – золото, которое скрыто. Однако если его извлечь, то и внутреннее, и внешнее для свинца станут явными.