ВВЕДЕНИЕ

1 Юдковский, интервью с автором.

2 Там же.

3 Элиезер Юдковский, “Pausing AI Developments Isn’t Enough. We Need to Shut it All Down,” Time, 29 марта 2023 года, https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/.

4 Сэм Альтман (@sama), Twitter (ныне X), 3 февраля 2023 года, https://twitter.com/sama/status/1621621725791404032.

5 Сэм Альтман, “Moore’s Law for Everything,” 16 марта 2021 года, https://moores.samaltman.com/.

6 Кейд Метц, “The ChatGPT King Isn’t Worried, but He Knows You Might Be,” New York Times, 31 марта 2023 года, www.nytimes.com/2023/03/31/technology/sam-altman-open-ai-chatgpt.html.

7 Чамат Палихапития и др., “In Conversation with Sam Altman,” 10 мая 2024 года, в All-In, подкаст, YouTube, www.youtube.com/watch?v=nSM0xd8xHUM.

8 Илон Маск (@elonmusk), Twitter (ныне X), 14 мая 2024 года, https://twitter.com/elonmusk/status/1790391774097088608.

9 Марк Андриссен, “The Techno-Optimist Manifesto,” Andreessen Horowitz, 16 октября 2023 года, https://a16z.com/the-techno-optimist-manifesto/.

ГЛАВА 1

1 С некоторыми оговорками. Макаскилл, по крайней мере в своих поздних работах, пишет, что не следует соглашаться на работу, приносящую явный вред. Однако он также утверждает, что вред от большинства высокооплачиваемых профессий (например, в сфере финансов) с лихвой перекрывается той пользой, которую можно принести миру, если жертвовать большую часть полученной зарплаты на благородные цели.

2 Адам Фишер, “Sam Bankman-Fried Has a Savior Complex—and Maybe You Should Too,” Sequoia Capital, 22 сентября 2022 года, архивировано 27 октября 2022 года на Wayback Machine, https://web.archive.org/web/20221027181005/https://www.sequoiacap.com/article/sam-bankman-fried-spotlight/; Николас Кулиш, “How a Scottish Moral Philosopher Got Elon Musk’s Number,” New York Times, 8 октября 2022 года, www.nytimes.com/2022/10/08/business/effective-altruism-elon-musk.html; Зик Фокс, Number Go Up (Нью-Йорк: Currency Books, 2023), 83; Гидеон Льюис-Краус, “The Reluctant Prophet of Effective Altruism,” New Yorker, 8 августа 2022 года, www.newyorker.com/magazine/2022/08/15/the-reluctant-prophet-of-effective-altruism.

3 Уильям Макаскилл (@willmacaskill), Twitter, 11 ноября 2022 года, https://twitter.com/willmacaskill/status/1591218022362284034.

4 Питер Сингер, “Famine, Affluence, and Morality,” Philosophy & Public Affairs 1, № 3 (1972): 229–243, www.jstor.org/stable/2265052; Питер Сингер, The Life You Can Save (Нью-Йорк: Random House, 2009), 18.

5 Питер Сингер, “The Drowning Child and the Expanding Circle,” New Internationalist, 5 апреля 1997 года, https://newint.org/features/1997/04/05/peter-singer-drowning-child-new-internationalist.

6 Роберт Виблин, “Most People Report Believing It’s Incredibly Cheap to Save Lives in the Developing World,” 80,000 Hours, 9 мая 2017 года, https://80000hours.org/2017/05/most-people-report-believing-its-incredibly-cheap-to-save-lives-in-the-developing-world/; GiveWell, “How We Produce Impact Estimates,” последнее обновление: февраль 2024 года, www.givewell.org/impact-estimates#Impact_metrics_for_grants_to_GiveWells_top_charities.

7 Томас Хурка, “Moral Demands and Permissions/Prerogatives,” Stanford Encyclopedia of Philosophy (осень 2024), https://plato.stanford.edu/entries/moral-demands-permissions/; Трэвис Тиммерман, “Sometimes There Is Nothing Wrong with Letting a Child Drown,” Analysis 75, № 2 (2015): 204–212, www.jstor.org/stable/24671242.

8 Льюис-Краус, “Reluctant Prophet”.

9 Роб Мэзер, “Against Malaria Foundation: What We Do, How We Do It, and the Challenges,” эффективный альтруизм, дата обращения: 12 июня 2024 года, www.effectivealtruism.org/articles/ea-global-2018-amf-rob-mather.

10 Льюис-Краус, “Reluctant Prophet”.

11 “About Us: What Do We Do, and How Can We Help?,” 80,000 Hours, дата обращения: 12 июня 2024 года, https://80000hours.org/about/.

12 Уильям Макаскилл, “About William MacAskill,” дата обращения: 12 июня 2024 года, www.williammacaskill.com/press.

13 Наина Баджекал, “Want to Do More Good? This Movement Might Have the Answer,” Time, 10 августа 2022 года, https://time.com/6204627/effective-altruism-longtermism-william-macaskill-interview/.

14 “History,” Центр эффективного альтруизма, дата обращения: 12 июня 2024 года, www.centreforeffectivealtruism.org/history; “Oxford-Based Charity Receives More Than $2.5 Billion in Pledges from ‘Community of Effective Givers,’” пресс-релиз Оксфордского университета, 1 марта 2022 года, www.ox.ac.uk/news/2022-03-01-oxford-based-charity-receives-more-25-billion-pledges-community-effective-givers.

15 Уильям Макаскилл, What We Owe the Future (Нью-Йорк: Basic Books, 2022), 9.

16 Там же, 5.

17 Там же, 10.

18 Там же, 13.

19 Там же, 5, 27–28.

20 Этот расчет исходит из того, что средняя продолжительность жизни за указанный период составляет сто лет, и использует численность населения в десять миллиардов человек просто для того, чтобы упростить математические вычисления. Если снизить среднюю продолжительность жизни до более реалистичных семидесяти лет, а численность населения — до восьми миллиардов (то есть приблизить условия к реальному миру, в котором мы живем сегодня), то итоговая оценка общего числа будущих людей окажется даже несколько выше, однако порядок величины останется прежним.

21 В наблюдаемой Вселенной насчитывается два триллиона галактик: NASA Hubble Mission Team, “Hubble Reveals Observable Universe Contains 10 Times More Galaxies Than Previously Thought,” NASA, 13 октября 2016 года, www.nasa.gov/feature/goddard/2016/hubble-reveals-observable-universe-contains-10-times-more-galaxies-than-previously-thought. Однако большинство из них находится за пределами объема Хаббла — максимального расстояния, на которое мы теоретически способны переместиться: Pim van Oirschot, Juliana Kwan, and Geraint F. Lewis, “Through the Looking Glass: Why the ‘Cosmic Horizon’ Is Not a Horizon,” Monthly Notices of the Royal Astronomical Society 404, № 4 (июнь 2010): 1633–1638, https://doi.org/10.1111/j.1365-2966.2010.16398.x. Исходя из современных оценок параметра Хаббла и размеров наблюдаемой Вселенной, это означает, что в настоящее время нам доступно лишь около 3 процентов наблюдаемой Вселенной. Таким образом, в нашем распоряжении остается от 10¹⁰ до 10¹¹ доступных галактик; в качестве консервативной оценки мы возьмем меньшее число. Большинство звезд — это красные карлики класса M, и большинство из них угаснет (то есть в их ядрах прекратится термоядерный синтез) примерно через 10¹³ лет: Fred C. Adams and Gregory Laughlin, “A Dying Universe: The Long-Term Fate and Evolution of Astrophysical Objects,” Reviews of Modern Physics 69, № 337 (1 апреля 1997), https://doi.org/10.1103/RevModPhys.69.337. Объединив эти цифры с приведенной в основном тексте оценкой в 10²⁶ человек на миллиард лет на одну галактику, мы получим, что при таком сценарии в будущем сможет прожить в общей сложности 10⁴⁰ человек.

22 Макаскилл, What We Owe, 189. (Я надеялся, что это была намеренная отсылка к «Звездному пути», но увы — Макаскилл подтвердил, что это не так.)

23 Макаскилл, What We Owe, 253.

24 Хилари Гривз и Уильям Макаскилл, “The Case for Strong Longtermism” (рабочий доклад GPI № 5-2021, Институт глобальных приоритетов, июнь 2021 года), https://globalprioritiesinstitute.org/wp-content/uploads/The-Case-for-Strong-Longtermism-GPI-Working-Paper-June-2021-2-2.pdf.

25 Льюис-Краус, “Reluctant Prophet”.

26 Эзра Кляйн, “Three Sentences That Could Change the World—and Your Life,” 9 августа 2022 года, в The Ezra Klein Show, подкаст, расшифровка, New York Times, www.nytimes.com/2022/08/09/opinion/ezra-klein-podcast-will-macaskill.html.

27 Баджекал, “Want to Do More Good?”.

28 “Hardcover Nonfiction Best Sellers,” New York Times, 18 сентября 2022 года, www.nytimes.com/books/best-sellers/2022/09/18/hardcover-nonfiction/.

29 Аннотация приведена на странице книги What We Owe the Future на сайте Amazon: “What We Owe the Future,” Amazon, дата обращения: 24 марта 2023 года, www.amazon.com/What-Owe-Future-William-MacAskill/dp/1541618629.

30 Смешанные и отрицательные рецензии: Реджина Рини, «Эффективный альтруист?» (An Effective Altruist?), Times Literary Supplement, 9 сентября 2022 года, www.the-tls.co.uk/articles/what-we-owe-the-future-william-macaskill-book-review-regina-rini/; Эмиль П. Торрес, «Понимание лонгтермизма: почему эта внезапно обретшая влияние философия столь токсична» (Understanding ‘Longtermism’: Why This Suddenly Influential Philosophy Is So Toxic), Salon, 20 августа 2022 года, www.salon.com/2022/08/20/understanding-longtermism-why-this-suddenly-influential-philosophy-is-so/; Бартон Суэйм, «Рецензия на книгу "Что мы должны будущему": завтрашний день технократа» (‘What We Owe the Future’ Review: A Technocrat’s Tomorrow), Wall Street Journal, 26 августа 2022 года, www.wsj.com/articles/what-we-owe-the-future-review-a-technocrats-tomorrow-11661544593; Киран Сетия, «Новая моральная математика» (The New Moral Mathematics), Boston Review, 15 августа 2022 года, www.bostonreview.net/articles/the-new-moral-mathematics/. См. также: Лейф Венар, «Гибель эффективного альтруизма» (The Deaths of Effective Altruism), Wired, 27 марта 2024 года, https://www.wired.com/story/deaths-of-effective-altruism/.

31 Ариана Ынджун Ча, «Кари Туна и Дастин Московиц: молодые миллиардеры Кремниевой долины прокладывают новый путь в филантропии» (Cari Tuna and Dustin Moskovitz: Young Silicon Valley Billionaires Pioneer New Approach to Philanthropy), Washington Post, 26 декабря 2014 года, www.washingtonpost.com/business/billionaire-couple-give-plenty-to-charity-but-they-do-quite-a-bit-of-homework/2014/12/26/19fae34c-86d6-11e4-b9b7-b8632ae73d25_story.html.

32 «О нас» (About Us), Open Philanthropy, дата обращения: 24 марта 2023 года, www.openphilanthropy.org/about-us/. Данные о пожертвованиях взяты из полной базы данных грантов Open Philanthropy, доступной в формате CSV по адресу: www.openphilanthropy.org/wp-admin/admin-ajax.php?action=generate_grants&nonce=79a8b1a618 (дата обращения: 30 августа 2024 года). Список организаций, входящих в состав Effective Ventures, опубликован на их главной странице EV.org, дата обращения: 30 августа 2024 года.

33 Джан Вольпичелли, «Остановите роботов-убийц! Лоббисты, поддерживаемые Маском, борются за спасение Европы от плохого ИИ» (Stop the Killer Robots! Musk-Backed Lobbyists Fight to Save Europe from Bad AI), Politico, 24 ноября 2022 года, www.politico.eu/article/meet-the-musk-backed-ngos-trying-to-save-europe-from-bad-ai/; «Институт будущего жизни» (Future of Life Institute), форум «Эффективный альтруизм» (Effective Altruism Forum), дата обращения: 30 августа 2022 года, https://forum.effectivealtruism.org/topics/future-of-life-institute; «Наша миссия» (Our Mission), Future of Life Institute, дата обращения: 30 августа 2024 года, https://futureoflife.org/our-mission/.

34 Future of Life Institute, дата обращения: 12 июня 2024 года, https://futureoflife.org/; Макс Тегмарк, «Илон Маск жертвует 10 млн долларов, чтобы ИИ оставался полезным» (Elon Musk Donates $10M to Keep AI Beneficial), Future of Life Institute, 15 января 2015 года, архивировано 22 ноября 2019 года на Wayback Machine, https://web.archive.org/web/20191122175152/https://futureoflife.org/2015/10/12/elon-musk-donates-10m-to-keep-ai-beneficial/; «Future of Life Institute», Реестр прозрачности ЕС (EU Transparency Register), архивировано 26 мая 2023 года на Wayback Machine, https://web.archive.org/web/20230526011529/https:/ec.europa.eu/transparencyregister/public/consultation/displaylobbyist.do?id=787064543128-10; Future of Life Institute, личная переписка.

35 Брендан Борделон, «Малоизвестная ИИ-группа, получившая 660 миллионов долларов» (The Little-Known AI Group That Got $660 Million), Politico, 26 марта 2024 года, www.politico.com/news/2024/03/25/a-665m-crypto-war-chest-roils-ai-safety-fight-00148621; Future of Life Institute, личная переписка. См. также налоговую декларацию Future of Life Institute за 2021 год (форма 990), доступную в разделе Nonprofit Explorer на сайте ProPublica: https://projects.propublica.org/nonprofits/organizations/471052538/202400669349300240/full.

36 Макаскилл указывает, что варианты будущего, о которых он говорит, не будут отличаться поистине безграничным ростом, но подробнее об этом ниже.

37 Кристианна Риди, «Курцвейл утверждает, что сингулярность наступит к 2045 году» (Kurzweil Claims That the Singularity Will Happen by 2045), Futurism, 16 октября 2017 года, https://futurism.com/kurzweil-claims-that-the-singularity-will-happen-by-2045.

38 Дэвид Кушнер, «Когда люди и машины сливаются» (When Humans and Machines Merge), Rolling Stone, 19 февраля 2009 года, www.rollingstone.com/culture/culture-features/ray-kurzweil-ai-david-kushner-1234779424/.

39 Матиас Дёпфнер, «Интервью Джеффа Безоса с генеральным директором Axel Springer об Amazon, Blue Origin и семье» (Jeff Bezos Interview with Axel Springer CEO on Amazon, Blue Origin, Family), Business Insider, 28 апреля 2018 года, www.businessinsider.com/jeff-bezos-interview-axel-springer-ceo-amazon-trump-blue-origin-family-regulation-washington-post-2018-4.

40 Дейв Мошер, «Джефф Безос только что выступил с закрытым докладом в Нью-Йорке. От утопических космических колоний до критики марсианской мечты Илона Маска — самые примечательные высказывания Безоса» (Jeff Bezos Just Gave a Private Talk in New York. From Utopian Space Colonies to Dissing Elon Musk’s Martian Dream, Here Are the Most Notable Things He Said), Business Insider, 23 февраля 2019 года, www.businessinsider.com/jeff-bezos-blue-origin-wings-club-presentation-transcript-2019-2.

41 Илон Маск (@elonmusk), Twitter (ныне X), 24 июня 2018 года, https://twitter.com/elonmusk/status/1011083630301536256; см. также: Ник Луккези, «Илон Маск призывает общественность "сохранить человеческое сознание" с помощью Starship» (Elon Musk Calls on the Public to ‘Preserve Human Consciousness’ with Starship), Inverse, 28 сентября 2019 года, www.inverse.com/article/59676-spacex-starship-presentation.

42 Ричард Фьюиз и др., «Новый мир: Межзвёздный» (New World: Interstellar), 22 февраля 2019 года, в подкасте Anatomy of Next, Founders Fund, foundersfund.com/2019/02/anatomy-next-season-2-episode-11/; «Майкл Солана» (Michael Solana), Founders Fund, дата обращения: 30 августа 2024 года, foundersfund.com/team/michael-solana/.

43 Томас У. Мерфи, 2022, «Пределы экономического роста» (Limits to Economic Growth), Nature Physics 18, № 8: 844–847, https://doi.org/10.1038/s41567-022-01652-6; Томас Мерфи, личная переписка.

44 Всё это не учитывает того факта, что на скорости света мы даже не сможем достичь всех звёзд в Млечном Пути за указанное время, а большинства звёзд в наблюдаемой Вселенной не достигнем вообще никогда. Так что этот анализ на самом деле чересчур щедр: в реальности рост должен прекратиться гораздо раньше.

45 Том Мерфи, «Энергия галактического масштаба» (Galactic-Scale Energy), блог Do the Math, 12 июля 2011 года, https://dothemath.ucsd.edu/2011/07/galactic-scale-energy/; Том Мерфи, «Может ли экономический рост продолжаться вечно?» (Can Economic Growth Last?), блог Do the Math, 14 июля 2011 года, https://dothemath.ucsd.edu/2011/07/can-economic-growth-last/. Оценка для наблюдаемой Вселенной исходит из предположения, что в ней видно два триллиона галактик, каждая из которых содержит примерно столько же звёзд, сколько Млечный Путь. Это заведомо завышенная оценка, к тому же большинство этих галактик всё равно недосягаемы, так что это, опять же, весьма щедрый расчёт для окончательного предела.

46 Макаскилл, What We Owe, 145.

47 Там же, 144, 162.

48 Питер Сингер, «Поворотный момент в истории» (The Hinge of History), Project Syndicate, 8 октября 2021 года, www.project-syndicate.org/commentary/ethical-implications-of-focusing-on-extinction-risk-by-peter-singer-2021-10.

49 Уильям Макаскилл (@willmacaskill), Twitter (ныне X), 11 ноября 2022 года, https://twitter.com/willmacaskill/status/1591218030364995585. Обратите внимание, что в следующих твитах этой ветки Макаскилл цитирует себя и двух других видных лонгтермистов (Тоби Орда и Холдена Карнофски), высказывавшихся в подобном ключе.

50 Илон Маск (@elonmusk), Twitter (ныне X), 1 августа 2022 года, https://twitter.com/elonmusk/status/1554335028313718784.

51 Мариса Тейлор, «В SpaceX количество травм на производстве растет из-за спешки Илона Маска с полетом на Марс» (At SpaceX, Worker Injuries Soar in Elon Musk’s Rush to Mars), Reuters, 10 ноября 2023 года, www.reuters.com/investigates/special-report/spacex-musk-safety/.

52 Леонард Дэвид, «Видение Джеффа Безоса: "Триллион людей в Солнечной системе"» (Jeff Bezos’ Vision: ‘A Trillion Humans in the Solar System’), Space.com, 21 июля 2017 года, www.space.com/37572-jeff-bezos-trillion-people-solar-system.html.

53 Элиезер Юдковский (@ESYudkowsky), Twitter (ныне X), 31 декабря 2018 года, https://twitter.com/ESYudkowsky/status/1079644135907151872.

54 Дилан Мэттьюс, «Ваша карьера продлится 80 000 часов. Вот как извлечь из неё максимум пользы» (You Have 80,000 Hours in Your Career. Here’s How to Do the Most Good with Them), Vox, 3 августа 2015 года, www.vox.com/2015/7/29/9067641/william-macaskill-effective-altruism.

55 Уильям Макаскилл, «Заменяемость, выбор карьеры и стремление изменить мир к лучшему» (Replaceability, Career Choice, and Making a Difference), Ethical Theory and Moral Practice 17 (2014): 269–283, https://doi.org/10.1007/s10677-013-9433-4.

56 Уильям Макаскилл, личная переписка.

57 «Сэм Бэнкман-Фрид» (Sam Bankman-Fried), 80,000 Hours, архивировано 13 июня 2021 года на Wayback Machine, https://web.archive.org/web/20210613111013/https://80000hours.org/stories/sam-bankman-fried/.

58 Фишер, «У Сэма Бэнкмана-Фрида комплекс спасителя» (Sam Bankman-Fried Has a Savior Complex).

59 Рид Альберготти и Лиз Хоффман, «Благотворительные деньги легли в основу империи Сэма Бэнкмана-Фрида» (Charity-Linked Money Launched Sam Bankman-Fried’s Empire), Semafor, 8 декабря 2022 года, www.semafor.com/article/12/07/2022/charity-money-launched-sam-bankman-frieds-empire.

60 Белый дом, «ИНФОРМАЦИОННЫЙ БЮЛЛЕТЕНЬ: Последствия использования криптоактивов в США для климата и энергетики» (FACT SHEET: Climate and Energy Implications of Crypto-Assets in the United States), пресс-релиз, 8 сентября 2022 года, www.whitehouse.gov/ostp/news-updates/2022/09/08/fact-sheet-climate-and-energy-implications-of-crypto-assets-in-the-united-states/; Ханна Ритчи, Пабло Росадо и Макс Розер, «Выбросы CO2 и парниковых газов» (CO2 and Greenhouse Gas Emissions), база данных, Our World in Data, дата обращения: 27 марта 2023 года, https://ourworldindata.org/co2-and-greenhouse-gas-emissions.

61 «Оценка криптофирмы FTX Trading выросла до 18 млрд долларов после инвестиций в размере 900 млн долларов» (Crypto Firm FTX Trading’s Valuation Rises to $18 bln After $900 mln Investment), Reuters, 20 июля 2021 года, www.reuters.com/technology/crypto-firm-ftx-trading-raises-900-mln-18-bln-valuation-2021-07-20/.

62 Билл Чаппелл, Дэвид Гура и Лиза Ламберт, «Бэнкман-Фрид арестован, федеральные власти предъявили обвинения в масштабном мошенничестве на криптобирже FTX» (Bankman-Fried Is Arrested as Feds Charge Massive Fraud at FTX Crypto Exchange), NPR, 13 декабря 2022 года, www.npr.org/2022/12/12/1142361088/bankman-fried-ceo-ftx-crypto-exchange-arrested-bahamas-charges-sdny; Дэвид Гура, «Сэм Бэнкман-Фрид признан виновным по всем обвинениям в связи с крахом FTX» (Sam Bankman-Fried Is Found Guilty of All Charges in FTX’s Spectacular Collapse), NPR, 2 ноября 2023 года, www.npr.org/2023/11/02/1210100678/sam-bankman-fried-trial-verdict-ftx-crypto; Рафаэль Нам, «Сэм Бэнкман-Фрид приговорен к 25 годам тюремного заключения за преступления, связанные с FTX» (Sam Bankman-Fried Sentenced to 25 Years in Prison for His FTX Crimes), NPR, 28 марта 2024 года, www.npr.org/2024/03/28/1241210300/sam-bankman-fried-ftx-sentencing-crimes-crypto-mogul-greed.

63 Закари Робинсон, «Обновления EV: соглашение с FTX и будущее EV» (EV Updates: FTX Settlement and the Future of EV), форум «Эффективный альтруизм» (Effective Altruism Forum), 13 декабря 2023 года, https://forum.effectivealtruism.org/posts/HjsfHwqasyQMWRzZN/ev-updates-ftx-settlement-and-the-future-of-ev.

64 «Кто мы» (Who We Are), Future Fund, архивировано 9 ноября 2022 года на Wayback Machine, https://web.archive.org/web/20221109230958/https://ftxfuturefund.org/about/; «Наши гранты и инвестиции» (Our Grants and Investments), Future Fund, архивировано 9 ноября 2022 года на Wayback Machine, https://web.archive.org/web/20221109231205/https://ftxfuturefund.org/our-grants/.

65 «Поддержите Future Perfect» (Support Future Perfect), Vox, 18 августа 2022 года, www.vox.com/2020/1/7/21020439/support-future-perfect; Кейти Клайнбелл, «Вернув 10 млн долларов, Semafor стал очередным СМИ, дистанцирующимся от SBF» (By Returning $10M, Semafor Becomes the Latest Media Outlet Distancing Itself from SBF), Investopedia, 18 января 2023 года, www.investopedia.com/media-outlets-are-returning-sam-bankman-fried-s-funds-7096408; «ProPublica возвращает грант, профинансированный семьей Бэнкман-Фрида» (ProPublica Returns Grant Funded by Bankman-Fried Family), ProPublica, 28 февраля 2022 года, обновлено 20 декабря 2022 года, www.propublica.org/atpropublica/bankman-fried-family-donates-5-million-to-propublica.

66 Дилан Мэттьюс, «Как эффективный альтруизм допустил появление Сэма Бэнкмана-Фрида» (How Effective Altruism Let Sam Bankman-Fried Happen), Vox, 12 декабря 2022 года, www.vox.com/future-perfect/23500014/effective-altruism-sam-bankman-fried-ftx-crypto.

67 Дженнифер Салаи, «Как Сэм Бэнкман-Фрид заставил эффективный альтруизм обороняться» (How Sam Bankman-Fried Put Effective Altruism on the Defensive), New York Times, 9 декабря 2022 года, www.nytimes.com/2022/12/09/books/review/effective-altruism-sam-bankman-fried-crypto.html; Энни Лоури, «Эффективный альтруизм совершил грех, который должен был исправить» (Effective Altruism Committed the Sin It Was Supposed to Correct), The Atlantic, 17 ноября 2022 года, www.theatlantic.com/ideas/archive/2022/11/cryptocurrency-effective-altruism-ftx-sam-bankman-fried/672149/; Гидеон Льюис-Краус, «Сэм Бэнкман-Фрид, эффективный альтруизм и вопрос о соучастии» (Sam Bankman-Fried, Effective Altruism, and the Question of Complicity), New Yorker, 1 декабря 2022 года, www.newyorker.com/news/annals-of-inquiry/sam-bankman-fried-effective-altruism-and-the-question-of-complicity; Ниташа Тику, «Движение благодетелей, защитившее Сэма Бэнкмана-Фрида от пристального внимания» (The Do-Gooder Movement That Shielded Sam Bankman-Fried from Scrutiny), Washington Post, 17 ноября 2022 года, www.washingtonpost.com/technology/2022/11/17/effective-altruism-sam-bankman-fried-ftx-crypto/; Эрик Левиц, «Виновен ли эффективный альтруизм в появлении Сэма Бэнкмана-Фрида?» (Is Effective Altruism to Blame for Sam Bankman-Fried?), New York, 16 ноября 2022 года, https://nymag.com/intelligencer/2022/11/effective-altruism-sam-bankman-fried-sbf-ftx-crypto.html; Зишан Алим, «Как падение Сэма Бэнкмана-Фрида обнажает опасности эффективного альтруизма» (How Sam Bankman-Fried’s Fall Exposes the Perils of Effective Altruism), MSNBC, 3 декабря 2022 года, www.msnbc.com/opinion/msnbc-opinion/ftx-sbf-effective-altruism-bankman-fried-rcna59172.

68 Дэвид Яффе-Беллани, Лора Келли и Кейд Метц, «Она была малоизвестным криптотрейдером. А затем рухнула FTX» (She Was a Little-Known Crypto Trader. Then FTX Collapsed), New York Times, 23 ноября 2022 года, www.nytimes.com/2022/11/23/business/ftx-caroline-ellison-sbf.html.

69 Тарпли Хит, «Это блоги Кэролайн Эллисон на Tumblr?» (Are These Caroline Ellison’s Tumblrs?), Gawker, 14 ноября 2022 года, архивировано 28 марта 2023 года на Wayback Machine, https://web.archive.org/web/20230328082349/gawker.com/money/are-these-caroline-ellisons-tumblrs.

70 «worldoptimization», архивировано 11 ноября 2022 года, дата обращения 28 марта 2023 года, https://caroline.milkyeggs.com/worldoptimization. Форматирование сохранено как в оригинале.

71 Гарри Поттер и методы рационального мышления некоего Элиезера Юдковского. Less Wrong [Элиезер Юдковский], Гарри Поттер и методы рационального мышления, роман с продолжением, FanFiction.net, 28 февраля 2010 года, www.fanfiction.net/s/5782108/1/Harry_Potter_and_the_Methods_of_Rationality.

72 Келси Пайпер, «Сэм Бэнкман-Фрид пытается объясниться» (Sam Bankman-Fried Tries to Explain Himself), Vox, 16 ноября 2022 года, www.vox.com/future-perfect/23462333/sam-bankman-fried-ftx-cryptocurrency-effective-altruism-crypto-bahamas-philanthropy.

73 «Стенограмма интервью Сэма Бэнкмана-Фрида на саммите DealBook» (Transcript of Sam Bankman-Fried’s Interview at the DealBook Summit), New York Times, 1 декабря 2022 года, www.nytimes.com/2022/12/01/business/dealbook/sam-bankman-fried-dealbook-interview-transcript.html.

74 Люсианна Валкович, интервью с автором.

ГЛАВА 2

1 Кушнер, «Когда люди и машины сливаются воедино» (When Humans and Machines Merge).

2 «Футурист Рэй Курцвейл утверждает, что может вернуть к жизни своего покойного отца с помощью компьютерного аватара» (Futurist Ray Kurzweil Says He Can Bring His Dead Father Back to Life Through a Computer Avatar), ABC News, 9 августа 2011 года, https://abcnews.go.com/Technology/futurist-ray-kurzweil-bring-dead-father-back-life/story?id=14267712.

3 Питер Кирн, «О том, как в 1965 году подросток Рэй Курцвейл заставил компьютер сочинять музыку и встретился с Линдоном Джонсоном» (That Time in 1965 When a Teen Ray Kurzweil Made a Computer Compose Music and Met LBJ), CDM, 3 марта 2020 года, https://cdm.link/2020/03/ray-kurzweil-ai-music-1965/; «Рэймонд Курцвейл» (Raymond Kurzweil), Lemelson-MIT, дата обращения 31 августа 2024 года, https://lemelson.mit.edu/resources/raymond-kurzweil; интервью с Рэем Курцвейлом, проведенное Дагом Спайсером для Музея компьютерной истории (Computer History Museum), 13 июля 2009 года, Маунтин-Вью, Калифорния, CHM Reference number X5461.2010, https://archive.computerhistory.org/resources/access/text/2013/05/102702108-05-01-acc.pdf.

4 «Фредрик Курцвейл, музыкальный педагог, 57 лет» (Fredric Kurzweil, Music Educator, 57), New York Times, 13 августа 1970 года, https://timesmachine.nytimes.com/timesmachine/1970/08/13/90616871.html.

5 Кушнер, «Когда люди и машины сливаются воедино» (When Humans and Machines Merge).

6 Рэй Курцвейл, The Age of Intelligent Machines (Cambridge, MA: MIT Press, 1990), 133.

7 AP, «Гейтс: готовьтесь к имплантации чипов» (Gates: Get Ready for Chip Implants), CNN, 5 июля 2005 года, архивировано 8 июля 2005 года на Wayback Machine, https://web.archive.org/web/20050708012222/http://edition.cnn.com/2005/TECH/07/04/gates.implants.ap/.

8 Рэй Курцвейл, How My Predictions Are Faring, октябрь 2010 года, www.thekurzweillibrary.com/images/How-My-Predictions-Are-Faring.pdf. Независимые оценки см. в: Алекс Кнапп, «Прогнозы Рэя Курцвейла на 2009 год оказались по большей части неточными» (Ray Kurzweil’s Predictions for 2009 Were Mostly Inaccurate), Forbes, 2 июня 2013 года, www.forbes.com/sites/alexknapp/2012/03/20/ray-kurzweils-predictions-for-2009-were-mostly-inaccurate/; Дэниел Лайонс, «Я, робот» (I, Robot), Newsweek, 16 мая 2009 года, архивировано 13 апреля 2010 года на Wayback Machine, https://web.archive.org/web/20100413081045/http://www.newsweek.com/id/197812; Дэн Луу, «Методы прогнозирования футуристов и их точность» (Futurist Prediction Methods and Accuracy), сентябрь 2022 года, https://danluu.com/futurist-predictions/.

9 Эта конкретная цитата взята из интервью Курцвейла на фестивале South by Southwest 2024 года: Рэй Курцвейл, «Тематическая сессия: Сингулярность еще ближе» (Featured Session: The Singularity Is Nearer) (South by Southwest, Остин, Техас, 10 марта 2024 года), https://schedule.sxsw.com/2024/events/PP1143806. Он также высказывал те же или практически аналогичные утверждения как минимум с 2002 года, когда заключил пари с Митчем Капором: Митч Капор и Рэймонд Курцвейл, «К 2029 году ни один компьютер — или „машинный интеллект“ — не пройдет тест Тьюринга» (By 2029 No Computer—or ‘Machine Intelligence’—Will Have Passed the Turing Test), Long Bets, дата обращения 13 июня 2024 года, https://longbets.org/1/. То же самое он утверждал и в 2005 году: Рэй Курцвейл, The Singularity Is Near: When Humans Transcend Biology (New York: Viking, 2005). И в 2017 году в этом интервью: Кристианна Риди, «Курцвейл утверждает, что сингулярность наступит к 2045 году» (Kurzweil Claims That the Singularity Will Happen by 2045), Futurism, 16 октября 2017 года, https://futurism.com/kurzweil-claims-that-the-singularity-will-happen-by-2045.

10 Конкретная цитата взята из статьи: Reedy, “Kurzweil Claims”. Однако он делает то же самое утверждение относительно сроков наступления сингулярности в: Kurzweil, Singularity Is Near, а также в: Kurzweil, “Featured Session”.

11 Kurzweil, Singularity Is Near, 12.

12 Кушнер, «Когда люди и машины сливаются воедино» (When Humans and Machines Merge).

13 Reedy, “Kurzweil Claims.”

14 Kurzweil, Singularity Is Near, 9.

15 Кушнер, «Когда люди и машины сливаются воедино» (When Humans and Machines Merge).

16 Kurzweil, “Featured Session.”

17 Кушнер, «Когда люди и машины сливаются воедино» (When Humans and Machines Merge).

18 Гордон Э. Мур, «Размещение большего количества компонентов на интегральных схемах» (Cramming More Components onto Integrated Circuits), Electronics 38, № 8 (19 апреля 1965 года), www.computerhistory.org/collections/catalog/102770822; Рэйчел Кортленд, «Гордон Мур: человек, чье имя означает прогресс» (Gordon Moore: The Man Whose Name Means Progress), IEEE Spectrum, 30 марта 2015 года, https://spectrum.ieee.org/gordon-moore-the-man-whose-name-means-progress; Майкл Канеллос, «Закон Мура проработает еще одно десятилетие» (Moore’s Law to Roll on for Another Decade), CNET News, 10 февраля 2003 года, архивировано 19 июля 2011 года на Wayback Machine, https://web.archive.org/web/20110719150309/http://news.cnet.com/2100-1001-984051.html.

19 Kurzweil, Singularity Is Near, 40.

20 Там же, 12.

21 Там же, 47.

22 Там же, 18–19.

23 Там же, 47.

24 Там же, 260.

25 Там же, 145.

26 Там же, 28.

27 Там же, 20, 24.

28 Там же, 375.

29 И. Дж. Гуд, ред., The Scientist Speculates: An Anthology of Partly-Baked Ideas (New York: Basic Books, 1962), 1. Выделение «pbi» взято из идентичной цитаты на задней стороне суперобложки.

30 Там же, на заднем клапане суперобложки в разделе «О редакторе» (About the Editor).

31 Одно из эссе в этом томе, написанное известным физиком Юджином Вигнером, было первой опубликованной статьей, в которой обсуждался квантовый мысленный эксперимент, ставший известным как «друг Вигнера».

32 Хью Себаг-Монтефиоре, Enigma: The Battle for the Code (Hoboken, NJ: John Wiley & Sons, 2000), 192.

33 И. Дж. Гуд, «Рецензия на книгу Д. Р. Хартри Calculating Instruments and Machines» (Review: Calculating Instruments and Machines by D. R. Hartree), Journal of the Royal Statistical Society 114, № 1 (1951): 106–107, www.jstor.org/stable/2980914.

34 Good, Scientist Speculates, 194–195.

35 И. Дж. Гуд, «Размышления о первой сверхумной машине» (Speculations Concerning the First Ultraintelligent Machine), в Advances in Computers, vol. 6, eds. Franz L. Alt and Morris Rubinoff (New York: Academic Press, 1965) (курсив автора).

36 С. Улам, «Джон фон Нейман, 1903–1957» (John von Neumann, 1903–1957), Bulletin of the American Mathematical Society 64, № 3, часть 2 (май 1958 года), www.ams.org/journals/bull/1958-64-03/S0002-9904-1958-10189-5/S0002-9904-1958-10189-5.pdf.

37 Впервые он написал об идее Сингулярности в небольшой колонке мнений в журнале Omni тремя годами ранее: Вернор Виндж, «Вводное слово» (First Word), Omni, январь 1983 года.

38 Вернор Виндж, Marooned in Realtime (New York: Baen Books, 1986), 313.

39 Вернор Виндж, «Грядущая технологическая сингулярность: как выжить в постчеловеческую эпоху» (The Coming Technological Singularity: How to Survive in the Post-Human Era) (доклад, представленный на конференции Vision 21: Interdisciplinary Science and Engineering in the Era of Cyberspace, Исследовательский центр НАСА им. Льюиса, Кливленд, Огайо, 30–31 марта 1993 года), https://edoras.sdsu.edu/~vinge/misc/singularity.html.

40 Джеймс Баррат, «Последнее изобретение человечества: Искусственный интеллект и конец эры Homo Sapiens» (Our Final Invention: Artificial Intelligence and the End of the Human Era) (New York: Thomas Dunne, 2013), 121.

41 Эд Реджис, «Знакомьтесь с экстропийцами» (Meet the Extropians), Wired, 1 октября 1994 года, www.wired.com/1994/10/extropians/.

42 Ник Бостром, «История трансгуманистической мысли» (A History of Transhumanist Thought), Journal of Evolution and Technology 14, № 1 (апрель 2005 года), https://jetpress.org/volume14/bostrom.pdf; Extropy: Vaccine for Future Shock, № 1 (осень 1988 года), 2, https://github.com/Extropians/Extropy/blob/master/Extropy-01.pdf. См. также H+Pedia, ст. «Extropy Magazines», последнее обновление 30 ноября 2023 года, 01:06, https://hpluspedia.org/wiki/Extropy_Magazines.

43 Extropy, № 1, 3.

44 Бостром, «История трансгуманистической мысли» (History of Transhumanist Thought).

45 Там же.

46 Вечеринки: Реджис, «Знакомьтесь с экстропийцами» (Meet the Extropians); Джим Макклеллан, «Люди завтрашнего дня» (The Tomorrow People), UK Observer, 26 марта 1995 года, https://mason.gmu.edu/~rhanson/press/UKObserver-3-26-95.htm; Джон Эванс, «Дети Экстропии, глава 1» (Extropia’s Children, Chapter 1), блог Gradient Ascendant, 17 октября 2022 года, https://aiascendant.substack.com/p/extropias-children-chapter-1-the-wunderkind. Конференции и студенческая организация Массачусетского технологического института (MIT): Дэвид Торстад, «Принадлежность (Часть 1: То самое письмо Бострома)» (Belonging (Part 1: That Bostrom Email)), блог Reflective Altruism, 12 января 2023 года, https://reflectivealtruism.com/2023/01/12/off-series-that-bostrom-email/.

47 Эд Реджис, «Великий цыпленок Мамбо и трансгуманистическое состояние» (Great Mambo Chicken and the Transhuman Condition) (New York: Basic Books, 1990); и, например, Реджис, «Знакомьтесь с экстропийцами» (Meet the Extropians).

48 Эванс, «Дети Экстропии» (Extropia’s Children); Меган О’Гиблин, «Бог в машине: мое странное путешествие в трансгуманизм» (God in the Machine: My Strange Journey into Transhumanism), The Guardian, 18 апреля 2017 года, www.theguardian.com/technology/2017/apr/18/god-in-the-machine-my-strange-journey-into-transhumanism; Бен Герцель, «Кредо экстропийцев» (The Extropian Creed), сентябрь 2000 года, дата обращения 13 июня 2024 года, www.goertzel.org/benzine/extropians.htm.

49 Рэй Курцвейл, «Сингулярность уже близко» (The Singularity Is Near), 369.

50 Виндж, «Грядущая технологическая сингулярность» (Coming Technological Singularity) (многоточие в оригинале).

51 Кен Маклеод, предисловие к роману Чарльза Стросса «Архивы Атросити» (The Atrocity Archives) (New York: Ace Books, 2009), xix.

52 Джо Уолтон, «Что делает эту книгу такой замечательной: перечитывая классику научной фантастики и фэнтези» (What Makes This Book So Great: Re-reading the Classics of Science Fiction and Fantasy) (New York: Tor Books, 2014), 26 (выделение в оригинале).

53 Джошуа Томас Ролерсон, «Сингулярности: технокультура, трансгуманизм и научная фантастика в XXI веке» (Singularities: Technoculture, Transhumanism, and Science Fiction in the 21st Century) (докторская диссертация, Университет Айовы, весна 2010 года), https://doi.org/10.17077/etd.w52umc47. См. также Брукс Лэндон, «Свет в конце тоннеля: множественность Сингулярности» (That Light at the End of the Tunnel: The Plurality of Singularity), Science Fiction Studies 29, № 1 (март 2012 года), www.jstor.org/stable/10.5621/sciefictstud.39.1.0002.

54 Гуд, конечно, знал это. В его работе 1965 года процитированный выше фрагмент продолжается следующим образом: «Странно, что эта мысль так редко высказывается за пределами научной фантастики. Иногда стоит относиться к научной фантастике серьезно». Гуд, «Размышления относительно...» (Speculations Concerning).

55 Исаак Азимов, «Я, робот» (I, Robot) (New York: Bantam Doubleday, 1950), 246.

56 Джон В. Кэмпбелл-младший, «Последняя эволюция» (The Last Evolution), Amazing Stories, август 1932 года, www.gutenberg.org/files/27462/27462-h/27462-h.htm.

57 Азимов, «Я, робот» (I, Robot), страница копирайта. Посвящение Кэмпбеллу находится вверху страницы.

58 Азимов, «Я, робот» (I, Robot), 271 (выделение автора).

59 Рэй Курцвейл, «Сингулярность уже близко» (The Singularity Is Near), 14.

60 NASA, «Исследовательский центр НАСА им. Эймса становится домом для недавно созданного Университета Сингулярности» (NASA Ames Becomes Home to Newly Launched Singularity University), пресс-релиз, 3 февраля 2009 года, www.nasa.gov/news-release/nasa-ames-becomes-home-to-newly-launched-singularity-university/; Исследовательский центр Nokia, «Nokia поддерживает Университет Сингулярности в качестве пятого корпоративного учредителя» (Nokia Supports Singularity University as Fifth Corporate Founder), пресс-релиз, архивировано 27 января 2013 года в Wayback Machine, https://web.archive.org/web/20130127224419/http://research.nokia.com/news/11357.

61 Дэвид Дж. Хилл, «Эксклюзивное интервью: Рэй Курцвейл рассказывает о своих первых двух месяцах в Google» (Exclusive Interview: Ray Kurzweil Discusses His First Two Months at Google), Singularity Hub, 19 марта 2013 года, https://singularityhub.com/2013/03/19/exclusive-interview-ray-kurzweil-discusses-his-first-two-months-at-google/.

62 Джарон Ланье, «Первая церковь робототехники» (The First Church of Robotics), New York Times, 9 августа 2010 года, www.nytimes.com/2010/08/09/opinion/09lanier.html.

63 «Сингулярность еще ближе: когда мы сольемся с ИИ» (The Singularity Is Nearer: When We Merge with AI), Amazon, дата обращения 13 июня 2024 года, www.amazon.com/Singularity-Nearer-Ray-Kurzweil-ebook/dp/B08Y6FYJVY.

64 Дилан Мэттьюс, «Этот оксфордский профессор считает, что искусственный интеллект уничтожит нас всех» (This Oxford Professor Thinks Artificial Intelligence Will Destroy Us All), Vox, 19 августа 2014 года, www.vox.com/2014/8/19/6031367/oxford-nick-bostrom-artificial-intelligence-superintelligence.

65 Дэвид Дж. Чалмерс, «Сингулярность: философский анализ» (The Singularity: A Philosophical Analysis), Journal of Consciousness Studies 17 (2010): 3.

66 Чалмерс, интервью с автором.

67 Чак Клостерман, «Но что, если мы ошибаемся?» (But What If We’re Wrong?) (New York: Penguin, 2016), 156.

68 Эрин Блейкмор, «Думаете, обслуживание клиентов плохое сейчас? Прочитайте эту жалобу 4000-летней давности» (Think Customer Service Is Bad Now? Read This 4,000-Year-Old Complaint Letter), National Geographic, 31 мая 2024 года, www.nationalgeographic.com/history/article/ea-nasir-copper-merchant-ur; «Heofonum || dado» (@Heofonum), Twitter (ныне X), 30 августа 2021 года, https://twitter.com/Heofonum/status/1432446141329772556.

69 Лю, интервью с автором.

70 Тсу-Джей Кинг Лю, личная переписка, 4 марта 2024 года (выделение мое).

71 Там же.

72 Манек Дубаш, «Закон Мура мертв, утверждает Гордон Мур» (Moore’s Law Is Dead, Says Gordon Moore), Computer World, 13 апреля 2010 года, архив от 13 июня 2020 года на Wayback Machine, https://web.archive.org/web/20200613232824/https://www.computerworld.com/article/3554889/moore-s-law-is-dead-says-gordon-moore.html.

73 Интервью с Лю.

74 Николас Блум и др., «Становится ли труднее находить новые идеи?» (Are Ideas Getting Harder to Find?), American Economic Review 110, № 4 (2020): 1104–1044, https://doi.org/10.1257/aer.20180338 (выделение авторов статьи). Найдено благодаря работе Дэвида Торстада «Против гипотезы сингулярности» (Against the Singularity Hypothesis) (рабочий документ GPI № 19-2022, Институт глобальных приоритетов, 2022), https://globalprioritiesinstitute.org/against-the-singularity-hypothesis-david-thorstad/, и последующим интервью с Торстадом.

75 Курцвейл, «Сингулярность уже близко» (The Singularity Is Near), 8. Стоит отметить, что здесь и в некоторых других местах книги Курцвейл рассуждает об экспоненциальных кривых так, словно у них есть точка перегиба — например, на с. 10 он упоминает «колено кривой» (knee of the curve). Это не так. Если приблизить экспоненциальную кривую, окажется, что на любом участке она выглядит одинаково; темп роста остается постоянным. Вот почему экспоненциальные кривые превращаются в прямые линии на логарифмических графиках, которые так любит Курцвейл. Это странная ошибка со стороны Курцвейла, и трудно представить, что он сам не понимает ошибочности этого утверждения.

76 Здесь есть одно возможное исключение — экспоненциальное расширение Вселенной под воздействием темной энергии, как это, судя по всему, происходит в нашем случае. (Существует также связанное с этим космологическое явление «вечной инфляции»). Но даже экспоненциальное расширение нашей Вселенной может однажды прекратиться из-за распада вакуума. Как бы то ни было, экспоненциальное расширение Вселенной — это на самом деле плохая новость для программы Курцвейла. Подробнее об этом см. в главе 4.

77 Хайнц фон Фёрстер, Патрисия М. Мора и Лоуренс В. Амиот, «Конец света: пятница, 13 ноября 2026 года нашей эры» (Doomsday: Friday, 13 November, A.D. 2026), Science 132 (1960): 1291–1295, https://doi.org/10.1126/science.132.3436.1291.

78 Курцвейл, «Сингулярность уже близко» (The Singularity Is Near), 44.

79 Там же, 66–67.

80 Там же, 42–43.

81 Блум и др., «Становится ли труднее находить новые идеи» (Are Ideas Getting Harder).

82 Дэвид Ротман, «Мы не готовы к концу закона Мура» (We’re Not Prepared for the End of Moore’s Law), MIT Technology Review, 24 февраля 2020 года, www.technologyreview.com/2020/02/24/905789/were-not-prepared-for-the-end-of-moores-law/.

83 Торстад, интервью с автором, 26 апреля 2023 года.

84 Нил К. Томпсон, Шунинг Ге и Габриэль Ф. Мансо, «Важность (экспоненциально большего объема) вычислительной мощности» (The Importance of (Exponentially More) Computing Power), arXiv:2206.14007 (2022), https://doi.org/10.48550/arXiv.2206.14007, цит. по Торстад, «Против гипотезы сингулярности» (Against the Singularity Hypothesis).

85 Косма Шализи, «g — статистический миф» (g, a Statistical Myth), блог Three-Toed Sloth, 18 октября 2007 года, http://bactra.org/weblog/523.html.

86 Следуя за Чалмерсом в его статье о Сингулярности, мы могли бы взамен говорить о «взрыве способностей», при котором способность компьютера выполнять четко определенную задачу (имеющую ясную метрику) возрастает экспоненциально. Под этой способностью, вероятно, должно пониматься проектирование компьютера с еще большими способностями (или нечто тесно с этим связанное), иначе вообще непонятно, почему должен произойти взрыв. И все же подобная способность кажется довольно узким фундаментом для обоснования сингулярности, поскольку здесь присутствует явный порочный круг. Хотя, как отмечает Чалмерс, способность проектировать компьютеры, вероятно, связана с другими представляющими интерес способностями — например, с математическими, — вовсе не очевидно, что экспоненциальный рост способности компьютера, скажем, заниматься математикой приведет к фундаментальному сдвигу в мировом технологическом прогрессе. И все это при условии, что подобный экспоненциальный рост вообще возможен. Учитывая другие потенциальные препятствия на этом пути (конец закона Мура, нелинейную зависимость между интеллектом и вычислительной мощностью, возможную непригодность компьютеров в качестве машин для симуляции человеческого мозга и так далее), аргументы в пользу обычного взрыва способностей в нескольких узких областях по-прежнему выглядят весьма шаткими.

87 Курцвейл, Singularity Is Near, 143.

88 Там же, 125, 126–127.

89 Там же, 70.

90 Там же, 144.

91 Там же, 158, 197.

92 Курцвейл, «Featured Session».

93 Курцвейл, Singularity Is Near, 124–125.

94 Дейзи Юхас и Феррис Джабр, «Знай свои нейроны: каково соотношение глии и нейронов в мозге?» (Know Your Neurons: What Is the Ratio of Glia to Neurons in the Brain?), Scientific American, 13 июня 2012 года, www.scientificamerican.com/blog/brainwaves/know-your-neurons-what-is-the-ratio-of-glia-to-neurons-in-the-brain/.

95 Андерс Сандберг и Ник Бостром, Whole Brain Emulation: A Roadmap, технический отчет № 2008-3 (Оксфорд: Институт будущего человечества, 2008), 80–81, www.fhi.ox.ac.uk/brain-emulation-roadmap-report.pdf. В этом же исследовании предполагается, что оценка объема памяти человеческого мозга по Курцвейлу сильно занижена.

96 Хендрикс, интервью с автором.

97 Родни Брукс, «Я, Родни Брукс, — робот» (I, Rodney Brooks, Am a Robot), IEEE Spectrum, 1 июня 2008 года, https://spectrum.ieee.org/i-rodney-brooks-am-a-robot.

98 Мэтью Кобб, The Idea of the Brain: The Past and Future of Neuroscience (New York: Basic Books, 2020), 377–379.

99 Там же, 4–5.

100 Там же, 379–380.

101 Там же, 381.

102 Там же, 375–376.

103 Подобные аргументы основаны на тезисе Чёрча — Тьюринга, хотя переход от оригинального тезиса к конкретному утверждению об ОИИ не всегда очевиден. См. Массимо Пильюччи, «Загрузка разума: философский контранализ» (Mind Uploading: A Philosophical Counter-Analysis), в книге Intelligence Unbound: The Future of Uploaded and Machine Minds, под ред. Рассела Блэкфорда и Дэмиена Бродерика (Чичестер, Великобритания: Wiley-Blackwell, 2014), 119–130; Б. Джек Коупленд, «Тезис Чёрча — Тьюринга» (The Church-Turing Thesis), Stanford Encyclopedia of Philosophy (весна 2024 года), https://plato.stanford.edu/archives/spr2024/entries/church-turing/.

104 Аналогия для разработчиков ПО: даже если бы существующие у нас компьютеры были достаточно мощными, реализация на них ИИ человеческого уровня могла бы походить на попытку написать бэкенд для сайта на Brainfuck или каком-то другом обфусцированном языке программирования — технически это возможно, поскольку он Тьюринг-полный, но это далеко не лучший подход к решению задачи.

105 Чалмерс, «The Singularity», 11.

106 Родни Брукс, «Таблица прогнозов, 1 января 2024 года» (Predictions Scorecard, 2024 January 01), блог RodneyBrooks.com, 1 января 2024 года, https://rodneybrooks.com/predictions-scorecard-2024-january-01/.

107 Курцвейл, Singularity Is Near, 29.

108 У. Патрик Маккрей, The Visioneers: How a Group of Elite Scientists Pursued Space Colonies, Nanotechnologies, and a Limitless Future (Принстон, Нью-Джерси: Princeton University Press, 2012), 77, 148–150.

109 Там же, 171.

110 Маккрей, Visioneers, 187; Дж. Сторрс Холл, Where Is My Flying Car? (Сан-Франциско: Stripe Press, 2021), 59.

111 Холл, Flying Car, 60.

112 Там же, 61, 304.

113 Там же, 64.

114 Реджис, «Знакомьтесь с экстропийцами» (Meet the Extropians).

115 Курцвейл, Singularity Is Near, 226.

116 Там же, 29.

117 Там же, 352.

118 Там же, 365.

119 Там же, 375 (и во многих других местах этой же книги).

120 Некоторые философы, например Чалмерс, даже допускали возможность того, что при определенных обстоятельствах загруженная версия вас не будет просто вашей копией — это можете быть непосредственно вы. (Чалмерс, «The Singularity»; противоположную точку зрения см. в: Пильюччи, «Mind Uploading».)

121 Курцвейл, Singularity Is Near, 21.

122 Там же, 364.

123 Там же, 342–344.

124 Интервью с Хендриксом.

125 Курцвейл, Singularity Is Near, 365.

126 Там же, 28.

127 К. Эрик Дрекслер и Ричард Смолли, «Нанотехнологии: Дрекслер и Смолли приводят аргументы за и против „молекулярных ассемблеров“» (Nanotechnology: Drexler and Smalley Make the Case for and Against ‘Molecular Assemblers’), Chemical & Engineering News 81, № 48 (2003): 37–42, https://doi.org/10.1021/cen-v081n048.p037.

128 Там же.

129 Стивен Эдвардс, The Nanotech Pioneers: Where Are They Taking Us? (Хобокен, Нью-Джерси: Wiley, 2006), 201.

130 Дрекслер и Смолли, «Nanotechnology».

131 Стоддарт, интервью с автором.

132 Там же.

133 Курцвейл, Singularity Is Near, 240.

134 Там же, 13.

135 Там же, 241.

136 Там же, 163, 341–342.

137 Курцвейл, «Featured Session».

138 Там же.

139 Кристоф Лекуйе, «Движущая сила инноваций в полупроводниках: закон Мура в Fairchild и Intel» (Driving Semiconductor Innovation: Moore’s Law at Fairchild and Intel), Enterprise & Society 23, № 1 (2022): 133–163, https://doi.org/10.1017/eso.2020.38.

140 Я позаимствовал выражение «риторика неизбежности» у историка науки Мары Беллер, которая использовала его для описания аргументов, выдвигавшихся на заре квантовой физики Нильсом Бором и другими в пользу того, что позже стало известно как копенгагенская интерпретация. Подробнее об этом см. в превосходной книге Беллер Quantum Dialogue: The Making of a Revolution (Chicago: University of Chicago Press, 1999). Менее техническое обсуждение тех же вопросов см. в моей собственной книге What Is Real? (New York: Basic Books, 2018).

141 Курцвейл, «Featured Session».

142 Дэвид Кушнер, «Как ИИ может реинкарнировать ваших умерших бабушек и дедушек — или уничтожить ваших детей» (How A.I. Could Reincarnate Your Dead Grandparents—or Wipe Out Your Kids), Rolling Stone, 4 сентября 2023 года, www.rollingstone.com/culture/culture-features/ai-bots-destroy-humanity-immortality-1234816682/.

143 Курцвейл, «Featured Session».

144 Там же.

145 Курцвейл, Singularity Is Near, 32.

ГЛАВА 3

1 Юдковский, «Pausing AI Developments».

2 Элиезер Юдковский, «Крах ОИИ: список фатальных факторов» (AGI Ruin: A List of Lethalities), LessWrong, 5 июня 2022 года, www.lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities.

3 Питер Тиль, «Конец будущего» (The End of the Future), речь на Стэндфордской конференции по академической свободе, 4–5 ноября 2022 года, видео, YouTube, 18 ноября 2022 года, www.youtube.com/watch?v=ibR_ULHYirs.

4 Сэм Альтман (@sama), Twitter (ныне X), 3 февраля 2023 года, https://twitter.com/sama/status/1621621724507938816.

5 Сэм Альтман (@sama), Twitter, архив от 18 октября 2023 года на Wayback Machine, https://web.archive.org/web/20231018095623/twitter.com/sama (строчные буквы в оригинале).

6 Элиезер Юдковский, «Для общего искусственного интеллекта нет пожарной тревоги» (There’s No Fire Alarm for Artificial General Intelligence), Научно-исследовательский институт машинного интеллекта, 13 октября 2017 года, https://intelligence.org/2017/10/13/fire-alarm/.

7 Во многих источниках, например: Лекс Фридман, «#368 — Элиезер Юдковский: опасности ИИ и конец человеческой цивилизации» (#368—Eliezer Yudkowsky: Dangers of AI and the End of Human Civilization), 30 марта 2023 года, в Lex Fridman Podcast, подкаст, https://lexfridman.com/eliezer-yudkowsky/.

8 Интервью с Юдковским.

9 Юдковский, «Приостановка разработок ИИ» (Pausing AI Developments).

10 Там же.

11 Из выступления Элиезера Юдковского «Фундаментальные трудности в выравнивании продвинутого ИИ» (Fundamental Difficulties in Aligning Advanced AI), доклад в Нью-Йоркском университете, 2017 год, видео, YouTube, 1 сентября 2017 года, www.youtube.com/watch?v=YicCAgjsky8.

12 Впервые встречается в его статье 2003 года: Ник Бостром, «Этические проблемы продвинутого искусственного интеллекта» (Ethical Issues in Advanced Artificial Intelligence), в Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence, т. 2, под ред. И. Смита и др. (Текумсе, Онтарио: Международный институт перспективных исследований в области системных исследований и кибернетики, 2003), 12–17, https://nickbostrom.com/ethics/ai.

13 Радьярд Гриффитс, «Ник Бостром: "Я не думаю, что поезд искусственного интеллекта замедлит ход"» (Nick Bostrom: “I Don’t Think the Artificial-Intelligence Train Will Slow Down”), Globe and Mail, 1 мая 2015 года, www.theglobeandmail.com/opinion/munk-debates/nick-bostrom-i-dont-think-the-artificial-intelligence-train-will-slow-down/article24222185/.

14 Ник Бостром, «Искусственный интеллект. Этапы, угрозы, стратегии» (Oxford: Oxford University Press, 2017), 77 (для цитаты), 94 (для утверждения, что более вероятен быстрый или умеренный взлет).

15 Гриффитс, «Ник Бостром» (Nick Bostrom).

16 Там же.

17 Ник Бостром, «Воля сверхинтеллекта: мотивация и инструментальная рациональность у продвинутых искусственных агентов» (The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents), Minds and Machines 22, № 2 (май 2012), https://nickbostrom.com/superintelligentwill.pdf.

18 Там же. Это «тезис об инструментальной сходимости», описанный во 2-м разделе этой работы. Юдковский поддерживает этот тезис (наряду с тезисом об ортогональности) во многих своих публикациях, например: Юдковский, «Гибель от ОИИ» (AGI Ruin).

19 Юдковский, «Гибель от ОИИ» (AGI Ruin).

20 Юдковский, «Пожарная тревога» (Fire Alarm).

21 Элиезер Юдковский, «Элиезер как личность» (Eliezer, the Person), 31 августа 2000 года, архив от 5 февраля 2001 года на Wayback Machine, https://web.archive.org/web/20010205221413/http://sysopmind.com/eliezer.html.

22 Элиезер Юдковский, «Книжная полка» (Bookshelf), 1999 год, архив от 5 февраля 2001 года на Wayback Machine, https://web.archive.org/web/20010205060700/http://sysopmind.com/bookshelf.html.

23 Вернор Виндж, «Истинные имена… и другие опасности» (New York: Baen Books, 1987), 47.

24 Юдковский, «Элиезер как личность» (Eliezer, the Person) (курсив автора).

25 Элиезер Юдковский, «Вглядываясь в Сингулярность 1.2.1» (Staring into the Singularity 1.2.1), 31 августа 2000 года, архив от 25 января 2001 года на Wayback Machine, https://web.archive.org/web/20010125023900/http://sysopmind.com/singularity.html (курсив автора).

26 Архив рассылки экстропианцев (Extropians listserv archive), 25 июля — 31 декабря 1996 года, https://extropians.weidai.com/extropians.96/.

27 Элиезер Юдковский, «Re: Arrogent [sic] Bastards», архив рассылки экстропианцев, 14 декабря 1996 года, https://extropians.weidai.com/extropians.96/4049.html.

28 Архив рассылки экстропианцев, 25 июля — 31 декабря 1996 года.

29 «Engines of Creation 2000 Confronting Singularity» (Институт предвидения, Пало-Альто, Калифорния, 19–21 мая 2000 года), архив от 28 апреля 2001 года на Wayback Machine, https://web.archive.org/web/20010428233716/https://foresight.org/SrAssoc/spring2000/.

30 «Об институте» (About the Institute), Институт сингулярности для искусственного интеллекта (Singularity Institute for Artificial Intelligence), архив от 10 декабря 2000 года на Wayback Machine, https://web.archive.org/web/20001210004500/http://singinst.org/about.html; Люк Мюльхаузер, «Риски и возможности ИИ: усилия человечества на сегодняшний день» (AI Risk and Opportunity: Humanity’s Efforts So Far), LessWrong, 21 марта 2012 года, www.lesswrong.com/posts/i4susk4W3ieR5K92u/ai-risk-and-opportunity-humanity-s-efforts-so-far; «Научно-исследовательский институт машинного интеллекта: искусственный интеллект: опасность благих намерений» (MIRI: Artificial Intelligence: The Danger of Good Intentions), Институт будущего жизни (Future of Life Institute), 12 октября 2015 года, https://futureoflife.org/ai/ai-the-danger-of-good-intentions/; интервью с Юдковским.

31 Юдковский, «Элиезер как личность» (Eliezer, the Person) (курсив автора).

32 В Twitter в феврале 2023 года Юдковский сообщил, что это произошло «примерно в конце 2000 года»: Eliezer Yudkowsky (@ESYudkowsky), Twitter (ныне X), 12 февраля 2023 года, https://twitter.com/ESYudkowsky/status/1624551127873392641. Это согласуется со сроками публикации статьи «Создание дружественного ИИ»: Элиезер Юдковский, «Создание дружественного ИИ 1.0: анализ и проектирование архитектур благожелательных целей» (Сан-Франциско: Институт сингулярности, 2001), https://intelligence.org/files/CFAI.pdf. См. также Институт будущего жизни, «Научно-исследовательский институт машинного интеллекта».

33 Деклан Маккаллах, «Сделай HAL своим приятелем» (Making HAL Your Pal), Wired, 19 апреля 2001 года, www.wired.com/2001/04/making-hal-your-pal/.

34 Элиезер С. Юдковский, «Эксперимент "ИИ в коробке"» (The AI-Box Experiment), Yudkowsky.net, 2002 год, дата обращения: 16 июня 2024 года, www.yudkowsky.net/singularity/aibox.

35 Элиезер Юдковский, «Заткнись и сделай невозможное!» (Shut Up and Do the Impossible!), LessWrong, 8 октября 2008 года, www.lesswrong.com/posts/nCvvhFBaayaXyuBiD/shut-up-and-do-the-impossible.

36 См. также «dril» (@dril), Twitter (ныне X), 9 апреля 2014 года, https://twitter.com/dril/status/454051061125640192.

37 Элиезер Юдковский, «Эксперимент "ИИ в коробке"» (The "AI Box" Experiment), архив рассылки SL4, 8 марта 2002 года, http://sl4.org/archive/0203/3132.html.

38 Юдковский, «Заткнись и сделай невозможное!».

39 Научно-исследовательский институт машинного интеллекта, Inc., форма 990-EZ за период, закончившийся в декабре 2003 года, ProPublica Nonprofit Explorer, дата обращения: 16 июня 2024 года, https://projects.propublica.org/nonprofits/display_990/582565917/2004_06_EO%2F58-2565917_990EZ_200312.

40 Джордж Пакер, «Ни смерти, ни налогов» (No Death, No Taxes), New Yorker, 20 ноября 2011 года, www.newyorker.com/magazine/2011/11/28/no-death-no-taxes.

41 Фонд Тиля (The Thiel Foundation), форма 990-PF за период, закончившийся в декабре 2006 года, ProPublica Nonprofit Explorer, дата обращения: 16 июня 2024 года, https://projects.propublica.org/nonprofits/display_990/203846597/2007_06_PF%2F20-3846597_990PF_200612; «Крупнейшие спонсоры» (Top Contributors), Научно-исследовательский институт машинного интеллекта, дата обращения: 16 июня 2024 года, https://intelligence.org/topcontributors/.

42 «Саммит Сингулярности» (Singularity Summit), Научно-исследовательский институт машинного интеллекта, дата обращения: 16 июня 2024 года, https://intelligence.org/singularitysummit/.

43 Мюльхаузер, «Риски и возможности ИИ» (AI Risk and Opportunity).

44 «О проекте» (About), Overcoming Bias, дата обращения: 16 июня 2024 года, www.overcomingbias.com/about; интервью с Юдковским.

45 Элиезер Юдковский, предисловие к «Рациональности: от ИИ до зомби» (Беркли, Калифорния: Научно-исследовательский институт машинного интеллекта, 2015), www.readthesequences.com/#preface; см. также Зак Вайнерсмит, «Байесианец» (Bayesian), Saturday Morning Breakfast Cereal, 8 ноября 2020 года, www.smbc-comics.com/comic/bayesian.

46 Или, возможно, даже длиннее. Это всего лишь объем книги «Рациональность: от ИИ до зомби», которая представляет собой сборник «Цепочек» (Sequences) Юдковского, опубликованных с 2006 по 2009 год. Существует как минимум несколько постов, которые он называл «Цепочками», лежащих за пределами этого временного интервала.

47 «Bay Area Overcoming Bias Meetup», Meetup.com, архив от 14 февраля 2009 года на Wayback Machine, https://web.archive.org/web/20090214184817/https://www.meetup.com/Bay-Area-Overcoming-Bias-Meetup/; Элиезер Юдковский, «Выбор рационалистических групп» (Selecting Rationalist Groups), LessWrong, 2 апреля 2009 года, www.lesswrong.com/posts/ZEj9ATpv3P22LSmnC/selecting-rationalist-groups.

48 Overcoming Bias, «О проекте» (About); Рубен Блум, «Краткая история LessWrong» (A Brief History of LessWrong), LessWrong, 31 мая 2019 года, www.lesswrong.com/posts/S69ogAGXcc9EQjpcZ/a-brief-history-of-lesswrong.

49 Архив аккаунта Элиезера Юдковского (@ESYudkowsky) в Twitter, архив от 22 марта 2018 года на Wayback Machine, https://web.archive.org/web/20180322173754/https://twitter.com/ESYudkowsky.

50 Роко Миджич, «Решения проблемы "бремени альтруиста": квантовый трюк миллиардера» (Solutions to the Altruist’s Burden: The Quantum Billionaire Trick), LessWrong, 23 июля 2010 года, https://basilisk.neocities.org/; RationalWiki, s.v. «Roko’s Basilisk/Original post», последнее изменение: 23 июля 2010 года, 21:03, https://rationalwiki.org/wiki/Roko%27s_basilisk/Original_post. В оригинале сохранены регистр букв и форматирование.

51 Роб Бенсингер, «Несколько заблуждений вокруг Василиска Роко» (A Few Misconceptions Surrounding Roko’s Basilisk), LessWrong, 5 октября 2015 года, www.lesswrong.com/posts/WBJZoeJypcNRmsdHx/a-few-missconceptions-surrounding-roko-s-basilisk.

52 Элиезер Юдковский, комментарий к теме «Василиск Роко» (Roko’s Basilisk), 7 августа 2014 года, r/Futurology, Reddit, www.reddit.com/r/Futurology/comments/2cm2eg/comment/cjjbqqo/.

53 Интервью с Юдковским.

54 Юдковский, HPMOR.

55 Там же, гл. 6.

56 Элиезер Юдковский, «Ученые в области ИИ выше среднего уровня» (Above-Average AI Scientists), LessWrong, 28 сентября 2008 года, www.lesswrong.com/posts/9HGR5qatMGoz4GhKj/above-average-ai-scientists (многоточие в оригинале).

57 Элиезер Юдковский, «Нормальная крионика» (Normal Cryonics), LessWrong, 19 января 2010 года, www.lesswrong.com/posts/hiDkhLyN5S2MEjrSE/normal-cryonics.

58 Элиезер Юдковский, «Заметка автора 119: Бесстыдное клянченье» (Author’s Note 119: Shameless Blegging), в HPMOR, 10 марта 2015 года, https://hpmor.com/notes/119/.

59 Элиезер Юдковский, «Заметки автора: гл. 87», в HPMOR, 21 декабря 2012 года, https://hpmor.com/notes/87/.

60 Люк Мюльхаузер, «Теперь мы "Научно-исследовательский институт машинного интеллекта" (MIRI)» (We Are Now the 'Machine Intelligence Research Institute' (MIRI)), Научно-исследовательский институт машинного интеллекта, 30 января 2013 года, https://intelligence.org/2013/01/30/we-are-now-the-machine-intelligence-research-institute-miri/.

61 Элиезер Юдковский, «Что мы понимаем под "рациональностью"?» (What Do We Mean By ‘Rationality’?), LessWrong, 16 марта 2009 года, www.lesswrong.com/posts/RcZCwxFiZzE6X7nsv/what-do-we-mean-by-rationality-1.

62 Юдковский, «Предисловие» (Preface).

63 Элиезер Юдковский, «Заметки автора, гл. 78», в HPMOR, 11 марта 2012 года, https://hpmor.com/notes/78/.

64 Анна Саламон, «Мини-лагеря по рациональности и потрясающести: 11–13 мая, 22–24 июня и 21–28 июля» (Minicamps on Rationality and Awesomeness: May 11–13, June 22–24, and July 21–28), LessWrong, 29 марта 2012 года, www.lesswrong.com/posts/fkhbBE2ZTSytvsy9x/minicamps-on-rationality-and-awesomeness-may-11-13-june-22.

65 Юдковский, «Заметки автора: гл. 87» (Author’s Notes: Ch. 87).

66 Юдковский, «Вглядываясь в Сингулярность» (Staring into the Singularity).

67 curiousepic, «Расшифровка видеосессии вопросов и ответов Элиезера в январе 2010 года» (Transcription of Eliezer’s January 2010 Video Q&A), LessWrong, 14 ноября 2011 года, www.lesswrong.com/posts/YduZEfz8usGbJXN4x/transcription-of-eliezer-s-january-2010-video-q-and-a.

68 Уилл Хеншалл, «Time100 AI: Элиезер Юдковский» (Time100 AI: Eliezer Yudkowsky), Time, 7 сентября 2023 года, https://time.com/collection/time100-ai/6309037/eliezer-yudkowsky/.

69 Тиль, «Конец будущего» (The End of the Future).

70 MIRI, «Крупнейшие спонсоры» (Top Contributors).

71 Там же; Яан Таллинн, «Список пожертвований» (List of Donations), Jaan.info, дата обращения: 1 сентября 2024 года, https://jaan.info/philanthropy/donations.html.

72 «FTX Trading Ltd.: Дело 22-11068» (FTX Trading Ltd.: Case 22-11068), запись в реестре № 13721, 2 мая 2024 года, Kroll, https://restructuring.ra.kroll.com/FTX/Home-DocketInfo.

73 Баррат, «Наше последнее изобретение» (Our Final Invention), 117.

74 Мэттью Хатсон, «Можем ли мы остановить вышедший из-под контроля ИИ?» (Can We Stop Runaway A.I.?), New Yorker, 16 мая 2023 года, www.newyorker.com/science/annals-of-artificial-intelligence/can-we-stop-the-singularity.

75 «Так называемый „крестный отец ИИ“ присоединяется к программе The Lead, чтобы выступить с грозным предупреждением об опасностях искусственного интеллекта» (The So-Called ‘Godfather of the A.I.’ Joins the Lead to Offer a Dire Warning About the Dangers of Artificial Intelligence), CNN, 2 мая 2023 года, www.cnn.com/videos/tv/2023/05/02/the-lead-geoffrey-hinton.cnn.

76 Кевин Руз, «Внутри раскаленного центра ИИ-думерства» (Inside the White-Hot Center of A.I. Doomerism), New York Times, 11 июля 2023 года, www.nytimes.com/2023/07/11/technology/anthropic-ai-claude-chatbot.html; Кристал Ху, «Google соглашается инвестировать до 2 миллиардов долларов в Anthropic, конкурента OpenAI» (Google Agrees to Invest up to $2 Billion in OpenAI Rival Anthropic), Reuters, 27 октября 2023 года, www.reuters.com/technology/google-agrees-invest-up-2-bln-openai-rival-anthropic-wsj-2023-10-27/; Девин Колдевей, «Amazon удваивает ставку на Anthropic, завершая запланированные инвестиции в размере 4 миллиардов долларов» (Amazon Doubles Down on Anthropic, Completing Its Planned $4B Investment), TechCrunch, 27 марта 2024 года, https://techcrunch.com/2024/03/27/amazon-doubles-down-on-anthropic-completing-its-planned-4b-investment/.

77 Гебру, интервью с автором.

78 Там же.

79 Ян Лекун (@ylecun), Twitter (ныне X), 23 апреля 2023 года, https://twitter.com/ylecun/status/1650249953682370569.

80 Ян Лекун (@ylecun), Twitter (ныне X), 23 апреля 2023 года, https://twitter.com/ylecun/status/1650251352021377026; Ян Лекун (@ylecun), Twitter (ныне X), 23 апреля 2023 года, https://twitter.com/ylecun/status/1650288972956946433.

81 Джереми Харрис, «Орен Этциони — аргументы против (беспокойства об) экзистенциальном риске со стороны ИИ» (Oren Etzioni—The Case Against [Worrying About] Existential Risk from AI), 16 июня 2021 года, в подкасте Towards Data Science, YouTube, www.youtube.com/watch?v=xtzxfjDDKfw.

82 Митчелл, интервью с автором.

83 Мацей Цегловский, «Суперинтеллект: идея, пожирающая умных людей» (Superintelligence: The Idea That Eats Smart People) (доклад, Web Camp Zagreb, Хорватия, 29 октября 2016 года), https://idlewords.com/talks/superintelligence.htm.

84 Это также похоже на один из аргументов, приводимых в работе Чалмерса «Сингулярность» (The Singularity), на которую отвечает Торстад в статье «Принадлежность» (Belonging).

85 Таллинн, интервью с автором.

86 Цегловский, «Суперинтеллект» (Superintelligence).

87 Там же.

88 Там же. Сразу после этого Цегловский продолжает: «Насколько нам известно, интеллект человеческого уровня может быть компромиссом. Возможно, любое существо, значительно более умное, чем человек, было бы парализовано экзистенциальным отчаянием или проводило бы все свое время в буддийском созерцании».

89 Мелани Митчелл, «Дебаты о природе общего искусственного интеллекта» (Debates on the Nature of Artificial General Intelligence), Science 383, № 6689 (21 марта 2024 года), https://doi.org/10.1126/science.ado7069.

90 Кевин Руз, «Разговор с чат-ботом Bing крайне встревожил меня» (A Conversation with Bing’s Chatbot Left Me Deeply Unsettled), New York Times, 16 февраля 2023 года, www.nytimes.com/2023/02/16/technology/bing-chatbot-microsoft-chatgpt.html.

91 Мэтт О'Брайен, «Не слишком ли агрессивен Bing? Microsoft пытается приручить чат-бота с ИИ» (Is Bing Too Belligerent? Microsoft Looks to Tame AI Chatbot), AP, 16 февраля 2023 года, https://apnews.com/article/technology-science-microsoft-corp-business-software-fb49e5d625bf37be0527e5173116bef3; Сет Лазар (@sethlazar), Twitter (ныне X), 16 февраля 2023 года, https://twitter.com/sethlazar/status/1626257535178280960.

92 К моему огромному удивлению, первое использование слова «галлюцинация» в этом широком смысле применительно к нейронным сетям, судя по всему, относится к середине 1980-х годов. См. Eric Daniel Mjolsness, «Neural Networks, Pattern Recognition, and Fingerprint Hallucination» (докторская диссертация, Калифорнийский технологический институт, 1986), http://doi.org/10.7907/M0VQ-DJ43. Спасибо Джону Венцу за то, что нашел это (и многое другое).

93 Бенджамин Вайзер и Нейт Швебер, «Адвокат, использовавший ChatGPT, объясняется» (The ChatGPT Lawyer Explains Himself), New York Times, 8 июня 2023 года, www.nytimes.com/2023/06/08/nyregion/lawyer-chatgpt-sanctions.html.

94 Тед Чан, «ChatGPT — это размытый JPEG всего интернета» (ChatGPT Is a Blurry JPEG of the Web), New Yorker, 9 февраля 2023 года, www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web.

95 Там же.

96 Илья Шумайлов и др., «Проклятие рекурсии: обучение на сгенерированных данных заставляет модели забывать» (The Curse of Recursion: Training on Generated Data Makes Models Forget), arXiv:2305.17493 (2023), https://doi.org/10.48550/arXiv.2305.17493; Росс Андерсон, «Подавятся ли модели GPT собственными выхлопными газами?» (Will GPT Models Choke on Their Own Exhaust?), Light Blue Touchpaper (блог), 6 июня 2023 года, www.lightbluetouchpaper.org/2023/06/06/will-gpt-models-choke-on-their-own-exhaust/.

97 Ник Бонихади, «Компании ИИ сталкиваются с „коллапсом моделей“. Они должны платить за его устранение» (AI Companies Face ‘Model Collapse.’ They Should Pay to Fix It), Australian Financial Review, 29 декабря 2023 года, www.afr.com/technology/ai-companies-face-model-collapse-they-should-pay-to-fix-it-20231228-p5eu0r.

98 Колин Фрейзер, «ChatGPT: автоматическая дорогая чушь в промышленных масштабах» (ChatGPT: Automatic Expensive BS at Scale), Medium, 27 января 2023 года, https://medium.com/@colin.fraser/chatgpt-automatic-expensive-bs-at-scale-a113692b13d5.

99 Джон Сибрук, «Следующее слово» (The Next Word), New Yorker, 14 октября 2019 года, www.newyorker.com/magazine/2019/10/14/can-a-machine-learn-to-write-for-the-new-yorker (выделение в оригинале).

100 Дваркеш Патель, «Илья Суцкевер (главный научный сотрудник OpenAI) — Создание AGI, выравнивание, шпионы, Microsoft и Просвещение» (Ilya Sutskever (OpenAI Chief Scientist)—Building AGI, Alignment, Spies, Microsoft, & Enlightenment), в подкасте Dwarkesh Podcast, YouTube, 27 марта 2023 года, www.youtube.com/watch?v=Yf1o0TQzry8.

101 Карен Хао и Чарли Варцель, «Внутри хаоса в OpenAI» (Inside the Chaos at OpenAI), The Atlantic, 19 ноября 2023 года, www.theatlantic.com/technology/archive/2023/11/sam-altman-open-ai-chatgpt-chaos/676050/; Кейд Метц, «Главный научный сотрудник и сооснователь OpenAI покидает компанию» (OpenAI’s Chief Scientist and Co-Founder Is Leaving the Company), New York Times, 14 мая 2024 года, www.nytimes.com/2024/05/14/technology/ilya-sutskever-leaving-openai.html.

102 Микаэль Трацци, «Итан Кабальеро о том, почему масштаб — это всё, что вам нужно» (Ethan Caballero on Why Scale Is All You Need), 5 мая 2022 года, в подкасте The Inside View, https://theinsideview.ai/ethan.

103 Фрейзер, «ChatGPT» (ChatGPT). См. также это увлекательное эмпирическое исследование, которое убедительно доказывает, что масштаб не может быть всем, что нужно: Вишаал Удандарао и др., «Нет „zero-shot“ без экспоненциальных данных: частота концептов на этапе предобучения определяет производительность мультимодальных моделей» (No ‘Zero-Shot’ Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance), arXiv:2404.04125 (2024), https://doi.org/10.48550/arXiv.2404.04125.

104 Шана Линч, «Разумен ли GPT-3? Разговор директоров с Ореном Этциони» (Is GPT-3 Intelligent? A Directors’ Conversation with Oren Etzioni), Стэндфордский университет, Центр искусственного интеллекта, ориентированного на человека, 1 октября 2020 года, https://hai.stanford.edu/news/gpt-3-intelligent-directors-conversation-oren-etzioni.

105 Уилфред Чан, «Исследовательница Мередит Уиттакер заявляет, что главный риск ИИ — это не „сознание“, а корпорации, которые его контролируют» (Researcher Meredith Whittaker Says AI’s Biggest Risk Isn’t ‘Consciousness’—It’s the Corporations That Control Them), Fast Company, 5 мая 2023 года, www.fastcompany.com/90892235/researcher-meredith-whittaker-says-ais-biggest-risk-isnt-consciousness-its-the-corporations-that-control-them.

106 Уилл Дуглас Хэвен, «Как экзистенциальный риск стал главным мемом в сфере ИИ» (How Existential Risk Became the Biggest Meme in AI), MIT Technology Review, 19 июня 2023 года, www.technologyreview.com/2023/06/19/1075140/how-existential-risk-became-biggest-meme-in-ai/.

107 Там же.

108 Чан, «Исследовательница Мередит Уиттакер» (Researcher Meredith Whittaker).

109 Джулия Энгвин и др., «Машинная предвзятость» (Machine Bias), ProPublica, 23 мая 2016 года, www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing; Джулия Энгвин и др., «Как алгоритмическая несправедливость выглядит в реальной жизни» (What Algorithmic Injustice Looks Like in Real Life), ProPublica, 25 мая 2016 года, www.propublica.org/article/what-algorithmic-injustice-looks-like-in-real-life.

110 Там же.

111 «Разнообразие в сфере высоких технологий» (Diversity in High Tech), Комиссия США по соблюдению равноправия при трудоустройстве (US Equal Employment Opportunity Commission), 18 мая 2016 года, www.eeoc.gov/special-report/diversity-high-tech; Эштон Джексон, «Чернокожие сотрудники составляют лишь 7,4% рабочей силы в сфере технологий — эти некоммерческие организации работают над тем, чтобы это изменить» (Black Employees Make Up Just 7.4% of the Tech Workforce—These Nonprofits Are Working to Change That), CNBC, 24 февраля 2022 года, www.cnbc.com/2022/02/24/jobs-for-the-future-report-highlights-need-for-tech-opportunities-for-black-talent.html.

112 Хари Джонсон, «Уход первопроходца в области этики ИИ из Google был связан с исследованием рисков и неравенства в больших языковых моделях» (AI Ethics Pioneer’s Exit from Google Involved Research into Risks and Inequality in Large Language Models), VentureBeat, 3 декабря 2020 года, https://venturebeat.com/2020/12/03/ai-ethics-pioneers-exit-from-google-involved-research-into-risks-and-inequality-in-large-language-models/; Карен Хао, «Мы прочитали статью, из-за которой Тимнит Гебру вынудили уйти из Google. Вот о чем в ней говорится» (We Read the Paper That Forced Timnit Gebru Out of Google. Here’s What It Says), MIT Technology Review, 4 декабря 2020 года, www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-research-paper-forced-out-timnit-gebru/.

113 Кристал Ху, «ChatGPT установил рекорд по скорости роста базы пользователей» (ChatGPT Sets Record for Fastest-Growing User Base), Reuters, 2 февраля 2023 года, www.reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01/.

114 Хао, «Мы прочитали статью» (We Read the Paper).

115 Джонсон, «Уход первопроходца в области этики ИИ» (AI Ethics Pioneer’s Exit); Хао, «Мы прочитали статью» (We Read the Paper).

116 Меган Роуз Дики, «Google увольняет ведущую исследовательницу этики ИИ Маргарет Митчелл» (Google Fires Top AI Ethics Researcher Margaret Mitchell), TechCrunch, 19 февраля 2021 года, https://techcrunch.com/2021/02/19/google-fires-top-ai-ethics-researcher-margaret-mitchell/; Нико Грант, Дина Басс и Джош Эйдельсон, «Google увольняет исследовательницу Мэг Митчелл, раздувая скандал вокруг ИИ» (Google Fires Researcher Meg Mitchell, Escalating AI Saga), Bloomberg, 19 февраля 2021 года, www.bloomberg.com/news/articles/2021-02-19/google-fires-researcher-meg-mitchell-escalating-ai-saga.

117 Кайл Уиггерс, «Google обучила языковую модель ИИ с триллионом параметров» (Google Trained a Trillion-Parameter AI Language Model), VentureBeat, 12 января 2021 года, https://venturebeat.com/2021/01/12/google-trained-a-trillion-parameter-ai-language-model/; Уильям Федус, Баррет Зоф и Ноам Шазир, «Switch Transformers: масштабирование до моделей с триллионом параметров с помощью простого и эффективного разрежения» (Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity), arXiv:2101.03961 (2021), https://doi.org/10.48550/arXiv.2101.03961.

118 Таддеус Л. Джонсон и Наташа Н. Джонсон, «Полицейская технология распознавания лиц не способна различать чернокожих людей» (Police Facial Recognition Technology Can’t Tell Black People Apart), Scientific American, 18 мая 2023 года, www.scientificamerican.com/article/police-facial-recognition-technology-cant-tell-black-people-apart/.

119 Друв Мехротра и др., «Как мы определили, что программное обеспечение для прогнозирования преступности непропорционально нацелено на малообеспеченные, темнокожие и латиноамериканские районы» (How We Determined Crime Prediction Software Disproportionately Targeted Low-Income, Black, and Latino Neighborhoods), The Markup, 2 декабря 2021 года, https://themarkup.org/show-your-work/2021/12/02/how-we-determined-crime-prediction-software-disproportionately-targeted-low-income-black-and-latino-neighborhoods.

120 Каве Вадделл, «Как алгоритмы могут снижать кредитный рейтинг меньшинств» (How Algorithms Can Bring Down Minorities’ Credit Scores), The Atlantic, 2 декабря 2016 года, www.theatlantic.com/technology/archive/2016/12/how-algorithms-can-bring-down-minorities-credit-scores/509333/; Уилл Дуглас Хэвен, «Предвзятость — не единственная проблема с кредитными рейтингами, и нет, ИИ здесь не поможет» (Bias Isn’t the Only Problem with Credit Scores—and No, AI Can’t Help), MIT Technology Review, 17 июня 2021 года, www.technologyreview.com/2021/06/17/1026519/racial-bias-noisy-data-credit-scores-mortgage-loans-fairness-machine-learning/.

121 CNN, «Так называемый „крестный отец ИИ“» (The So-Called ‘Godfather of the A.I.’).

122 Элиезер Юдковский (@ESYudkowsky), Twitter (ныне X), 24 октября 2022 года, https://twitter.com/ESYudkowsky/status/1584719334873894913.

123 Интервью с Юдковским.

124 Чан, «Исследовательница Мередит Уиттакер» (Researcher Meredith Whittaker).

125 Харрис, «Орен Этциони» (Oren Etzioni).

126 Франсуа Шолле (@fchollet), Twitter (ныне X), 24 августа 2022 года, https://twitter.com/fchollet/status/1562506185873702916.

127 Интервью с Гебру.

128 Цит. по: Горман Бошам, «Комплекс Франкенштейна и роботы Азимова» (The Frankenstein Complex and Asimov’s Robots), Mosaic 13, no. 3/4 (1980): 83–94, www.jstor.org/stable/24780264.

129 Рассказ о сбежавшем роботе — «Как потерялся робот» (Little Lost Robot), впервые опубликованный в 1947 году и позже вошедший в сборник Азимова «Я, робот» (I, Robot); рассказ о видящем сны роботе — «Сны роботов» (Robot Dreams), впервые опубликованный в 1986 году.

130 Дэвид Голумбия, «Великий белый бог-робот» (The Great White Robot God), Medium, 21 января 2019 года, https://davidgolumbia.medium.com/the-great-white-robot-god-bea8e23943da.

131 Стивен Джей Гулд, «Крученый мяч» (Curveball), New Yorker, 28 ноября 1994 года, https://chance.dartmouth.edu/course/topics/curveball.html.

132 Марк Дери, «Вторая космическая скорость: киберкультура на исходе века» (Escape Velocity: Cyberculture at the End of the Century) (New York: Grove Press, 1996), 307.

133 Андерс Хоув, «Экстропийцы берут пример с фанатиков» (Extropians Take Their Cue from Bigotry), The Tech, 20 августа 1997 года, архивировано 1 марта 2023 года в Wayback Machine, https://web.archive.org/web/20230301090204/http://tech.mit.edu/V117/N30/anders.30c.html (цит. по Thorstad, “Belonging”); Анна Диркс, «Экстропийцы из Массачусетского технологического института злят многих» (MIT Extropians Anger Many), MIT Observer, 3 сентября 1997 года, https://web.mit.edu/observer/www/1-1/articles/ad1.html.

134 Майк Лорри, «Re: Являются ли экстропийцы либертарианцами? (В ответ на RE: Учитесь стрелять)» (Re: Are Extropians Libertarian? (Was RE: Learn to Shoot)), архив рассылки Extropians, 29 октября 2000 года, https://diyhpl.us/~bryan/irc/extropians/extracted-extropians-archive/archive/0010/70932.html (цит. по Thorstad, “Belonging”).

135 Гертцель, «Символ веры экстропийцев» (Extropian Creed).

136 Джон К. Кларк, «Экстропийские принципы» (The Extropian Principles), архив рассылки Extropians, 29 июля 1996 года, www.lucifer.com/exi-lists/extropians.96/0064.html.

137 Ник Бостром, «Re: Оскорбляя умы людей» (Re: Offending People’s Minds), архив рассылки Extropians, 24 августа 1996 года, www.lucifer.com/exi-lists/extropians.96/0441.html (расистское оскорбление не отредактировано в оригинале).

138 Ник Бостром, «Извинение за старое электронное письмо» (Apology for an Old Email), 9 января 2023 года, https://nickbostrom.com/oldemail.pdf.

139 Деб Раджи (@rajiinio), Twitter (ныне X), 11 января 2023 года, https://twitter.com/rajiinio/status/1613341900043612160.

140 Бостром, «Re: Оскорбляя умы людей» (Re: Offending People’s Minds).

141 Торстад, «Принадлежность» (Belonging) (выделение в оригинале).

142 Менциус [Кёртис Ярвин], комментарий к статье Уилла Уилкинсона «Националистический моральный шовинизм» (Nationalist Moral Chauvinism), WillWilkinson.net, 11 февраля 2008 года, архивировано 12 августа 2013 года в Wayback Machine, https://web.archive.org/web/20130812042830/http://willwilkinson.net/flybottle/2008/02/09/nationalist-moral-chauvinism/. NB: Генетическое превосходство ума евреев-ашкеназов — догмат веры для сторонников современных форм «научного» расизма вроде «человеческого биоразнообразия». Как еврей-ашкеназ, я могу заявить, что это определенно ложь.

143 Робин Хансон, «Ответ Молдбагу» (Reply to Moldbug), Overcoming Bias, 22 мая 2009 года, www.overcomingbias.com/p/reply-to-moldbughtml; Скотт Александер [Скотт Сискинд], «Антиреакционный FAQ» (The Anti-Reactionary FAQ), Slate Star Codex (блог), 20 октября 2013 года, https://slatestarcodex.com/2013/10/20/the-anti-reactionary-faq/.

144 Элиезер Юдковский (Optimize Literally Everything), «Это не сработает, но для протокола...» (This isn’t going to work, but for the record…), Tumblr, 8 апреля 2016 года, https://yudkowsky.tumblr.com/post/142497361345/this-isnt-going-to-work-but-for-the-record-and.

145 Менциус Молдбаг [Кёртис Ярвин], «Монархия божественного права для современного светского интеллектуала» (Divine-Right Monarchy for the Modern Secular Intellectual), Unqualified Reservations (блог), 19 марта 2010 года, www.unqualified-reservations.org/2010/03/divine-right-monarchy-for-modern/.

146 Менциус Молдбаг [Кёртис Ярвин], «Почему я не белый националист» (Why I Am Not a White Nationalist), Unqualified Reservations (блог), 22 ноября 2007 года, www.unqualified-reservations.org/2007/11/why-i-am-not-white-nationalist/.

147 Менциус Молдбаг [Кёртис Ярвин], «Чарльз Стросс открывает Собор» (Charles Stross Discovers the Cathedral), Unqualified Reservations (блог), 8 февраля 2013 года, www.unqualified-reservations.org/2013/02/charles-stross-discovers-cathedral/.

148 Питер Тиль, «Образование либертарианца» (The Education of a Libertarian), Cato Unbound, 13 апреля 2009 года, www.cato-unbound.org/2009/04/13/peter-thiel/education-libertarian/.

149 Питер Тиль, «Ваше избирательное право вне опасности. Ваши другие права — под угрозой» (Your Suffrage Isn’t in Danger. Your Other Rights Are), Cato Unbound, 1 мая 2009 года, www.cato-unbound.org/2009/05/01/peter-thiel/suffrage-isnt-danger-other-rights-are/.

150 Бартон Геллман, «Питер Тиль берет перерыв в демократии» (Peter Thiel Is Taking a Break from Democracy), The Atlantic, 9 ноября 2023 года, www.theatlantic.com/politics/archive/2023/11/peter-thiel-2024-election-politics-investing-life-views/675946/.

151 Колин Лечер, «Любимец альт-правых Менциус Молдбаг хотел уничтожить демократию. Теперь он хочет продавать вам веб-сервисы» (Alt-right Darling Mencius Moldbug Wanted to Destroy Democracy. Now He Wants to Sell You Web Services), The Verge, 21 февраля 2017 года, www.theverge.com/2017/2/21/14671978/alt-right-mencius-moldbug-urbit-curtis-yarvin-tlon; Джозеф Бернштейн, «Вот как Breitbart и Майло протащили белый национализм в мейнстрим» (Here’s How Breitbart and Milo Smuggled White Nationalism into the Mainstream), BuzzFeed News, 5 октября 2017 года, www.buzzfeednews.com/article/josephbernstein/heres-how-breitbart-and-milo-smuggled-white-nationalism; Кори Пейн, «Дышащие ртом Макиавелли мечтают о Кремниевом Рейхе» (Mouthbreathing Machiavellis Dream of a Silicon Reich), The Baffler, 19 мая 2014 года, https://thebaffler.com/latest/mouthbreathing-machiavellis.

152 Бернштейн, «Вот как Breitbart» (Here’s How Breitbart).

153 Джеймс Поуг, «Внутри „новых правых“, на которых Питер Тиль делает свои самые крупные ставки» (Inside the New Right, Where Peter Thiel Is Placing His Biggest Bets), Vanity Fair, 20 апреля 2022 года, www.vanityfair.com/news/2022/04/inside-the-new-right-where-peter-thiel-is-placing-his-biggest-bets; Эндрю Прокоп, «Кёртис Ярвин хочет свержения американской демократии. У него есть видные поклонники-республиканцы» (Curtis Yarvin Wants American Democracy Toppled. He Has Some Prominent Republican Fans), Vox, 24 октября 2022 года, www.vox.com/policy-and-politics/23373795/curtis-yarvin-neoreaction-redpill-moldbug.

154 Саини, интервью с автором.

155 «Между расами нет абсолютно никаких биологических различий. Нет никаких генетических подтверждений того, что разные человеческие расы отличаются друг от друга сколько-нибудь значимым образом», — говорит Дэниел Джордан, директор отдела вычислительной геномики в Центре анализа геномных данных Маунт-Синай. Современные люди существуют всего около ста тысяч лет, что с эволюционной точки зрения совсем недолго. Все мы произошли от небольшой популяции, зародившейся в Африке. Эта популяция разделилась и расселилась по всему миру, но между соседними — а порой и отдаленными — популяциями всегда сохранялся контакт, что обеспечивало колоссальное генетическое смешение на протяжении всей истории человечества. «Вследствие относительно недавнего общего происхождения современных людей и неоднократного смешения групп аллели [различные варианты одного и того же гена], которые несут люди, живущие по всему земному шару, демонстрируют незначительные различия», — написала группа ученых в докладе Национальных академий за 2023 год о дескрипторах популяций в генетике.

Максимум, что можно узнать по этим небольшим генетическим вариациям, по словам Джордана, — это история миграции далеких предков человека за последние сто тысяч лет, и эта информация никак не связана с глубокими биологическими различиями. «Было несколько моментов, которые, казалось, могли указывать на фундаментальные биологические различия между группами континентального происхождения, но все они в итоге оказались ложными», — говорит он. — «На самом деле нет никаких надежных доказательств того, что эти группы имеют какое-либо биологическое значение, помимо общей истории миграции». Даже эти группировки довольно размыты, говорится в докладе Национальных академий, и они означают совсем не то, что мы можем подумать. «Частоты человеческих аллелей имеют тенденцию непрерывно меняться в зависимости от географического расстояния (изоляция расстоянием), при этом несколько большие различия наблюдаются при наличии долгосрочных препятствий для миграции, таких как океаны или горы. Эти географические границы не соответствуют расовым группам».

Раса — это не биологическая реальность, а социальный конструкт. «Наши социальные представления о расе и этнической принадлежности не соответствуют лежащей в их основе биологической и генетической изменчивости внутри нашего вида, и нам ни в коем случае не следует путать вещи, созданные с целью угнетения людей, с природой этой биологической и генетической изменчивости», — говорит эволюционный биолог Джозеф Грейвс. Люди чрезвычайно близки друг другу генетически, даже в сравнении с нашими ближайшими родственниками. «В одной популяции диких шимпанзе генетического разнообразия больше, чем обнаружено у всех ныне живущих людей», — пишет Грейвс. «Большая часть генетических различий у людей наблюдается между отдельными индивидами, без привязки к принадлежности к какой-либо социально сконструированной расе». Иными словами, внутри рас генетическое разнообразие больше, чем между ними.

Также нет никаких указаний на то, что генетические признаки, связываемые с социальным конструктом расы (например, оттенок кожи), имеют какую-либо биологическую связь с генетическими маркерами, ассоциирующимися с результатами тестов на IQ. Напротив, верно обратное. «Генетическая изменчивость, связанная с IQ, широко распределена по всему геному, а не сосредоточена в нескольких участках, как изменчивость, отвечающая за пигментацию кожи», — пишут генетики Юэн Бирни, Дженнифер Рафф, Адам Рутерфорд и Эйлуин Скалли. «Столь разные паттерны для этих двух признаков означают, что гены, отвечающие за пигментацию кожи, не могут быть содержательно связаны с известными на данный момент генами, ассоциирующимися с IQ... Любые очевидные межпопуляционные различия в показателях IQ гораздо проще объяснить культурными факторами и влиянием окружающей среды, нежели генетикой».

Несмотря на отсутствие доказательств, вполне понятно, почему расисты цепляются за генетику в попытках найти научное оправдание своим взглядам: у этого стремления давняя история. «Генетика человека как научная дисциплина в своей основе возникла как ответвление евгеники», — говорит Джордан. — «Многие уравнения и концепции, составляющие основу нашего понимания генетики человеческих популяций, впервые были применены к людям именно с прицелом на евгенику». Это восходит к историческим корням идеи расы как биологического понятия в девятнадцатом веке. «Возникновение расовой идеологии совпало с подъемом дарвинизма (точнее, с неверным пониманием того, как наблюдения Дарвина применимы к людям) и развитием социальных институтов, которые извлекали выгоду из биологических различий между людьми», — писал Грейвс. — «Это означало, что западноафриканское происхождение человека могло служить единственным основанием для обращения его в классическое рабство, а индейское происхождение группы само по себе давало достаточное основание для частичного истребления этого населения и захвата его земель». Раса как стройная биологическая категория — это просто ложь, сфабрикованная для достижения определенных целей. «Биологическая концепция расы у людей была создана для поддержки переселенческого колониализма и рабства и всегда была неразрывно связана с расистскими институтами, политикой и практикой», — пишут авторы доклада Национальных академий. — «Поэтому использование расы в качестве дескриптора популяции в научных исследованиях нанесло неисчислимый вред и привело к колоссальной путанице».

Литература: Ewan Birney et al., “Race, Genetics and Pseudoscience: An Explainer” («Раса, генетика и лженаука: объяснение»), Блог Юэна: биоинформатик в свободном плавании, 24 октября 2019 г., https://ewanbirney.com/2019/10/race-genetics-and-pseudoscience-an-explainer.html; Joseph L. Graves, “The Biological Case Against Race” («Биологические аргументы против расы»), American Outlook (весна 2002 г.), архив от 15 ноября 2006 года в Wayback Machine, https://web.archive.org/web/20061115040049/http://www.heartland.org/pdf/12721n.pdf; Джордан, интервью с автором; National Academies of Sciences, Engineering, and Medicine, «Использование дескрипторов популяций в генетических и геномных исследованиях: новая концепция для развивающейся области» (Washington, DC: National Academies Press, 2023), https://doi.org/10.17226/26902.

156 Scott Siskind, «Результаты опроса ACX 2024 года», Astral Codex Ten (блог), 19 апреля 2024 г., www.astralcodexten.com/p/acx-survey-results-2024.

157 Насколько мне известно, Сискинд публично не подтверждал и не опровергал подлинность опубликованного Бреннаном электронного письма.

158 Topher Brennan (@TopherTBrennan), Twitter (ныне X), 17 февраля 2021 г., архив от 17 февраля 2021 г. в Wayback Machine, https://web.archive.org/web/20210217195335/https://twitter.com/TopherTBrennan/status/1362108632070905857; скриншоты опубликованы на Imgur по адресу: https://imgur.com/a/gWeIK6c; “Aster” (@ArsonAtDennys), Twitter (ныне X), 17 февраля 2021 г., https://twitter.com/ArsonAtDennys/status/1362153191102677001; Emil O. W. Kirkegaard, «Предатель Бреннан бьет в спину Скотта Александра его же письмом 2014 года», Clear Language, Clear Mind (блог), 17 февраля 2021 г., https://emilkirkegaard.dk/en/2021/02/backstabber-brennan-knifes-scott-alexander-with-2014-email/.

159 Scott Siskind, «Как нам следует относиться к расе и "жизненному опыту"?», Astral Codex Ten (блог), 7 марта 2024 г., www.astralcodexten.com/p/how-should-we-think-about-race-and.

160 Scott Siskind, «Гальтон, Эрлих, Бак», Astral Codex Ten (блог), 15 мая 2023 г., www.astralcodexten.com/p/galton-ehrlich-buck. Scott Alexander [Scott Siskind], «Атомная бомба как проект для венгерской школьной научной выставки», Slate Star Codex (блог), 26 мая 2017 г., https://slatestarcodex.com/2017/05/26/the-atomic-bomb-considered-as-hungarian-high-school-science-fair-project/.

161 Интервью с Гебру.

162 Jacqueline Bryk (@RuffleJax), Twitter (ныне X), 19 июня 2018 г., https://twitter.com/RuffleJax/status/1009140252085243906.

163 Jessica Taylor, «Мой опыт работы в MIRI и CFAR и около них (вдохновленный описанием опыта Зои Курци в Leverage)», LessWrong, 16 октября 2021 г., www.lesswrong.com/posts/MnFqyPLqbiKL8nSR7/my-experience-at-and-around-miri-and-cfar-inspired-by-zoe; Jessica Taylor (jessicata), профиль пользователя, LessWrong, дата обращения: 17 июня 2024 г., www.lesswrong.com/users/jessica-liu-taylor?from=post_header.

164 Тейлор, «Мой опыт».

165 Qiaochu Yuan (@QiaochuYuan), «иногда так приятно включить фильм...», Thread Reader, 1 июля 2022 г., https://threadreaderapp.com/thread/1542755798169686017.

166 Интервью с Гебру.

167 Luke Darby, «Частные самолеты, вечеринки и евгеника: причудливый мир ученых Джеффри Эпштейна», The Guardian, 19 августа 2019 г., www.theguardian.com/us-news/2019/aug/18/private-jets-parties-and-eugenics-jeffrey-epsteins-bizarre-world-of-scientists.

168 Janet Maslin, «Причудливая история взлета и падения элитарного банка спермы», New York Times, 2 июня 2005 г., www.nytimes.com/2005/06/02/books/a-bizarre-tale-of-the-rise-and-fall-of-an-elitist-sperm-bank.html.

169 James B. Stewart, Matthew Goldstein, and Jessica Silver-Greenberg, «Джеффри Эпштейн надеялся заселить человечество своей ДНК», New York Times, 31 июля 2019 г., www.nytimes.com/2019/07/31/business/jeffrey-epstein-eugenics.html.

170 Peter Aldhous, «Связи Джеффри Эпштейна с учеными оказались еще более обширными, чем мы думали», BuzzFeed News, 26 августа 2019 г., www.buzzfeednews.com/article/peteraldhous/jeffrey-epstein-science-donations-apologies-statements.

171 «Хронология скандала вокруг Джеффри Эпштейна и Гилейн Максвелл», AP, 28 июня 2022 г., https://apnews.com/article/epstein-maxwell-timeline-b9f15710fabb72e8581c71e94acf513e.

172 “Wynne”, «Открытое письмо Виталику Бутерину», Medium, 14 июня 2021 г., https://fredwynne.medium.com/an-open-letter-to-vitalik-buterin-ce4681a7dbe; Ellen Huet, «Реальные последствия одержимости Кремниевой долины искусственным интеллектом», Bloomberg, 7 марта 2023 г., www.bloomberg.com/news/features/2023-03-07/effective-altruism-s-problems-go-beyond-sam-bankman-fried; Charlotte Alter, «Эффективный альтруизм обещает делать добро лучше. Эти женщины утверждают, что в нем царит токсичная культура сексуальных домогательств и насилия», Time, 3 февраля 2023 г., https://time.com/6252617/effective-altruism-sexual-harassment/; Kelsey Piper, «Почему эффективный альтруизм пасует перед сексуальными домогательствами», Vox, 15 февраля 2023 г., www.vox.com/future-perfect/2023/2/15/23601143/effective-altruism-sexual-harassment-misconduct; Shekinah Alegra, «Почему я считаю свой опыт в Монашеской академии сексуальным насилием», LessWrong, 24 мая 2022 г., www.lesswrong.com/posts/zbQapwn2hGNozcGsD/why-i-define-my-experience-at-the-monastic-academy-as-sexual.

173 Соня Джозеф (@soniajoseph_), Twitter (ныне X), 13 ноября 2022 г., https://twitter.com/soniajoseph_/status/1591601317306593280.

174 Хьюэт, «Реальные последствия».

175 Киртхана Гопалакришнан (@keerthanpg), Twitter (ныне X), 12 ноября 2022 г., https://twitter.com/keerthanpg/status/1591515891359186944.

176 Скотт Сискинд (slatestarscratchpad), «[предупреждение о деликатном контенте: сексуальные домогательства, самоубийство]...», Tumblr, 22 июня 2018 г., www.tumblr.com/slatestarscratchpad/175157697076/content-warning-sexual-harassment-suicide-i.

177 Скотт Сискинд, «Я не понимаю „культуру изнасилования“», блог Slate Star Codex, 19 апреля 2013 г., https://slatestarcodex.com/2013/04/19/i-do-not-understand-rape-culture/.

178 Райх, интервью с автором.

179 Джон Хорган, «Визионер ИИ Элиезер Юдковский о сингулярности, байесовском мозге и шкафных гоблинах», Scientific American, 1 марта 2016 г., www.scientificamerican.com/blog/cross-check/ai-visionary-eliezer-yudkowsky-on-the-singularity-bayesian-brains-and-closet-goblins/.

180 Юань (@QiaochuYuan), «иногда так приятно включить фильм...» (многоточие в оригинале).

181 Элиезер Юдковский (@ESYudkowsky), Twitter (ныне X), 6 марта 2023 г., https://twitter.com/ESYudkowsky/status/1632726781785690113; Элиезер Юдковский (@ESYudkowsky), Twitter (ныне X), 14 марта 2023 г., https://twitter.com/ESYudkowsky/status/1635577836525469697; Кевин Руз, «Почему осьминогоподобное существо стало символом состояния ИИ», New York Times, 30 мая 2023 г., www.nytimes.com/2023/05/30/technology/shoggoth-meme-ai.html; профиль «AI Notkilleveryoneism Memes» (@AISafetyMemes) в X, доступ получен 17 июня 2024 г., https://twitter.com/AISafetyMemes; Скотт Сискинд, «Симуляторы Януса», блог Astral Codex Ten, 26 января 2023 г., www.astralcodexten.com/p/janus-simulators.

182 Элиезер Юдковский, личное сообщение.

183 Фридман, «#368 — Элиезер Юдковский».

184 “curiousepic”, «Стенограмма».

185 Том Чиверс, The AI Does Not Hate You: Superintelligence, Rationality and the Race to Save the World (London: Weidenfeld & Nicolson, 2019), 227.

186 Интервью с Гебру.

ГЛАВА 4

1 Сандберг, интервью с автором.

2 Юдковский, «Нормальная крионика» (выделение автора).

3 Кейт Голембьевски, «Жизнь после смерти? Крионисты пытаются бросить вызов смертности, замораживая тела», Discover, 14 октября 2022 г., www.discovermagazine.com/technology/will-cryonically-frozen-bodies-ever-be-brought-back-to-life.

4 Интервью с Хендриксом.

5 Интервью с Сандбергом.

6 Интервью с Хендриксом.

7 Орд, интервью с автором.

8 Там же.

9 Орд об изменении климата: Дэвид Торстад, «Преувеличение рисков (Часть 2: Орд о климатическом риске)», блог Reflective Altruism, 1 декабря 2022 г., https://ineffectivealtruismblog.com/2022/12/01/exaggerating-the-risks-part-2-ord-on-climate-risk/; Орд о ядерной войне: Роберт Виблин, «Основы сопоставления глобальных проблем с точки зрения ожидаемого эффекта», 80,000 Hours, апрель 2016 г., обновлено в октябре 2019 г., https://80000hours.org/problem. Все это также содержится в книге Тоби Орда «На краю пропасти: экзистенциальный риск и будущее человечества» (New York: Hachette Books, 2020).

10 Интервью с Ордом.

11 Макаскилл, «Что мы должны», 136.

12 Там же, 137.

13 Роберт Виблин, Арден Кёлер и Киран Харрис, «Тоби Орд о книге „На краю пропасти“ и потенциальном будущем человечества», 80,000 Hours, 7 марта 2020 г., https://80000hours.org/podcast/episodes/toby-ord-the-precipice-existential-risk-future-humanity/#climate-change-005108. Прим.: на этой странице есть полный транскрипт, и цитата взята из него.

14 Эмиль П. Торрес, «В чем „лонгтермизм“ ошибается относительно изменения климата», Bulletin of the Atomic Scientists, 22 ноября 2022 г., https://thebulletin.org/2022/11/what-longtermism-gets-wrong-about-climate-change/.

15 Эндрю Уотсон, личная переписка по электронной почте, 25 января 2024 г.

16 См. Эрик Шлиссер, «О книге „Что мы должны будущему“ [Нет, не об SBF/FTX!], часть 1», блог Digressions&Impressions, 24 ноября 2022 г., https://digressionsnimpressions.typepad.com/digressionsimpressions/2022/11/on-what-we-owe-the-future-no-not-on-sbfftx.html.

17 Электронное письмо Уотсона.

18 ПЭТМ был 56 миллионов лет назад, и средняя глобальная температура составляла около 27,2–34,5 °C, то есть примерно на 13–21 °C выше доиндустриального уровня. Гордон Н. Инглис и др., «Средняя глобальная температура поверхности и климатическая чувствительность раннеэоценового климатического оптимума (EECO), палеоцен-эоценового термического максимума (ПЭТМ) и позднейшего палеоцена», Climate of the Past 16, № 5 (26 октября 2020 г.), https://cp.copernicus.org/articles/16/1953/2020/. Еще одна статья, в которой утверждается, что средняя температура во время ПЭТМ составляла около 35 °C: А. Слёйс и др., «Потепление, эвксиния и повышение уровня моря во время палеоцен-эоценового термического максимума на прибрежной равнине Мексиканского залива: последствия для насыщения океана кислородом и круговорота питательных веществ», Climate of the Past 10, № 4 (25 июля 2014 г.), https://cp.copernicus.org/articles/10/1421/2014/cp-10-1421-2014.html. Другие оценки приближают потепление к 15 °C. См. диаграмму здесь: (В тексте указано 5–8 °C, но это явно ошибка. Речь идет о повышении относительно фонового значения на тот момент, во время ПЭТМ, а не сейчас). Мишон Скотт и Ребекка Линдси, «Какой была самая высокая температура на Земле за всю историю?», Climate.gov, 22 ноября 2023 г., www.climate.gov/news-features/climate-qa/whats-hottest-earths-ever-been. Здесь потепление во время ПЭТМ также оценивается примерно в 15 °C, а также говорится, что 20 °C могло быть около пятисот миллионов лет назад: Пол Вусен, «Исследование климата Земли за 500 миллионов лет содержит грозное предупреждение для человечества», Science, 22 мая 2019 г., www.science.org/content/article/500-million-year-survey-earths-climate-reveals-dire-warning-humanity. Во время ПЭТМ не было ледяных шапок, а за полярным кругом росли пальмы и водились крокодилы: Скотт и Линдси, «Какой была самая высокая температура на Земле за всю историю?». Температура Северного Ледовитого океана во время ПЭТМ составляла 76 °F (около 24,4 °C), в канадской Высокой Арктике росли заболоченные леса, обитали гигантские черепахи и шерстокрылы: Питер Браннен, «Конец света. Заговор вулканов, убийственные океаны и великие вымирания прошлого» (New York: Ecco, 2017), 221. Температура экваториальных вод во время ПЭТМ практически соответствовала температуре человеческого тела, 36 °C; температура воды у побережья Антарктиды составляла 20 °C: Тимоти Бралоуэр и Дэвид Байс, «Древние климатические события: палеоцен-эоценовый термический максимум», в курсе «Earth 103: Earth in the Future», Университет штата Пенсильвания и НАСА, доступ получен 25 января 2024 г., www.e-education.psu.edu/earth103/node/639. Температура поверхности моря в тропиках превышала 36 °C: Йост Фрилинг и др., «Экстремальное тепло и страдающий от жары планктон в тропиках во время палеоцен-эоценового термического максимума», Science Advances 3, № 3 (3 марта 2017 г.), www.science.org/doi/10.1126/sciadv.1600891. Уровень моря во время ПЭТМ был на 50–200 метров выше современного: Аппи Слёйс и др., «Эвстатические колебания в палеоцен-эоценовом тепличном мире», Paleooceanography and Paleoclimatology 23, № 4 (19 декабря 2008 г.), https://agupubs.onlinelibrary.wiley.com/doi/full/10.1029/2008PA001615. Средняя летняя температура воздуха на суше была близка к температуре человеческого тела даже далеко за пределами тропиков: Джессика Э. Тирни и др., «Пространственные закономерности изменения климата в палеоцен-эоценовом термическом максимуме», Proceedings of the National Academy of Sciences 119, № 42 (18 октября 2022 г.), www.pnas.org/doi/10.1073/pnas.2205326119.

19 Тим Стивенс, «Высокоточная летопись климатической истории Земли позволяет взглянуть на текущие изменения в контексте», Калифорнийский университет в Санта-Крузе, пресс-релиз, 10 сентября 2020 г., https://news.ucsc.edu/2020/09/climate-variability.html.

20 Электронное письмо Уотсона.

21 Читатель, я его съел.

22 См. страницы 1 и 9 формы 990 Центра эффективного альтруизма: Centre for Effective Altruism USA Inc. (Центр эффективного альтруизма, США), декларация организации, освобожденной от уплаты подоходного налога (Form 990, 2021), доступ получен 25 января 2024 г., https://ev.org/wp-content/uploads/2023/11/FINAL-2022-Form-990-signed-CEA.pdf. Я нашел эту ссылку здесь: «EV US Annual Reports», Effective Ventures, доступ получен 25 января 2024 г., https://ev.org/evf-usa-annual-reports/ (там она указана как их форма 990 за 2022 год). Обратите внимание, что граница между Центром эффективного альтруизма (CEA) и Effective Ventures размыта: на сайте указано EV, а в форме 990 — CEA.

23 В том финансовом году со стороны Open Philanthropy Центру эффективного альтруизма (CEA) было выделено как минимум четыре крупных гранта на общую сумму около 60 миллионов долларов, что определенно составляло большую часть операционного бюджета CEA в том году: «Effective Ventures Foundation — площадка для мероприятий» (Effective Ventures Foundation—Event Venue), Open Philanthropy, декабрь 2021 г., www.openphilanthropy.org/grants/effective-ventures-foundation-uk-event-venue/. Подробнее об аббатстве см. Википедию, ст. «Аббатство Уайтхэм» (Wytham Abbey), последнее изменение от 12 мая 2024 г., 21:53, https://en.wikipedia.org/wiki/Wytham_Abbey; Wytham Abbey, www.wythamabbey.org. «Фонды эффективного альтруизма — поддержка субгрантов» (Effective Altruism Funds—Regranting Support), Open Philanthropy, февраль 2022 г., www.openphilanthropy.org/grants/effective-altruism-funds-re-granting-support/; «Центр эффективного альтруизма — общая поддержка (2022)» (Centre for Effective Altruism—General Support (2022)), Open Philanthropy, март 2022 г., www.openphilanthropy.org/grants/centre-for-effective-altruism-general-support-2022/; «Центр управления ИИ — развитие сферы ИИ» (Centre for the Governance of AI—AI Field Building), Open Philanthropy, декабрь 2021 г., www.openphilanthropy.org/grants/centre-for-the-governance-of-ai-ai-field-building/. Также было несколько более мелких грантов на общую сумму около 1,5 миллиона долларов, все они представлены здесь: «Центр эффективного альтруизма» (Centre for Effective Altruism), Grants, Open Philanthropy, доступ получен 25 января 2024 г., www.openphilanthropy.org/grants/?q=centre+for+effective+altruism; «Effective Ventures», Grants, Open Philanthropy, доступ получен 25 января 2024 г., www.openphilanthropy.org/grants/?q=effective+ventures.

24 Йерун Виллемс, «Почему CEA купил аббатство Уайтхэм?» (Why Did CEA Buy Wytham Abbey?), Effective Altruism Forum, 6 декабря 2022 г., https://forum.effectivealtruism.org/posts/xof7iFB3uh8Kc53bG/why-did-cea-buy-wytham-abbey; nikos, «Размышления об аббатстве Уайтхэм» (Reflections on Wytham Abbey), Effective Altruism Forum, 10 января 2023 г., https://forum.effectivealtruism.org/posts/76dQ6YfBuLzJDdTgz/reflections-on-wytham-abbey.

25 Руперт Нит, «Аббатство Уайтхэм выставлено на продажу за 15 млн фунтов стерлингов группой эффективного альтруизма EVF» (Wytham Abbey Put Up for Sale for £15m by Effective Altruism Group EVF), The Guardian, 12 мая 2024 г., www.theguardian.com/business/article/2024/may/12/wytham-abbey-sale-effective-altruism-group-evf.

26 Кулиш, «Как шотландский философ-моралист» (How a Scottish Moral Philosopher).

27 Лиз Хоффман, «Сэм Бэнкман-Фрид, Илон Маск и секретное сообщение» (Sam Bankman-Fried, Elon Musk, and a Secret Text), Semafor, 23 ноября 2022 г., www.semafor.com/article/11/22/2022/sam-bankman-fried-elon-and-a-secret-text. Ссылка на сами сообщения: «Приложение H» (Exhibit H), Twitter, Inc. против Илона Р. Маска и др., дело № 2022-0613-KSJM, 15 сентября 2022 г., https://s3.documentcloud.org/documents/23112929/elon-musk-text-exhibits-twitter-v-musk.pdf. Комментарии на форуме эффективного альтруизма: dyj34650, «Роль Уилла Макаскилла в установлении контакта между SBF и Илоном Маском для возможной сделки по Twitter» (Will MacAskill’s Role in Connecting SBF to Elon Musk for a Potential Twitter Deal), Effective Altruism Forum, 12 ноября 2022 г., https://forum.effectivealtruism.org/posts/dk9HTJKNAAwaEZTgk/will-macaskill-s-role-in-connecting-sbf-to-elon-musk-for-a.

28 «О нас» (About Us), CSET, доступ получен 16 июня 2024 г., https://cset.georgetown.edu/about-us/.

29 CSET, «Новое грантовое соглашение увеличивает финансирование CSET до более чем 100 миллионов долларов до конца 2025 года» (New Grant Agreement Boosts CSET Funding to More Than $100 Million Through 2025), пресс-релиз, 24 августа 2021 г., https://cset.georgetown.edu/article/new-grant-agreement-boosts-cset-funding-to-more-than-100-million-over-five-years/.

30 «Джорджтаунский университет — Центр безопасности и новейших технологий» (Georgetown University—Center for Security and Emerging Technology), Open Philanthropy, январь 2019 г., www.openphilanthropy.org/grants/georgetown-university-center-for-security-and-emerging-technology; CSET, «Новый грант» (New Grant); «Центр безопасности и новейших технологий — общая поддержка (август 2021 г.)» (Center for Security and Emerging Technology—General Support (August 2021)), Open Philanthropy, август 2021 г., www.openphilanthropy.org/grants/center-for-security-and-emerging-technology-general-support-august-2021/; «Центр безопасности и новейших технологий — общая поддержка (январь 2021 г.)» (Center for Security and Emerging Technology—General Support (January 2021)), Open Philanthropy, январь 2021 г., www.openphilanthropy.org/grants/center-for-security-and-emerging-technology-general-support/.

31 Джорджтаунский университет, «Вопросы и ответы с Джейсоном Матени, директором-основателем Центра безопасности и новейших технологий» (Q&A with Jason Matheny, Founding Director of the Center for Security and Emerging Technology), пресс-релиз, 28 февраля 2019 г., www.georgetown.edu/news/qa-with-jason-matheny-founding-director-of-the-center-for-security-and-emerging-technology/.

32 Open Philanthropy, «Джорджтаунский университет — Центр безопасности и новейших технологий» (Georgetown University—Center for Security and Emerging Technology).

33 Там же. Также: «Д-р Джейсон Матени» (Dr. Jason Matheny), Центр новой американской безопасности (Center for a New American Security), доступ получен 16 июня 2024 г., www.cnas.org/people/dr-jason-matheny; FHI, «Визит директора американского агентства IARPA Джейсона Матени» (US IARPA Director Jason Matheny Visits), пресс-релиз, 30 сентября 2016 г., www.fhi.ox.ac.uk/us-iarpa-director-jason-matheny-visit/.

34 Джейсон Дж. Матени, «Снижение риска исчезновения человечества» (Reducing the Risk of Human Extinction), Risk Analysis 27, № 5 (7 декабря 2007 г.): 1335–1344, https://doi.org/10.1111/j.1539-6924.2007.00960.x.

35 Дилан Мэттьюс, «Как эффективный альтруизм превратился из нишевого движения в силу с миллиардными ресурсами» (How Effective Altruism Went from a Niche Movement to a Billion-Dollar Force), Vox, 8 августа 2022 г., www.vox.com/future-perfect/2022/8/8/23150496/effective-altruism-sam-bankman-fried-dustin-moskovitz-billionaire-philanthropy-crytocurrency.

36 Джейсон Матени, «Эффективный альтруизм в правительстве» (Effective Altruism in Government), Effective Altruism, 3 июня 2017 г., www.effectivealtruism.org/articles/effective-altruism-in-government-jason-matheny. Названо докладом на конференции EA Global здесь: Центр эффективного альтруизма (Centre for Effective Altruism), «Джейсон Матени хотел творить добро...» (Jason Matheny wanted to do good…), Facebook, 1 октября 2018 г., www.facebook.com/CentreforEffectiveAltruism/photos/a.1897756126985429/1923921397702235/?type=3.

37 Даг Ирвинг, «„Будущее может быть блестящим“: генеральный директор RAND — „апокалоптимист“» (‘The Future Could Be Brilliant’: RAND’s CEO Is an ‘Apocaloptimist’), RAND, 4 августа 2022 г., www.rand.org/pubs/articles/2022/the-future-could-be-brilliant-rands-ceo-is-an-apocaloptimist.html.

38 Брендан Борделон, «Аналитический центр, связанный с технологическими миллиардерами, сыграл ключевую роль в указе Байдена об ИИ» (Think Tank Tied to Tech Billionaires Played Key Role in Biden’s AI Order), Politico, 16 января 2023 г., www.politico.com/news/2023/12/15/billionaire-backed-think-tank-played-key-role-in-bidens-ai-order-00132128.

39 «RAND Corporation — Инициативы в области новейших технологий» (RAND Corporation—Emerging Technology Initiatives), Open Philanthropy, октябрь 2023 г., www.openphilanthropy.org/grants/rand-corporation-emerging-technology-initiatives/; «RAND Corporation — Исследования и стипендии в области новейших технологий» (RAND Corporation—Emerging Technology Fellowships and Research), Open Philanthropy, апрель 2023 г., www.openphilanthropy.org/grants/rand-corporation-emerging-technology-fellowships-and-research/; «RAND Corporation — Политика в области биобезопасности» (RAND Corporation—Biosecurity Policy), Open Philanthropy, май 2023 г., www.openphilanthropy.org/grants/rand-corporation-biosecurity-policy/.

40 Брендан Борделон, «Как поддерживаемая миллиардерами сеть советников по ИИ захватила Вашингтон» (How a Billionaire-Backed Network of AI Advisers Took Over Washington), Politico, 13 октября 2023 г., www.politico.com/news/2023/10/13/open-philanthropy-funding-ai-policy-00121362.

41 «Кэррик Флинн» (Carrick Flynn), Институт будущего человечества (Future of Humanity Institute), архивировано 3 февраля 2024 г. в Wayback Machine, https://web.archive.org/web/20240203043647/https://www.fhi.ox.ac.uk/team/carrick-flynn/; «Кэррик Флинн» (Carrick Flynn), CSET, доступ получен 16 июня 2024 г., https://cset.georgetown.edu/staff/carrick-flynn/; Кэррик Флинн, профиль в LinkedIn, доступ получен 16 июня 2024 г., www.linkedin.com/in/carrickflynn; «Команда» (Team), Центр управления ИИ (Centre for the Governance of AI), доступ получен 16 июня 2024 г., www.governance.ai/people; «Кэррик Флинн» (Carrick Flynn), Центр управления ИИ, доступ получен 16 июня 2024 г., www.governance.ai/team/carrick-flynn; «Кэррик Флинн» (Carrick Flynn), Брукингский институт (Brookings), доступ получен 16 июня 2024 г., www.brookings.edu/people/carrick-flynn/; «Выборы в 6-м конгрессиональном округе Орегона, 2022 год» (Oregon’s 6th Congressional District Election, 2022), Ballotpedia, доступ получен 16 июня 2024 г., https://ballotpedia.org/Oregon%27s_6th_Congressional_District_election,_2022.

42 Дирк ВандерХарт, «Что нужно криптомагнату в новом избирательном округе Орегона по выборам в Конгресс?» (What Does a Crypto Tycoon Want with Oregon’s New Congressional District?), Oregon Public Broadcasting, 24 апреля 2022 г., www.opb.org/article/2022/04/25/what-does-a-crypto-tycoon-want-with-oregons-new-congressional-district/; Миранда Диксон-Луиненбург и Дилан Мэттьюс, «Кэррик Флинн может оказаться самым невероятным кандидатом 2022 года. Вот почему он баллотируется» (Carrick Flynn May Be 2022’s Unlikeliest Candidate. Here’s Why He’s Running), Vox, 14 мая 2022 г., www.vox.com/23066877/carrick-flynn-effective-altruism-sam-bankman-fried-congress-house-election-2022.

43 Каллен О’Киф и др., «Оговорка о непредвиденной прибыли: распределение выгод от ИИ» (The Windfall Clause: Distributing the Benefits of AI) (Оксфорд: FHI, 2020), www.fhi.ox.ac.uk/windfallclause/.

44 Сабрина Родригес, «Крипта проходит свое первое серьезное политическое испытание» (Crypto Gets Its First Big Political Test), Politico, 17 мая 2022 г., www.politico.com/news/2022/05/17/oregon-elections-crypto-super-pac-00032960; «Независимые расходы суперкомитета Protect Our Future PAC» (Protect Our Future PAC Independent Expenditures), Open Secrets, доступ получен 16 июня 2024 г., www.opensecrets.org/political-action-committees-pacs/protect-our-future-pac/C00801514/independent-expenditures/2022; «О политике» (About), Андреа Салинас, Палата представителей (Andrea Salinas, House of Representatives), доступ получен 16 июня 2024 г., https://salinas.house.gov/about.

45 Крис Леман, «Андреа Салинас и Кэррик Флинн становятся лидерами гонки демократов в 6-м округе Конгресса» (Andrea Salinas, Carrick Flynn Emerge as Frontrunners in Democrats’ 6th District Race for Congress), The Oregonian, 5 мая 2022 г., www.oregonlive.com/politics/2022/05/andrea-salinas-carrick-flynn-emerge-as-frontrunners-in-democrats-6th-district-race-for-congress.html; Ballotpedia, «Oregon’s 6th Congressional».

46 Габриэль Погрунд, «Что на самом деле думает о Брекзите глава кампании Vote Leave» (What the Vote Leave Chief Honestly Thinks About Brexit), New Statesman, 20 октября 2016 г., www.newstatesman.com/politics/the-staggers/2016/10/what-vote-leave-chief-honestly-thinks-about-brexit; Юэн Ричи и Иэн Митчелл, «Великобритания как эффективный альтруист» (The UK as an Effective Altruist), Центр глобального развития (Center for Global Development), 10 августа 2020 г., www.cgdev.org/publication/uk-effective-altruist; Press Association, «Миллионеры-доноры и бизнес-лидеры поддерживают кампанию Vote Leave за выход из ЕС» (Millionaire Donors and Business Leaders Back Vote Leave Campaign to Exit EU), The Guardian, 9 октября 2015 г., www.theguardian.com/politics/2015/oct/09/millionaire-donors-back-cross-party-campaign-to-leave-eu.

47 «Доминик Каммингс: главный советник премьер-министра покидает Даунинг-стрит, 10, чтобы „разрядить обстановку“» (Dominic Cummings: PM’s Top Adviser Leaves No 10 to ‘Clear the Air’), BBC, 13 ноября 2020 г., www.bbc.com/news/uk-politics-54938050; Алекс Уикхем, «Как Доминик Каммингс взял все под контроль в первые дни Бориса Джонсона на посту премьер-министра» (How Dominic Cummings Took Control in Boris Johnson’s First Days as Prime Minister), BuzzFeed News, 27 июля 2019 г., www.buzzfeed.com/alexwickham/how-dominic-cummings-took-control-in-boris-johnsons-first; Шон Моррисон, «Ключевые игроки в избирательной кампании Бориса Джонсона: от Доминика Каммингса до Айзека Левидо и Ли Кейна» (Key Players in Boris Johnson’s Election Campaign: From Dominic Cummings to Isaac Levido and Lee Cain), Standard, 13 декабря 2019 г., www.standard.co.uk/news/politics/boris-johnson-election-campaign-key-players-a4312441.html; Генри Мэнс и Джордж Паркер, «Воинственный сторонник Брекзита, взявший под контроль операцию Vote Leave» (Combative Brexiter Who Took Control of Vote Leave Operation), Financial Times, 13 июня 2016 г., www.ft.com/content/cceb7038-30cc-11e6-bda0-04585c31b153#axzz4H22r0hWH.

48 Доминик Каммингс, «„Две руки — это много“: мы нанимаем специалистов по обработке данных, менеджеров проектов, экспертов по политике, всевозможных чудаков...» (‘Two Hands Are a Lot’—We’re Hiring Data Scientists, Project Managers, Policy Experts, Assorted Weirdos…), Блог Доминика Каммингса (Dominic Cumming’s Blog), 2 января 2020 г., https://dominiccummings.com/2020/01/02/two-hands-are-a-lot-were-hiring-data-scientists-project-managers-policy-experts-assorted-weirdos/; Том Чиверс, «Сможет ли „армия ботаников“ Каммингса починить сломанную Британию?» (Could the Cummings Nerd Army Fix Broken Britain?), UnHerd, 7 января 2020 г., https://unherd.com/2020/01/could-the-cummings-nerd-army-fix-broken-britain/.

49 Питер Уокер, Дэн Саббах и Раджив Сьял, «Борис Джонсон выставляет за дверь главного советника Доминика Каммингса» (Boris Johnson Boots Out Top Adviser Dominic Cummings), The Guardian, 13 ноября 2020 г., www.theguardian.com/politics/2020/nov/13/dominic-cummings-has-already-left-job-at-no-10-reports; Обри Аллегретти, «Доминик Каммингс немедленно покидает свой пост по просьбе премьер-министра» (Dominic Cummings Leaves Role with Immediate Effect at PM’s Request), SkyNews, 14 ноября 2020 г., https://news.sky.com/story/dominic-cummings-leaves-role-with-immediate-effect-at-pms-request-12131792; Марк Лэндлер и Стивен Касл, «„Львы под предводительством ослов“: Каммингс обрушивается на правительство Джонсона» (‘Lions Led by Donkeys’: Cummings Unloads on Johnson Government), New York Times, 26 мая 2021 г., обновлено 18 июля 2021 г., www.nytimes.com/2021/05/26/world/europe/cummings-johnson-covid.html.

50 Борис Джонсон, «Прощальная речь на посту премьер-министра» (Final Speech as Prime Minister), 6 сентября 2022 г., Даунинг-стрит, Лондон, www.gov.uk/government/speeches/boris-johnsons-final-speech-as-prime-minister-6-september-2022.

51 Первая полоса The Guardian, архивировано 26 мая 2023 г. в Wayback Machine, https://web.archive.org/web/20230526150343/theguardian.com/uk.

52 Киран Стейси и Ровена Мейсон, «Риши Сунак спешит ужесточить правила для ИИ на фоне опасений экзистенциального риска» (Rishi Sunak Races to Tighten Rules for AI Amid Fears of Existential Risk), The Guardian, 26 мая 2023 г., www.theguardian.com/technology/2023/may/26/rishi-sunak-races-to-tighten-rules-for-ai-amid-fears-of-existential-risk.

53 Лори Кларк, «Как „пророки гибели“ из Кремниевой долины формируют планы Риши Сунака по ИИ» (How Silicon Valley Doomers Are Shaping Rishi Sunak’s AI plans), Politico, 14 сентября 2023 г., www.politico.eu/article/rishi-sunak-artificial-intelligence-pivot-safety-summit-united-kingdom-silicon-valley-effective-altruism/.

54 Тоби Орд (@tobyordoxford), Twitter (ныне X), 30 мая 2023 г., https://twitter.com/tobyordoxford/status/1663550874105581573.

55 Джеффри Хинтон и др., «Заявление о рисках, связанных с ИИ» (Statement on AI Risk), Center for AI Safety, 30 мая 2023 г., www.safe.ai/statement-on-ai-risk.

56 «Центр безопасности ИИ — общая поддержка (2023)» (Center for AI Safety—General Support (2023)), Open Philanthropy, апрель 2023 г., www.openphilanthropy.org/grants/center-for-ai-safety-general-support-2023/; «Центр безопасности ИИ — стипендии по философии и премии NeurIPS» (Center for AI Safety—Philosophy Fellowship and NeurIPS Prizes), Open Philanthropy, февраль 2023 г., www.openphilanthropy.org/grants/center-for-ai-safety-philosophy-fellowship/; «Центр безопасности ИИ — общая поддержка (2022)» (Center for AI Safety—General Support (2022)), Open Philanthropy, ноябрь 2022 г., www.openphilanthropy.org/grants/center-for-ai-safety-general-support/; Джонатан Рэндлс и Стивен Черч, «FTX расследует выплату в размере 6,5 миллионов долларов ведущей некоммерческой группе по безопасности ИИ» (FTX Is Probing $6.5 Million Paid to Leading Nonprofit Group on AI Safety), Bloomberg, 25 октября 2023 г., www.bloomberg.com/news/articles/2023-10-25/ftx-probing-6-5-million-paid-to-leading-ai-safety-nonprofit. См. также досье № 3369 по делу «Ftx Trading Ltd., дело № 22-11068» (Ftx Trading Ltd., Case no. 22-11068), 14 ноября 2022 г., Kroll, https://restructuring.ra.kroll.com/FTX/Home-DocketInfo.

57 Кевин Руз, «Лидеры индустрии предупреждают: ИИ несет в себе „риск уничтожения“» (A.I. Poses ‘Risk of Extinction,’ Industry Leaders Warn), New York Times, 30 мая 2023 г., www.nytimes.com/2023/05/30/technology/ai-threat-warning.html; Шейла Чианг, «ИИ несет риск уничтожения человечества наряду с ядерной войной, предупреждают Сэм Альтман и другие технологические лидеры» (A.I. Poses Human Extinction Risk on Par with Nuclear War, Sam Altman and Other Tech Leaders Warn), CNBC, 30 мая 2023 г., обновлено 31 мая 2023 г., www.cnbc.com/2023/05/31/ai-poses-human-extinction-risk-sam-altman-and-other-tech-leaders-warn.html; Мэтт О’Брайен, «Искусственный интеллект повышает риск исчезновения человечества, говорят эксперты в новом предупреждении» (Artificial Intelligence Raises Risk of Extinction, Experts Say in New Warning), AP, 30 мая 2023 г., https://apnews.com/article/artificial-intelligence-risk-of-extinction-ai-54ea8aadc60d1503e5a65878219aad43; Макс Зан, «Лидеры ИИ предупреждают, что технология представляет „риск уничтожения“, подобно пандемиям и ядерной войне» (AI Leaders Warn the Technology Poses ‘Risk of Extinction’ Like Pandemics and Nuclear War), ABC News, 30 мая 2023 г., https://abcnews.go.com/Technology/ai-leaders-warn-technology-poses-risk-extinction-pandemics/story?id=99690874; Джеймс Винсент, «Ведущие исследователи и генеральные директора ИИ предупреждают об „угрозе уничтожения“ в заявлении из 22 слов» (Top AI Researchers and CEOs Warn Against ‘Risk of Extinction’ in 22-Word Statement), The Verge, 30 мая 2023 г., www.theverge.com/2023/5/30/23742005/ai-risk-warning-22-word-statement-google-deepmind-openai; Ванесса Ромо, «Ведущие эксперты предупреждают о риске вымирания из-за ИИ» (Leading Experts Warn of a Risk of Extinction from AI), NPR, 30 мая 2023 г., www.npr.org/2023/05/30/1178943163/ai-risk-extinction-chatgpt; Крис Вэлланс, «Искусственный интеллект может привести к вымиранию человечества, предупреждают эксперты» (Artificial Intelligence Could Lead to Extinction, Experts Warn), BBC, 30 мая 2023 г., www.bbc.com/news/uk-65746524; Аарон Грегг, Криштиану Лима-Стронг и Геррит Де Винк, «ИИ несет „риск уничтожения“ наравне с ядерным оружием, заявляют технологические лидеры» (AI Poses ‘Risk of Extinction’ on Par with Nukes, Tech Leaders Say), Washington Post, 30 мая 2023 г., www.washingtonpost.com/business/2023/05/30/ai-poses-risk-extinction-industry-leaders-warn/.

58 Хинтон и др., «Заявление о рисках, связанных с ИИ»; «Кто мы» (Who We Are), Future Fund, доступ от 16 июня 2024 г., https://ftxfuturefund.org.cach3.com/index.html%3Fp=32.html; «Фонд будущего» (Future Fund), Форум эффективного альтруизма, последнее изменение 21 июня 2023 г., https://forum.effectivealtruism.org/topics/future-fund; Николас Кулиш, «Крах FTX бросает тень на филантропическое движение» (FTX’s Collapse Casts a Pall on a Philanthropy Movement), New York Times, 13 ноября 2022 г., обновлено 14 ноября 2022 г., www.nytimes.com/2022/11/13/business/ftx-effective-altruism.html.

59 Интервью с Ордом.

60 Там же. Вот один из опросов, о которых он говорит: Зак Стайн-Перлман и Катя Грейс, «Опрос экспертов по прогрессу в области ИИ за 2022 год» (2022 Expert Survey on Progress in AI), AI Impacts, последнее изменение 26 мая 2023 г., https://wiki.aiimpacts.org/doku.php?id=ai_timelines:predictions_of_human-level_ai_timelines:ai_timeline_surveys:2022_expert_survey_on_progress_in_ai.

61 Мелани Митчелл, «Неужели половина исследователей ИИ верит, что существует 10-процентная вероятность гибели человечества от ИИ?» (Do Half of AI Researchers Believe That There’s a 10% Chance AI Will Kill Us All?), AI: A Guide for Thinking Humans (блог), 23 апреля 2023 г., https://aiguide.substack.com/p/do-half-of-ai-researchers-believe.

62 Интервью с Митчелл.

63 Там же.

64 Интервью с Ордом.

65 Ник Бостром, «Предотвращение экзистенциального риска как глобальный приоритет» (Existential Risk Prevention as Global Priority), Global Policy 4, № 1 (2013): 15–31, https://existential-risk.com/concept.

66 Уильям Макаскилл и Хилари Гривз, «Аргументы в пользу сильного лонгтермизма» (The Case for Strong Longtermism, рабочий доклад, Институт глобальных приоритетов, июнь 2021 г.), https://globalprioritiesinstitute.org/wp-content/uploads/The-Case-for-Strong-Longtermism-GPI-Working-Paper-June-2021-2-2.pdf. Их оценка числа жизней, спасенных благодаря распределению противомалярийных сеток, взята из данных GiveWell и составляет около 0,025 жизни на каждые потраченные 100 долларов (там же, 5).

67 «Обо мне» (About Me), NickBeckstead.com, доступ от 16 июня 2024 г., www.nickbeckstead.com/.

68 Николас Бекстед, «Об огромной важности формирования далекого будущего» (On the Overwhelming Importance of Shaping the Far Future, докторская диссертация, Ратгерский университет, май 2013 г.), https://doi.org/

69 Орд, Precipice, 46, 286, 306.

70 Бекстед, «Об огромной важности» (On the Overwhelming Importance), 11.

71 Это находится на странице 11 версии его диссертации, ссылка на которую приведена на сайте Бекстеда: Beckstead, “On the Overwhelming Importance”, раздел «Исследования» (Research) на NickBeckstead.com, доступ от 16 июня 2024 г., https://drive.google.com/file/d/0B8P94pg6WYCIc0lXSUVYS1BnMkE/view?resourcekey=0-nk6wM1QIPl0qWVh2z9FG4Q.

72 Там же.

73 Дилан Мэтьюз, «Я провел выходные в Google, разговаривая с ботаниками о благотворительности. И ушел... встревоженным» (I Spent a Weekend at Google Talking with Nerds About Charity. I Came Away… Worried), Vox, 10 августа 2015 г., www.vox.com/2015/8/10/9124145/effective-altruism-global-ai.

74 Торстад, интервью с автором, 29 мая 2023 г.

75 Интервью с Ордом.

76 Там же.

77 Орд, Precipice, 11.

78 Там же, с. 52.

79 Интервью с Торстадом, 29 мая.

80 Торстад, интервью с автором, 26 апреля 2023 г.

81 Брайан Уэзерсон (@bweatherson), Twitter, 9 августа 2022 г., архивировано 9 августа 2022 г. в Wayback Machine, https://web.archive.org/web/20220809194042/https://twitter.com/bweatherson/status/1557035220855099392.

82 Интервью с Ордом.

83 Интервью с Торстадом, 29 мая.

84 Интервью с Торстадом, 26 апреля.

85 Дэвид Торстад, «Пессимизм в отношении экзистенциального риска и время бедствий (Часть 9: Возражения и ответы)» (Existential Risk Pessimism and the Time of Perils (Part 9: Objections and Replies)), Reflective Altruism (блог), 1 апреля 2023 г., https://ineffectivealtruismblog.com/2023/04/01/existential-risk-pessimism-and-the-time-of-perils-part-9-objections-and-replies/.

86 Интервью с Торстадом, 26 апреля. Пост находится здесь: Карл Шульман, комментарий к «Ставка дисконтирования не равна нулю» (The Discount Rate Is Not Zero), Форум эффективного альтруизма, 3 сентября 2022 г., https://forum.effectivealtruism.org/posts/zLZMsthcqfmv5J6Ev/?commentId=Nr35E6sTfn9cPxrwQ. И вот пример использования этого комментария в качестве стандартной ссылки среди эффективных альтруистов: «Время бедствий» (Time of Perils), Форум эффективного альтруизма, последнее изменение 1 октября 2022 г., https://forum.effectivealtruism.org/topics/time-of-perils.

87 Интервью с Торстадом, 29 мая.

88 Орд, Precipice, 227–231.

89 Там же, 231.

90 Макаскилл, What We Owe, 189.

91 Тимоти Феррис, The Creation of the Universe (PBS/Northstar Productions, 1985). См. также: Николас Уэтингтон, «Переход на цифровое вещание отключает телевизионный сигнал Большого взрыва» (The Switch to Digital Switches Off Big Bang TV Signal), Universe Today, 16 февраля 2009 г., www.universetoday.com/25560/the-switch-to-digital-switches-off-big-bang-tv-signal/; Хью Липпинкотт, «Понимание реликтового излучения» (Understanding the CMB), Lippincott Lab, 1 августа 2010 г., http://hep.ucsb.edu/people/hugh/2010/08/01/test2/.

92 Фред К. Адамс и Грегори Лафлин, «Умирающая Вселенная: долгосрочная судьба и эволюция астрофизических объектов» (A Dying Universe: The Long-Term Fate and Evolution of Astrophysical Objects), Reviews of Modern Physics 69, № 337 (1 апреля 1997 г.), https://journals.aps.org/rmp/abstract/10.1103/RevModPhys.69.337.

93 Ник Бостром, «Астрономическая растрата: альтернативные издержки задержки технологического развития» (Astronomical Waste: The Opportunity Cost of Delayed Technological Development), Utilitas 15, № 3 (2003): 308–314, https://nickbostrom.com/astronomical/waste (выделение в оригинале).

94 Орд, Precipice, 233–235.

95 Стюарт Армстронг и Андерс Сандберг, «Вечность за шесть часов: межгалактическое распространение разумной жизни и обострение парадокса Ферми» (Eternity in Six Hours: Intergalactic Spreading of Intelligent Life and Sharpening the Fermi Paradox), Acta Astronautica 89 (август–сентябрь 2013 г.): 1–13, https://doi.org/10.1016/j.actaastro.2013.04.002.

96 Там же.

97 Андерс Сандберг, Эрик Дрекслер и Тоби Орд, «Растворение парадокса Ферми» (Dissolving the Fermi Paradox), arXiv:1806.02404v1 (6 июня 2018 г.), https://doi.org/10.48550/arXiv.1806.02404.

98 Эннали Ньюиц, Scatter, Adapt, and Remember: How Humans Will Survive a Mass Extinction (New York: Doubleday, 2013), 252.

99 Также возникает вопрос о том, как доверять системам ОИИ (общего искусственного интеллекта) в самих зондах. Даже если мы согласимся со всеми этапами аргументации о важности выравнивания ИИ, а затем признаем будущее существование выровненного ОИИ, который построит эти зонды и заселит их своим электронным потомством, создание множества копий ОИИ все равно представляется серьезным риском. Ни один процесс копирования не может быть идеальным, особенно в условиях высокой радиации в космосе. В конце концов может быть создана дефектная копия, которая утратит выравнивание, имея под рукой огромный арсенал. Я не считаю этот аргумент весомым, поскольку не верю ни в одну из маловероятных предпосылок, лежащих в основе всей этой схемы, но, по логике самих лонгтермистов и рационалистов, именно такие вещи должны волновать их гораздо сильнее.

100 Армстронг и Сандберг, «Вечность за шесть часов» (Eternity in Six Hours).

101 Карл Саган, Космос (New York: Random House, 1980), 130.

102 Уильям Макаскилл, «Послесловие» (Afterwards), в Что мы должны, опубликовано на WhatWeOwetheFuture.com, дата обращения 16 июня 2024 г., https://whatweowethefuture.com/afterwards/.

103 Киран Сетия, «Новая моральная математика» (The New Moral Mathematics), Boston Review, 15 августа 2022 г., www.bostonreview.net/articles/the-new-moral-mathematics/.

104 Там же.

105 Макаскилл, Что мы должны, 167–168.

106 Там же, 180–181.

107 Стефан Зубер и др., «О чем нам стоит договориться касательно отвратительного вывода?» (What Should We Agree on About the Repugnant Conclusion?), Utilitas 33, № 4 (декабрь 2021 г.): 379–383, https://doi.org/10.1017/S095382082100011X.

108 Макаскилл, Что мы должны, 184.

109 См. Урсула К. Ле Гуин, «Уходящие из Омеласа» (The Ones Who Walk Away from Omelas), в Двенадцать румбов ветра (New York: Harper & Row, 1975).

110 Тоби Орд, «Почему я не негативный утилитарист» (Why I’m Not a Negative Utilitarian), A Mirror Clear (блог), 28 февраля 2013 г., обновлено 1 марта 2013 г., www.amirrorclear.net/academic/ideas/negative-utilitarianism/ (выделение в оригинале).

111 Торрес, интервью с автором, 26 июля 2023 г.

112 Сетия, «Новая моральная математика» (New Moral Mathematics).

113 Там же.

114 Макаскилл, Что мы должны, 186.

115 Тайлер Коуэн, «Уильям Макаскилл об эффективном альтруизме, моральном прогрессе и культурных инновациях (эп. 156)» (William MacAskill on Effective Altruism, Moral Progress, and Cultural Innovation (Ep. 156)), 10 августа 2022 г., в Беседы с Тайлером, подкаст, https://conversationswithtyler.com/episodes/william-macaskill/.

116 Макаскилл, Что мы должны, 186–187.

117 Сетия, «Новая моральная математика» (New Moral Mathematics).

118 Макаскилл, «Послесловие» (Afterwards) (выделение в оригинале).

119 Сетия, «Новая моральная математика» (New Moral Mathematics).

120 Макаскилл, «Послесловие» (Afterwards).

121 Торрес, интервью с автором, 18 июля 2023 г.

122 Исайя Берлин, «Стремление к идеалу» (The Pursuit of the Ideal), в Искривленное древо человечества (Princeton, NJ: Princeton University Press, 2013).

123 Амиа Сринивасан, «Остановите робо-апокалипсис» (Stop the Robot Apocalypse), London Review of Books 37, № 18 (24 сентября 2015 г.), www.lrb.co.uk/the-paper/v37/n18/amia-srinivasan/stop-the-robot-apocalypse.

124 Там же.

125 Интервью с Райхом.

126 Там же.

127 Сринивасан, «Остановите робо-апокалипсис» (Stop the Robot Apocalypse).

128 Джерард, интервью с автором.

ГЛАВА 5

1 Марк Андриссен, «Манифест технооптимиста» (The Techno-Optimist Manifesto), Andreessen Horowitz, 16 октября 2023 г., https://a16z.com/the-techno-optimist-manifesto/.

2 «Краткая история Всемирной паутины» (A Short History of the Web), CERN, дата обращения 13 июня 2024 г., https://home.cern/science/computing/birth-web/short-history-web.

3 Джей Хоффман, «Происхождение тега IMG» (The Origin of the IMG Tag), History of the Web, 7 марта 2017 г., https://thehistoryoftheweb.com/the-origin-of-the-img-tag/.

4 Роберт Меткалф, «Microsoft и Netscape открывают новые фронты в разгорающихся веб-войнах» (Microsoft and Netscape Open Some New Fronts in Escalating Web Wars), InfoWorld, 21 августа 1995 г., с. 35, https://archive.org/details/bub_gb_0joEAAAAMBAJ/page/n42/mode/1up.

5 Андриссен, «Манифест» (Manifesto).

6 Там же (выделение автора).

7 Эмили Бейкер-Уайт, «Кто такой @BasedBeffJezos, лидер движения „e/acc“ технологической элиты?» (Who Is @BasedBeffJezos, the Leader of the Tech Elite’s ‘E/acc’ Movement?), Forbes, 1 декабря 2023 г., www.forbes.com/sites/emilybaker-white/2023/12/01/who-is-basedbeffjezos-the-leader-of-effective-accelerationism-eacc/.

8 swarthy, «Эффективный акселерационизм — e/acc» (Effective Accelerationism—e/acc), swarthy’s sensibles (блог), 31 мая 2022 г., архивировано 2 июня 2022 г. в Wayback Machine, https://web.archive.org/web/20220602164803/https://swarthy.substack.com/p/effective-accelerationism-eacc?s=r. Переопубликовано под авторством zestular и др., «Эффективный акселерационизм — E/acc» (Effective Accelerationism—E/acc), E/acc Newsletter, 31 октября 2022 г., https://effectiveaccelerationism.substack.com/p/repost-effective-accelerationism.

9 «Что за х***я этот e/acc» (What the F* Is E/acc), E/acc Newsletter, 26 декабря 2022 г., https://effectiveaccelerationism.substack.com/p/what-the-f-is-eacc. См. также «Заметки о принципах и постулатах e/acc» (Notes on E/acc Principles and Tenets), E/acc Newsletter, 31 октября 2022 г., https://effectiveaccelerationism.substack.com/p/repost-notes-on-eacc-principles-and.

10 swarthy, «Эффективный акселерационизм» (Effective Accelerationism).

11 В одном сторонники эффективного акселерационизма правы: жизнь — это диссипативный процесс. Жизнь улавливает потоки энтропии, превращая источники энергии с низкой энтропией в более высокую энтропию. Но жизнь — не единственный диссипативный процесс; это свойственно многим вещам. Фактически любой процесс, реально происходящий во Вселенной, делает именно это. Жизнь далеко не самый эффективный из таких процессов. Самый эффективный способ извлечь энтропию из источника энергии — сбросить его в черную дыру. Так что, если у Вселенной и есть некая «термодинамическая воля», она состоит в том, чтобы сбрасывать всё в черные дыры. Сторонникам эффективного акселерационизма следовало бы ратовать за создание флотилии черных дыр, чтобы швырять туда физические объекты.

Это часть более масштабной проблемы для них — очень старой философской дилеммы: разницы между «сущим» и «должным» (принцип Юма). Энтропия растет, но это не значит, что мы должны увеличивать ее всеми силами. Напротив, есть простые и веские аргументы против этого. Представьте себе вариант классической «проблемы вагонетки»: вагонетка мчится к развилке. Если вы ничего не сделаете, она покатится по правой колее и убьет пять человек, которые не успевают вовремя убежать. Если же вы потянете за рычаг, вагонетка свернет на левый путь, ведущий к фабрике черных дыр. Там вагонетка разрушит системы безопасности и тем самым создаст новую черную дыру, которая поглотит всю Землю. Если сторонники эффективного акселерационизма действительно верят, что обязаны быть проводниками «термодинамической воли Вселенной», то выбор прост: нажатие рычага создаст куда больше энтропии, чем бездействие. И хотя сторонники эффективного акселерационизма, безусловно, заняли оригинальную позицию в вопросе о том, что считать высокоморальным поступком, состоятельной этической теорией это назвать трудно.

12 «Заметки о принципах и постулатах e/acc» (Notes on E/acc Principles and Tenets).

13 Альтман, «Закон Мура для всего» (Moore’s Law for Everything).

14 Тайлер Коуэн, «Сэм Альтман о любви к сообществу, ненависти к коворкингам и охоте за талантами (эп. 61 — в прямом эфире из Сан-Франциско)» (Sam Altman on Loving Community, Hating Coworking, and the Hunt for Talent (Ep. 61—Live in SF)), 27 февраля 2019 г., в Беседы с Тайлером, подкаст, https://conversationswithtyler.com/episodes/sam-altman/.

15 Тэд Френд, «Предначертанная судьба Сэма Альтмана» (Sam Altman’s Manifest Destiny), New Yorker, 3 октября 2016 г., www.newyorker.com/magazine/2016/10/10/sam-altmans-manifest-destiny.

16 «Беседа с генеральным директором и соучредителем OpenAI Сэмом Альтманом и главным научным сотрудником Ильей Суцкевером» (Chat with OpenAI CEO and Co-founder Sam Altman, and Chief Scientist Ilya Sutskever), видео, Тель-Авивский университет, YouTube, 5 июня 2023 г., www.youtube.com/watch?v=mC-0XqTAeMQ. Источник даты выступления: Тель-Авивский университет, «Сэм Альтман посетит Тель-Авивский университет» (Sam Altman to Visit Tel Aviv University), пресс-релиз, 31 мая 2023 г., https://english.tau.ac.il/news/sam_altman_tau.

17 Брэд Стоун и Сэм Альтман, «Сэм Альтман из OpenAI: с Америкой всё будет в порядке после выборов» (Open AI’s Sam Altman: America Will Be Fine After the Election), видео, Bloomberg House Davos, 16 января 2024 г., 23:22, www.bloomberg.com/news/videos/2024-01-16/openai-s-atlman-and-makanju-on-global-implications-of-ai. См. также Пэрис Маркс, «Корыстное видение будущего Сэма Альтмана» (Sam Altman’s Self-Serving Vision of the Future), Disconnect (блог), 24 января 2024 г., https://disconnect.blog/sam-altmans-self-serving-vision-of-the-future/.

18 Джон Видал, «Билл Гейтс поддерживает климатологов, лоббирующих крупномасштабную геоинженерию» (Bill Gates Backs Climate Scientists Lobbying for Large-Scale Geoengineering), The Guardian, 6 февраля 2012 г., www.theguardian.com/environment/2012/feb/06/bill-gates-climate-scientists-geoengineering; Корбин Хиар и E&E News, «Солнечная геоинженерия ищет в Кремниевой долине новую волну финансирования» (Solar Geoengineering Looks to Silicon Valley for New Wave of Funding), Scientific American, 15 февраля 2024 г., www.scientificamerican.com/article/solar-geoengineering-looks-to-silicon-valley-for-new-wave-of-funding/; Челси Харви и E&E News, «Новый анализ показывает, что геоинженерия не является быстрым решением климатического кризиса» (Geoengineering Is Not a Quick Fix for the Climate Crisis, New Analysis Shows), Scientific American, 3 апреля 2023 г., www.scientificamerican.com/article/geoengineering-is-not-a-quick-fix-for-the-climate-crisis-new-analysis-shows/; Пэрис Маркс, «Нам не нужны новые технологии для борьбы с изменением климата» (We Don’t Need New Tech to Fight Climate Change), Disconnect (блог), 23 марта 2023 г., https://disconnect.blog/we-dont-need-more-tech-to-fight-climate/.

19 Марк Цукерберг, Тайлер Коуэн и Патрик Коллисон, «Марк Цукерберг берет интервью у Патрика Коллисона и Тайлера Коуэна о природе и причинах прогресса (БОНУС)» (Mark Zuckerberg Interviews Patrick Collison and Tyler Cowen on the Nature and Causes of Progress (BONUS)), 22 ноября 2019 г., в Беседах с Тайлером, подкаст, https://conversationswithtyler.com/episodes/mark-zuckerberg-interviews-patrick-collison-and-tyler-cowen/, стенограмма взята с https://patrickcollison.com/static/files/progress-mz.pdf.

20 Патрик Коллисон и Тайлер Коуэн, «Нам нужна новая наука о прогрессе» (We Need a New Science of Progress), The Atlantic, 30 июля 2019 г., www.theatlantic.com/science/archive/2019/07/we-need-new-science-progress/594946/.

21 Джейсон Кроуфорд, «The Roots of Progress теперь некоммерческая организация» (The Roots of Progress Is Now a Nonprofit Organization), Roots of Progress (блог), Институт Roots of Progress, 23 августа 2021 г., https://rootsofprogress.org/nonprofit-announcement; «О проекте» (About), Институт Roots of Progress, дата обращения: 13 июня 2024 г., https://rootsofprogress.org/about.

22 «Это Works in Progress» (This Is Works in Progress), Works in Progress, дата обращения: 13 июня 2024 г., https://worksinprogress.co/about/.

23 Бенджамин Райнхардт, «Сделать энергию слишком дешевой, чтобы ставить счетчики» (Making Energy Too Cheap to Meter), Works in Progress, 12 октября 2022 г., https://worksinprogress.co/issue/making-energy-too-cheap-to-meter/ (курсив автора).

24 Бен Райнхардт, «Обо мне» (About), BenjaminReinhardt.com, дата обращения: 13 июня 2024 г., https://benjaminreinhardt.com/about/.

25 Райнхардт, «Сделать энергию» (Making Energy).

26 Райнхардт, интервью с автором.

27 Райнхардт, «Сделать энергию» (Making Energy).

28 Интервью с Райнхардтом.

29 Транг Чу Минь, «Пять фактов о нерациональном управлении отходами в Сингапуре» (Five Facts About Unsustainable Waste Management in Singapore), Eco-Business, 11 января 2021 г., www.eco-business.com/opinion/five-facts-about-unsustainable-waste-management-in-singapore/; Робин Хикс, «Как Сингапур обезвредит 16-летнюю бомбу замедленного действия из мусора?» (How Will Singapore Defuse a 16-Year Waste Timebomb?), Eco-Business, 25 мая 2019 г., архивировано 25 мая 2019 г. в Wayback Machine, https://web.archive.org/web/20190525082946/https://www.eco-business.com/news/how-will-singapore-defuse-a-16-year-waste-timebomb/; Мартин Аббугао, «Сингапур спешит спасти „Мусорный Эдем“» (Singapore Races to Save ‘Garbage of Eden’), Phys.org, 28 июля 2023 г., https://phys.org/news/2023-07-singapore-garbage-eden.html.

30 Райнхардт, «Сделать энергию» (Making Energy).

31 Там же.

32 Холл, Flying Car, 169.

33 Там же, 28.

34 Там же, 271, 34.

35 Там же, 288.

36 Там же, 101.

37 Там же, 104 (курсив автора).

38 Лекс Фридман, «Джефф Безос: Amazon и Blue Origin | Подкаст Лекса Фридмана № 405» (Jeff Bezos: Amazon and Blue Origin | Lex Fridman Podcast #405), 14 декабря 2023 г., в Подкасте Лекса Фридмана, стенограмма, https://lexfridman.com/jeff-bezos-transcript.

39 Мошер, «Джефф Безос только что выступил с закрытым докладом в Нью-Йорке» (Jeff Bezos Just Gave a Private Talk in New York).

40 Холл, Flying Car, 249.

41 Интервью с Райнхардтом.

42 Джордан Робертсон, «Видение Илона Маска: "Я хотел бы умереть на Марсе. Только не при столкновении"» (Elon Musk’s Vision: ‘I Would Like to Die on Mars. Just Not on Impact’), Yahoo Finance, 26 сентября 2023 г., https://finance.yahoo.com/news/elon-musks-vision-die-mars-165604970.html.

43 Ричард Хайнберг, «"Пределам роста" — 50 лет: от сценариев к разворачивающейся реальности» (The Limits to Growth at 50: From Scenarios to Unfolding Reality), Resilience, 24 февраля 2022 г., www.resilience.org/stories/2022-02-24/the-limits-to-growth-at-50-from-scenarios-to-unfolding-reality/.

44 Донелла Х. Медоуз и др., Пределы роста: Доклад по проекту Римского клуба «Затруднения человечества» (The Limits to Growth: A Report for the Club of Rome’s Project on the Predicament of Mankind) (New York: Universe Books, 1972), 29.

45 Маккрей, Visioneers, 37.

46 Там же, 36–37.

47 Там же, 38.

48 Медоуз и др., Пределы роста, 159.

49 Элиезер Юдковский, «Воспитанный в технофилии» (Raised in Technophilia), LessWrong, 16 сентября 2008 г., www.lesswrong.com/posts/uNWRXtdwL33ELgWjD/raised-in-technophilia.

50 Дэниел Додни, Темные небеса: космический экспансионизм, планетарная геополитика и гибель человечества (Dark Skies: Space Expansionism, Planetary Geopolitics, and the Ends of Humanity) (Oxford: Oxford University Press, 2020), 200–202.

51 Маккрей, Visioneers, 48.

52 Ричард Фишер, «Долгосрочные поиски путей построения "галактической цивилизации"» (The Long-Term Quest to Build a ‘Galactic Civilisation’), BBC, 21 июля 2021 г., www.bbc.com/future/article/20210721-the-quest-for-a-galactic-civilisation-that-saves-humanity.

53 Франклин Фоер, «Генеральный план Джеффа Безоса» (Jeff Bezos’s Master Plan), The Atlantic, ноябрь 2019 г., www.theatlantic.com/magazine/archive/2019/11/what-jeff-bezos-wants/598363/.

54 Кэролайн Хаскинс, «Джефф Безос — капиталист послеземной эпохи» (Jeff Bezos Is a Post-Earth Capitalist), Motherboard, 10 мая 2019 г., www.vice.com/en/article/3k3kwb/jeff-bezos-is-a-post-earth-capitalist.

55 Фридман, «Безос» (Bezos).

56 Дёпфнер, «Интервью с Джеффом Безосом» (Jeff Bezos Interview).

57 Фридман, «Безос» (Bezos).

58 Фоер, «Генеральный план Джеффа Безоса» (Jeff Bezos’s Master Plan).

59 Маккрей, Visioneers, 56–59; Майк Уолл, «Успешный запуск Artemis 1 делает SLS от НАСА самой мощной ракетой в истории полетов» (Artemis 1 Launch Success Makes NASA’s SLS the Most Powerful Rocket Ever to Fly), Space.com, 16 ноября 2022 г., www.space.com/nasa-artemis-1-sls-most-powerful-rocket; НАСА, «Система космического запуска» (Space Launch System), дата обращения: 13 июня 2024 г., www.nasa.gov/wp-content/uploads/2021/04/0080_sls_fact_sheet_sept2020_09082020_final_0.pdf?emrc=d5d3e0.

60 Илон Маск (@elonmusk), Twitter (ныне X), 5 июня 2022 г., https://x.com/elonmusk/status/1533410745429413888; Виктор Тангерманн, «Илон Маск: мы должны добраться до Марса из-за "ядерного Армагеддона" на Земле» (Elon Musk: We Have to Get to Mars Because of ‘Nuclear Armageddon’ on Earth), Futurism, 11 ноября 2021 г., https://futurism.com/elon-musk-nuclear-armageddon.

61 Илон Маск (@elonmusk), Twitter (ныне X), 24 июня 2018 г., https://twitter.com/elonmusk/status/1011083630301536256. См. также Ник Луккези, «Илон Маск призывает общественность "сохранить человеческое сознание" с помощью Starship» (Elon Musk Calls on the Public to ‘Preserve Human Consciousness’ with Starship), Inverse, 28 сентября 2019 г., www.inverse.com/article/59676-spacex-starship-presentation.

62 Джордж Дворски, «План Илона Маска отправить миллион колонистов на Марс к 2050 году — полнейший бред» (Elon Musk’s Plan to Send a Million Colonists to Mars by 2050 Is Pure Delusion), Gizmodo, 3 июня 2022 г., https://gizmodo.com/elon-musk-mars-colony-delusion-1848839584.

63 Илон Маск (@elonmusk), Twitter (ныне X), 15 марта 2024 г., https://twitter.com/elonmusk/status/1768810190718009446.

64 Кеннет Чанг, «Илон Маск наметил амбициозный график запусков Starship от SpaceX» (Elon Musk Sets Out SpaceX Starship’s Ambitious Launch Timeline), New York Times, 28 сентября 2019 г., обновлено 5 мая 2021 г., www.nytimes.com/2019/09/28/science/elon-musk-spacex-starship.html.

65 Мригакши Диксит, «Как космическая радиация угрожает исследованию Луны» (How Space Radiation Threatens Lunar Exploration), Smithsonian Magazine, 18 января 2023 г., www.smithsonianmag.com/science-nature/how-space-radiation-threatens-lunar-exploration-180981415/.

66 «Стабильные температуры в марсианском кратере Гейл» (Steady Temperatures at Mars’ Gale Crater), NASA, 8 апреля 2013 г., https://science.nasa.gov/resource/steady-temperatures-at-mars-gale-crater/.

67 Карл Циммер, «Забытая история одного из самых странных научных экспериментов в мире» (The Lost History of One of the World’s Strangest Science Experiments), New York Times, 29 марта 2019 г., www.nytimes.com/2019/03/29/sunday-review/biosphere-2-climate-change.html.

68 Тейлор Локк, «Илон Маск о планировании полета на Марс: "Город должен выжить, если корабли снабжения перестанут приходить с Земли"» (Elon Musk on Planning for Mars: ‘The City Has to Survive if the Resupply Ships Stop Coming from Earth’), CNBC, 9 марта 2020 г., обновлено 12 января 2021 г., www.cnbc.com/2020/03/09/spacex-plans-how-elon-musk-see-life-on-mars.html; Эрик Бергер, «Внутри плана Илона Маска строить по одному Starship в неделю — и заселить Марс» (Inside Elon Musk’s Plan to Build One Starship a Week—and Settle Mars), Ars Technica, 5 марта 2020 г., https://arstechnica.com/science/2020/03/inside-elon-musks-plan-to-build-one-starship-a-week-and-settle-mars/; Майк Браун, «Город SpaceX на Марсе: Илон Маск подробно описывает 1 тест, от которого зависит его успех» (SpaceX Mars City: Elon Musk Details 1 Test Its Success Depends On), Inverse, 19 октября 2020 г., обновлено 20 февраля 2024 г., www.inverse.com/innovation/spacex-mars-city-test.

69 Пол Кругман, «Илон Маск, Марс и современная экономика» (Elon Musk, Mars and the Modern Economy), New York Times, 7 июня 2022 г., www.nytimes.com/2022/06/07/opinion/musk-mars-twitter.html; Чарльз Стросс, «Недостаточно данных» (Insufficient Data), Charlie’s Diary (блог), 23 июля 2010 г., www.antipope.org/charlie/blog-static/2010/07/insufficient-data.html.

70 Илон Маск, «Илон Маск, возможно, суперзлодей» (Elon Musk Might Be a Super Villain), интервью Стивену Кольберу, Позднее шоу со Стивеном Кольбером, видео, YouTube, 10 сентября 2015 г., www.youtube.com/watch?v=gV6hP9wpMW8.

71 Эндрю Росс Соркин, «Илон Маск и президент Y Combinator о размышлениях о будущем — ПОЛНАЯ БЕСЕДА» (Elon Musk and Y Combinator President on Thinking for the Future—FULL CONVERSATION), видео, Vanity Fair, YouTube, 8 октября 2015 г., 9:40, www.youtube.com/watch?v=SqEo107j-uw.

72 Майк Уолл, «Илон Маск снова предлагает идею "ядерного удара по Марсу" (у него есть футболки)» (Elon Musk Floats ‘Nuke Mars’ Idea Again (He Has T-Shirts)), Space.com, 17 августа 2019 г., www.space.com/elon-musk-nuke-mars-terraforming.html.

73 Джон Венц, «Извини, Илон. На Марсе недостаточно CO2 для терраформирования» (Sorry, Elon. There’s Not Enough CO2 to Terraform Mars), Discover, 30 июля 2018 г., www.discovermagazine.com/the-sciences/sorry-elon-theres-not-enough-co2-to-terraform-mars; Джон Венц, «Нет, серьезно, Илон. Нельзя просто сбросить ядерные бомбы на Марс (мы спросили)» (No Seriously, Elon. You Can’t Just Nuke Mars (We Asked)), Discover, 31 июля 2018 г., www.discovermagazine.com/the-sciences/no-seriously-elon-you-cant-just-nuke-mars-we-asked.

74 Джордж Дворски, «Люди никогда не колонизируют Марс» (Humans Will Never Colonize Mars), Gizmodo, 30 июля 2019 г., https://gizmodo.com/humans-will-never-colonize-mars-1836316222; Шэннон Стирон, «Марс — сущий ад» (Mars Is a Hellhole), The Atlantic, 26 февраля 2021 г., www.theatlantic.com/ideas/archive/2021/02/mars-is-no-earth/618133/.

75 «Погода на Луне» (Weather on the Moon), NASA, по состоянию на 13 июня 2024 г., https://science.nasa.gov/moon/weather-on-the-moon/.

76 Келли Вайнерсмит и Зак Вайнерсмит, Город на Марсе: Можем ли мы заселить космос, должны ли мы заселять космос и действительно ли мы всё продумали? (New York: Penguin, 2023), 123.

77 Адам Беккер, «Потрясающие облачные города, которые мы могли бы построить на Венере» (The Amazing Cloud Cities We Could Build on Venus), BBC, 20 октября 2016 г., www.bbc.com/future/article/20161019-the-amazing-cloud-cities-we-could-build-on-venus.

78 Мы не можем двигаться быстрее скорости света, вопреки мифам, слухам и надеждам на обратное. Вот ответы на некоторые наиболее распространенные возражения против ограничения скорости света:

• Нет, световой барьер не похож на звуковой. Никто никогда не считал последний действительно непреодолимым физическим пределом. В самом деле, человечество уже тысячелетия владеет технологией, способной преодолевать скорость звука: щелчок кнута — это, по сути, крошечный звуковой удар, возникающий из-за того, что кончик кнута движется быстрее скорости звука. Чтобы двигаться быстрее скорости света, потребуется принципиально новая физика, а не просто новые инженерные решения.

• Да, световой барьер был проверен в лаборатории. Ускорители частиц, такие как Большой адронный коллайдер в ЦЕРНе, регулярно разгоняют субатомные частицы до скоростей, очень близких к скорости света, и их поведение всегда идеально согласуется с теорией относительности. Они не могут двигаться быстрее.

• Нет, квантовая запутанность не дает нам возможности перемещаться или передавать информацию быстрее скорости света. Это выходит за рамки данной книги, но для хорошего ознакомления с темой вы можете обратиться к моей предыдущей книге «Что реально?» (New York: Basic Books, 2018).

• Нет, общая теория относительности не допускает создания варп-двигателя. В уравнениях поля Эйнштейна существует варп-решение, но оно работает совсем не так, как варп-двигатель в «Звездном пути», и то же самое уравнение утверждает, что его невозможно построить, если оно еще не существует.

• Нет, мы не можем создавать червоточины. Червоточины — безусловно, самое многообещающее направление для сверхсветовых перемещений, но использовать их для этого почти наверняка невозможно. Возможно, их и вовсе не существует; никто никогда их не видел.

Нас могут ждать сюрпризы. Мы можем ошибаться. Но, учитывая имеющийся объем неопровержимых доказательств, было бы глупо ожидать открытия способа перемещения быстрее скорости света, особенно в ближайшее время.

79 Большая часть необходимой массы придется на воду. При населении в восемь миллиардов человек годовое потребление воды человечеством составляет около четырех триллионов кубических метров (четырех триллионов метрических тонн) в год, не считая той, что используется в морском рыболовстве. Это составляет чуть больше метрической тонны воды на человека в день. Сделаем щедрое допущение и предположим, что эти цилиндры невероятно эффективны и полностью рециркулируют воду каждый день, а значит, им нужен лишь суточный запас воды для каждого жителя. Следовательно, количество воды, необходимое для триллиона человек, составит около триллиона метрических тонн. Типичная комета имеет массу в пять миллиардов метрических тонн, причем не вся она состоит из воды. Таким образом, в качестве абсолютного минимума потребуются сотни комет. (Более реалистичная цифра, вероятно, на порядки выше.) Источники: Hannah Ritchie and Max Roser, “Water Use and Stress,” Our World in Data, 2018, updated February 2024, https://ourworldindata.org/water-use-stress; NASA Hubble Mission Team, “Hubble Confirms Largest Comet Nucleus Ever Seen,” NASA, April 12, 2022, https://science.nasa.gov/missions/hubble/hubble-confirms-largest-comet-nucleus-ever-seen/. Как указывается в статье, более массивные кометы находятся дальше в Солнечной системе, но они потеряли бы большую часть своей массы, пока приближались бы к Солнцу, у которого должны быть размещены цилиндры. (В любом случае, добраться до комет, находящихся так далеко, было бы трудно.)

80 Ларри Пейдж, «Куда дальше движется Google? | Ларри Пейдж» (Where’s Google Going Next? | Larry Page), интервью Чарли Роузу, записано на конференции TED2014, Британская Колумбия, Канада, видео, YouTube, 22 марта 2014 г., 20:30, www.youtube.com/watch?v=mArrNRWQEso.

81 Браннен, «Конец света», 188.

82 Encyclopaedia Britannica Online, ст. «Мел-палеогеновое вымирание» (K–T extinction), 29 мая 2024 г., www.britannica.com/science/K-T-extinction.

83 Питер Браннен (@PeterBrannen1), Twitter (ныне X), 10 декабря 2018 г., https://x.com/PeterBrannen1/status/1072174222967898112.

84 Там же.

85 Дворски, «Люди никогда не колонизируют Марс» (Humans Will Never Colonize Mars).

86 Это скорость, которую космические корабли миссий «Аполлон» развивали при входе в атмосферу Земли: W. David Woods, Kenneth D. MacTaggart, and Frank O’Brien, “Apollo 11 Day 9, Part 2: Entry and Splashdown,” Apollo Flight Journal, последнее изменение 3 марта 2021 г., www.nasa.gov/history/afj/ap11fj/27day9-entry.html. Примерно такую же скорость разовьет любой объект, покинувший Луну со второй космической скоростью, после падения с лунной орбиты в земную атмосферу — точно так же, как это происходило с кораблями «Аполлон».

87 Майк Браун, «Город SpaceX на Марсе: юристы комментируют "абсурдные" заявления о свободной планете» (SpaceX Mars City: Legal Experts Respond to ‘Gibberish’ Free Planet Claim), Inverse, 3 ноября 2020 г., обновлено 20 февраля 2024 г., www.inverse.com/innovation/spacex-mars-city-legal.

88 Там же.

89 Гораздо более подробно о том, как развитие космических технологий может сделать мир менее безопасным, читайте в превосходной книге Дьюдни «Темные небеса» (Dark Skies). Подробнее о космическом праве см. Вайнерсмит и Вайнерсмит, «Город на Марсе» (City on Mars), часть 4, а также Адам Манн, «Кто главный в космосе?» (Who’s in Charge of Outer Space?), Wall Street Journal, 19 мая 2017 г., архивировано 1 июня 2017 г. на Wayback Machine, https://web.archive.org/web/20170601130235/www.wsj.com/articles/whos-in-charge-of-outer-space-1495195097.

90 Интервью с Уолкович.

91 «Трудно заставить человека понять что-либо, если его заработок зависит от того, чтобы он этого не понимал» (It Is Difficult to Get a Man to Understand Something When His Salary Depends Upon His Not Understanding It), Quote Investigator, 30 ноября 2017 г., https://quoteinvestigator.com/2017/11/30/salary/?amp=1.

92 Лорен Груш, «Космическая компания Джеффа Безоса давит на сотрудников ради запуска туристической ракеты во время пандемии» (Jeff Bezos’ Space Company Is Pressuring Employees to Launch a Tourist Rocket During the Pandemic), The Verge, 2 апреля 2020 г., www.theverge.com/2020/4/2/21198272/blue-origin-coronavirus-leaked-audio-test-launch-workers-jeff-bezos; Ронан Фэрроу, «Теневое правление Илона Маска» (Elon Musk’s Shadow Rule), New Yorker, 21 августа 2023 г., www.newyorker.com/magazine/2023/08/28/elon-musks-shadow-rule.

93 Илон Маск (@elonmusk), Twitter (ныне X), 1 мая 2020 г., https://twitter.com/elonmusk/status/1256347698120159233.

94 Илон Маск (@elonmusk), Twitter (ныне X), 12 июля 2021 г., https://twitter.com/elonmusk/status/1414782972474048516.

95 Интервью с Уолкович.

96 Там же.

97 Сара Кнаптон, «Человечество обречено, если мы не колонизируем Луну и Марс, утверждает Стивен Хокинг» (Human Race Is Doomed if We Do Not Colonise the Moon and Mars, Says Stephen Hawking), Telegraph, 20 июня 2017 г., www.telegraph.co.uk/science/2017/06/20/human-race-doomed-do-not-colonise-moon-mars-says-stephen-hawking/.

98 Холл, «Летающий автомобиль» (Flying Car), 107.

99 Андриссен, «Манифест» (Manifesto) (курсив автора).

100 Филиппо Томмазо Маринетти, «Манифест футуризма» (The Futurist Manifesto), 1909, Obelisk, дата обращения 13 июня 2024 г., www.arthistoryproject.com/artists/filippo-tommaso-marinetti/the-futurist-manifesto/.

101 “swarthy” (смуглый), “Effective Accelerationism” (эффективный акселерационизм). Цитата Лэнда приведена в самом начале публикации: «Акселерационизм — это просто самосознание капитализма, который едва-едва начался. (“Мы еще ничего не видели”)».

102 Аарти Шахани, «Комментарий о колониализме привлек внимание к Facebook» (Colonialism Comment Puts Facebook Under Scrutiny), All Tech Considered, NPR, 12 февраля 2016 г., www.npr.org/sections/alltechconsidered/2016/02/12/466506966/colonialism-comment-puts-facebook-under-scrutiny.

103 Андриссен, «Манифест» (Manifesto).

104 Это перефраз Азимова: «Айзек Азимов сокрушается о “культе невежества” в США (1980)» (Isaac Asimov Laments the ‘Cult of Ignorance’ in the United States (1980)), Open Culture, 12 октября 2016 г., www.openculture.com/2016/10/isaac-asimov-laments-the-cult-of-ignorance-in-the-united-states.html; Айзек Азимов, «Культ невежества» (A Cult of Ignorance), Newsweek, 21 января 1980 г., с. 19.

105 Андриссен, «Манифест» (Manifesto). См. также “dril” (@dril), Twitter (ныне X), 28 декабря 2014 г., https://x.com/dril/status/549425182767861760.

106 Джон Буа, «“ХОЧУ, ЧТОБЫ ВСЕ ОСТАЛЬНЫЕ УМЕРЛИ”. PRETTY GOOD, ЭПИЗОД 7» (‘I WISH EVERYONE ELSE WAS DEAD.’ PRETTY GOOD, EPISODE 7), в Pretty Good, видео, YouTube, 27 апреля 2016 г., 19:27, www.youtube.com/watch?v=_P52G4Kyq5M.

107 Холл, интервью с автором.

ГЛАВА 6

1 Кейт Кроуфорд, «Атлас ИИ: власть, политика и планетарная стоимость искусственного интеллекта» (Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence) (Нью-Хейвен, Коннектикут: Yale University Press, 2021), 234.

2 Маккрей, «Визионеры» (Visioneers), 100, 110.

3 Там же, 196.

4 Регис, «Великий цыпленок мамбо» (Great Mambo Chicken), 84–87.

5 Меган О’Гиблин, «Бог, человек, животное, машина: технологии, метафора и поиск смысла» (God, Human, Animal, Machine: Technology, Metaphor, and the Search for Meaning) (Нью-Йорк: Doubleday, 2021), 8.

6 Там же, 44.

7 Там же, 57.

8 Там же, 67.

9 Там же, 68.

10 Джордж М. Янг, «Русские космисты: эзотерический футуризм Николая Федорова и его последователей» (The Russian Cosmists: The Esoteric Futurism of Nikolai Fedorov and His Followers) (Оксфорд: Oxford University Press, 2012), 81–82 (курсив оригинала).

11 Там же, 60, 73, 78–79, 89.

12 Там же, 47–51.

13 Фред Шармен, «Космические силы: критическая история жизни в открытом космосе» (Space Forces: A Critical History of Life in Outer Space) (Нью-Йорк: Verso, 2021), 18; Борис Гройс, ред., «Русский космизм» (Russian Cosmism) (Кембридж, Массачусетс: MIT Press), 229–230.

14 Янг, «Русские космисты» (Russian Cosmists), 146.

15 Там же, 147.

16 Там же, 147–148.

17 Там же, 74; Константин Циолковский, «Исследование мировых пространств реактивными приборами» (Exploration of the Universe with Reaction Machines), в «Исследуя неведомое: избранные документы по истории гражданской космической программы США» (Exploring the Unknown: Selected Documents in the History of the U.S. Civil Space Program), т. 1, «Организация исследований» (Organizing for Exploration), под ред. Джона Логсдона (Вашингтон, округ Колумбия: NASA History Office, 1995), 59–132, https://web.stanford.edu/~cantwell/AA283_Course_Material/AA283_Resources/Tsiolkovsky,%20Exploration%20of%20the%20Universe%20with%20Reaction%20Machines%201898.pdf.

18 “Konstantin Tsiolkovsky” (Константин Циолковский), Европейское космическое агентство, дата обращения 12 июня 2024 г., www.esa.int/Science_Exploration/Human_and_Robotic_Exploration/Exploration/Konstantin_Tsiolkovsky.

19 Шармен, «Космические силы» (Space Forces), 37.

20 Янг, «Русские космисты» (Russian Cosmists), 156. См. также Адам Франк, «Свет звезд: иные миры и судьба Земли» (Light of the Stars: Alien Worlds and the Fate of the Earth) (Нью-Йорк: W. W. Norton, 2018), 221, 250; Дэвид Ронфельдт и Джон Аркилла, «Происхождение и свойства концепции ноосферы» (Origins and Attributes of the Noosphere Concept), в «Чья история победит: возникновение ноосферы, ноополитика и» (Whose Story Wins: Rise of the Noosphere, Noopolitik, and) «информационной эпохи» (Information-Age) «искусство управления государством» (Statecraft) (Санта-Моника, Калифорния: RAND Corporation, 2020), 7–12, www.jstor.org/stable/resrep26549.9.

21 О’Гиблин, «Бог, человек, животное, машина» (God, Human, Animal, Machine), 71.

22 Там же.

23 Там же, 53, где утверждается, что это первое появление слова «трансчеловеческий» (transhuman) в английском языке. Касательно утверждения о том, что это один из первых переводов «Божественной комедии» (Divine Comedy) на английский язык — а конкретно второй полный перевод, сделанный всего через несколько лет после первого, — см. эту на удивление подробную страницу в Википедии: Wikipedia, s.v. «Список английских переводов “Божественной комедии” (Divine Comedy)», последнее изменение 18 июля 2024 г. в 21:58, https://en.wikipedia.org/wiki/List_of_English_translations_of_the_Divine_Comedy.

24 О’Гиблин, «Бог, человек, животное, машина» (God, Human, Animal, Machine), 53.

25 Там же, 72. О’Гиблин утверждает, что лекция состоялась в 1957 году, но это лишь дата ее публикации; Хаксли прочитал эту лекцию в 1951 году. См. Кристиан Бик, «Трансгуманизм: от Джулиана Хаксли до ЮНЕСКО. Какова цель международных действий?» (Transhumanism: From Julian Huxley to UNESCO: What Objective for International Action?), Jahr 12, № 1 (2021): 141–162, https://hrcak.srce.hr/ojs/index.php/jahr/article/view/19376.

26 Здесь Тиль, по-видимому, говорит о репликаторах, а не о транспортерах.

27 Морин Дауд, «Подтвердить или опровергнуть: Питер Тиль» (Confirm or Deny: Peter Thiel), New York Times, 11 января 2017 г., www.nytimes.com/2017/01/11/fashion/peter-thiel-confirm-or-deny.html.

28 Питер Тиль (дискуссионная панель «Изменяя мир» (Changing the World), Singularity Summit 2009, 2 ноября 2009 г.), Vimeo, https://vimeo.com/7396024.

29 Артур Кларк, «Свидание с Рамой» (Rendezvous with Rama) (Нью-Йорк: Ballantine, 1973), 41.

30 Артур Кларк, «Исследование космоса» (The Exploration of Space) (Нью-Йорк: Harper and Brothers, 1951), 186.

31 Джеймс Кэмерон и Джордж Лукас, «Джордж Лукас об антиавторитарном характере “Звездных войн” | История научной фантастики Джеймса Кэмерона» (George Lucas on Star Wars Being Anti-Authoritarian | James Cameron’s Story of Science Fiction), видео, AMC+, YouTube, 25 апреля 2018 г., www.youtube.com/watch?v=fv9Jq_mCJEo.

32 Марк Каро, «“Звездные войны” невольно задели за живое, напомнив о роли США» (‘Star Wars’ Inadvertently Hits Too Close to U.S.’s Role), Chicago Tribune, 18 мая 2005 г., обновлено 22 августа 2019 г., www.chicagotribune.com/2005/05/18/star-wars-inadvertently-hits-too-close-to-uss-role/.

33 Дж. В. Ринзлер, «Создание “Звездных войн”: Возвращение джедая» (The Making of Star Wars: Return of the Jedi) (Нью-Йорк: Random House Worlds, 2013), 180. См. также: Роберт Вокс, Бен Хардвик и Киран Лафлин, «Как реальная война вдохновила Джорджа Лукаса на создание “Звездных войн”» (How a Real-Life War Inspired George Lucas’ Star Wars Vision), CBR, последнее изменение 17 июля 2024 г., www.cbr.com/george-lucas-vietnam-war-star-wars-inspiration/.

34 Урсула К. Ле Гуин, «Предисловие автора» (Author’s Note) (1976), введение к «Левой руке Тьмы» (The Left Hand of Darkness) (Нью-Йорк: Ace Books, 1969).

35 Чарльз Стросс, «Простите, что мы создали Нексус Мучений» (We’re Sorry We Created the Torment Nexus), «Дневник Чарли» (Charlie’s Diary) (блог), 10 ноября 2023 г., www.antipope.org/charlie/blog-static/2023/11/dont-create-the-torment-nexus.html.

36 Чарльз Стросс, «Технологическим миллиардерам пора прекратить попытки воплотить в жизнь научную фантастику, на которой они выросли» (Tech Billionaires Need to Stop Trying to Make the Science Fiction They Grew Up on Real), Scientific American, 20 декабря 2023 г., www.scientificamerican.com/article/tech-billionaires-need-to-stop-trying-to-make-the-science-fiction-they-grew-up-on-real/.

37 Стросс, «Простите» (We’re Sorry).

38 Константин Циолковский, «Панпсихизм, или Всё чувствует» (Panpsychism, or Everything Feels) (1925), в Гройс, «Русский космизм» (Russian Cosmism); Константин Циолковский, «Будущее Земли и человечества» (The Future of Earth and Mankind) (1928), в Гройс, «Русский космизм» (Russian Cosmism); Шармен, «Космические силы» (Space Forces), 37; Янг, «Русские космисты» (Russian Cosmists), 151–152.

39 Стросс, «Простите» (We’re Sorry).

40 Илон Маск (@elonmusk), Twitter, 2 июня 2021 г., архив от 2 июня 2021 г. в Wayback Machine, https://web.archive.org/web/20210602083709/https://twitter.com/elonmusk/status/1400008467822399490.

41 Стросс, «Простите» (We’re Sorry).

42 Thiel Fellowship (Стипендия Тиля), дата обращения 12 июня 2024 г., https://thielfellowship.org/.

43 Чарльз Дахигг, «Украл ли Uber интеллектуальную собственность Google?» (Did Uber Steal Google’s Intellectual Property?), New Yorker, 15 октября 2018 г., www.newyorker.com/magazine/2018/10/22/did-uber-steal-googles-intellectual-property.

44 Рид Алберготти, «Бывший топ-менеджер Uber Энтони Левандовски признал себя виновным в краже коммерческой тайны» (Ex-Uber Executive Anthony Levandowski Pleads Guilty to Trade-Secret Theft), Washington Post, 19 марта 2020 г., www.washingtonpost.com/technology/2020/03/19/levandowski-guilty/.

45 Дахигг, «Украл ли Uber» (Did Uber Steal).

46 Адриан Дауб, «То, что технологии называют мышлением» (What Tech Calls Thinking) (Нью-Йорк: FSG Originals, 2020), 3.

47 Blue Origin, «Миссия Blue Origin» (Blue Origin’s Mission), 1 февраля 2019 г., видео, YouTube, www.youtube.com/watch?v=1YOL89kY8Og.

48 Фридман, «Безос» (Bezos).

49 Кроуфорд, «Атлас ИИ» (Atlas of AI), 235. См. также Encyclopaedia Britannica Online, s.v. “V-2 rocket” (Ракета Фау-2), дата обращения 7 сентября 2024 г., www.britannica.com/technology/V-2-rocket.

50 Этот термин придумал не я. Его происхождение довольно туманно, но в его нынешнем значении он восходит как минимум к 2002 году. “Hactar”, «Происхождение термина “болезнь инженера”?» (Origin of the Term Engineer’s Disease?), MetaFilter, 29 июня 2016 г., https://ask.metafilter.com/297591/Origin-of-the-term-Engineers-Disease. См. также это отличное определение от комментатора Hacker News под ником “milesf” в 2015 году: «Технические специалисты страдают тем, что я называю “болезнью инженера”. Мы считаем, что раз мы эксперты в одной области, то автоматически являемся экспертами и во всех остальных». (“milesf”, комментарий, форум Hacker News, 30 декабря 2015 г., https://news.ycombinator.com/item?id=10812804.)

51 Мацей Цегловский, «Нравственная экономика технологий» (выступление на панельной дискуссии, SASE, Беркли, Калифорния, 26 июня 2016 г.), https://idlewords.com/talks/sase_panel.htm.

52 Илон Маск, «Является ли жизнь видеоигрой?» (Is Life a Video Game?), запись на конференции Code Conference 2016, видео, Recode, YouTube, 2 июня 2016 г., www.youtube.com/watch?v=2KK_kzrJPS8; см. также Джейсон Кёблер, «Илон Маск утверждает, что существует “один шанс из миллиардов”, что наша реальность — не симуляция» (Elon Musk Says There’s a ‘One in Billions’ Chance Reality Is Not a Simulation), Motherboard, 2 июня 2016 г., www.vice.com/en/article/8q854v/elon-musk-simulated-universe-hypothesis.

53 Все эти цитаты взяты из книги: Хорхе Луис Борхес, «Собрание художественной прозы» (Collected Fictions), пер. Эндрю Хёрли (New York: Penguin Books, 1999).

54 Юань (@QiaochuYuan), «иногда приятно включить фильм...» (sometimes it’s nice to put on a movie…).

55 Цегловский, «Нравственная экономика» (Moral Economy).

56 Френд, «Явное предначертание Сэма Альтмана» (Sam Altman’s Manifest Destiny).

57 «Устав OpenAI» (OpenAI Charter), OpenAI, дата обращения 6 сентября 2024 г., https://openai.com/charter/.

58 Закрытая, самовоспроизводящаяся сеть институтов и издательских практик также играет в этом большую роль, особенно в академической среде. См. Шазеда Ахмед и др., «Формирование области и эпистемическая культура безопасности ИИ» (Field-Building and the Epistemic Culture of AI Safety), First Monday 29, № 4 (1 апреля 2024 г.), https://dx.doi.org/10.5210/fm.v29i4.13626.

59 Пол Кругман, «Богатые безумнее нас с вами» (The Rich Are Crazier Than You and Me), New York Times, 6 июля 2023 г., www.nytimes.com/2023/07/06/opinion/robert-kennedy-jr-silicon-valley.html.

60 Адам Озимек (@ModeledBehavior), Twitter (ныне X), 21 июня 2023 г., https://twitter.com/ModeledBehavior/status/1671485568360800259; Адам Озимек (@ModeledBehavior), Twitter (ныне X), 21 июня 2023 г., https://twitter.com/ModeledBehavior/status/1671486129747492864; Адам Озимек (@ModeledBehavior), Twitter (ныне X), 21 июня 2023 г., https://twitter.com/ModeledBehavior/status/1671486837959868417.

61 Френд, «Явное предначертание Сэма Альтмана» (Sam Altman’s Manifest Destiny).

62 Пол Кругман, «Параноидальный стиль американских плутократов» (The Paranoid Style in American Plutocrats), New York Times, 28 августа 2023 г., www.nytimes.com/2023/08/28/opinion/columnists/covid-climate-cryptocurrency-plutocrats.html.

63 Анил Даш, «“Венчурный Qanon” и радикализация технологических магнатов» (‘VC Qanon’ and the Radicalization of the Tech Tycoons), AnilDash.com, 7 июля 2023 г., www.anildash.com/2023/07/07/vc-qanon/. См. также Гомер Симпсон: «Если он такой умный, то почему он умер?»

64 Анил Даш, «Фарс с мученичеством технологических магнатов» (The Tech Tycoon Martyrdom Charade), AnilDash.com, 27 февраля 2023 г., www.anildash.com/2023/02/27/tycoon-martyrdom-charade/.

65 См. Де Витт Дуглас Килгор, «“Лучшее еще впереди”, или Спасение будущего: «Звездный путь: Глубокий космос 9» (Star Trek: Deep Space Nine) как реформаторский астрофутуризм» (‘The Best Is Yet to Come’; or, Saving the Future: Star Trek: Deep Space Nine as Reform Astrofuturism), в «Черные и коричневые планеты: политика расы в научной фантастике» (Black and Brown Planets: The Politics of Race in Science Fiction), под ред. Исайи Лавендера (Jackson: University Press of Mississippi, 2014), https://doi.org/10.14325/mississippi/9781628461237.003.0003.

66 «Нишель Николс вспоминает доктора Мартина Лютера Кинга — младшего» (Nichelle Nichols Remembers Dr. Martin Luther King, Jr.), StarTrek.com, 16 января 2023 г., www.startrek.com/news/nichelle-nichols-remembers-dr-king.

67 Бенджамин Рассел, «Далеко за звездами» (Far Beyond the Stars), Incredible Tales of Scientific Wonder, сентябрь 1953 г.

68 Майк Уолл, «Земля из космоса: “эффект обзора” может помочь стране, переживающей нелегкие времена, считает астрофизик Нил Деграсс Тайсон» (Earth from Space: ‘Overview Effect’ Could Help Troubled Country, Astrophysicist Neil deGrasse Tyson Says), Space.com, 3 июня 2020 г., www.space.com/overview-effect-amid-us-crisis-neil-degrasse-tyson.html.

69 Стюарт Брэнд, «Происхождение “Всей Земли”...» (’Whole Earth’ Origin…), Long Now Foundation, дата обращения 12 июня 2024 г., https://sb.longnow.org/SB_homepage/WholeEarth_buton.html.

70 Франк, «Свет звезд» (Light of the Stars), 67–70.

71 М. Х. Хехт и др., «Обнаружение перхлоратов и растворимая химия марсианского грунта на месте посадки аппарата Phoenix» (Detection of Perchlorate and the Soluble Chemistry of Martian Soil at the Phoenix Lander Site), Science 325, № 5936 (2009): 64–67, www.science.org/doi/10.1126/science.1172466.

72 Карл Саган, «Голубая точка. Космическое будущее человечества» (Pale Blue Dot: A Vision of the Human Future in Space) (New York: Ballantine, 1997), 6–7.

73 Стироне, «Марс — это адская дыра» (Mars Is a Hellhole); Лекс Фридман, «Илон Маск: Neuralink, ИИ, автопилот и бледно-голубая точка» (Elon Musk: Neuralink, AI, Autopilot, and the Pale Blue Dot), подкаст Лекса Фридмана № 49, 12 ноября 2019 г., в Lex Fridman Podcast, YouTube, www.youtube.com/watch?v=smK9dgdTl40, стенограмма, https://lexfridman.com/wordpress/wp-content/uploads/2019/11/elon_musk_lex_fridman_2_transcript.pdf.

74 Джордж Оруэлл, «Могут ли социалисты быть счастливыми?» (Can Socialists Be Happy?), в сборнике «Всякое искусство — пропаганда. Критические эссе» (All Art Is Propaganda: Critical Essays), под ред. Джорджа Пакера (Orlando, FL: Harcourt, 2008), 209.

75 Тиль, «Воспитание либертарианца» (Education of a Libertarian).

76 Адам Беккер, «Псевдонаука или реальное дело? Журнал Inference публикует и то, и другое» (Junk Science or the Real Thing? ‘Inference’ Publishes Both), Undark, 28 января 2019 г., https://undark.org/2019/01/28/junk-science-or-real-thing-inference/.

77 Тиль, «Воспитание либертарианца» (Education of a Libertarian).

78 Ким Стэнли Робинсон, электронное письмо автору, 3 мая 2024 г.

79 Хайди Хакфорд, «Долина и “болото”: роль федерального правительства в истории Кремниевой долины» (The Valley and the ‘Swamp’: Big Government in the History of Silicon Valley), Музей компьютерной истории, 10 октября 2019 г., https://computerhistory.org/blog/the-valley-and-the-swamp-big-government-in-the-history-of-silicon-valley/; Генри Фаррелл, «Кремниевая долина изображает себя оплотом свободного предпринимательства. Вот как правительство помогло ее построить» (Silicon Valley Paints Itself as a Hotbed of Free Enterprise. Here’s How the Government Helped Build It), Washington Post, 17 августа 2019 г., www.washingtonpost.com/politics/2019/07/17/silicon-valley-portrays-itself-hotbed-free-market-enterprise-new-book-explains-how-government-helped-build-it/; см. также Маргарет О’Мара, «Код. Кремниевая долина и переустройство Америки» (The Code: Silicon Valley and the Remaking of America) (New York: Penguin, 2020).

80 Реймонд Лонерган, «Стойкий друг рабочих» (A Steadfast Friend of Labor), в сборнике «Судья Брэндайс: великий американец» (Mr. Justice Brandeis: Great American), под ред. Ирвинга Диллиарда (Saint Louis, MO: Modern View Press, 1941), 42.

81 Урсула К. Ле Гуин, «Речь при принятии медали за выдающийся вклад в американскую словесность» (Distinguished Contribution to American Letters Award Acceptance), 19 ноября 2014 г., American Rhetoric, дата обращения 12 июня 2024 г., www.americanrhetoric.com/speeches/ursulakleguinnationalbookawardspeech.htm.

82 Там же.