«История социальных сетей еще не написана, но, несомненно, в политике они играют немалую роль».
«Если все и всегда лгут – результат будет не тот, что люди начнут верить в ложь, а тот, что перестанут вообще чему-либо верить».
2 ноября 2021 года известная китайская теннисистка Пэн Шуай опубликовала в социальной сети Weibo пост о том, что некий высокопоставленный чиновник принудил ее к сексу. Через 20 минут это сообщение было удалено и никогда больше в китайских соцсетях не появлялось. Однако за это время многие пользователи успели сделать скриншот, которым поделились в иностранных соцсетях. Доступ к этим иностранным медиа тоже был оперативно перекрыт. Пэн Шуай в Китае популярна и вызывает большой интерес; однако оригинальный пост видели очень немногие, и никакого публичного обсуждения не последовало.
Такое стремительное удаление политически чувствительной информации – не исключение, а правило в Китае, где Интернет и социальные сети находятся под постоянным надзором. По некоторым сообщениям, китайское правительство тратит на мониторинг и цензуру онлайн-контента 6,6 млрд долларов ежегодно.
Кроме того, правительство Китая серьезно вкладывается в другие цифровые технологии, особенно в использование ИИ для наблюдения за гражданами. Особенно заметно это в провинции Синьцзян, где систематический сбор данных об уйгурском мусульманском населении начался сразу после окончания беспорядков в июле 2009 года, а с 2014 года усилился. Коммунистическая партия поручила нескольким лидирующим IT-компаниям разработать инструменты для сбора, хранения и анализа данных об индивидуальных и семейных привычках, особенностях коммуникации, занятиях, тратах, даже хобби – все эти данные стали основой для «профилактической работы полиции» против 11 млн жителей провинции, в которых власть видела потенциальных диссидентов.
В разработке этих инструментов для слежки и их применении в Синьцзяне участвовали некоторые крупнейшие китайские IT-компании: Ant Group (владелец сервиса Ali Baba), телекоммуникационный гигант Huawei, а также некоторые из крупнейших в мире разработчиков ИИ – SinceTime, CloudWalk и Megvi. Разрабатываются методы слежки за людьми по ДНК. На рутинном уровне используются ИИ-технологии, распознающие уйгуров по чертам лица.
То, что началось в Синьцзяне, с тех пор распространяется на весь Китай. Камеры с функцией распознавания лиц теперь установлены по всей стране; идет поэтапное введение национальной социальной кредитной системы, которая собирает информацию о частных лицах и компаниях, мониторя нежелательную и сомнительную деятельность. В понятие «нежелательной деятельности», разумеется, включено инакомыслие и жесткая критика правительства. Официальное заявление Компартии Китая гласит:
«Необходимо совершенствовать как механизмы поощрения законопослушных и сознательных граждан, так и механизмы наказания тех, кто нарушает закон или теряет доверие, так чтобы человек попросту не мог, не осмеливался вести себя безответственно и ненадежно».
Ранние версии этих систем развивали фирмы из частного сектора, в том числе Ali Baba, принадлежащая Ant Group, Tencent и китайский агрегатор такси Didi. Цель формулировалась очень откровенно: «Позволить заслуживающим доверия гражданам свободно гулять везде, где пожелают, а дискредитированным создать затруднения на каждом шагу». С 2017 года прототипы системы социального кредита тестируются в десятке крупных городов, в том числе в Ханьчжоу, Чэнду и Няньцзине. Газета «Бизнес Инсайдер» сообщает, что за 2018 год 15 млн покупок билетов на самолеты и скоростные поезда были отклонены из-за низкого социального кредита покупателей. Введение системы социального кредита по всей стране ожидается в течение ближайших нескольких лет. Многие приходят к выводу, что в этой системе и в китайской модели в целом воплощается прототип диктатуры нового типа – «цифровой диктатуры», в которой авторитарное правительство поддерживает свою власть при помощи интенсивной слежки и сбора данных.
По иронии судьбы, когда Интернет и социальные сети только развивались, их возможное влияние на политический дискурс и демократию многим виделось прямо обратным. Считалось, что общение онлайн позволит «человеку толпы» свободно выражать свою мудрость, что разные точки зрения начнут здесь встречаться и состязаться на равных и в их честном споре будет рождаться истина. Предполагалось, что Интернет укрепит демократические правительства, а диктаторов заставит дрожать, поскольку информация об их коррумпированности, репрессиях и прочих грехах будет свободно распространяться в Сети. В вики-энциклопедиях, таких, как ныне печально известная Wikileaks, видели ступень к демократизации журналистики. Что же до социальных сетей, они сделают все это еще эффективнее, а сверх того облегчат разговоры о политике «без цензуры» и координацию граждан.
Поначалу казалось, что эти предсказания сбываются. 17 января 2001 года филиппинцы, возмущенные действиями Конгресса, который во время обсуждения импичмента президенту Джозефу Эстраде отказался рассматривать решающие свидетельства против него, начали массовые протесты, скоординированные с помощью текстовых сообщений. Люди пересылали эти сообщения друг другу – и в результате более 1 млн человек вышло в центр Манилы выразить свое возмущение тем, что Конгресс покрывает коррупционера и преступника. После того как столица оказалась парализована, законодатели отозвали свое решение, Эстрада был подвергнут импичменту и потерял свой пост.
Не прошло и десяти лет, как настал звездный час соцсетей. Facebook и Twitter, активно используемые во время «арабской весны», помогли протестующим свалить засидевшихся на своих постах авторитарных правителей: Бен-Али в Тунисе и Мубарака в Египте. Один из лидеров египетских протестов, сотрудник Google в Каире, Ваэль Гоним так выразил технооптимистический восторг части протестующих:
«Хотел бы я однажды встретиться с Марком Цукербергом и его поблагодарить! Ведь эта революция началась… ну, в значительной мере началась в Facebook. Если хотите освободить общество – просто дайте ему Интернет. Если вам нужно свободное общество – просто дайте ему Интернет».
Такую же интерпретацию роли своего детища принял и один из основателей Twitter, заявивший:
«Порой несколько твитов могут вызвать в угнетенной стране перемены к лучшему…»
С этим соглашался и политический истеблишмент. В 2010 году Государственный секретарь США Хиллари Родэм Клинтон заявила, что свободный Интернет станет ключевой опорой ее стратегии по распространению демократии в мире.
Как мы – с такими-то надеждами – оказались в мире, где цифровые инструменты стали мощным оружием в руках диктаторов, желающих скрыть информацию и подавить инакомыслие, а социальные сети превратились в рассадник дезинформации, которой манипулируют не только авторитарные правительства, но и радикалы с обеих сторон?
В этой главе мы покажем, что пагубное воздействие цифровых технологий и ИИ на политику и общественную жизнь не было неизбежным: это результат специфического применения технологий. Едва цифровые инструменты начали применяться в первую очередь для сбора и обработки масштабных объемов данных, и государства, и частные компании, заинтересованные в слежке за гражданами, увидели в них мощное орудие. По мере того как люди все более лишаются власти и влияния, и в демократических, и в авторитарных странах усиливается контроль сверху, а кроме того, процветают новые бизнес-модели, основанные на максимизации и монетизации человеческой вовлеченности и человеческих эмоций.
Противостоять властям в коммунистическом Китае никогда не было легко. Когда в 1956 году Председатель Мао провозгласил лозунг: «Пусть расцветают сто цветов!» – и разрешил критиковать Коммунистическую партию, многие восприняли это как ослабление репрессий, унесших к тому времени миллионы жизней. Но надежды, что партия изменила свое отношение к инакомыслящим, вскоре были растоптаны. Мао начал яростную кампанию против «правых уклонистов», и тех, кто, приняв его приглашение за чистую монету, пытался высказать какую-то критику, начали хватать, бросать за решетку и подвергать пыткам. По оценкам исследователей, в период с 1957 по 1959 год были казнены от 1 до 2 млн человек.
Однако к 1980-м годам ситуация в Китае сильно изменилась. Сам Председатель скончался в 1976 году; сторонники жесткой линии – его жена Цзян Цин и ее трое союзников, известные как «Банда Четырех», – проиграли в последующей аппаратной борьбе и были оттеснены от власти. Дэн Сяопин, один из вождей революции, успешный командующий во время гражданской войны, архитектор кампании против правых уклонистов, генеральный секретарь и заместитель первого министра, впоследствии лишенный всех постов, вернулся в обойму и в 1978 году принял бразды правления. Теперь Дэн стал реформатором и затеял масштабную экономическую перестройку Китая.
Этот период характеризовало ослабление власти Коммунистической партии. Начали появляться новые независимые СМИ, и некоторые из них открыто критиковали партию. В этот же период возникали различные низовые движения, в том числе движения студентов за демократию, а также сельские инициативы по защите прав простых людей от захвата их земельных участков.
Однако надежды на более открытое общество были растоптаны в 1989 году в бойне на площади Тяньаньмынь. В относительно «вегетарианские» 1980-е годы в больших городах, особенно среди студентов, возник запрос на расширение свобод и углубление реформ. Уже в 1986 году по стране прокатилась волна крупных студенческих демонстраций с требованиями демократии, экономической либерализации и расширения свободы слова. Сторонники «твердой руки» обвинили генерального секретаря партии Ху Яобана, выступавшего за реформы, в недопустимой мягкости по отношению к протестующим и отстранили его от власти.
Новые протесты разразились в апреле 1989 года, после смерти Ху от сердечного приступа. Три тысячи студентов Пекинского университета вышли на площадь Тяньаньмынь в центре Пекина, отделенную Вратами небесного мира (Тяньаньмынь) от Запретного города. В течение следующих нескольких часов, пока к ним присоединялись все новые люди, студенты набросали «Семь требований»: туда входили призывы подтвердить правильность взглядов Ху Яобана на свободу и демократию, покончить с цензурой прессы и ограничениями на демонстрации, положить конец коррупции в рядах высших лиц государства и членов их семей.
Пока правительство колебалось, не зная, как поступить, поддержка протеста росла, особенно после того как 13 мая студенты начали голодовку. К середине мая солидарность с протестующими демонстрировали не менее 1 млн жителей Пекина. Наконец Дэн Сяопин склонился на сторону тех, кто выступал за жесткие меры, и одобрил применение против студентов военной силы. 20 мая было введено военное положение, и в следующие две недели в Пекин на подавление протестов направлены войска – не менее 250 000 человек. К 4 июня протесты были подавлены, и площадь опустела. По оценкам независимых источников, были убиты не менее 10 000 протестующих. Площадь Тяньаньмынь стала поворотным пунктом в решении Коммунистической партии покончить со свободами, возникшими в 1980-е годы, и ограничить оппозиционную деятельность.
Однако способность Коммунистической партии контролировать инакомыслие на всей огромной территории Китая и в 1990-е годы, и на протяжении большей части 2000-х годов оставалась ограниченной. В начале 2000-х годов сложилось низовое движение Вейцюань – объединение множества адвокатов, защищавших жертв нарушений прав человека по всему Китаю, а также выступавших по экологическим проблемам, делам, связанным с правами на жилье и со свободой слова. Одно из самых известных движений в защиту демократии, «Хартия 08», возглавляемая писателем и активистом Ли Сяобо, в 2008 году опубликовала свой проект реформ, выходивший далеко за пределы «Семи требований» с площади Тяньаньмынь. В эти требования входили: новая конституция, выборность всех должностных лиц, разделение властей, независимое судопроизводство, гарантии базовых прав человека, полная свобода объединений, собраний и самовыражения.
Однако к 2010 году в Китае начали закручивать гайки: к этому времени власти осознали силу Интернета как потенциального инструмента слежки и обеззараживания общества, так что публично выражать недовольство стало сложнее. Интернет появился в Китае в 1994 году, и почти немедленно начались попытки его цензуры. «Великий файерволл», призванный ограничить для граждан Китая возможности читать в Интернете иностранные ресурсы и общаться с иностранцами, впервые появился в 2002 году, был завершен в 2009 году и с тех пор периодически совершенствовался.
Однако в начале 2010-х годов цифровая цензура еще имела пределы. Одно крупное исследование, проведенное в 2011 году, собрало и проанализировало миллионы постов в соцсетях, выложенных китайцами на 1382 различных сайтах и платформах, а затем проследило за ними в динамике, чтобы увидеть, уберут ли их китайские власти. Результаты показали, что «Великий файерволл» эффективен, но лишь до определенной степени. Власти не цензурировали бо́льшую часть (сотни тысяч) постов с критикой правительства или партии. Они убрали из Сети лишь небольшую выборку постов на чувствительные темы, способных вызвать бурное обсуждение или побудить разные оппозиционные группы объединиться. Например, большинство постов о протестах во Внутренней Монголии или в провинции Цзэнчэн исчезали очень быстро. С той же скоростью растворялись в воздухе посты о Бо Силае (бывшем мэре Дайляня, члене Политбюро, вычищенного в те годы) или о Фан Биньсине (создателе «Великого файерволла»).
Другая команда исследователей обнаружила, что, несмотря на «Великий файерволл» и систематическую цензуру, общение в социальных сетях все равно действовало как триггер протестов. Координация и географическое распространение протестной активности осуществлялись через мессенджер Weibo. Однако уже в этот период диссидентская деятельность при посредстве социальных сетей, как правило, длилась очень недолго.
Мягкая цензура, допускавшая некоторые критические сообщения, прекратилась после 2014 года. Под руководством Си Цзинпиня правительство увеличило спрос на слежку за населением и начало внедрять ИИ-технологии сперва в Синьцзяне, затем и по всему Китаю. В 2017 году оно опубликовало «План развития ИИ Новое Поколение», где высказало надежду стать глобальным лидером в области ИИ и четко указало, что прежде всего его интересуют технологии наблюдения и сбора данных. С 2014 года расходы Китая на камеры и ПО, связанное с наблюдением и слежкой, а также его доля в мировых исследованиях ИИ повышаются из года в год; сейчас они составляют четверть всех мировых расходов на ИИ. Исследователи, проживающие в Китае, патентуют больше новых технологий, связанных с ИИ, чем где-либо еще в мире.
С развитием ИИ-технологий пришло и более интенсивное наблюдение. Говоря словами основателя China Digital Times Сяо Циана:
«Китай – это система политической цензуры, отлаженная, организованная, скоординированная и поддерживаемая силами государства. Это не просто способ что-то убрать из Сети. Это мощный аппарат, позволяющий конструировать нарратив и вести массированную идеологическую атаку любой цели».
В наше время очень немногие «крамольные» посты умудряются проскочить цензуру на всех крупных социальных платформах; «Великий файерволл» отсекает жителям Китая доступ почти к любым иностранным вебсайтам с политическими материалами, а о протестах, координируемых через соцсети, почти ничего не слышно. У китайцев нет больше доступа к большинству независимых иностранных СМИ, включая «Нью-Йорк таймс», «Си-эн-эн», «Би-би-си», «Гардиан» и «Уолл-стрит джорнал». Крупные западные соцсети и поисковики – Google, YouTube, Facebook, Twitter, Instagram, а также различные видеохостинги тоже заблокированы.
ИИ значительно расширил возможности китайского правительства затыкать рот диссидентам и обходить любую нежелательную политическую информацию, особенно в контексте мультимедиа-контента и живых чатов.
К 2010-м годам политический дискурс в Китае весьма напоминал роман Джорджа Оруэлла «1984». Отрезая доступ к «лишней» информации и систематически используя пропаганду, правительство стремилось жестко контролировать политический нарратив. Высшие эшелоны власти сотрясали масштабные коррупционные скандалы, в которых были замешаны самые высокопоставленные лица и члены их семей, например сын президента Ху Цзиньтао в 2009 году. Об этом много писали в иностранной прессе. Однако правительственная цензура заботилась о том, чтобы до простых китайцев такие детали не доходили, и вместо этого бомбардировала их пропагандой о добродетелях коммунистических лидеров.
По-видимому, многих эта индоктринация убеждает хотя бы отчасти – или, по крайней мере, они не осмеливаются признавать вслух, что считают ее пропагандой. В 2001 году Коммунистическая партия предприняла крупную реформу школьной программы для старших классов. Основной ее целью было провозглашено образование для молодежи. Внутренний документ о реформе, вышедший в 2004 году, был озаглавлен: «Предложения по укреплению идеологического и морального воспитания нашей молодежи». В новых учебниках, которые начали выпускать в том же году, предлагался более националистический взгляд на историю, подчеркивался авторитет и добродетели Коммунистической партии. Учебники критиковали западные демократии и провозглашали превосходство политической системы Китая.
Школьники, учившиеся по этим новым учебникам, демонстрировали значительную разницу во взглядах со своими сверстниками, успевшими окончить школу до реформы. Они сообщали о более высоком уровне доверия к государственным служащим и считали китайскую систему более демократической, чем студенты, не индоктринированные новыми учебниками. Действительно ли они во все это поверили или просто отвечали так, как от них ждали, трудно определить. Тем не менее очевидно, что пропаганда, которую воспринимают люди, в самом деле серьезно влияет на то, как они формулируют свои взгляды.
К концу 2010-х годов эти тенденции значительно усилились. Цифровая цензура и пропаганда означали, что среди нового поколения китайцев намного больше распространены национализм, безоговорочная поддержка правительства, нежелание воспринимать негативные новости и критические оценки. После масштабных инвестиций в ИИ «Великий файерволл» был дополнен постоянным наблюдением с использованием данных, собираемых на всех китайских платформах и на рабочих местах. В подобном окружении, если китайские студенты даже получат доступ к иностранным медиаресурсам, захотят ли их читать? Этот вопрос задали себе двое исследователей – и полученный ответ удивил даже их самих.
В середине 2010-х годов у «Великого файерволла» было одно слабое место. Он блокировал для китайских пользователей доступ к иностранным сайтам и соцсетям, используя их IP-адреса, указывающие на географическое местонахождение пользователя (в материковом Китае). Но пользователи могли заходить на «запрещенные» сайты через VPN – виртуальные «подставные» сети, используемые для сокрытия IP-адресов. Правительство не запрещало VPN, и информация о том, какие сайты пользователь посещал через VPN и что там делал, оставалась недоступной властям, так что это была достаточно безопасная лазейка. (С тех пор многое изменилось: теперь частное использование VPN в Китае запрещено, а все провайдеры VPN подлежат госрегистрации.)
В своем остроумном эксперименте двое исследователей в течение полутора лет, с 2015 по 2017 год, с помощью рассылок и иными способами предлагали пекинским студентам бесплатный доступ к VPN для чтения западных новостных ресурсов, иногда вместе с какими-то дополнительными «плюшками». Студенты, получавшие дополнительное поощрение, посещали западные сайты, проявляли интерес к их материалам и в дальнейшем продолжали получать информацию из иностранных источников. Их ответы на опрос показали, что они понимают эту информацию, верят ей, что изменили свои политические взгляды и начали более критически относиться к китайскому правительству. Кроме того, они выражали намного больше симпатии к демократическим институтам.
Однако без дополнительных поощрений подавляющее большинство студентов не проявляли интереса к посещению иностранных сайтов и даже не хотели иметь бесплатный доступ к VPN. Они так верили школьной пропаганде и китайским СМИ, уверяющим, что на Западе невозможно найти правдивую информацию (все, что там публикуется о Китае, – антикитайская ложь), что активная цензура им уже не требовалась: так сказать, внешнюю цензуру с успехом заменила внутренняя.
Исследователи интерпретировали свои результаты в духе скорее «Дивного нового мира», чем «1984». Напомним здесь афористичное суждение критика Нейла Постмана о том, чем мир Олдоса Хаксли отличается от мира Джорджа Оруэлла:
«Оруэлл боялся, что начнут запрещать книги. Хаксли боялся, что не будет причин запрещать книги – просто никто не захочет их читать».
В антиутопии Хаксли общество разделено на жестко сегментированные касты, от альф – на самом верху, через беты, гаммы, дельты и так далее, вплоть до эпсилонов. Однако необходимости в постоянной слежке и цензуре в этом обществе больше нет, поскольку… но дадим слово самому Хаксли:
«При научной диктатуре образование действительно будет работать, и в результате большинство мужчин и женщин вырастут, полюбив свое рабство и никогда не помышляя о революции. Свергать глубоконаучную диктатуру просто не будет причин».
Использование цифровых инструментов для подавления инакомыслия происходит не только в Китае. Иран и Россия, как и некоторые другие диктатуры, тоже пользуются ими, чтобы выслеживать и наказывать диссидентов, а также ограничивать доступ к свободной информации.
Еще до «Арабской весны» использование социальных сетей в протестах против тирании привлекло внимание международного сообщества во время окончившейся поражением «Зеленой революции» в Иране. После выборов в 2009 году огромные толпы (по некоторым оценкам, до 3 млн) высыпали на улицы, требуя отставки президента Махмуда Ахмадинежада, который, как полагали оппозиционеры, подтасовал результаты выборов, чтобы остаться у власти. Для координации протестов использовались социальные сети, в том числе Facebook, и текстовые сообщения.
Протесты вскоре были подавлены, множество оппозиционеров и студентов брошены в тюрьму. После этого цензура в иранском сегменте Интернета усилилась. В 2012 году для надзора за Интернетом и соцсетями был создан специальный орган – Высший совет по киберпространству; а в наше время почти все западные социальные сети, различные стриминговые сервисы, в том числе Netflix, и большинство западных новостных ресурсов в Иране полностью блокированы.
Схожей была и эволюция политической роли соцсетей в России. Самой популярной социальной платформой в этой стране стал сайт VK («ВКонтакте»); он широко использовался уже в 2011 году. Массовые вбросы и подтасовки на парламентских выборах 4 декабря 2011 года, зафиксированные и широко разошедшиеся в Интернете – пачки подброшенных бюллетеней и «карусели» (многократные голосования в поддержку правительства одних и тех же людей на разных участках), – всколыхнули людей и вызвали массовые протесты. Последующие исследования показали, что протестные действия координировались на платформе «ВКонтакте» и были намного масштабнее в тех городах, где эта социальная сеть использовалась шире.
В России, как и в Китае и Иране, протесты вызвали усиление государственного контроля и цензуры в Сети. Была создана Система операционно-розыскных мероприятий (СОРМ) – аппаратное обеспечение, разработанное в ФСБ, которое принудительно устанавливается у всех телекоммуникационных операторов; оно позволяет ФСБ отслеживать метаданные или даже содержание коммуникаций, а также блокировать доступ без судебного ордера. После очередного всплеска протестов в 2020 году была заблокирована новая порция «крамольных» сайтов, запрещены инструменты VPN и зашифрованный браузер Tor, а также введены новые астрономические штрафы с целью принудить компании закрыть доступ к нелегальному контенту, в том числе к сайтам и постам в социальных сетях, где содержится критика правительства. ИИ-технологии в российской цензуре пока не играют столь значительной роли, однако их использование тоже растет.
К применению цифровых инструментов против оппозиции склонны, увы, не только диктатуры. В 2020 году Forbidden Stories, международная организация, стремящаяся предавать огласке истории о преследовании журналистов и о репрессиях в разных странах мира, опубликовала присланный ей список из 50 000 телефонных номеров. Номера принадлежат оппозиционным политикам, борцам за права человека, журналистам, диссидентам из самых разных стран: объединяет их то, что все эти телефоны были взломаны и прослушиваются шпионской программой Pegasus, созданной в израильской IT-компании NSO Group (название по первым буквам имен создателей: Нив Карми, Салев Хулио и Омри Лавье).
Pegasus – «бескликовая» программа; это означает, что ее можно установить на телефон дистанционно, без всяких действий пользователя: не требуется, чтобы он «кликал» на зараженную ссылку. Названа она в честь Пегаса, крылатого коня из греческой мифологии, – это намек и на более широкий класс шпионских программ, к которому она принадлежит («троянов», названных так в честь Троянского коня), и на то, что она «прилетает» на телефон, а не устанавливается вручную. Как мы помним из главы первой, современные IT-лидеры любят сравнивать создание ИИ с открытием огня, а себя изображают некими Прометеями нашего времени, принесшими человечеству дар высоких технологий. Но пока что все их достижения породили не Прометея, а Пегаса.
«Пегас» умеет читать текстовые сообщения, подслушивать звонки, определять местоположение, собирать пароли, мониторить активность в Сети и даже управлять камерой и микрофоном. Во многих странах с авторитарной властью, например в Саудовской Аравии, ОАЭ или Венгрии, он используется на постоянной основе. Журналист Джамал Хашогги, впоследствии жестоко убитый и расчлененный властями Саудовской Аравии, подвергался прослушиванию «Пегасом».
Исследование номеров, полученных Forbidden Stories, показывает, что систематическим прослушиванием своих граждан с помощью шпионских технологий занимаются и многие демократически избранные правительства. Так, Мексика изначально приобрела «Пегас» как оружие против наркокартелей; и действительно, он использовался в операции, приведшей к аресту Эль Чапо, главы картеля Синалоа. Но в дальнейшем технология была обращена против журналистов, юристов, расследовавших убийство 43 студентов, и оппозиционных партий, в том числе против одного из лидеров оппозиции Андреа Мануэля Лопеса Обрадора, впоследствии ставшего президентом страны. В Индии правительство премьер-министра Нарендры Моди использует «Пегас» еще интенсивнее: под наблюдением находятся многие видные деятели оппозиции, активисты студенческого движения, журналисты, члены предвыборных комиссий и даже руководители Центрального бюро расследований.
«Пегасом» пользуются не только правительства. В списке имеется телефон президента Франции Эмманюэля Макрона, а также номера нескольких высокопоставленных чиновников Госдепартамента США.
Американскому государству для таких высокотехнологичных прегрешений «Пегас» не требуется (хотя некоторые агентства безопасности США экспериментировали с этой программой и даже выступили посредниками в ее продаже правительству Джибути). 5 июня 2013 года мир потрясли откровения Эдварда Сноудена, впервые опубликованные в газете «Гардиан», о нелегальном сборе данных, которым занимается Агентство национальной безопасности (АНБ). АНБ сотрудничало с Google, Microsoft, Facebook, Yahoo!, различными другими провайдерами интернет-сервисов, а также с телефонными компаниями AT&T и Verizon и с их помощью собрало огромный массив данных об американских гражданах: об их поисковых запросах в Интернете, общении в Сети, телефонных звонках. Интересовалось оно и коммуникациями лидеров других стран, союзников США, в том числе Германии и Бразилии. Собирало данные со спутников и с подводных оптоволоконных кабелей. Возможности их шпионских программ Сноуден охарактеризовал так: когда он работал на АНБ, то
«…мог, сидя у себя за столом, подключиться и прослушать кого угодно – от вас с вашим бухгалтером до федерального судьи или даже до президента, если бы у меня была его личная электронная почта».
Все эти действия были абсолютно неконституционны, проводились без ведома и надзора Конгресса, однако на некоторые из них давал разрешение Суд по делам иностранных разведок.
США не Китай, так что здесь прослушивать собственных граждан приходилось втайне от журналистов и даже от большинства юристов. Откровения Сноудена вызвали массовое возмущение нечистоплотными методами сбора информации АНБ и других агентств. Но, чтобы остановить слежку, этого было недостаточно. Сейчас происходит нечто, быть может, еще более ужасное: частные компании, например Clearview AI, начали собирать изображения лиц сотен миллионов пользователей и продавать эту информацию правоохранительным органам без всякого контроля со стороны гражданского общества или иных институтов. Основатель и директор Clearview AI уверен, что в этом нет ничего дурного: «Мы убеждены, что для нашей технологии это самое лучшее применение».
Шпионская программа «Пегас», махинации АНБ, бизнес Clearview AI – все это иллюстрирует более глубокую проблему. Как только цифровые инструменты для сбора данных появятся в широком доступе, первым делом ими заинтересуется большинство правительств, желающих оперативно подавлять оппозицию и лучше следить за своими гражданами. Эти инструменты усилят недемократические режимы и помогут им более эффективно расправляться с несогласными. Что же до демократических правительств, для них это станет таким соблазном «поиграть в диктаторов», который едва ли многие смогут преодолеть.
Говорят, демократия погибает во тьме. Но под бьющим в лицо светом от создателей новейших технологий ИИ ей тоже живется несладко.
От первоначальной эйфории по поводу демократического потенциала Интернета и соцсетей некоторые переметнулись к противоположному убеждению: мол, цифровые инструменты по сути своей антидемократичны. Говоря словами историка Юваля Ноя Харрари, «технология поощряет тиранию», и мы сейчас, возможно, входим в эпоху «цифровых диктатур».
Обе эти крайние точки зрения ложны. Цифровые технологии сами по себе не за демократию и не против. Искусственный интеллект вовсе не обречен служить диктаторам, мониторя Интернет, цензурируя информацию и репрессируя граждан. Все это – вопрос выбора направления развития.
В предыдущей главе мы уже видели, что цифровые технологии, по природе своей универсальные, можно развивать и в сторону увеличения их практической значимости – например создавая новые рабочие задачи или платформы, увеличивающие наши возможности. Только видение и бизнес-модель крупных IT-компаний подтолкнуло их к тому, чтобы сосредоточить свои разработки на слежке за сотрудниками и лишении людей работы путем автоматизации всего и вся. То же верно, когда мы говорим об ИИ в руках авторитарных (и некоторых других, якобы демократических) правительств.
Мечты о том, как Интернет и цифровые технологии смогут объединить граждан и повести их на бой против тирании, не были совсем оторваны от реальности. Цифровые технологии можно использовать для шифрования, чтобы власти не смогли читать вашу частную переписку. Можно создавать доступные сервисы типа VPN, позволяющие обходить цензуру. Существуют анонимайзеры типа Tor, которые делают всю вашу активность в Сети «непроницаемой» для посторонних глаз и таким образом обеспечивают более высокий уровень приватности и безопасности. Увы, былые надежды на цифровую демократизацию оказались разбиты: мир высоких технологий свернул туда, где ему пообещали деньги и власть, – на службу правительственной цензуре.
Именно эта кривая дорожка, выбранная IT-сообществом, ведет к интенсификации слежки и сбора данных. Хотя возможности машинного обучения значительно способствуют этим усилиям, истинным «секретным ингредиентом» являются огромные массивы данных, которых не добыть без сотрудничества с властями.
Начав усиливать авторитарные тенденции, ИИ-технологии попали в порочный круг. Правительства становятся более авторитарными – запрос на слежку и контроль за населением с их стороны возрастает, – а это, в свою очередь, подталкивает ИИ к тому, чтобы превратиться в полноценную технологию слежения.
Например, начиная с 2014 года местные власти в Китае значительно увеличили спрос на ИИ-технологии распознавания лиц и иных видов мониторинга. Это повышение спроса, по-видимому, было вызвано местными беспорядками на политической почве. Видя, что в их регионе увеличивается протестная активность, политики в ответ принимают полицейские меры, в частности усиливают надзор. Во второй половине 2010-х годов массовые протесты, особенно направленные против правительства страны, стали уже практически невозможны, хотя локальные протесты все еще имели место – и иногда, как мы упоминали ранее, даже координировались через социальные сети.
Однако к этому времени инструменты ИИ однозначно находились на стороне властей, а не протестующих. Местным властям, вооруженным ИИ-технологиями, лучше удавалось быстро подавлять протесты или даже пресекать их в зародыше. Хотя поначалу и центральное китайское правительство, и местные власти одновременно с этим начали массовый набор в полицию, увеличение вложений в ИИ, по-видимому, в конечном счете снижает потребность в людях, используемых для слежки и даже, собственно, для репрессий против протестующих.
Поразительнее то, что этот запрос от местных властей влияет на направление развития инноваций. Данные по миру ИИ-стартапов в Китае показывают, что потребность правительства в инструментах мониторинга фундаментально преображает работу исследователей. ИИ-фирмы, заключившие контракты с местными властями Китая, начинают уделять все больше времени и сил программам по распознаванию лиц и другим технологиям слежки. Возможно, в результате этих государственных поощрений Китай вырвался в мировые лидеры по распознаванию лиц и другим технологиям наблюдения, но отстает в других областях, например в обработке естественного языка, языковых навыках или абстрактном мышлении.
По оценкам международных экспертов, в развитии ИИ в целом Китай пока значительно отстает от США во всех отношениях, кроме того, в котором у него есть преимущество, – свободного доступа к данным.
Китайские исследователи работают с гораздо большими объемами данных и без тех легальных ограничений, которые часто затрудняют доступ к такому роду данным для западных исследователей. Влияние контрактов с местными властями на развитие ИИ подкрепляется тем, что в контрактах о сотрудничестве, как правило, прописано предоставление данных, имеющихся в распоряжении властей. Имея на руках обширнейшие данные, которыми можно пользоваться без всяких оговорок, и активный запрос на технологии слежения, ИИ-стартапы создают, тестируют и развивают мощные приложения, позволяющие следить за активностью граждан и контролировать ее.
Такова ловушка технологий слежения: могущественные и богатые правительства, жаждущие подавить инакомыслие, нуждаются в ИИ-технологиях для контроля над населением. Чем настойчивее они требуют таких технологий, тем больше находится исследователей, готовых над ними работать. Чем сильнее ИИ сдвигается в сторону контроля и репрессий, тем привлекательнее делается для авторитарных правительств – или тех, которые еще не авторитарны, но не прочь попробовать.
В самом деле, китайские стартапы уже начали продавать ИИ-технологии, направленные на слежку и репрессии, другим недемократическим правительствам. Один лишь китайский IT-гигант Huawei, один из основных бенефициаров неограниченного доступа к данным и финансовых вливаний, направленных на развитие шпионских технологий, экспортирует эти инструменты уже в 50 стран. В предыдущей главе мы говорили о том, как автоматизация на основе ИИ, созданная в технологически развитых странах, повлияет на весь остальной мир – для большинства людей, скорее всего, попросту разрушительно. То же верно и для слежки на основе ИИ, из-за которой большинству граждан во всех уголках мира станет гораздо труднее избегать репрессий.
Ни цензура в Интернете, ни даже высокотехнологичное шпионское оборудование еще ничего нам не сообщают о потенциальной способности социальных сетей повышать политическую сознательность и объединять оппозицию в борьбе с самыми страшными режимами мира. То, что некоторые диктаторы используют новые технологии для борьбы с собственными гражданами, никого не должно удивлять. То, что тем же самым занимаются США, тоже понятно, если мы вспомним, что у американских секретных служб есть давняя традиция плевать на закон, которая в последние годы – в период «войны с террором» – только усугубилась. Быть может, решение в том, чтобы удвоить наше присутствие в соцсетях, развивать сообщества, распространять правдивую информацию, проливающую свет на злоупотребления властей? Увы, путь развития нынешних соцсетей, оказавшихся во власти ИИ, выглядит почти столь же пагубным для демократии и прав человека, как и интернет-цензура «сверху».
Говоря об опасности, которую может представлять мощный ИИ, если его цели не будут полностью согласованы с целями человечества, компьютерщики и философы любят рассказывать притчу о скрепках. Проведем мысленный эксперимент: представим себе разумную машину с неограниченными возможностями, которой дали задание производить скрепки. Больше скрепок, ничего, кроме скрепок! Все свои неизмеримые способности она использует, чтобы преуспеть в этой задаче, изобретая все новые и новые методы, пока наконец не превратит в скрепки весь мир. Если же говорить о влиянии ИИ на политику, он способен все наши политические институты превратить в скрепки, и не благодаря каким-то выдающимся способностям, а исключительно по глупости.
В 2017 году в Мьянме Facebook был так популярен, что слова «Интернет» и «фейсбук» там стали почти синонимами. Так, 22 млн пользователей соцсети – из населения в 54 млн – оказались плодородной почвой для распространения дезинформации и «языка вражды». Мьянма – одна из самых этнически разнообразных стран в мире: в ней проживают 135 официально признанных различных народов. Военная диктатура, железной рукой правящая страной с 1962 года, с коротким периодом парламентской демократии (под присмотром военных) с 2015 по 2020 год, часто поддерживает этнические предрассудки буддистского большинства. Самым жестоким нападкам подвергается мусульманское этническое меньшинство рохинджа: государственная пропаганда изображает рохинджа как чужаков, хотя они живут в стране уже много столетий. Язык вражды против рохинджа давно стал общим местом в государственных и контролируемых государством СМИ.
В 2010 году на эту легко воспламеняемую почву межэтнических трений и воинственной пропаганды пришла Facebook. Сеть сразу стала популярна и быстро достигла цифры в 28,7 млн пользователей. В полном соответствии с принятой в Силиконовой долине верой в превосходство алгоритмов над людьми, для мониторинга всей огромной массы пользователей Facebook нанял ровно одного человека, говорящего по-бирмански, но не знающего большинства из еще примерно 100 употребляемых в этой стране языков.
С самого начала на фейсбуке пышным цветом расцвел язык вражды и подстрекательские призывы. 1 июня 2012 года высокопоставленный чиновник, близкий к президенту страны Тейн Сейну, опубликовал на своей странице в фейсбуке такой пост:
«Ходит слух, что террористы-рохинджа из так называемой Организации солидарности рохинджа сейчас переходят границу и вторгаются с оружием на нашу территорию. Рохинджа из иных стран вторгаются к нам! Поскольку первыми эту информацию получили военные, не сомневаюсь, что они выкорчуют эту угрозу под корень! Думаю, уже сейчас они этим заняты».
И дальше: «Мы не хотим слушать из чужих уст разговоры о правах человека и о гуманитарных ценностях». Пост, как видим, не только разжигал ненависть против мусульманского меньшинства, но и поддерживал ложный нарратив о том, что рохинджа «вторгаются» в Мьянму откуда-то со стороны.
В 2013 году буддистский монах Ашин Виратху, в том же году названный журналом «Тайм» «лицом буддистского террора», публиковал в фейсбуке буквально сотни постов в час, в которых называл рохинджа иноземными агрессорами, убийцами, опасностью для страны. «Звание экстремиста я принимаю с гордостью», – говорил он.
От активистов и международных организаций все громче раздавались призывы к Facebook закрыть возможность для публикации ложной информации и «разжигающих» постов. На словах руководство компании соглашалось: «Мы признаем, что можем и должны делать больше». Однако, что бы ни делал Facebook в Мьянме, от мониторинга «хейтспича» это было очень далеко. К августу 2017 года платформа стала основной посредницей в организации того, что организация Human Rights Watch уже назвала геноцидом.
Популярность языка вражды, распространяемого в Мьянме через Facebook, не должна нас удивлять. Бизнес-модель Facebook построена на максимизации вовлечения пользователей, так что любые сообщения, вызывающие сильные эмоции – в том числе, разумеется, хейтспич и дезинформацию провокационного толка, – алгоритмы платформы поощряют и активно распространяют, ведь они вызывают активный отклик у тысяч, возможно, сотен тысяч пользователей.
Активисты и защитники прав человека высказывали руководству Facebook свои опасения по этому поводу еще в 2014 году, но тогда к ним никто не прислушался. Поначалу проблему просто игнорировали, активистам отвечали молчанием; а тем временем объем лживой информации и поджигательских призывов против рохинджа раздувался как воздушный шар. Росло и число свидетельств о преступлениях ненависти против рохинджа, в том числе об убийствах, организованных на этой платформе. Компания не желала с этим бороться – и вовсе не потому, что ей было плевать на Мьянму. Напротив, когда власти страны закрыли доступ к Сети, руководство отреагировало на это очень бурно, испугавшись потерять 22 млн мьянманских пользователей.
Кроме того, в 2019 году Facebook последовала распоряжению правительства и закрыла доступ к платформе четырем этническим организациям, объявленным «опасными». На сайтах этих организаций, хоть и действительно связанных с этническими сепаратистами – такими как «Армия Аракана», «Качинская армия освобождения» и «Национально-демократический альянс Мьянмы», – находились основные хранилища фотографий и других свидетельств об убийствах и иных зверствах, совершаемых армией и радикальными буддистскими монахами.
Еще год потребовался Facebook, чтобы наконец начать реагировать. Их решением было создать «стикеры», маркирующие потенциальный хейтспич. Стикеры не мешали пользователям публиковать сообщения, в которых обнаруживался вредоносный или сомнительный контент, однако предупреждали их: «Думайте, прежде чем поделиться» или «Не становитесь причиной насилия». Однако выяснилось, что алгоритм платформы, превыше всего озабоченный максимизацией вовлечения пользователей, сработал здесь как пресловутый ИИ со скрепками: вредоносные посты начал регистрировать как более популярные, поскольку пользователи, помечая их как вредоносные, тем самым с ними взаимодействовали. В результате алгоритм начал активнее рекомендовать этот контент в Мьянме, чем только усилил распространение языка вражды.
Уроки Мьянмы, по-видимому, Facebook так и не усвоила. В 2018 году аналогичные процессы начались на Шри-Ланке, где посты также разжигали ненависть против мусульман. Группы по защите прав человека сообщали об этой проблеме, но безрезультатно. По оценке одного исследователя и активиста: «Разжигается ненависть против целых народов, а Facebook заявляет, что это не нарушает стандарты сообщества!»
Два года спустя, в 2020 году, настал черед Индии. Теперь руководство Facebook отвергло призывы собственных сотрудников и отказалось удалять страницу индийского политика Т. Раджи Сингха, который утверждал, что иммигрантов-рохинджа следует «перестрелять», и призывал разрушать мечети. К сожалению, именно это и произошло в том же году в ходе антиисламских беспорядков в Дели, где были сожжены несколько мечетей и убиты более 50 человек.
Проблемы языка вражды и дезинформации в Мьянме во многом параллельны тому, как фейсбук используется в США, и по той же причине: хейтспич, радикальные высказывания, дезинформация порождают сильные эмоции, а следовательно, повышают вовлеченность и время, проводимое на платформе. А это помогает компании продавать индивидуализированную цифровую рекламу.
К 2016 году социальные сети стали основным источником новостей для 14 % американцев, и 70 % сообщали, что как минимум время от времени узнают новости из фейсбука и иных соцсетей. В период выборов президента США, проходивших в том же году, в соцсетях заметно увеличилось количество постов с вводящей в заблуждение или даже откровенно лживой информацией.
И это была не просто пена на волнах оживленных политических дебатов. Исследователи дезинформации на платформе Facebook пришли к выводу, что «во всех категориях информации ложь распространялась быстрее, дальше, глубже и шире правды».
Многие откровенно лживые посты становились вирусными: их начинали распространять и пересылать друг другу. А алгоритмы платформы максимизировали показ этих сенсационных постов сравнительно и с другими постами, не связанными с политикой, и с новостями из проверенных медийных источников.
Во время президентских выборов 2016 года фейсбук превратился в основной канал распространения дезинформации, в первую очередь предназначенной для пользователей с правыми симпатиями. Зачастую именно через фейсбук симпатизанты Трампа попадали на сайты, распространяющие дезинформацию. Поток переходов из соцсети на сайты традиционных СМИ был ниже. Хуже того: как показало недавнее исследование, люди склонны верить дезинформации, поскольку плохо запоминают, где увидели ту или иную новость. Особенно верно это для соцсетей, где ненадежную или даже откровенно ложную информацию пользователи часто получают от своих друзей и знакомых-единомышленников. В таком окружении, напоминающем эхокамеру, они вряд ли станут прислушиваться к голосам, говорящим что-то другое.
Быть может, такие «эхокамеры» – неизбежный побочный продукт социальных сетей, дающих людям возможность находить в Интернете сообщества единомышленников. Но уже более десяти лет известно, что алгоритмы Facebook усугубляют этот эффект. На конференции TED2010 года Илай Пэрайзер, интернет-активист и исполнительный директор MoveOn.org, рассказал, что, хотя читал достаточно много новостных сайтов, как либеральных, так и консервативных, через некоторое время заметил, что Facebook все чаще направляет его на либеральные сайты, поскольку алгоритм заметил, что он немного чаще переходит по этим ссылкам. Пэрайзер первым употребил термин «информационный пузырь», описывая, как фильтры алгоритма создают искусственный пузырь, в котором люди слышат только те точки зрения, что соответствуют их уже имеющимся политическим взглядам.
Воздействие информационных пузырей пагубно. Пользователям, симпатизирующим правой идеологии, Facebook чаще показывает «правые» материалы, и наоборот. Исследования показали, что в результате информационные пузыри облегчают распространение дезинформации в соцсетях: подборка новостей, которые алгоритм показывает людям, направляет их мысли в определенную сторону и мешает воспринимать критически то, что они видят. Этот эффект информационного пузыря выходит далеко за пределы соцсетей. Недавно было проведено исследование, в котором регулярных зрителей «Фокс ньюс» различными «наградами» поощряли смотреть Си-эн-эн: выяснилось, что знакомство с контентом Си-эн-эн смягчает их взгляды и побуждает скорректировать свою политическую позицию по ряду вопросов. Основная причина такого воздействия, по-видимому, в том, что «Фокс ньюс» преувеличивает одни факты и скрывает другие, подталкивая своих зрителей в «правом» направлении. Существует все больше свидетельств, что в соцсетях этот эффект проявляется еще сильнее.
Хотя роль Facebook в президентских выборах 2016 года вызвала оживленные дискуссии в СМИ и даже слушания в Сенате, к 2020 году почти ничего не изменилось. Дезинформация на платформе росла и множилась; активное участие в этом принял сам президент Дональд Трамп, рассказывавший о манипуляциях с голосованием по почте и о том, что против него голосовали орды иммигрантов, не имеющих гражданства США. Он неоднократно использовал социальные сети для призывов прекратить подсчет голосов.
Во время предвыборной гонки Facebook также оказалась в центре скандала из-за отредактированного видео Нэнси Пелоси, на котором та говорила, растягивая слова, и в целом выглядела нездоровой – создавалось впечатление, что она пьяна или больна. Фальшивое видео перепостили сторонники Трампа, в том числе Руди Джулиани, и хештег DrunkNancy [Пьяная Нэнси – прим. пер.] начал набирать популярность. Скоро видео сделалось вирусным и привлекло более 2 млн просмотров. Спокойно циркулировали в соответствующих информационных пузырях на фейсбуке и самые безумные конспирологические теории из репертуара Кьюанона. Документы, предоставленные в Конгресс США, Федеральную торговую комиссию и Государственную комиссию по ценным бумагам бывшей сотрудницей Facebook Фрэнсис Хауген, показали, что руководство компании во многих случаях было об этом осведомлено.
Под напором общественного давления главный пресс-секретарь Facebook, бывший заместитель британского премьер-министра Ник Клегг, попытался защитить политику компании, заявив, что социальную сеть следует рассматривать как теннисный корт:
«Наша работа – подготовить корт: убедиться, что площадка ровная, разметка на месте, сетка висит на правильной высоте. Но брать ракетку и начинать игру – не наша задача. Как играют спортсмены – вопрос к ним, а не к нам».
Сразу после выборов Facebook ввела чрезвычайные меры, изменив свои алгоритмы таким образом, чтобы остановить распространение правых конспирологических теорий, гласящих, что в действительности выборы выиграл Трамп, однако у него украли голоса фальсификациями и вбросами. Но к концу декабря алгоритм платформы вернулся на круги своя и открыл «корт», чтобы сторонники Трампа попытались взять реванш.
Несколько радикальных правых групп, как и сам Дональд Трамп, продолжали распространять дезинформацию – и 6 января 2021 года в Вашингтоне произошли беспорядки, как мы теперь знаем, организованные отчасти именно на платформах Facebook и других соцсетей. Например, члены крайне правой вооруженной группировки «Хранители присяги» именно в Facebook договаривались, когда и где встречаются; еще несколько экстремистских группировок 6 января обменивались в чатах этой платформы сообщениями в реальном времени. Один из лидеров «Хранителей присяги» Томас Колдуэлл, ворвавшись в Капитолий, постил апдейты о своих действиях, получал с платформы информацию о том, как сориентироваться в здании, и призывал к насилию против полиции и служителей порядка.
Дезинформация и язык вражды беспрепятственно распространяются не только в Facebook. Около 2016 года в один из самых мощных рассадников ультраправой идеологии превратился YouTube. В 2019 году Калеб Кейн, двадцатишестилетний молодой человек с неоконченным высшим образованием, создал видео о YouTube, объясняющее, как платформа радикализировала его взгляды.
«Я начал падать в кроличью нору альт-райтов, – заявил он, – и долетел до самого дна».
Калеб объяснил, как «погружался все глубже и глубже», просматривая все более и более радикальный контент, который рекомендовали ему алгоритмы YouTube. Журналист Роберт Эванс исследовал пути, которыми ультраправые группировки вербуют в свои ряды обычных людей по всей стране, и заключил: сами эти группы на своих сайтах чаще всего упоминают YouTube, и
«15 из 75 фашистских активистов, которых мы изучили, говорят, что видео с YouTube стали для них „красной таблеткой“».
«Красная таблетка» – жаргон, используемый в этих группировках, с отсылкой к фильму «Матрица». Герой фильма, приняв красную таблетку, начал видеть истинное положение вещей; YouTube для крайне правых – такой же инструмент «прозрения» и распространения их «истин».
Что же стало этому причиной? В первую очередь, алгоритмы YouTube и стремление увеличить время, проводимое пользователем на платформе. Чтобы повысить время просмотров, в 2012 году компания модифицировала свой алгоритм так, что он уделял основное внимание уже не просто переходу по ссылкам, а тому, сколько времени пользователь проводит у экрана. В результате преимущество получали видео, к которым люди «приклеивались» и не могли оторваться – в том числе ролики с самым экстремистским, поджигательским содержанием, вроде тех, на которые подсел Калеб Кейн.
В 2015 году платформа привлекла команду исследователей из своей «материнской» организации, Google Brain, чтобы улучшить свой алгоритм. В результате новые алгоритмы привели к еще большей радикализации пользователей – разумеется, заодно с увеличением времени просмотров. Один из сотрудников Google Brain, Минмин Чен, на конференции по ИИ похвалялся тем, что новый алгоритм успешно меняет поведение пользователей:
«Мы не просто рекомендуем пользователям уже знакомый контент – мы можем по-настоящему привести их в иное состояние!»
Идеальный механизм для маргинальных группировок, стремящихся радикализировать свою аудиторию. Это означало, например, что пользователь, просматривавший ролики о событиях 11 сентября 2001 года, быстро начинал получать в рекомендациях ссылки на видео с конспирологическими объяснениями этих событий. Учитывая, что около 70 % всех видео, просматриваемых на этой платформе, исходит из рекомендаций алгоритма, это означало такой объем дезинформации и манипуляций, который и здравомыслящего человека запросто спихнет в «кроличью нору»!
То же можно сказать и о Twitter. Эта социальная сеть, столь любимая бывшим президентом Трампом, сделалась важным средством коммуникации между правыми группировками (впрочем, как и левыми). Антимусульманские твиты Трампа широко распространялись – и порождали не только новые антимусульманские и ксенофобские высказывания на этой же платформе, но и реальные преступления ненависти против мусульман, особенно в тех штатах, где поддержка президента была выше.
Впрочем, самый откровенный язык вражды и самая последовательная пропаганда ненависти концентрировались на других платформах: 4chan, 8chan и Reddit, в том числе в его многочисленных сабреддитах [подразделах – прим. пер.], носящих названия «Наш Дональд» (там рождались и циркулировали конспирологические теории и дезинформация о Дональде Трампе), «Физическое устранение» (аргументы в защиту физического уничтожения либералов) и некоторых иных с откровенно расистскими названиями, которые мы здесь повторять не будем. В 2015 году «Южный центр правовой защиты бедноты» [американская правозащитная организация, занятая в основном борьбой с белым расизмом и ультраправыми движениями в США – прим. пер.] назвал Reddit платформой, на которой можно найти «самый откровенно расистский» контент в Интернете.
Неужели для соцсетей неизбежно превращение в такую выгребную яму? Или же к этому прискорбному положению дел привели нас некоторые решения ведущих IT-компаний? Второй ответ гораздо ближе к истине, и он же, по сути, отвечает на вопрос, поставленный в предыдущей главе: откуда такая популярность у ИИ, несмотря на то что он не повышает всерьез производительность и не справляется с человеческими задачами лучше человека?
Ответ – и причина такого специфического направления развития цифровых технологий – в прибылях, которые получают компании от сбора огромных массивов данных и использования их для индивидуально-таргетированной цифровой рекламы. Но цифровая реклама работает, лишь когда люди обращают на нее внимание, так что эта бизнес-модель означает, что платформы стремятся повышать вовлеченность пользователей. А как проще всего это сделать? Культивировать сильные эмоции, например ярость или негодование.
Чтобы понять, откуда растут ноги у дезинформации в соцсетях, нам придется начать издалека – с происхождения Google.
Интернет процветал и раньше, но тогдашние поисковые машины были не слишком полезны. Самое примечательное в Интернете – его огромные размеры: на сегодня количество сайтов во Всемирной паутине оценивается в 1,2 млрд. Просматривать все эти сайты в поисках необходимой информации или продукта – в принципе непосильная задача.
Идея, на которой строились ранние поисковики, знакома любому, кто хоть раз пользовался алфавитным указателем в конце книги. Если вам нужно найти, где в книге упоминается эпоха неолита, загляните в указатель: там вы найдете слово «неолит» и список страниц, где встречается это слово. Книжный указатель полезен, поскольку каждое слово появляется в книге ограниченное число раз, так что нужное вам место несложно найти методом перебора – просто проверив все указанные страницы. Но теперь вообразите, что перед вами указатель большой-пребольшой книги – такой как Интернет. Если вы составите список страниц, на которых в этой огромной книге встречается слово «неолит», в нем может оказаться сотня тысяч пунктов. Удачи вам в том, чтобы проверить их все!
Разумеется, проблема в том, что многие из этих упоминаний нерелевантны. Из множества сайтов, на которых в том или ином контексте упоминается «неолит», авторитетными источниками, где можно найти необходимую информацию, например, о том, как люди перешли к оседлой жизни и земледелию, могут оказаться всего один или два. Чтобы быстро находить релевантную информацию, необходимо сделать более важные упоминания приоритетными и показывать их в первую очередь. Этого ранние поисковики еще не умели.
Но вот на сцену выходят два изобретательных и дерзких молодых человека, Ларри Пейдж и Сергей Брин. Пейдж был студентом магистратуры в Стэнфорде, работал со знаменитым профессором компьютерных наук Терри Виноградом; с Сергеем они были друзьями и жили в одной комнате. Виноград, поначалу один из первых энтузиастов ИИ в его нынешнем воплощении, к тому времени изменил свои взгляды и теперь работал над задачами, в которых способности человека и машины могут плодотворно сочетаться – примерно так, как предвидели Винер, Энгельбарт и Ликлайдер. Интернет, как мы уже видели, был очевидной областью приложения подобных усилий: его «сырье» – знания и тексты, созданные людьми, однако, чтобы проложить курс в этом море информации, требуются алгоритмы.
Пейдж и Брин нашли способ создать такую комбинацию, в каком-то смысле истинное сотрудничество машины с человеком: человеку виднее, какие веб-страницы содержат более релевантную информацию – а поисковые алгоритмы прекрасно умеют собирать и обрабатывать информацию, заключенную в ссылках. Почему бы не построить механизм, в котором человеческие предпочтения тех или иных ссылок будут показывать алгоритмам, какие вебсайты выдавать в списке первыми?
Поначалу это была чисто теоретическая идея; ее воплощение было еще впереди. Затем пришло и алгоритмическое решение. Оно легло в основу революционного алгоритма PageRank (название отсылает не только к веб-страницам, но и к фамилии Пейджа). Идея состояла в том, чтобы приоритизировать среди релевантных страниц те, которые получают больше ссылок на себя. Вместо того чтобы решать, какие страницы об эпохе неолита содержат больше полезной информации, на основе каких-то взятых с потолка правил, алгоритм может рассортировать эти страницы согласно тому, сколько людей их посещает. Чем больше переходов ведет на страницу, тем она популярнее. Но к чему останавливаться на этом? Если страница получает переходы с других страниц с большим количеством переходов, это более информативное указание на ее релевантность. Это открытие Пейдж и Брин воплотили в рекурсивном алгоритме, в котором у каждой страницы есть свой «ранг», и определяется он тем, сколько других «высокоранговых» страниц ссылаются на эту («рекурсивный» здесь означает, что место каждой страницы в списке зависит от места всех остальных). Интернет-сайтов миллионы, и вычислить «ранг» каждого было нетривиальной задачей, но в 1990-е годы вполне выполнимой.
В сущности, как именно алгоритм подсчитывает результаты – вопрос второстепенный. Важным прорывом стало то, что Ларри Пейдж и Сергей Брин открыли новый способ взаимодействия человека и машины. Человеческие знания и догадки, воплощенные в субъективных представлениях о том, какие сайты наиболее релевантны, использовались, чтобы помочь машине выполнить свою задачу – рассортировать найденные сайты по релевантности. Человеко-машинный симбиоз в лучшем своем проявлении!
Статья Брина и Пейджа 1998 года, озаглавленная «Анатомия широкомасштабного гипертекстуального интернет-поисковика», открывается такой аннотацией:
«В этой статье мы представляем Google, прототип широкомасштабного поисковика, активно использующего структуру гипертекста. Google разработан для того, чтобы служить в Сети эффективным указателем и выдавать намного более удовлетворительные результаты поиска, чем существующие поисковые системы».
Пейдж и Брин понимали, что это серьезный прорыв, но у них не было четких планов его коммерциализации. Рассказывают, что Ларри Пейдж как-то признался:
«Это поразительно, но я вообще не собирался делать поисковик. Даже близко не было такой мысли».
Однако, когда проект был завершен, стало ясно, что в руках у них золотая рыбка. Если Пейдж и Брин смогут создать этот поисковик, он преобразит всю работу Всемирной сети.
Так появилась первая мысль о Google как организации. Поначалу Пейдж и Брин рассчитывали продавать другим программное обеспечение или лицензии. Но первые их попытки ни к чему не привели, отчасти потому что крупные IT-компании были слишком погружены в собственное видение или ставили на первое место другие задачи; им казалось, что на поиске в Интернете много денег не заработаешь. Например, Yahoo! не проявила к идее и алгоритму Пейджа и Брина никакого интереса.
Все изменилось в 1998 году, когда на сцену вышел IT-инвестор Энди Бехтольшейм. Сергей Брин обратился к нему по рекомендации знакомого; Бехтольшейм встретился с ними обоими и сразу увидел в их идее многообещающую технологию – если только удастся ее монетизировать. А как монетизировать, он уже знал: с помощью рекламы.
Пейдж и Брин не собирались продавать рекламу, вообще о таком не думали. Но Бехтольшейм сразу же их переубедил, выписав чек на 100 000 долларов для Google, Inc. – хотя такой компании еще не существовало. Но вскоре компания Google была зарегистрирована и стала «incorporated», потенциал новой технологии для нужд рекламы стал очевиден, и к Пейджу и Брину рекой потекли деньги. Так была создана новая бизнес-модель.
В 2000 году компания создала AdWords – платформу, которая продавала рекламу для показа пользователям, ищущим сайты через Google. Платформа основывалась на хорошо известных в экономике моделях аукциона – на быстрой продаже самых ценных (т. е. лучше всего заметных) мест на экране поисковика тому, кто больше заплатит. Цены зависели от того, сколько предлагали потенциальные рекламодатели и сколько переходов получали их рекламные объявления.
В 1998 или даже в 2000 году почти никто еще не думал о бигдата и ИИ. Однако инструменты ИИ, применяемые к большим массивам данных, скоро начали представлять огромный интерес для рекламодателей, поскольку давали возможность таргетирования рекламы. Модель монетизации, предложенная Google, уже была достаточно успешной, но ИИ произвел в ней революцию. Это означало, прежде всего, что поисковик начал отслеживать, какие сайты посещает пользователь с тем или иным IP-адресом, и показывать этому пользователю специализированную рекламу, подобранную именно для него. Например, полюбовавшись карибскими пляжами, пользователь получал рекламу авиарейсов, турбюро и отелей, а если искал в Интернете одежду или обувь – на него начинала сыпаться реклама соответствующих магазинов.
Ценность таргетирования в рекламе невозможно переоценить. Вечная проблема этой индустрии выражена в изречении, относящемся еще к концу XIX века: «Я знаю, что половина моей рекламы пропадает зря, только не знаю, какая половина». Рекламу в Интернете поначалу преследовала та же беда. Допустим, рекламный баннер магазина мужской одежды показывают всем посетителям какого-либо сайта, например «Радио Пандора» [музыкальный сервис, российский аналог «Яндекс.радио» – прим. пер.]. Половина посетителей сайта – женщины. И даже из оставшейся мужской половины подавляющее большинство не собирается покупать костюм или рубашку прямо сейчас. А таргетирование позволяет показывать рекламу только тем, кто уже проявил интерес к такой покупке – например, посетил сайт другого магазина одежды или искал в Интернете что-то о современной мужской моде. Таргетирование совершило революцию в цифровой рекламе – но, как часто бывает с революциями, при этом нанесло серьезный побочный ущерб.
Вскоре Google увеличил сбор данных о пользователях, введя целый ряд качественных бесплатных продуктов, таких как почта Gmail или карты Google Мaps. Это позволило компании узнать о предпочтениях пользователей намного больше, чем их текущее местоположение и то, что они ищут в Интернете. Кроме того, Google приобрел YouTube. Теперь рекламу можно было таргетировать намного точнее, основываясь на полноценном профиле пользователя – сведениях о его местонахождении, занятиях, покупках. Это дало поразительные результаты: в 2021 году доход Google (или его «материнской» компании Alphabet) составил 65,1 млрд долларов, и подавляющее большинство этой фантастической суммы образовали доходы от рекламы.
Google и другие компании поняли, как делать деньги на рекламе; и это не только объясняет появление новой бизнес-модели. Это отвечает и на фундаментальный вопрос, поставленный нами в предыдущей главе: откуда такое преклонение перед ИИ, если по сути он ведет лишь к автоматизации с потерей качества? Вот и ответ: ИИ дает возможность собирать огромные базы данных и таргетировать рекламу – и то и другое сулит сказочные прибыли тем, у кого он в руках.
То, что может выяснить о своих пользователях Google, изучая их местонахождение и метаданные писем, бледнеет в сравнении с обилием личной информации, которой многие жаждут сами поделиться с друзьями и знакомыми: чем занимаются, чем намерены заняться, чего хотят, о чем думают, как смотрят на самые разные вещи. Так что социальные сети были обречены на то, чтобы поднять эту бизнес-модель на новую высоту – или опустить на невиданное прежде дно.
Марк Цукерберг с самого начала понял, что ключ к успеху Facebook – в его способности стать орудием или, скорее, даже производителем «социальной паутины», в которой люди смогут вместе заниматься самыми разными видами социальной деятельности. Чтобы достичь этого, на первое место среди своих целей он поставил рост платформы.
Но монетизация этой информации неизбежно представляла проблему, даже с примером успеха Google перед глазами. Первые налеты Facebook на пользователей с целью собрать у них данные и использовать для таргетированной рекламы обернулись неудачей. В 2007 году компания запустила новую программу под названием Beacon для сбора информации о покупках, сделанных пользователями на других сайтах, о которых они рассказывали друзьям в соцсети. Эту инициативу пользователи расценили как грубое нарушение их права на частную жизнь, и от нее пришлось отказаться. Компании необходимо было выработать подход, в котором сбор большого объема данных для нужд таргетированной рекламы сочетался бы, хоть в какой-то степени, с контролем пользователей над своей сетевой жизнью.
Человеком, воплотившим эту идею, стала Шерил Сэндберг, до того руководительница AdWords, своими руками превратившая Google в машину по производству таргетированной рекламы. В 2008 году она перешла в Facebook на должность главного исполнительного директора. Сэндберг понимала, как заставить это сочетание работать, и видела потенциал Facebook в создании спроса на новые продукты, а следовательно, и на рекламу с помощью информации о социальном круге и предпочтениях пользователей. Уже в ноябре 2008 года Сэндберг заявила, что именно в этом сочетании видит основу для дальнейшего роста компании:
«Мы считаем, что сделали вот что: мы использовали силу реального доверия, реального контроля пользователя над своей приватностью и дали людям возможность быть в Сети самими собой».
Там, где человек чувствует себя «самим собой», он расслабляется и больше сообщает о себе – а все, что он сообщает, можно обратить в прибыль от рекламы.
Первой важной инновацией в этом направлении стала кнопка «лайк»: она не только сообщала много нового о предпочтениях пользователей, но и действовала как эмоциональный толчок, поощряющий вовлечение. Были предприняты и некоторые изменения в архитектуре соцсети, например в том, как строится новостная лента и как выглядят комменты. А вот и самое важное: ИИ-алгоритмы начали организовывать новостную ленту каждого пользователя так, чтобы привлекать и удерживать его внимание – и, разумеется, самым прибыльным образом располагать в ней рекламу.
Кроме того, Facebook начал предлагать новые инструменты для рекламщиков, часто основанные на базовых ИИ-технологиях. Среди них – возможность выстраивать портрет «типичной аудитории», чтобы затем показывать рекламу людям с определенными демографическими характеристиками и находить схожие аудитории – то, что сама компания описывает так: «Путь вашей рекламы к людям, которых она, скорее всего, заинтересует, поскольку их характеристики схожи с характеристиками ваших актуальных клиентов».
Важнейшее преимущество соцсетей над поисковиками, когда речь идет о рекламе, – вовлеченность аудитории. Люди, когда ищут в поисковике, например в Google, какой-нибудь продукт или магазин, порой обращают внимание на рекламу; но поиск длится очень недолго, соответственно, и объем прибыли от продажи рекламы оказывается ограничен. Чем больше времени люди проводят у экрана, глядя на все, что перед ними выскакивает, тем больше будет прибыль от рекламы. Так что, работая над увеличением под постами количества «лайков» от друзей и знакомых, администрация Facebook работала на себя.
С первых дней для достижения этих целей Facebook играла с психологией пользователей, проводила систематическое тестирование и ставила эксперименты, определяя, какие типы постов и какой способ их подачи вызывают у пользователей наибольшее вовлечение и самую сильную реакцию.
Социальные отношения, особенно внутригрупповые, всегда окрашены чувствами неодобрения, отвержения, зависти. В наше время имеются обильные свидетельства того, что посты на Facebook вызывают не только негодование по поводу разных политических событий, но и сильные отрицательные эмоции в других социальных контекстах. И все эти эмоции используются для того, чтобы побуждать людей проводить на платформе больше времени. Так работают и сенсационные материалы, и тревога. Несколько исследований по социальной психологии показывают, что использование соцсетей тесно сплетено с чувствами зависти, неадекватности и часто провоцирует снижение самооценки.
Например, распространение фейсбука в студенческих кампусах оказало сильное негативное воздействие на психическое здоровье студентов: выяснилось, что Facebook часто становится причиной угнетенного состояния и депрессии. Кроме того, студенты в кампусе, у которых появлялся доступ к этой платформе, демонстрировали значительное ухудшение успеваемости – что указывало на то, что эти эффекты не ограничены внутренним миром, а проявляются и в объективно наблюдаемом поведении. Facebook же успешно монетизировала эти чувства: ведь и тревога, и неуверенность, и желание получить побольше одобрения работают одинаково – увеличивают время, которое человек проводит в соцсети.
Красноречиво сообщает об этом один амбициозный исследовательский проект. Исследователи предложили (подкрепив свое предложение поощрением) группе постоянных пользователей Facebook временно покинуть платформу, а затем сравнили их эмоциональное состояние и то, как они использовали свое время, с контрольной группой пользователей, никуда из Facebook не уходивших. Те, кого побудили бросить Facebook, посвящали больше времени иной социальной активности и в целом чувствовали себя значительно счастливее. Но когда эксперимент был окончен, они – возможно, подчиняясь социальному давлению сверстников или попыткам платформы заманить их обратно, – вернулись в Facebook… и вскоре и психическое состояние, и все остальное у них опустилось на прежний уровень.
Многие новые черты и алгоритмы Facebook, призванные повысить вовлечение пользователей, вводились стремительно, без особых выяснений, как они повлияют на психологию пользователя и на распространение дезинформации на платформе. Общий подход компании и ее инженеров к введению новых характеристик, направленных на вовлечение пользователей, выражается фразой, которую часто используют ее сотрудники: «Пофиг, пляшем!»
Однако речь не только о случайном ущербе, нанесенном в попытках достичь большей вовлеченности. Руководство Facebook вполне сознательно ставит максимизацию вовлечения превыше всего и не позволяет никаким иным соображениям встать у него на пути. Например, в 2012 году Facebook приобрела социальную сеть Instagram – с обещанием, что та останется независимой и будет принимать собственные бизнес-решения, в том числе по дизайну и рекламе. Но затем Сэндберг начала настаивать, чтобы рекламы в Instagram становилось все больше и больше.
Когда после президентских выборов в США в 2020 году Facebook решила изменить свой алгоритм так, чтобы он перестал продвигать лживые байки и сомнительные сайты, результаты оказались поразительными. Прекратилось вирусное распространение дезинформации и излияний вражды. Но через пять дней Facebook откатила назад все перемены и вернулась к прежним методам – главным образом потому, что, когда компания проверила воздействие новой политики на вовлеченность, оказалось, что люди, которых перестали провоцировать, пугать и злить, начали проводить на платформе меньше времени.
Все это время Цукерберг и Сэндберг, а также присоединившийся к ним позже Клегг защищали свои решения, апеллируя к неограниченной свободе слова. В ответ британский юморист Саша Барон Коэн объяснил в двух словах, в чем тут многие видят проблему:
«Свобода-то, оказывается, в том, чтобы собрать в одном месте таких подонков, каких свет не видывал, предоставить им самую мощную в истории платформу и позволить доставать треть планеты!»
Мы не сможем понять политический хаос, созданный социальными сетями, пока не признаем, что основной мотив их владельцев – выгода от таргетированной рекламы, побуждающая эти компании максимизировать присутствие пользователей и иногда провоцировать их на гнев. А таргетированная реклама, в свою очередь, была бы невозможна без сбора и обработки огромного массива данных.
Но мотив выгоды – не единственный фактор, толкающий развитие технологий в антидемократическом направлении. Не менее важную роль играет и видение, лежащее в основе деятельности этих компаний, – то, что мы назвали «иллюзией ИИ».
Как мы уже обсуждали в главе первой, демократия – это прежде всего множество и разнообразие голосов, в том числе особенно важных здесь голосов простых людей, которые слышны обществу и влияют на принятие политических решений. Понятие «публичной сферы», предложенное немецким философом Юргеном Хабермасом, фиксирует некоторые важнейшие черты здорового демократического дискурса. Хабермас показывает, что в центре демократической политики стоит «публичная сфера», определяемая как форумы, где индивидуумы вступают в новые контакты, образуют сообщества, обсуждают общественные и политические проблемы. Используя в качестве модели британские кофейни и французские салоны XIX века, Хабермас предположил, что важнейшая сторона публичной сферы – способность людей свободно участвовать в дискуссиях, представляющих интерес для всего общества, без жесткой иерархии, связанной с уже заданным статусом. Таким образом, публичная сфера порождает как форум, где можно услышать разнообразные мнения, так и трамплин, позволяющий этим мнениям повлиять на политику. Особенно эффективен форум, на котором люди могут обсуждать целый ряд пересекающихся друг с другом проблем.
В первые годы была надежда, что интернет-коммуникации породят новую публичную сферу – такую, где самые разные люди, не только родственники, соседи или сослуживцы, смогут свободно общаться и обмениваться мнениями.
К несчастью, интернет-демократия не входит ни в бизнес-модели ведущих IT-компаний, ни в «иллюзию ИИ». В сущности, она диаметрально противоположна технократическому подходу, полагающему, что многие решения слишком сложны для обычных людей – их должны принимать специалисты. В коридорах большинства IT-компаний царит примерно такая атмосфера: здесь работают гении (в основном мужского пола), беззаветно трудящиеся ради общего блага. Вполне естественно, что они и должны принимать важные решения. С такой точки зрения политическое сознание масс – это то, чем следует манипулировать и снимать с него пенки, а вовсе не поддерживать и защищать.
Таким образом, «иллюзия ИИ» поддерживает антидемократический импульс, несмотря на то что многие ее носители считают себя умеренно левыми, поддерживают демократические институты и даже Демократическую партию. Эта поддержка часто укоренена в культурных симпатиях и очень удобно обходит краеугольный камень демократии – активное участие обычных людей в политике. Такое участие особенно яро отвергается, когда заходит речь об ИИ, поскольку большинство предпринимателей и венчурных капиталистов уверены, что люди ничего не понимают в этой технологии и боятся ее только из суеверия. Как выразился один венчурный капиталист, «большинство страхов насчет искусственного интеллекта сильно преувеличено, если не вовсе необоснованно». Значит, решение в том, чтобы игнорировать эти тревоги, смело двигаться вперед и добиться того, чтобы ИИ вошел в каждый дом, – ибо, «быть может, лишь тогда, когда эта технология будет полностью интегрирована в нашу повседневную жизнь и отойдет в нашем сознании на задний план, люди перестанут ее бояться». По сути, тот же подход высказал Марк Цукерберг в интервью журналу «Тайм»:
«Стоит появиться какой-нибудь технологии или инновации, серьезно что-то меняющей, – всегда находятся люди, которые оплакивают перемены и мечтают вернуться в прошлое. Но, мне кажется, настолько очевидно, что это благо для людей – всегда оставаться на связи с родными и друзьями!»
Этот антидемократический поворот усиливает и ускоряет еще одна сторона «иллюзии ИИ» – восприятие разрушения как добродетели, зафиксированное в девизе: «Двигайся быстрее, ломай все преграды!» Под разрушением здесь следует понимать негативные эффекты для других, особенно для трудящихся, организаций гражданского общества, традиционных СМИ и даже для демократии как таковой. Если все они стоят у тебя на пути и мешают делать большие деньги, они законная добыча.
Отражение этого антидемократического импульса можно увидеть в собственном исследовании Facebook, посвященном тому, как пользователи реагируют на позитивные и негативные эмоции своих френдов в новостной ленте. В 2014 году компания предприняла масштабное внутреннее исследование: новостной лентой почти 700 000 юзеров манипулировали таким образом, что сначала в течение недели она переставала показывать позитивные сообщения от френдов, а затем, также в течение недели, – негативные. Результат вышел предсказуемый: множество негативных сообщений и отсутствие позитивных влияли на пользователей самым неприятным образом.
Перед тем как проводить это исследование, компания не предупреждала пользователей, не спрашивала их согласия и даже не пыталась следовать общепринятым стандартам научного исследования, в которых информированное согласие субъекта обязательно. После того как некоторые результаты этого исследования были опубликованы сотрудниками Facebook в «Трудах Национальной академии наук», выпускающий редактор номера Индер М. Верна сделал к этой заметке редакторское примечание с выражением беспокойства о том, что эксперимент проводился без информированного согласия и не отвечает стандартам академического исследования.
Google следовал тем же принципам в своих попытках расширить объем информации, получаемой из Google Books или Google Maps. Компания игнорировала все понятия о приватности, не ставила пользователей в известность о своих действиях, не спрашивала их разрешения – надеялась, что как-нибудь прокатит или, по крайней мере, сойдет с рук. Что ж, в этом они не ошиблись.
Facebook и Google – не исключения в своей индустрии. В наше время для IT-компаний стало рутиной собирать огромные базы данных, не спрашивая согласия людей, чья информация или фото там используются. Например, в области распознавания изображений многие ИИ-алгоритмы обучаются и иногда соревнуются друг с другом на основе базы данных ImageNet, основанной известным компьютерщиком, впоследствии ведущим специалистом Google Фэй-Фэй Ли. База данных, в которой содержится более 14 млн изображений, разбитая почти на 22 000 категорий, состоит из частных фотографий, загруженных на различные платформы в Интернете – и полученных, разумеется, без разрешения авторов или людей, изображенных на снимках. В IT-индустрии такой подход считается нормальным. Говоря словами самого Фэй-Фэй Ли, «настала эпоха Интернета – и как будто на нашей улице перевернулся грузовик с визуальной информацией!»
Некоторые компании, как упомянутая выше Clearview AI или компания ИИ-безопасности Palantir, основанная миллиардером Питером Тилем, заходят еще дальше: систематически собирают данные беженцев или просто случайных прохожих, разумеется не спрашивая их согласия, и на основе этих данных пытаются научить ИИ распознавать людей, склонных к совершению преступлений. Во всех этих случаях подобные стратегии оправдываются тем, что сбор данных необходим для технического прогресса. Как высказался один инвестор стартапа по распознаванию лиц:
«Может, законы и определяют, что законно, а что нет, но нельзя же запретить технологии. Разумеется, все это может привести к антиутопии или чему-то подобному – но это нельзя запретить».
Как всегда, истина сложнее и тоньше. Навязывание людям массовой слежки и сбора данных – не единственно возможный путь технического прогресса, и ограничить его не значит «запретить технологии». Та антидемократическая траектория, по которой движется прогресс сейчас, обусловлена мотивом выгоды и «иллюзией ИИ», побуждающими как авторитарные правительства, так и IT-компании навязывать свое видение всем остальным.
Возможно, все это не специфика ИИ и высоких технологий. Любое великое изобретение в области массовых коммуникаций несет в себе опасность злоупотребления.
Рассмотрим еще одну важнейшую коммуникационную технологию XX века – радио. Оно тоже было универсальным и в каком-то смысле не менее революционным, чем социальные сети: впервые в истории радио принесло в жизнь людей массовое оперативное распространение информации, множество новых развлечений… и, разумеется, пропаганду. Сама технология была создана вскоре после открытия немецким физиком Генрихом Герцем радиоволн (в 1886 году) и после того, как десятилетие спустя итальянский физик Гульельмо Маркони сконструировал первый радиопередатчик. В 1900 году начали вещание первые коммерческие радиостанции, а к 1920-м годам радио было уже широко распространено во многих западных странах. И почти сразу его начали использовать для пропаганды и дезинформации. Президент Франклин Д. Рузвельт, понимая важность этой технологии, начал транслировать по радио свои «разговоры у камелька», в которых непринужденно, в форме беседы, объяснял американской публике проводимый им «Новый курс».
Одним из сторонников Рузвельта – человеком, чье имя в Соединенных Штатах стало символом радиопропаганды, – был отец Чарльз Кофлин, католический священник с большим ораторским даром. Однако к середине 1930-х годов отец Кофлин разочаровался в «Новом курсе» и основал собственный «Национальный союз за социальную справедливость». В его радиовыступлениях, транслируемых по Си-би-эс, звучали не только рассуждения на разные политические темы, но и антисемитская пропаганда. А вскоре отец Кофлин уже поддерживал на радиоволнах Бенито Муссолини и Адольфа Гитлера.
Передачи Кофлина, с его смесью антирузвельтовских, фашистских и антисемитских идей, оказали немалое влияние на американскую политику 1930-х годов. В одном недавнем исследовании на эту тему использовались различия между округами США в приеме радиосигналов, связанные с различными географическими и топографическими препятствиями для радиоволн. Выяснилось, что в преддверии президентских выборов 1936 года радиопропаганда отца Кофлина снизила поддержку политики «Нового курса» и количество голосов, отданных за Рузвельта, на несколько процентов (хотя и не предотвратила его триумф). Кофлин влиял не только на выборы президента. В тех округах, где ничто не мешало людям слушать его передачи, чаще открывались местные отделения пронацистского Немецко-американского союза и снижалась поддержка усилий США во Второй мировой войне. Даже несколько десятилетий спустя в этих округах сохранялись повышенные (по сравнению с соседними округами) антисемитские настроения.
Методы, которые отец Кофлин успешно применял в США, в те же годы были доведены до совершенства в Германии. Нацисты, придя к власти, сделали радио основным орудием своей пропаганды. Йозеф Геббельс, гитлеровский министр пропаганды, стал экспертом по использованию радио для получения поддержки нацистской политики или разжигания ненависти против евреев и «большевиков». Сам Геббельс говорил: «Мы не смогли бы ни взять власть, ни удержать ее, не будь у нас радио и самолетов».
В самом деле, нацистам удавалось очень эффективно управлять чувствами и симпатиями населения при помощи радиопередач. Используя тот же метод – сравнение областей страны, куда по-разному доходили радиосигналы, а также анализируя перемены в содержании радиопередач с течением времени, команда исследователей обнаружила, что нацистская пропаганда серьезнейшим образом воздействовала на поведение людей. Где много слушали нацистское радио, там начинались еврейские погромы и увеличивалось число евреев, выданных властям.
В конечном счете и в США, и в Германии экстремистская радиопропаганда была взята под контроль; и то, как это было сделано, открывает нам важные различия между радио и соцсетями – но и дает полезные подсказки о том, как справиться с новейшими коммуникационными технологиями.
В 1930-х годах проблема была в том, что для распространения пламенной риторики у отца Кофлина была национальная радиостанция, которую слушали миллионы. В наше время проблема в том, что дезинформация, распространяемая алгоритмами Facebook и других соцсетей, обращена уже не к миллионам, а к миллиардам.
Пагубный эффект передач Кофлина был нейтрализован, когда администрация Рузвельта постановила, что Первая поправка, защищающая свободу слова, не распространяется на радиовещание. Аргументация была следующая: весь спектр радиоволн находится в общественном достоянии и, следовательно, подлежит регуляции. Новые правила радиовещания вытеснили программы отца Кофлина из национального эфира. Он продолжал писать и скоро снова начал выступать по радио, но теперь на частных станциях с куда меньшим охватом слушателей. Кроме того, скоро началась война, и прогерманскую антивоенную пропаганду пришлось свернуть.
И в наше время в ток-шоу на коротких волнах можно услышать немало дезинформации и хейтспича; однако аудитория этих радиопередач невелика – совсем не такая, как была у отца Кофлина, и уж точно не такая, какую охватывает Facebook!
Реакция послевоенной Германии на радиопропаганду была еще более серьезной и последовательной. Конституция современной Германии запрещает высказывания, классифицируемые как Volksverhetzung, то есть «возбуждение ненависти», а также подстрекательство к насилию или к актам унижения тех или иных сегментов населения. Согласно этому закону, и отрицание Холокоста, и распространение антиеврейской пропаганды в Германии однозначно запрещены.
Не по воле рока ИИ-технологии сосредоточились на автоматизации и слежке за людьми на рабочих местах. Не решением злой судьбы попали на службу к авторитарным правительствам. В цифровых технологиях нет никакой «встроенной» антидемократичности. И уж точно социальные сети не были обречены на то, чтобы распространять дезинформацию, пропагандировать экстремизм и возбуждать всякого рода негативные эмоции. Все это был вопрос выбора – выбора IT-компаний, разработчиков ИИ и правительств. Именно их решения привели нас туда, где мы сейчас находимся.
Как мы уже упоминали в этой главе, YouTube и Reddit в середине 2010-х годов были заражены ультраправым экстремизмом, дезинформацией и хейтспичем не меньше, чем Facebook. Но за последние пять лет эти платформы предприняли некоторые шаги по борьбе с проблемой.
После выхода «признаний» Калеба Кейна и разоблачительных репортажей в «Нью-Йорк таймс» и «Нью-Йоркер», когда на YouTube и его материнскую компанию Google усилилось общественное давление, платформа начала модифицировать свои алгоритмы так, чтобы предотвратить распространение наиболее зловредного контента. Google заявляет теперь, что продвигает видео «из авторитетных источников», которые с меньшей вероятностью будут содержать дезинформацию или использоваться для радикализации зрителей. Он утверждает также, что эти изменения в алгоритмах на 70 % снизили просмотры «пограничного контента» (слово «пограничный» здесь связано с позицией компании, утверждающей, что однозначный хейтспич на ее платформе уже запрещен и все подобные материалы удалены).
Схожая эволюция произошла и с Reddit. Платформа стала приютом экстремистов и разжигателей самого худшего толка, и поначалу один из ее основателей, Стив Хаффман, защищал такое положение дел, утверждая, что оно вполне согласуется с присущим Reddit пониманием свободы слова; но затем платформа откликнулась на общественное давление и ужесточила стандарты модерации. После того как марш белых супремасистов «Объединим правых» в Шарлоттсвилле, штат Вирджиния, организованный на этой площадке, в 2017 году перерос в кровавое побоище с одним убитым и десятками раненых, основателям Reddit и самой платформе пришлось развернуться на 180 градусов. Платформа начала удалять подразделы, распространявшие хейтспич, расистскую лексику и откровенную дезинформацию. В 2019 году был удален сабреддит «Наш Дональд».
Улучшение этих платформ благодаря введенной саморегуляции не стоит преувеличивать. На YouTube по-прежнему немало дезинформации и манипуляции, зачастую поощряемой местными алгоритмами, да и язык вражды из Reddit никуда не делся. Ни та, ни другая платформа не изменили свои бизнес-модели: они продолжают полагаться на максимизацию вовлеченности и на прибыли от таргетированной рекламы. Платформы с другими бизнес-моделями, такие как Uber или Airbnb, намного активнее вычищают со своих сайтов хейтспич.
И все же лучший пример жизнеспособности альтернативных моделей можно увидеть на Википедии. Эта платформа – одна из самых посещаемых в Сети: в последние несколько лет ее посещаемость составляет более 5,5 млрд уникальных посетителей в год. Википедия не пытается монополизировать внимание читателей, поскольку не живет доходами от рекламы.
Это позволило платформе выработать совершенно иной подход к дезинформации. Статьи в этой онлайн-энциклопедии пишут анонимные добровольцы; каждый доброволец может опубликовать новую статью или отредактировать уже существующую. На платформе несколько уровней администрации, набираемой из числа постоянных пользователей с хорошим «послужным списком». Среди добровольцев, участвующих в развитии сайта, есть опытные редакторы с дополнительными привилегиями и ответственностью, например с возможностью разрешать споры. На более высоком уровне разрешением конфликтов занимаются «распорядители», обладающие бо́льшим объемом власти. Согласно самой платформе, они наделены полномочиями «выполнять решения сообщества техническими средствами, действовать в чрезвычайных ситуациях, бороться с вики-вандализмом». Над «распорядителями» стоит «арбитражный комитет», состоящий из «редакторов-добровольцев, совокупно или в подгруппах находящих решения для проблем и конфликтов, которые сообщество не в состоянии разрешить самостоятельно». «Администраторы» имеют возможность защищать и удалять страницы, а также блокировать редактуру в случае спорного содержания статьи, случаев вандализма или дезинформации. Над администраторами стоят и надзирают за ними «бюрократы».
Такая административная структура эффективно помогает сайту избежать распространения дезинформации, а также поляризации, обычной на других сайтах. Опыт Википедии показывает, что «мудрость человека из толпы», о которой мечтали ранние поклонники соцсетей, в самом деле существует, но «работать» может только под жестким контролем и наблюдением верно выстроенной организационной структуры – и там, где делается верный выбор направления развития технологий.
Альтернативы бизнес-модели, построенной на таргетированной рекламе, не ограничиваются некоммерческими проектами типа Википедии. Netflix, основанный на модели подписки, также собирает информацию о своих пользователях и серьезно вкладывается в ИИ, умеющий предлагать индивидуальные рекомендации. Однако на этой платформе мы практически не встретим ни дезинформации, ни яростных политических споров: она заинтересована в том, чтобы пользователи покупали подписку, а не в том, чтобы максимизировать их вовлеченность.
Платформы социальных сетей тоже могли бы работать с подпиской и извлекать из нее доход. Такой выбор, безусловно, не решит все проблемы соцсетей. И на платформе по подписке можно создавать себе «эхокамеры», и там могут сложиться свои способы монетизации дезинформации и обнаружиться новые уязвимости. Тем не менее альтернативная бизнес-модель позволит уйти от интенсивного вовлечения пользователей, которое уже показало себя с наихудшей стороны: оно поощряет самые токсичные типы социального взаимодействия, вредит и психическому здоровью, и демократическому политическому сознанию.
«Социальная паутина» способна породить множество положительных эффектов, если удастся сдержать ее пагубное воздействие на распространение дезинформации, поляризацию и психическое здоровье населения. Современные исследования, прослеживающие распространение фейсбука в новых регионах и на новых языках, показывают, что малый бизнес в этих странах, получив доступ к иностранным рынкам, в результате расширяет продажи. Нет причин полагать, что компания не сможет зарабатывать на предоставлении таких и других подобных услуг, а не на манипуляции пользователями. Кроме того, социальные сети и цифровые инструменты могут помогать частным людям защищаться от слежки и даже играть продемократическую роль – об этом мы подробнее поговорим в следующей главе. Нажимать на кнопки, играя эмоциями пользователей, и впихивать разозленным и задетым людям таргетированную рекламу – не единственный возможный способ существования соцсетей, никогда не был единственным и, хотелось бы верить, не будет.
Трагедия в том, что ИИ все сильнее подрывает демократию именно там, где она нам больше всего нужна. Пока направление развития цифровых технологий не будет полностью изменено, они продолжат стимулировать неравенство и маргинализировать крупные сегменты рабочей силы, сперва на Западе, затем и во всем остальном мире. Уже сейчас ИИ-технологии применяются для интенсивного наблюдения за сотрудниками и используются для того, чтобы не повышать или даже понижать им зарплаты.
Можете сколько хотите вглядываться вдаль и ждать, когда появится «прицепной вагон производительности». Но никаких предпосылок для него пока не видно. Как мы уже знаем, менеджеры и предприниматели, если их не сдерживают противодействующие силы, склонны использовать новые технологии для автоматизации труда за счет трудящихся. В наше время эту тенденцию усиливает и обостряет масштабный сбор данных.
Однако противодействующие силы едва ли возникнут там, где нет демократии. Когда элита полностью контролирует политику, эффективно используя инструменты репрессий и пропаганды, создать осмысленную и хорошо организованную оппозицию становится очень сложно. По всей видимости, в Китае в ближайшее время не сложится никакого массового движения инакомыслящих, особенно учитывая растущую эффективность цензуры и массовой слежки на основе ИИ-технологий, введенных Коммунистической партией. В то же время становится все сложнее надеяться на появление таких сил в Соединенных Штатах и других странах Запада. ИИ душит демократию, в то же время предоставляя инструменты для репрессий и манипуляций как авторитарным, так и демократически избранным правительствам.
В своем романе «1984» Джордж Оруэлл писал:
«В конце концов, откуда мы знаем, что дважды два четыре? Или что на нас действует сила притяжения? Или что прошлое нельзя изменить? Если и прошлое, и внешний мир существуют лишь в сознании, а сознание можно контролировать – что тогда?»
Этот вопрос становится еще актуальнее сегодня, когда, как и предвидела философ Ханна Арендт, люди как в демократических, так и в недемократических странах, бомбардируемые со всех сторон ложью и пропагандой, перестают верить любым новостям. Может произойти и нечто худшее. «Приклеившись» к социальным сетям, где в избытке сильных и ярких эмоций, люди могут оторваться от своих сообществ и совсем утратить демократическое сознание, уйдя в альтернативную, виртуальную реальность, где чем радикальнее голос, тем громче он звучит, информация делится не на правдивую и ложную, а на «свою» и «вражескую», где от любых сомнений можно укрыться в своей эхокамере, а любые компромиссы прокляты и забыты.
Некоторые оптимистично полагают, что новые технологии, такие как Web3.0 или Метаверс, породят иную динамику. Но пока в IT-компаниях господствуют нынешние бизнес-модели, а правительства озабочены слежкой за населением, скорее всего, нынешние тенденции будут только усугубляться, создавая все более прочные информационные пузыри и все больший разрыв с реальностью.
Уже поздно – но, может быть, еще не слишком поздно. В следующей главе мы изложим свои соображения о том, как можно было бы обратить эти тенденции вспять и какие конкретно политические изменения смогут привести к такому преображению.