27 августа 2019 года Роберто Мата летел домой из Сан-Сальвадора в Нью-Йорк рейсом авиакомпании Avianca Airlines. Мата утверждает, что во время полета стюардесса случайно ударила его по колену металлической сервировочной тележкой, и это привело к серьезной и, возможно, необратимой травме обоих коленных суставов и нервной системы, а также потере дохода и дорогостоящим медицинским расходам. В феврале 2022 года Мата подал иск против Avianca за халатность⁶⁴. После различных судебных разбирательств авиакомпания попросила суд закрыть дело, в то время как адвокат Маты предоставил в ответ записку по делу на десяти страницах, в котором ссылался на несколько случаев в качестве прецедентов для продолжения судебного разбирательства.

Но здесь была одна проблема: ни одно из дел, перечисленных в документе, включая «дело Мартинеса против Delta Air Lines», «дело Цикермана против Korean Air Lines» и «дело Варгезе против China Southern Airlines», в реальности никогда не рассматривалось. Стивен Шварц, адвокат Маты, попросил ChatGPT составить записку по делу, и модель с готовностью это выполнила, но при этом полностью выдумала подтверждающие аргументы, опираясь на судебные иски, которых никогда не существовало. Выступая перед судом, Шварц открыто признался, что для составления записки использовал этот инструмент, и добавил, что не намеревался вводить суд в заблуждение, но поскольку он никогда раньше не пользовался ChatGPT, то не подозревал, что ответы чат-бота могут быть ложными⁶⁵.

Ситуация с делом «Мата против Avianca» показывает, что может потребоваться больше времени, чем предполагалось, чтобы большие языковые модели смогли отобрать работу у работников умственного труда. Хотя LLM очень хорошо могут обобщать информацию и генерировать текст, который выглядит как написанный человеком, эти модели по большому счету не могут гарантировать точность и достоверность. Кроме того, компании, создающие LLM, должны формировать адекватные ожидания пользователей. Из-за новизны технологии и правдоподобности результатов модели многие люди, такие как Стивен Шварц, не утруждают себя проверкой ответов в надежных источниках информации. Эта проблема существует не только в юридической сфере, но и в других областях, которые часто требуют специальных знаний, например в медицине и финансах.

ChatGPT с его доступным интерфейсом остается одной из наиболее популярных больших языковых моделей в 2023 году. Судя по объему онлайн-диалогов, одной из популярных тем – и, прямо скажем, не самой шокирующей – являются советы от ChatGPT о том, как можно быстро заработать деньги. Поиск в Google показывает десятки статей о том, как заработать деньги с помощью ChatGPT. В декабре 2022 года один из пользователей Reddit опубликовал рекомендации модели о том, как можно стать богатым при минимальном начальном капитале; модель дала десять советов, таких как: купить и продать товар на онлайн-площадках, например на eBay или Etsy, инвестировать в недвижимость, купить арендуемою недвижимость или перепродавать дома⁶⁶. Другие продолжили эксперименты и стали использовать ChatGPT в написании сценариев для социальных сетей и email-маркетинга. Оказалось, что тренд под названием HustleGPT [73] продемонстрировал более высокую эффективность в создании шума и привлечении внимания аудитории и подписчиков, чем в построении солидного бизнеса, что вполне объяснимо. LLM будут использовать общие, вероятностные стратегии, усвоенные во время обучения. Профессор Уортонской школы бизнеса Итан Моллик сказал, что, хотя ChatGPT не может сгенерировать «идеи на миллиард долларов», это отличный ресурс для людей, у которых есть идеи, но мало опыта в решении конкретных задач, таких как написание бизнес-планов или создание финансовых документов, шаблоны которых ChatGPT может изучить и воспроизвести⁶⁷.

Хотя получение финансовых консультаций от чат-бота, безусловно, несет в себе некоторые риски, остается неясным, является ли это более опасным, чем получение советов на любом онлайн-форуме или даже от друга или знакомого, которые не являются сертифицированными финансовыми специалистами. Проблема чат-ботов, работающих на базе ИИ, заключается в кажущейся компетентности. И такая кажущаяся компетентность – классическое поведение больших языковых моделей – может быть опасной во многих других областях. Можно представить чат-бота, который ставит неверный диагноз или назначает лечение, которое серьезно сказывается на здоровье пациента. В исследовании, опубликованном на веб-сайте журнала Американской медицинской ассоциации, был собран набор вопросов от пациентов на медицинских онлайн-форумах, которые задали ChatGPT и квалифицированным врачам, а затем сравнили их ответы. Ответы чат-бота были оценены как более качественные и более чуткие (возможно, из-за того, что ответы модели были значительно длиннее ответов врачей). Авторы пришли к выводу, что «дальнейшее исследование этой технологии оправдано в клинических условиях, когда чат-боты могут писать ответы, а врачи потом будут их редактировать»⁶⁸. Учитывая результаты, примечательно, но неудивительно, что авторы предлагают использовать чат-ботов не для самостоятельного написания ответов, а совместно с врачами в роли редакторов. Даже когда ИИ-системы превосходят человека, есть несколько аргументов в пользу того, что ИИ следует использовать как инструмент, а не средство замены, несмотря на экономические выгоды.

Ученые из медицинской школы Мичиганского университета провели еще одно исследование работы ChatGPT, используя модель GPT‐3.5, и предложили модели набор из 25 вопросов, связанных с диагностикой на рак молочной железы. Три радиолога, которые прошли подготовку в области маммографии, проверили ответы и определили, что они были правильными примерно в 88 % случаев, причем один ответ оказался неверным, поскольку рекомендации по таким случаям были пересмотрены и опубликованы уже после обучения модели⁶⁹. Модель GPT‐4 действительно сдала письменную часть экзамена по радиологии, и, что особенно стоит отметить, она не проходила тонкую настройку по этой теме⁷⁰. Но в неправильных ответах на экзамене GPT‐4 демонстрировала всю ту же кажущуюся компетентность, что и в правильных. Модель знала многое, но критично то, что она не знала, чего именно она не знает. Даже если точность ответов модели в области медицины приблизится к точности специалиста-человека или превзойдет ее, появление галлюцинаций серьезно ограничивает применение LLM в медицине, а также в других областях с высоким риском. Вот почему так важно научиться моделировать неопределенность. LLM, которая дает правильные ответы в 99 % случаев и галлюцинации в 1 %, все равно в конечном счете менее полезна, чем врач, который может правильно ответить на 95 % из того же набора вопросов и признает недостаток знаний по остальным 5 %. В руках начинающего практика, который слепо доверяет модели, этот 1 % может обернуться катастрофой. Другое исследование показало, что, когда модели использовались для обобщения медицинских наблюдений, их результаты не давали полной картины, поскольку даже при отсутствии галлюцинаций они не всегда могли выделить наиболее важные компоненты в наблюдениях, что могло привести к точным, но вводящим в заблуждение результатам⁷¹. Когда модели обращают внимание на неверную информацию или обучаются на предвзятых данных – что, как мы знаем, существует во многих медицинских областях⁷², – то они могут давать некачественные диагнозы или ответы, а из-за непрозрачности процесса генерации неспециалистам будет очень сложно выявить эти ошибки.

Рассмотрим случай с финансовым консультантом. Финансовый консультант, который просто обещает определенный процент прибыли от инвестиций, вызывает меньше доверия, чем тот, кто описывает ряд возможных сценариев, а затем дает рекомендации, которые уравновешивают процент прибыли с толерантностью клиента к риску. Чат-бот вроде ChatGPT будет охотно выдавать базовые финансовые советы и, возможно даже, сможет персонализировать их под запрос пользователя. Однако, когда дело доходит до более технических аспектов, такие вопросы могут выходить за рамки знаний чат-бота, и тогда он сделает лучшую догадку. Если финансовый консультант вводит в заблуждение или не раскрывает соответствующую информацию об инвестициях, на него можно подать в суд. В случае с чат-ботами, за исключением редких случаев, когда контент, созданный с помощью ИИ, сам по себе является незаконным, никто не несет ответственности за эти ошибки, кроме разве что человека, который на них положился.

Адвокат Стивен Шварц, уличенный в использовании ChatGPT в деле «Мата против Avianca», на момент написания этой книги ожидает слушания по обвинению в предоставлении «ложного и мошеннического нотариального заверения». Несомненно, он повторит свое заявление о том, что, будучи незнакомым с генеративным ИИ, не подозревал о способности ChatGPT что-то выдумывать. Конечно, эти технологии новы и удивительны, и многие люди все еще учатся пользоваться ими. Но Шварц работает практикующим юристом уже более тридцати лет. В ответе на ходатайство о прекращении дела, которое вел Шварц, затрагивалось несколько различных юридических вопросов, включая исковую давность, кодекс о банкротстве и международные договоры. Случаи, которые придумал ChatGPT, касались как раз всех этих вопросов. Шварц, что логично, заподозрил неладное, но, вместо того чтобы проверить информацию по другим источникам, он спросил ChatGPT: «Это реальный случай с Варгезе?» Неудивительно, что ChatGPT ответил положительно [74]^{, 73}.

Старший редактор журнала Above the Law Джо Патрис написал в своем блоге об этом происшествии следующее:

«Это ничем не отличается от ситуации, когда в записку по делу включают прецеденты, которые вызывают сомнения или имеют проблемы, или просто копируют первые 10 результатов поиска по базе данных и считают работу сделанной. Проблема заключается не в результате, который произвел ChatGPT, а в том, что адвокат не удосужился ознакомиться с развернутыми заключениями по случаям, на которые ссылался. Поэтому я не верю в оправдания Шварца о том, что он никогда прежде не пользовался этим приложением и „поэтому не подозревал о том, что его ответы могут быть ложными“. Не важно, правильные были результаты или нет, вы все равно должны читать эти чертовы заключения! В прежние времена поиск в Westlaw или Lexis редко выдавал правильные результаты при первом же запросе юриста, и обычно вам надо было проверить и убедиться, что заключение было действительно полезным»⁷³.

По мнению Патриса, генеративный ИИ значительно повысит эффективность и точность расследований адвокатов, не заменяя при этом их самих. «Не вините ИИ за неудачи адвокатов, – заключил он. – Как и во многих других технических вопросах, источник ошибки здесь находится между клавиатурой и стулом»⁷³.

В этой главе мы рассмотрели случаи, когда люди либо намеренно злоупотребляют LLM для создания вредоносного кода и дезинформации, либо делают это случайно, не учитывая ограничения этих моделей. Поскольку инструменты генеративного ИИ становятся все более распространенными, то вполне понятно, что профессионалы в самых разных областях начнут экспериментировать с ними и изучать их возможности. Во многих случаях LLM действительно помогают людям повысить производительность: с помощью модели программисты могут писать код, а маркетологи – делать рекламу. Однако невозможно представить, чтобы программист запустил в работу код без тестирования, а маркетолог опубликовал рекламу без вычитывания, – так не сделали бы даже с вариантом, написанным человеком. Мы можем представить, как врачи с помощью LLM составляют предварительные заключения пациентам, юристы готовят записки, а финансовые консультанты пишут письма инвесторам, но – проверяя их достоверность, используя свой опыт или исследовательские навыки. В какой-то момент станет почти не важно, были ли ошибки сделаны ИИ или человеком. Полностью полагаться на эти инструменты – значит отказываться от ответственности, и именно в жестко регулируемых областях такой отказ влечет за собой серьезные профессиональные последствия.

Но это не значит, что вся вина полностью ложится на плечи пользователей. Компании, разрабатывающие LLM, также несут ответственность за их работу. Во-первых, они должны прозрачно говорить об ограничениях своих моделей и избегать нелепых заявлений в их пользу или гарантий, которые невозможно выполнить. В случаях, когда у модели не хватает знаний для ответа, например как у ChatGPT нет информации о текущих событиях [75], то ответ «У меня нет информации в режиме реального времени» или просто «Я не знаю» будет намного удачнее, чем придуманный. Кроме того, разработчики могут дать указания моделям выражать их собственное чувство уверенности в ответе на естественном языке, что обеспечит пользователю гораздо лучший опыт общения с моделью и устранит видимость уверенности и компетентности там, где их нет.

Наконец, точно так же, как ответственные пользователи должны знать об ограничениях инструментов генеративного ИИ, с которыми они работают, ответственные компании должны знать о том, как их инструменты используются. Как и в случае с мониторингом небезопасного контента, это можно сделать неинвазивным методом, без необходимости идентификации пользователей. Компании, выпускающие LLM, должны отслеживать как намеренное, так и случайное ненадлежащее использование. К мерам противодействия в случае целенаправленного ненадлежащего использования относится блокировка пользователя и повышение устойчивости модели к запросам такого типа. В случае непреднамеренного злоупотребления – а оно наблюдается систематически, в тех случаях, когда люди используют модель для задач, с которыми она не может хорошо справиться, – меры противодействия могут включать более детальное обучение пользователей и калибровку их ожиданий, а также внесение изменений в модель для разъяснения ограничений ее возможностей. Конфуций примерно в 500 году до нашей эры сказал: «Настоящее знание – знать степень своего невежества», и это остается актуальным в Век Информации. От того, смогут ли большие языковые модели реализовать эту мудрость сегодня, будет зависеть их полезность в ближайшие годы.