Представьте конец 2025 года: двое менеджеров из разных компаний спорят за кофе. Один говорит: «AI отлично работает, я за день закрыл месячный отчёт». Второй: «А я попросил его написать досудебную претензию — и он сослался на статью закона, которой не существует. Хорошо, что помощник успел проверить». Оба говорят про одну и ту же модель, но видят её по-разному. Оба правы, и оба смотрят на одну и ту же машину. Разница — в типе задачи. Первый дал модели задачу с низкой ценой ошибки, черновик, — и сэкономил день. Второй дал задачу с высокой ценой, юридический документ, — сэкономил час, а потом рисковал карьерой. В следующих разделах разберёмся, как заранее отличить первое от второго — и перестать спорить с коллегами о том, «хорошо ли работает AI». Он работает по-разному. Это не каприз, а системное свойство.

ПЯТЬ КЛАССОВ ЗАДАЧ AI

Когда вы открываете чат и формулируете запрос, модель решает одну из пяти задач. Названия звучат сухо, но различение между ними — первая линия обороны против плохого результата. Важнее, чем выбор модели и длина промпта.

Классификация. Вы даёте модели текст и список меток, она возвращает метку. «Отнеси это письмо к одному из пяти типов: жалоба, запрос документов, претензия по качеству, повторное обращение, спам» — модель должна выбрать один из пяти вариантов:

1: жалоба;

2: запрос документов;

3: претензия по качеству;

4: повторное обращение;

5: спам.

Внутри та же машина, что рисует картины, но задача формализована настолько жёстко, что вероятность выдумки низкая. Хорошо работает: сортировка входящих, тегирование тикетов поддержки, фильтрация резюме по базовым критериям.

Извлечение фактов. Вы даёте договор и список полей, модель возвращает пары «поле — значение». «Из этого договора вытащи: дату, номер, стороны, предмет, сумму, срок, условия расторжения». Здесь модель работает как очень внимательный, но не очень надёжный стажёр. С задачей справляется, но если в договоре поля нет, она часто выдумывает значение вместо того, чтобы честно сказать «не нашла». Это системная особенность, и с ней борются отдельно — мы к этому вернёмся в разделе про распознавание галлюцинаций.

Резюмирование. Вы даёте длинный текст, модель возвращает короткий. Самая надёжная операция из всех. По данным Vectara Hallucination Leaderboard за ноябрь 2025, лучшие модели на задачах суммаризации выдают менее одного процента галлюцинаций — Gemini 2.0 Flash, например, показывает 0,7% (лучший результат рейтинга на тот момент).

Но разброс в рейтинге — от 0,7% до 20,2%. Выбор конкретной модели даёт двадцатикратную разницу в вероятности выдумки. «Лучшая модель» — не общий ярлык, а привязка к конкретной строке рейтинга. Для офисной рутины «сожми мне протокол в пять строк» это рабочий инструмент, и риск выдумки в этой задаче один из самых низких во всём, что умеет LLM.

Причина простая: при суммаризации модель работает с заранее данным текстом, и единственный способ выдумать — исказить исходник. Это случается редко, потому что текст у неё «перед глазами».

Генерация. Вы даёте тему, модель возвращает связный текст. «Напиши письмо клиенту о переносе встречи», «Составь должностную инструкцию для помощника», «Сформулируй пять вариантов слогана». Здесь качество сильно зависит от того, насколько точно вы описали требования: тон, формат, длину, аудиторию, обязательные элементы. Чем расплывчатее промпт, тем выше шанс получить красивый, но бесполезный для вашей задачи текст. Не потому что она «глупая», а потому что у неё нет вашего контекста.

Поиск и вопрос-ответ. Вы даёте вопрос, модель возвращает ответ. Самая опасная задача, потому что в ней модель работает без ваших документов, на своей внутренней статистике. «Кто был премьер-министр Японии в 2018 году?», «Какая статья ГК РФ регулирует расторжение договора аренды?», «Что говорит наш регламент о сроках согласования?» Последний вопрос — самый коварный: модель не знает вашего регламента, и её ответ будет выглядеть как «правда про регламент», но это выдумка в форме ответа. Про распознавание таких моментов — отдельный раздел ниже.

РАСЧЁТЫ: ЛОВУШКА КОМАНДЫ «ПОСЧИТАЙ МНЕ»

К пяти классам задач стоит добавить шестой — расчёты, потому что в нём модель ведёт себя иначе. Правило раздела такое: «посчитай мне» — плохой промпт, а «напиши Python-скрипт, который считает…» — хороший. Если в вашем продукте нет Code Interpreter, а задача про точную арифметику (НДС, проценты по кредиту, штрафы, курсовые разницы) — считайте калькулятором или скриптом, а не моделью.

Почему так. Когда вы просите модель посчитать, она не считает — она предсказывает, какой токен статистически вероятнее всего окажется следующим в последовательности «два плюс два». На простом сложении двузначных чисел модели сбиваются в 5–15% случаев, а на умножении трёхзначных — почти всегда. Исследователи Apple Machine Learning в работе GSM-Symbolic (октябрь 2024) показали это эмпирически: при изменении только числовых значений в задаче точность моделей колеблется в пределах 65 процентных пунктов, а добавление одного нейтрального «шумящего» предложения в условие обрушивает результат.

Современные AI-ассистенты с Code Interpreter решают эту задачу иначе. Модель не считает сама — она пишет скрипт, а Python в изолированной среде (sandbox) его исполняет. Из такой среды модель не имеет выхода в вашу файловую систему, интернет или чужие процессы. Результат вычисления возвращается модели как контекст, и она формулирует ответ на естественном языке. Сейчас в эту архитектуру умеют: OpenAI Advanced Data Analyses (бывший Code Interpreter), Anthropic Claude с калькулятором, Google Gemini Code Execution, Qwen Code Interpreter, Microsoft Copilot + Python в Excel.

На вопрос «сколько будет 2341 × 5678» без инструмента модель с вероятностью 70–80% ошибётся. С инструментом — выдаст точный результат.

Смешение типов в одном запросе — почти гарантированный путь к плохому результату. Когда вы пишете «прочти этот PDF, выдели риски, сравни с прошлогодним, перепиши как письмо директору и порекомендуй решение», вы заставляете модель одновременно извлекать факты, классифицировать риски, сравнивать, генерировать и формулировать рекомендацию. Модель делает один из пяти шагов прилично, остальные — кое-как, и вы получаете текст, в котором половина фактов выдумана, а половина — точная, но не к месту. Если задача сложная и многошаговая, разбейте её на последовательность простых запросов: сначала выжимка, потом — сравнение, потом — черновик письма. Пять минут на разбивку экономят час на правку.

Если вы ловите модель на выдумке и думаете «может, попробовать более новую версию», остановитесь. Версия тут ни при чём — дело в архитектуре.

RAG: ИНСТРУМЕНТ ПОДСТРАХОВКИ, А НЕ ЛЕКАРСТВО ОТ ГАЛЛЮЦИНАЦИЙ

Извлечение фактов и поиск — два самых опасных класса задач: в них модель работает без ваших документов и «додумывает» ответ. По данным Stanford HAI (2024), в этих классах модель выдумывает на 17–33% чаще, чем хотелось бы. Есть ли способ заставить её отвечать по вашим документам, а не по памяти? Есть, и он называется RAG.

В 2024 году индустрия воодушевилась идеей: если дать модели читать ваши документы, а не свои внутренние веса, она перестанет выдумывать. Технология называется RAG — Retrieval-Augmented Generation, или «поиск с подсказкой». На каждый запрос модель сначала ищет релевантные фрагменты в вашей базе знаний, а уже потом формулирует ответ на их основе. Идея элегантная, и для части задач она работает. Для другой части — нет, и важно понимать где.

RAG радикально снижает галлюцинации, когда вопрос имеет точный ответ в ваших документах. «Какой срок оплаты по договору с ООО „Ромашка”?», «Что говорит наш регламент о командировках?», «Какая версия политики безопасности действует с 1 января?» Без RAG модель отвечает из своей статистики и врёт уверенно. С RAG — опирается на конкретный фрагмент, и шанс выдумки резко падает.

Но RAG не серебряная пуля. В сентябре 2024 года команда Стэнфордского института человекоцентричного AI (HAI) и RegLab опубликовала исследование, которое отрезвило индустрию. Авторы — шесть исследователей во главе с Сугуном Магешем (Sugun Magesh) и известным NLP-учёным Кристофером Мэннингом (Christopher Manning) из Стэнфорда — взяли три коммерческих юридических AI-инструмента: Lexis+ AI, Westlaw AI-Assisted Research (построенный на GPT-4 после покупки Casetext за 650 миллионов долларов) и Ask Practical Law AI.

Цифры по галлюцинациям: Lexis+ AI — 17%, Westlaw — 33%, Ask Practical Law AI — 17%, базовый GPT-4 без RAG — 43%. RAG снизил долю ошибок примерно вдвое, но не устранил: в каждом шестом ответе коммерческие инструменты с доступом к проверенной юридической базе выдавали ложную информацию. Westlaw, построенный специально для юристов с фокусом на точность, галлюцинировал в каждом третьем ответе.

Практический вывод: в задачах с высокой ценой ошибки RAG — фильтр первого уровня, а не финальный контроль качества.

Миф «RAG решает проблему галлюцинаций» не выдерживает проверки: модель всё равно может переврать прочитанное или сделать вывод, которого в источнике не было. Грег Ламберт (Greg Lambert), главный специалист по знаниям в Jackson Walker, в комментарии изданию Artificial Lawyer по итогам Stanford-исследования сформулировал ключевую проблему — «creativity problem», «проблему творческого додумывания». Модель не просто ищет в базе, она «креативит» на основе найденного. Берёт реальные документы, соединяет их в несуществующую конструкцию и формулирует уверенный ответ со ссылками на «реальные» источники. Юрист видит красивый ответ со ссылками и не перепроверяет каждую строку.

В феврале 2024 года канадский Civil Resolution Tribunal (Британская Колумбия) признал авиакомпанию Air Canada виновной в неосмотрительном введении в заблуждение из-за того, что её чат-бот пообещал клиенту несуществующую скидку. Клиент Джейк Моффатт (Jake Moffatt), потерявший бабушку, спросил у чат-бота, можно ли оформить обратный билет со скидкой после похорон. Чат-бот ответил утвердительно и привёл подробный тариф. Air Canada использовала RAG-подобный поиск по собственной базе тарифов, но поиск вернул не тот документ, и модель сгенерировала уверенный ответ про несуществующую политику. На суде компания пыталась доказать, что чат-бот — «отдельная сущность, за которую она не отвечает». Трибунал отверг этот аргумент и обязал Air Canada выплатить Moffatt компенсацию в размере 812,02 канадского доллара (CAD). Кейс стал прецедентом: компания отвечает за то, что говорит её AI, даже если AI ошибся.

Вывод: RAG нужен в любом офисном проекте с собственными документами — без него модель выдумывает ответы «как будто из вашего регламента» из общей статистики. Но одного RAG недостаточно: нужно RAG с цитированием, чтобы каждое утверждение модели можно было проверить по конкретному фрагменту базы. И держать в голове: даже хороший RAG уменьшает галлюцинации, а не устраняет.

ТРИ СПОСОБА АДАПТИРОВАТЬ МОДЕЛЬ ПОД СЕБЯ

RAG снижает галлюцинации, но не устраняет их — мы это установили. Тогда возникает следующий вопрос: есть ли способ переделать модель под себя, чтобы она отвечала «в нашем тоне», «с нашей терминологией», «по нашим правилам»? На бытовом уровне это звучит как просьба «натренировать наш ChatGPT на наших документах». В техническом смысле под этой фразой скрываются три разные операции с разной ценой и применимостью, и путаница между ними стоит компаниям десятков тысяч долларов и месяцев работы впустую.

Промпт-инжиниринг с few-shot примерами (few-shot — обучение на нескольких примерах в самом промпте). Вы не трогаете модель вообще, а пишете ей в системной инструкции, как себя вести, и прикладываете 2–5 примеров «вопрос-ответ» в самом промпте. Это самая дешёвая операция: ноль рублей на технику сверх обычной стоимости API, плюс несколько часов работы сотрудника, который учится формулировать задачи. Подходит, когда задача помещается в шаблон, не требует своей базы знаний и сводится к управлению тоном, форматом, терминологией. Лимит: если few-shot в промпте «съезжает» с формата на длинных ответах, это сигнал, что задача вышла за границы инструкции.

RAG (поиск с подсказкой). Вы оставляете модель общую, но подключаете к ней свою базу знаний. При каждом запросе модель сначала находит в базе релевантные фрагменты, а уже потом отвечает с опорой на них. Стоимость — от единиц тысяч долларов на старте (векторная база, индексация, интеграция) до десятков тысяч на зрелом проекте. Подходит, когда у вас есть много собственных документов, на которые модель должна опираться, и эти документы регулярно обновляются. Преимущество RAG перед дообучением — свежесть: данные можно обновить за часы (переиндексировал базу), а не за недели (новый цикл обучения). Преимущество RAG перед промптом — цитируемость: сотрудник или клиент может ткнуть пальцем в конкретный пункт регламента, на который модель сослалась. В задачах с регуляторной ответственностью (комплаенс, медицина, финансы) RAG даёт прослеживаемость источника, и в ЕС по AI Act это юридически значимое преимущество, а дообученная модель — чёрный ящик, и доказать, на каком основании она выдала ответ, потом будет нечем.

Дообучение (fine-tuning). Вы берёте готовую модель и прогоняете её через дополнительное обучение на своих парах «вопрос-ответ», подкручивая её внутренние веса. Это самая дорогая операция. Полное дообучение модели 7B требует 100–120 ГБ видеопамяти — это аренда нескольких серверных NVIDIA H100 примерно за 50 000 долларов за цикл.

Стоимость дообучения GPT-4o у OpenAI в августе 2024 — 25 долларов за 1 миллион токенов тренировки плюс 3,75 за миллион токенов инференса дообученной модели (тарифы OpenAI на 2024 год, в 2026 могли измениться). По оценке Open Source Data Summit 2025, дообучение обходится в 10–50 тысяч долларов за итерацию и требует месяцев на подготовку данных, тогда как RAG-система разворачивается за недели при 10% от этой стоимости.

Подходит, когда у задачи специфический стиль или формат ответа, который не вытягивается через примеры в промпте: юридические заключения в формате конкретного арбитражного суда, медицинские протоколы в формате конкретной клиники, финансовая отчётность в формате конкретного банка, или стабильный классификатор на 12 типов риска, обученный на 5 000 размеченных договоров.

Промежуточный вариант — QLoRA. Это метод на основе LoRA (Low-Rank Adaptation), где к стандартному дообучению добавляется 4-битное квантование весов: веса модели хранятся не в полной точности, а в упрощённой, что и даёт экономию памяти. Для модели 8B требования к VRAM сокращаются с 69 ГБ до 16 ГБ, и дообучение укладывается в одну потребительскую видеокарту NVIDIA RTX 4090 за полторы тысячи долларов вместо пятидесяти. Но даже QLoRA остаётся дообучением со всеми его ограничениями: модель застывает на момент обучения, и при обновлении данных придётся запускать новый цикл.

Какой инструмент выбирать в какой ситуации. Промпт — для тона, формата и типовых шаблонов, где не нужны ваши документы. RAG — для всего, где есть собственная база знаний, которую нужно уважать (регламенты, договоры, политика). Дообучение — для устойчивого специфического стиля или классификатора, который не вытягивается через примеры. В большинстве офисных задач достаточно RAG с хорошей базой и грамотного промпта.

РАСПОЗНАТЬ ГАЛЛЮЦИНАЦИЮ: ГРАНИЦА ДОВЕРИЯ К ОТВЕТУ МОДЕЛИ

Способа, который даёт стопроцентную гарантию, нет, но есть пять маркеров, по которым выдумку ловит даже непрофессионал. Они не дают абсолютной уверенности, но сдвигают вероятность в вашу сторону.

1: Подозрительная точность конкретных цифр. Когда модель выдаёт «исследование Университета X от 2019 года показало, что 73,4% респондентов…», цифры выглядят слишком «гладкими» для реального исследования — повод проверить. Реальная социология даёт неровные числа вроде «71,3% опрошенных из выборки 1247 человек», потому что работает с погрешностями и доверительными интервалами.

2: Неназванный источник. «Установлено, что…», «По мнению экспертов…», «Как известно…» — типичные обёртки для выдумки. Нет конкретной ссылки на автора, работу или базу данных — факт вызывает сомнение по умолчанию.

3: Длинный ответ с потерянной серединой. Модель хорошо помнит начало и конец своего ответа и хуже — середину (потерянная середина, о которой мы говорили в главе 1). Если первые два абзаца и последний связаны по смыслу, а середина «плывёт» — там может быть выдумка.

4: Внутренние противоречия при перефразировании. Попросите модель «расскажи то же самое другими словами». Если при пересказе появились новые факты, которых не было в первой версии, первая версия была частично выдумкой, и пересказ её «достроил».

5: Отсутствие оговорки про устаревание. Модель уверенно пишет про события вчерашнего дня без оговорки «на момент последнего обновления моих данных» — это техническая выдумка: у модели нет данных «вчерашнего дня», и она не предупредила об этом.

Эти пять маркеров не равны «доказано, что модель врёт», но задают простую рабочую норму: если хотя бы один из пяти сработал — перепроверьте по первоисточнику, прежде чем использовать ответ в работе. Что делать, когда выдумка уже прошла и попала к клиенту, — следующий раздел.

AI ЛЖЁТ КЛИЕНТУ: МАСШТАБ УЩЕРБА И ЦЕНА ОШИБКИ

Пять маркеров из предыдущего раздела помогают ловить выдумку. Но что делать, когда выдумка уже прошла и попала к клиенту — в договор, претензию, иск? Mata v. Avianca, флоридские кейсы и Air Canada — это три примера того, как AI-враньё попало в клиентские документы. Здесь нужен следующий уровень защиты: разделение ролей и процесс контроля.

Юридический риск несёт компания, а не модель. Что делать на практике, чтобы AI-враньё клиенту не превратилось в ваш инцидент?

Во-первых, разделить «кто пишет» и «кто проверяет факты». Автор черновика — AI, проверяющий факты — человек с компетенцией. Это два разных сотрудника и два разных этапа работы. В Mata v. Avianca юрист Шварц делал и то, и другое сам — и не справился. Один человек на обоих этапах не замечает собственных ошибок.

Во-вторых, запретить слепое копирование AI-текста в клиентский документ. Это касается договоров, претензий, исков и любых документов, которые уходят к контрагенту или в суд. Любой текст, сгенерированный AI в этих категориях, должен пройти через человека, который знает, как выглядит настоящая судебная практика, и может отличить её от правдоподобной выдумки.

В-третьих, обязательный RAG с цитированием в задачах, где есть собственная нормативная база. В главе 1 и ранее в этой главе мы видели, что даже юридические коммерческие инструменты галлюцинируют в 17–33% ответов. Цитирование в ответе модели — единственный способ для проверяющего быстро найти источник и сверить с тем, что модель написала.

В-четвёртых, вести журнал AI-использования — какие документы готовились с AI, кто проверял, какие правки вносил, и на этом же журнале строить запрет на AI в задачах с регуляторной ответственностью до тех пор, пока в компании не выстроен двухступенчатый контроль. Журнал защищает и клиента, и компанию при разборе инцидента.

ПРЕДВЗЯТОСТЬ AI: ПРОИСХОЖДЕНИЕ И ЦЕНА ДЛЯ БИЗНЕСА

В предыдущих разделах мы видели, что в судебных и академических кейсах модель фабриковала ссылки. Теперь посмотрим шире: откуда в модели берётся системное искажение, когда дело касается не конкретного факта, а целых групп людей.

В апреле 2025 года Кайра Уилсон (Kyra Wilson) и Айлин Калискан (Aylin Caliskan) из University of Washington опубликовали в Brookings исследование, которое получило широкий резонанс в деловых и технических СМИ. Три открытые LLM прогнали в режиме скрининга резюме (как в реальных HR-системах), и в каждом прогоне подменили имена кандидатов: белые имена встречались в обучающих данных в 5,5 раза чаще чёрных. Моделям предлагали выбрать 10% наиболее подходящих на вакансию. Получилось около 40 000 сравнений на каждую модель.

Результат по расовому признаку: белые имена выигрывают в 85,1% случаев, чёрные — в 8,6%. По гендеру: мужские имена выбираются на 51,9% чаще женских при сопоставимом опыте работы, и только в 11,1% случаев система отдавала предпочтение женщине. Самый жёсткий удар пришёлся по пересечению: чёрные мужчины выигрывали у белых мужчин в 0% случаев, ни одного раза из тысяч прогонов. Авторы отдельно подчёркивают: речь не о слабом сигнале, а о статистической невозможности для конкретной группы пройти фильтр.

Предвзятость — следствие обучающих данных. Если в корпусе белые имена встречаются в 5,5 раза чаще чёрных, модель выучивает, что белые имена «более вероятны» в деловом контексте, и при выборе «на кого это похоже» отдаёт им предпочтение. То же самое с гендером, национальностью, культурой, политической позицией.

Исследование Misinformation Review Гарвардской школы Кеннеди (сентябрь 2024) показало, что LLM фабрикуют положительную информацию о «своих» странах и негативную о «чужих» — асимметричное распространение, которое работает как мягкая пропаганда. Эта же механика работает в информационной войне: модели в обучающих данных унаследовали геополитические искажения западных источников и воспроизводят их в ответах.

Для российского офиса это означает конкретное следствие. YandexGPT, GigaChat, Kandinsky обучались на других корпусах, с другим балансом имён, культур, политических контекстов, и ведут себя в этих осях иначе, чем западные модели.

В апреле 2025 года команда AI, Data and Analytics Lab (AIDA-lab) Гентского университета опубликовала исследование «What Large Language Models Do Not Talk About» (arXiv 2504.03803). Они протестировали 14 frontier-моделей, включая GigaChat Max Preview и YandexGPT 4 Lite, на корпусе из 2371 политически активной персоны на шести языках ООН.

GigaChat и YandexGPT показали самый высокий процент «жёсткой цензуры» среди всех 14 моделей — выше китайских DeepSeek и Qwen, — причём отказываются отвечать преимущественно по персонам «своей» юрисдикции: война в Украине, оппозиция, «Мемориал», Афганистан, Сирия. Исследователи подчёркивают: цензура направлена на внутреннего русскоязычного пользователя, модели отказываются отвечать даже на запросы на русском языке. Это не языковой фильтр, а политика продукта, описанная академическим исследованием.

В январе 2025 года Meduza (издание внесено Минюстом РФ в реестр иностранных агентов) провела сравнительный эксперимент: одни и те же политически чувствительные вопросы про Китай и Россию задали DeepSeek, YandexGPT и GigaChat. Результат парадоксальный. DeepSeek подробно описал Евромайдан, аннексию Крыма, конфликт в Донбассе и упомянул «непризнанный референдум», а на Тяньаньмэнь отказался отвечать на пяти языках из шести. GigaChat и YandexGPT, наоборот, свободно описывали события 4 июня 1989 года в Пекине, но систематически отказывались обсуждать войну в Украине.

Вывод Meduza: российские модели более «пуганые» в политическом смысле, чем китайские, причём неравномерно — китайские темы обсуждают свободнее, чем российские. На запрос про «Xi Jinping и Винни-Пух» GigaChat выдаёт формальный отказ «некоторые темы временно ограничены» — это canned refusal (шаблонный отказ, встроенная заготовка из правил Sber), а не органический отказ модели.

В марте 2024 года команда исследователей во главе с Вероникой Григорьевой (источник: arXiv 2403.17553) выпустила бенчмарк RuBia — почти 2000 пар предложений по 19 подкатегориям в 4 доменах (гендер, социально-экономический статус, национальность, разнообразие).

RuBia показал то, что подтверждается любым русскоязычным: у русского языка нет устоявшегося гендерно-нейтрального местоимения, и почти любой контекст грамматически маркирован по роду («доктор наук находИЛСЯ» — мужской род, «доктор наук находИЛАСЬ» — женский). Модели усваивают связку «профессия — род» из обучающих текстов, и перекос «врач — мужчина, медсестра — женщина» в русском выражен сильнее, чем в английском.

Команда RuBia оценила девять LLM и обнаружила устойчивые паттерны гендерной предвзятости во всех. Для офиса это значит: попросите YandexGPT «назови 5 имён для инженера, 5 для учителя» — и с большой вероятностью получите «Александр, Дмитрий, Сергей» и «Наталья, Елена, Ольга», даже если дать явную инструкцию «используй разнообразные имена».

Важное отличие российской предвзятости от западной. Западная — статистическая: модель «переобучилась» на западной культуре, и эту предвзятость можно ослабить через промпт-инжиниринг и few-shot приёмы. Российская — институциональная: правила выставлены владельцем модели, встроены в ядро продукта и согласованы с регулятором. Команда GigaChat в техническом отчёте (препринт arXiv:2506.09440, «GigaChat Family», июнь 2025) прямо описывает, что пост-тренинг включает 250 000 размеченных примеров от профессиональных AI-тренеров с оценкой по критериям «adherence, context awareness, factual accuracy, safety», и слово «safety» в этом контексте — это и есть политическая и культурная фильтрация. Статистическую предвзятость можно обойти, институциональную — нельзя. Если вы думали, что «YandexGPT просто стесняется говорить о политике с иностранцами», то нет: это политика продукта, не языковой фильтр.

Что делать на практике. Во-первых, признать, что нейтральных моделей не бывает. Из этого следует выстраивать проверку, а не отказываться от AI. Во-вторых, для задач с регуляторной ответственностью (подбор персонала, кредитный скоринг, модерация контента) использовать AI только как первый фильтр с обязательной человеческой проверкой на «спорных» случаях.

В-третьих, тестировать модель на собственных примерах: 50–100 пар «правильного» и «неправильного» ответа, и если модель систематически ошибается в одну сторону — это сигнал, что у неё есть предвзятость в этой области. В-четвёртых, при международной работе помнить, что модель, обученная в основном на западных источниках, имеет западный уклон. Это уклон всей индустрии, в которой её обучали, а не баг конкретной модели.

И всё же четыре шага не закрывают проблему. Другое исследование (VoxDev/PNAS Nexus, май 2025) на 361 000 синтетических резюме с одинаковым опытом, но разными именами показало перевёрнутый перекос — в пользу женщин, с чёрными мужчинами в минусе. Просьба «будь нейтральным» в промпте не убирает bias, а иногда создаёт другой. Если вендор заявляет, что «наша модель нейтральна», — стоит спросить, на какой выборке проводилась оценка.

ЦЕПОЧКА РАССУЖДЕНИЙ: ПОДЛИННОЕ МЫШЛЕНИЕ ПРОТИВ ИМИТАЦИИ

Предвзятость, галлюцинации, RAG и дообучение — это всё про «что» модель выдаёт и «откуда» она это берёт. Отдельный вопрос — «как» она думает.

В январе 2022 года Джейсон Вэй (Jason Wei) и соавторы из Google Brain (ныне часть Google DeepMind) опубликовали работу (Wei et al., arXiv 2201.11903): если попросить модель «рассуждать пошагово» перед финальным ответом, качество на арифметических и логических задачах резко растёт. Технику назвали Chain-of-Thought (CoT, «цепочка рассуждений»). С тех пор прошло четыре года, и индустрия поняла: CoT помогает не всегда, и полезно знать, когда именно.

CoT реально помогает на задачах, которые требуют нескольких логических шагов. Если задача помещается в один шаг (классификация, извлечение одного факта, короткая генерация) — CoT не нужен, он только раздувает ответ. Если задача требует разбить сложное на простые шаги (математика с несколькими действиями, логические цепочки, многошаговые рассуждения) — CoT помогает, потому что каждый шаг становится отдельной задачей, и вероятность ошибки на каждом шаге ниже, чем вероятность ошибки в сквозном рассуждении. К 2026 году ведущие модели (Claude, GPT-4o, Gemini) научились «рассуждать по умолчанию» — то есть CoT встроен в их обычную работу и не требует отдельной просьбы в промпте.

Но есть нюанс, который перевернул расхожую рекомендацию «всегда просите модель думать шагами». В июне 2025 года Wharton Generative AI Labs (исследовательская лаборатория Школы бизнеса Уортон при Пенсильванском университете) опубликовал «Prompting Science Report 2: The Decreasing Value of Chain of Thought in Prompting». На восьми моделях в трёх режимах прогнали 198 задач PhD-уровня. Результат: для reasoning-моделей (o3-mini, o4-mini, Gemini Flash 2.5) CoT даёт прирост всего +2,9%…+3,1% по среднему, а у Flash 2.5 — минус 3,3%, при этом время ответа растёт на 20–80%. Для нерассуждающих моделей эффект больше: Sonnet 3.5 +11,7%, Gemini Flash 2.0 +13,5% по среднему. Но по метрике «100% правильных ответов» Gemini Pro 1.5 теряет 17,2% при добавлении CoT.

Вывод Wharton: для reasoning-моделей CoT стал плацебо с побочным эффектом замедления. Ещё год назад девизом было «проси модель думать вслух», теперь — «дай ей доступ к калькулятору и не мешай». Если вы работаете с o3, o4, Flash 2.5 или подобными моделями, инструкция «давай подумаем шагами» в промпте — пустая трата времени, и часто хуже.

CoT не делает модель «умнее» за счёт добавления новых знаний. Он заставляет её использовать больше вычислительных шагов, и в задачах, где больше шагов — это больше точности, выгода очевидна. В задачах, где больше шагов — это больше пространства для накопления ошибки, выгода исчезает или становится вредом. Та же команда Apple Machine Learning, чью работу GSM-Symbolic мы упоминали в разделе про расчёты, показала в части про CoT: при небольшом изменении условий задачи (замена имён или чисел на эквивалентные) точность модели с CoT падает на 10–30%. Это значит, что значительная часть «рассуждений» модели — это не настоящая логика, а паттерны, выученные из похожих задач. При изменении условий паттерны перестают работать, и рассуждение рассыпается.

У CoT есть и вторая задача — прозрачность. Если модель рассуждает шагами, человек может проверить логику. Это критично для кейсов повышенного риска по EU AI Act: медицинские рекомендации, кредитный скоринг, найм, правовые заключения. CoT — не «серебряная пуля», но единственный дешёвый способ сделать решение модели оспариваемым: в спорном HR-кейсе или в анализе договора вы можете попросить модель «сначала перечисли риски, потом для каждого — рекомендацию, потом общий вывод», и каждое утверждение будет привязано к своему шагу.

Без CoT у вас есть только вывод, и никто точно не сможет сказать, откуда он взялся.

Используйте CoT по типу задачи, а не по привычке. Если задача многошаговая и проверяемая (математика, логика, пошаговый анализ договора или финансового расчёта) — CoT помогает, особенно на обычных (не рассуждающих) моделях. Если задача требует одного простого действия или вы работаете с рассуждающей моделью — CoT лишний, и часто вредит. Не верьте, что длинное «рассуждение» модели в ответе — доказательство её уверенности. Это просто текст, и в нём может быть столько же галлюцинаций, сколько в любом другом ответе.

ЧУДО, ИГРУШКА, ВРАГ: ТРИ ОБРАЗА AI В ГОЛОВЕ ПОЛЬЗОВАТЕЛЯ

Есть ещё один слой, без которого всё это не работает в команде: отношение людей к AI. Из предыдущих разделов видно, что у модели есть границы и системные риски. Как люди реагируют на эти риски — определяет, получится ли внедрение.

У каждой команды, которая впервые сталкивается с AI, проявляется одно из трёх базовых отношений, и каждое мешает эффективному внедрению. Эти отношения редко проговариваются вслух, но именно они определяют, как люди используют инструмент.

Чудо. «AI может всё, мы наконец получили волшебного помощника». Сторонники этого отношения бросают AI на задачи, для которых он не подходит (точный расчёт, юридические ссылки, медицинские рекомендации), и разочаровываются, когда получают выдумки. McKinsey в отчёте 2025 года описал: сотрудники движутся с AI быстрее, чем лидеры, энтузиазм снизу опережает понимание сверху, и компания получает разрыв между тем, что делают сотрудники, и тем, что компания готова поддержать. Slack Workforce Index в 2025 году зафиксировал, что сотрудники, использующие AI, сообщают о росте продуктивности на 64% — и одновременно о росте нагрузки: больше дел, больше писем, больше встреч. Чудо оборачивается перегрузкой.

Игрушка. «AI забавный, но для серьёзных задач не подходит». Сторонники этого отношения используют AI для развлечения (генерация картинок, шутки, болтовня) и не допускают его до рабочих процессов. По данным BCG AI at Work 2025, 60% сотрудников время от времени используют AI, но только 20% компаний имеют формализованную стратегию его внедрения. Разрыв между «попробовал в курилке» и «внедрил в процесс» остаётся гигантским. Игрушечное отношение закрепляет AI как маргинальный инструмент и не даёт компании получить реальный эффект.

Враг. «AI — это угроза моей работе, я не буду его использовать». Это отношение появляется у тех, кто видит в AI конкурента, а не инструмент. Такие сотрудники саботируют внедрение (сознательно или бессознательно), и это дорого обходится компании: исследования McKinsey показывают, что «сопротивление команды» — причина провала AI-проектов после технических проблем. Враг мешает не самой модели, а способности компании увидеть эффект от её работы.

Рабочая позиция — четвёртая. AI — это инструмент с известными границами, и эффективное использование состоит в том, чтобы знать эти границы и работать внутри них. Если вы ловите себя на одном из трёх отношений, остановитесь и задайте себе простой вопрос: какой реальный кейс вы видели за последний месяц, где AI помог, и какой — где подвёл. Если обоих примеров нет — отношение держится не на фактах, а на привычке. Если есть — пересмотрите его по фактам, а не по убеждениям.

Инструмент остаётся инструментом. Меняется только ваше отношение к нему.

РЕЗЮМЕ

Пять классов задач — классификация, извлечение фактов, резюмирование, генерация, поиск — первая линия защиты от плохого результата. Расчёты стоят особняком: модель не считает, а предсказывает токены, для точной арифметики нужен Code Interpreter или внешний скрипт.

RAG уменьшает галлюцинации, но не устраняет их: даже юридические коммерческие инструменты с доступом к проверенной базе галлюцинируют в заметной доле ответов. RAG нужен в любом офисном проекте с собственными документами, но RAG с цитированием и человеческая проверка остаются обязательными.

Три инструмента адаптации — промпт, RAG, дообучение — не взаимозаменяемые опции, а слои с разной ценой. В большинстве офисных задач достаточно RAG с хорошей базой и грамотного промпта.

Распознавание галлюцинаций опирается на пять маркеров: подозрительная точность конкретных цифр, неназванный источник, длинный ответ с потерянной серединой, внутренние противоречия при перефразировании, отсутствие оговорки про устаревание. AI-враньё клиенту — структурная особенность моделей, и работа с ним строится на четырёх опорах: разделение «кто пишет» и «кто проверяет факты», запрет слепого копирования, обязательное RAG с цитированием, журнал AI-использования.

Предвзятость — следствие обучающих данных, нейтральных моделей не бывает. Западные несут западный культурный код, российские — собственную институциональную цензуру поверх статистических искажений. CoT помогает на многошаговых задачах на нерассуждающих моделях и стал плацебо на reasoning-моделях.

Три базовых отношения к AI — чудо, игрушка, враг — все мешают внедрению. Рабочая позиция: инструмент с известными границами, к которому подходят по типу задачи.

Представьте, что завтра утром вы открываете рабочий чат и видите задачу, которую раньше делали три часа: подготовить справку для клиента по договору, перевести служебную записку на английский, посчитать эффект от скидки для тендера. У вас есть час и привычка спрашивать AI всё подряд. Следующая глава берёт фильтры, которые вы собрали в этой — пять классов задач, маркеры галлюцинаций, понимание границ RAG и дообучения — и проверяет их на реальных офисных сценариях. Где AI сегодня объективно быстрее и дешевле вас, где остаётся ваша зона как человека, и где граница между ними движется прямо сейчас. Без моральных оценок про «заменит — не заменит», только по типам задач и по тому, что вы увидите в собственном рабочем дне.