Когда машина отвечает

Поэтому настоящая независимость проверки возникает не от количества фраз «проверь ещё раз», а от появления новой опоры: первичного документа, базы данных, расчёта, внешнего инструмента, другого метода измерения или компетентного человека, который способен увидеть ошибку без помощи исходного ответа.

Есть и ещё одна проблема: измерять фактическую точность сложнее, чем кажется.

Короткий ответ вроде «Париж» легко признать правильным или неправильным. Но длинное объяснение может содержать десятки отдельных утверждений. Одно точно. Второе слегка упрощено. Третье верно только для определённой страны. Четвёрто устарело. Пятое не подтверждается приведённой ссылкой. Что в таком случае считать «процентом фактичности» всего текста?

Исследователи пытаются автоматизировать такую оценку, в том числе с помощью других языковых моделей. Но и проверяющие системы ошибаются. В работе, представленной на ACL 2025, исследователи повторно оценили пять современных метрик factuality на одиннадцати наборах данных для суммаризации, генерации с поиском и ответов на вопросы. Метрики нередко расходились между собой и могли неверно оценивать фактическую точность, особенно при сильном перефразировании или использовании информации из удалённых частей источника.

Это не аргумент против автоматической проверки. Это предупреждение против бесконечной башни доверия:

модель написала ответ;

вторая модель сказала, что он верен;

третья модель оценила вторую;

значит, факт установлен.

В какой-то точке цепочка должна соприкоснуться с чем-то, что не является ещё одним правдоподобным текстом.

С документом. Измерением. Наблюдением. Записью в реестре. Экспериментом.

То есть с источником, который ответ не просто повторяет, а действительно подтверждает.

Когда ошибка проходит человеческую проверку

Можно подумать, что это история ранней эпохи. В 2023 году люди ещё не знали, что языковые модели способны выдумывать ссылки. Теперь профессионалы предупреждены, интерфейсы улучшены, а организации вводят правила проверки.

Но знание о риске не устраняет риск автоматически.

В 2025 году Deloitte подготовила для австралийского Department of Employment and Workplace Relations крупный обзор системы, связанной с соблюдением требований к получателям социальных выплат. После публикации исследователи обнаружили проблемы в ссылках и источниках. Из документов, позднее раскрытых австралийским правительством, следует, что команда Deloitte использовала генеративные инструменты, включая внутренний MyAssist и ChatGPT, в частности для дополнительного суммирования и оформления цитат. В письме компании прямо говорилось: результаты генеративных инструментов проверялись людьми; часть ошибок была исправлена, но не все были обнаружены.

После дополнительной проверки Deloitte подтвердила, что генеративные инструменты дали неточные результаты в ряде сносок и источников. Государственный отчёт был исправлен; версия на сайте ведомства в феврале 2026 года снова обновлялась для внесения коррекций. По данным парламентских слушаний, Deloitte вернула финальный платёж по контракту — 97 587,11 австралийского доллара.

Этот эпизод интересен не потому, что «крупная фирма тоже ошиблась».

Он разрушает более удобную надежду: будто проблему галлюцинаций можно решить одним словом — «человек проверит».

Какой человек?

Сколько времени у него есть?

Что именно он проверяет?

Открывает ли каждую ссылку или просто оценивает, выглядит ли она правдоподобно?

Проверяет ли первоисточник или просит другую модель проверить первую?

Есть ли у него достаточная экспертиза, чтобы увидеть ошибку?

Если текст в целом выглядит профессионально, не снижает ли это бдительность проверяющего?

Human in the loop — «человек в контуре» — звучит успокаивающе. Но само присутствие человека ещё ничего не гарантирует. Человек может быть перегружен, недостаточно компетентен, слишком доверчив или просто считать, что его работа — стилистическая редактура, а не независимая верификация каждого факта.

Позже эта проблема станет гораздо серьёзнее — в работе, медицине, государственном управлении и военных системах. Но начинается она с простого текстового окна.

Если машина дала ответ, кто именно должен проверить его до того, как ответ превратится в действие?

Сильнейший аргумент в пользу доверия

Теперь стоит защитить противоположную сторону максимально серьёзно.

Люди тоже ошибаются.

Юристы забывают дела. Врачи неверно вспоминают рекомендации. Журналисты допускают неточности. Учёные цитируют работы, которых не читали целиком. Сотрудники службы поддержки дают клиентам противоречивые ответы. Эксперты бывают самоуверенными. Память человека — не база данных истины.

Поэтому требовать от ИИ абсолютной безошибочности было бы странным стандартом, если мы не требуем её от людей.

Более того, машина может дать нам инструменты контроля, которых у человеческого собеседника часто нет.

Ответ можно автоматически сопоставить с десятками документов. Ссылки можно проверить программно. Система может показывать фрагмент первоисточника рядом с выводом. Можно измерять её ошибки на тысячах стандартных тестов — гораздо систематичнее, чем ошибки отдельного человека. Можно заставлять модель генерировать несколько вариантов и искать расхождения. Можно ограничить её работу закрытым набором проверенных документов.

В некоторых задачах итоговая система «человек плюс ИИ плюс проверка» вполне может оказаться надёжнее одного человека.

Это важная возможность, и книга не должна её прятать.

Проблема начинается, когда мы сравниваем не две системы, а два образа.

Образ безошибочного человеческого эксперта — миф.

Но и образ универсального искусственного эксперта, который «прочитал весь интернет и знает всё», — тоже миф.

Нужно сравнивать конкретный процесс с конкретным процессом: человек один; человек с поиском; человек с языковой моделью; модель с retrieval; модель с автоматической проверкой; эксперт, который обязан подтверждать источники; пользователь, который просто нажимает «отправить».

Тогда вопрос становится эмпирическим.

В каком процессе меньше ошибок?

Какие ошибки он совершает?

Кто их замечает?

Какова цена пропущенной ошибки?

И что происходит, когда система уверена именно там, где ошибается?

Не все ответы требуют одинакового доверия

Для обычного пользователя главный вывод этой главы не должен быть «никогда не верьте ИИ».

Такая рекомендация бесполезна почти так же, как «всегда проверяйте всё».

Человек не проверяет всё. На это не хватит жизни.

Полезнее научиться различать типы задач.

Если вы просите систему сократить письмо, которое сами написали, исходная информация находится перед вами. Если просите придумать десять вариантов заголовка, не существует скрытого правильного ответа. Если хотите потренироваться в разговорном испанском, отдельная неточность может быть неприятна, но её цена обычно невелика.

Совсем другая ситуация возникает, когда ответ содержит внешние факты, которые вы не знаете сами: юридическое правило, медицинское утверждение, научную ссылку, финансовую цифру, условия визы, дату, цитату, биографический факт, содержание договора или новость о событии.

Тогда гладкость текста должна перестать быть аргументом.

Чем выше цена ошибки и чем меньше вы способны проверить ответ самостоятельно, тем менее разумно использовать один сгенерированный текст как конечный источник истины.

Здесь есть простой, но не всегда приятный переворот. Наиболее опасна не та тема, в которой вы хорошо разбираетесь: там вы быстрее заметите нелепость. Наиболее опасен ответ в области, где модель звучит профессионально, а вы не знаете достаточно, чтобы возразить. Именно тогда удобство интерфейса максимальное — и одновременно максимальна асимметрия знания между пользователем и системой, которую он по ошибке принимает за эксперта.

Это не делает модель бесполезной. Наоборот, она может помочь сформулировать вопрос, найти направления поиска, объяснить документ простыми словами, сопоставить источники, подготовить черновик или показать, что именно стоит проверить.

Но роль меняется.

Из оракула она превращается в инструмент исследования.

Именно эта смена роли может оказаться одной из главных привычек эпохи генеративного ИИ.

Не «спросить и поверить».

А «спросить, понять, что именно утверждается, и решить, где требуется доказательство».

Что мы знаем — и чего пока не знаем

По состоянию на август 2026 года можно достаточно уверенно утверждать несколько вещей.

Генеративные языковые системы способны создавать фактически ошибочные утверждения в уверенной и правдоподобной форме. Это не случайная легенда из первых месяцев ChatGPT, а хорошо описанный класс риска, который NIST по-прежнему включает в профиль рисков генеративного ИИ.

Ошибка зависит от задачи. Универсального процента галлюцинаций нет.

Привязка генерации к внешним источникам, поиск, инструменты, дополнительные проверки и умение системы отказываться от ответа способны существенно снижать риск, но не гарантируют его исчезновения.

Люди не всегда хорошо распознают ошибку по стилю ответа. Подробное объяснение может увеличить доверие, не увеличивая точность.

И критерии, которыми мы оцениваем модель, способны влиять на её поведение: если угадывание вознаграждается сильнее, чем разумный отказ, система получает стимул отвечать даже при недостаточной уверенности.

Но остаются важные неизвестные.

Мы не знаем, насколько близко можно подойти к практически надёжной фактической генерации в открытых областях знаний, где информация постоянно меняется.

Мы не знаем, какой интерфейс лучше всего учит обычного пользователя различать уверенную форму и реальную надёжность.

Мы ещё учимся измерять factuality длинных ответов, где одно предложение может быть точным, второе спорным, третье верным только при определённых условиях, а четвёрто — выдуманным.

Мы не знаем, насколько люди сохранят привычку проверки, если правильных ответов станет настолько много, что ошибка будет встречаться редко. Иногда редкая ошибка опаснее частой: к часто ошибающейся системе быстро перестают прислушиваться, а к системе, которая права девяносто девять раз подряд, человек особенно уязвим в сотый.

И наконец, мы не знаем, изменится ли сама социальная норма знания.

Раньше хороший ответ подразумевал человека, который либо знает, либо знает, где проверить.

Теперь между вопросом и источником появился новый слой — машина, способная мгновенно создать убедительную версию ответа.

Этот слой невероятно полезен. Он делает знания доступнее, объяснения дешевле и интеллектуальную помощь ближе.

Но он меняет привычный сигнал доверия.

Связность больше не доказывает компетентность.

Подробность не доказывает проверку.

Ссылка не доказывает существование источника.

Уверенность не доказывает знание.

И отсюда возникает вопрос, который важнее любой таблицы с процентами ошибок:

если система научилась говорить так, что мы почти автоматически слышим в её голосе знание, — кто должен измениться сильнее: машина, чтобы честнее показывать границы своей уверенности, или человек, чтобы перестать принимать уверенную речь за доказательство истины?

Примечания к главе 2

1. Mata v. Avianca, Inc., No. 1:22-cv-01461-PKC, Opinion and Order on Sanctions, U.S. District Court for the Southern District of New York, 22 June 2023. Суд описал представление несуществующих решений, перечислил шесть судей, которым были ложно приписаны фиктивные мнения, и назначил совместную санкцию в размере 5000 долларов. https://law.justia.com/cases/federal/district-courts/new-york/nysdce/1:2022cv01461/575368/54/

2. Autio, C., Schwartz, R., Dunietz, J. et al. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600—1, 26 July 2024; page updated 8 April 2026. В документе используется термин confabulation для уверенно предъявляемого ошибочного или ложного содержания и подчёркивается риск ошибочных логических обоснований и цитат. https://doi.org/10.6028/NIST.AI.600-1

3. Dahl, M., Magesh, V., Suzgun, M., Ho, D. E. Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 2024, Vol. 16, No. 1. Исследование использовало проверяемые вопросы о случайно выбранных федеральных судебных делах США; показатели зависят от конкретной модели и постановки задачи и не являются универсальным «процентом галлюцинаций». https://reglab.stanford.edu/publications/hlarge-legal-fictions-profiling-legal-hallucinations-in-large-language-models/

4. Kalai, A. T., Nachum, O., Vempala, S. S., Zhang, E. Evaluating large language models for accuracy incentivizes hallucinations. Nature 653, 1047—1051 (2026). DOI: 10.1038/s41586-026-10549-w. В экспериментах с SimpleQA использовались 4326 вопросов на модель; авторы показывают, что снижение ошибочных ответов через более частые отказы может ухудшать стандартную метрику accuracy. https://doi.org/10.1038/s41586-026-10549-w

5. Steyvers, M., Tejeda, H., Kumar, A. et al. What large language models know and what people think they know. Nature Machine Intelligence 7, 221—231 (2025). Исследование поведенчески измеряло разрыв между фактической надёжностью ответов моделей и уверенностью пользователей; более длинные объяснения увеличивали человеческую уверенность, не улучшая различение правильных и неправильных ответов. https://doi.org/10.1038/s42256-024-00976-7

6. Magesh, V., Surani, F., Dahl, M., Suzgun, M., Manning, C. D., Ho, D. E. Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. 2024. Пререгистрированная оценка специализированных систем юридического исследования показала снижение, но не устранение галлюцинаций; в исследованных продуктах показатель находился в диапазоне 17—33 процента в зависимости от системы и оценки. https://reglab.stanford.edu/publications/hallucination-free-assessing-the-reliability-of-leading-ai-legal-research-tools/

7. Australian Government, Department of Finance, FOI 25-26-084, Document 1. Переписка Deloitte описывает использование MyAssist и ChatGPT для отдельных задач суммирования и оформления цитат и признаёт, что человеческая проверка исправила часть, но не все ошибки в сгенерированных результатах. https://www.finance.gov.au/sites/default/files/foi-25-26-084-document-1.pdf

8. Australian Government, Department of Employment and Workplace Relations. Targeted Compliance Framework Assurance Review — Final Report. Отчёт создан 14 August 2025; версия на сайте обновлена 3 February 2026 для внесения выявленных исправлений. https://www.dewr.gov.au/assuring-integrity-targeted-compliance-framework/resources/targeted-compliance-framework-assurance-review-final-report

9. Godbole, A., Jia, R. Verify with Caution: The Pitfalls of Relying on Imperfect Factuality Metrics. Findings of ACL 2025. Авторы переоценили пять метрик factuality на 11 наборах данных и показали, что автоматические оценщики могут расходиться и систематически ошибаться в отдельных типах генерации. DOI: 10.18653/v1/2025.findings-acl.1175. https://aclanthology.org/2025.findings-acl.1175/

10. Parliament of Australia. Senate Estimates Hansard, 8 October 2025. Представитель Department of Finance сообщил, что Deloitte вернула финальный платёж по контракту в размере A$97,587.11; DEWR рассматривал это как меру исправления ситуации. https://www.aph.gov.au/Parliamentary_Business/Hansard/Hansard_Display?bid=committees%2Festimate%2F28993%2F&sid=0016

Глава 3. От помощника к исполнителю

Представим вполне обычную задачу ближайшего будущего — настолько обычную, что в ней нет ничего футуристического.

Вам нужно съездить на два дня в другой город. Сегодня вы могли бы попросить языковую модель подобрать удобные рейсы, сравнить гостиницы, составить расписание и написать письмо коллегам. Она подготовит варианты, а дальше всё сделаете вы: откроете сайт авиакомпании, введёте данные, подтвердите оплату, забронируете номер, перенесёте встречи в календаре и отправите сообщения.

А теперь изменим в этой сцене одну фразу.

Не «помоги мне организовать поездку».

А «организуй поездку».

Разница состоит всего в нескольких словах, но для технологии — почти в смене профессии.

Чтобы выполнить вторую просьбу, система должна не только создать текст. Ей нужно открыть сайты, прочитать расписание, сравнить цены, войти в сервисы, получить доступ к календарю, возможно — к почте и платёжному инструменту, выбрать вариант, заполнить формы, а затем совершить действия, после которых мир уже будет немного другим.

Билет куплен.

Деньги списаны.

Встреча перенесена.

Письмо отправлено.

До этого момента ошибка модели могла оставаться предложением на экране. Теперь ошибка способна стать событием.

Именно здесь начинается эпоха AI-агентов — не потому, что появилось какое-то новое цифровое существо, а потому, что модель получила руки.

Не настоящие, конечно. Её «руками» становятся инструменты и разрешения.

Она может вызвать программу. Открыть браузер. Выполнить код. Изменить файл. Отправить письмо. Создать встречу. Обратиться к корпоративной базе. И — если система устроена так, чтобы повторять цикл «посмотреть, решить, сделать, проверить результат» — продолжать до тех пор, пока задача не будет выполнена или пока её не остановят.

В первой главе мы уже увидели разницу между моделью и системой вокруг неё. Теперь эта разница становится принципиальной.

Потому что вопрос больше не только в том, насколько хорош ответ.

Вопрос в том, что ответу разрешено делать.

Когда действие стало интерфейсом

Автоматическое действие само по себе не новость.

Банковская программа десятилетиями переводит деньги по заданному правилу. Почтовый фильтр перемещает письма в спам. Торговая система выставляет ордер. Корпоративный скрипт создаёт отчёт каждое утро. Автопилот поддерживает параметры движения. Всё это программное обеспечение может действовать без того, чтобы человек нажимал кнопку на каждом промежуточном шаге.

Поэтому было бы ошибкой описывать AI-агента как первый случай, когда машина «что-то делает сама».

Новизна в другом.

Обычная автоматизация, как правило, строится вокруг заранее определённой процедуры: если произошло X, выполнить Y. Агентная система получает более общую цель, сформулированную человеческим языком, и сама выбирает часть промежуточных шагов.

«Подготовь отчёт о конкурентах».

«Разберись, почему тесты падают, и исправь код».

«Найди подходящее время для встречи с шестью людьми и договорись со всеми».

«Проверь эти счета и подготовь платежи».

Человек задаёт конечное намерение. Система превращает его в цепочку операций.

В Международном докладе по безопасности ИИ 2026 года для окружения, которое превращает модель в агента, используется слово scaffolding — «обвязка», или вспомогательная конструкция. Это память, инструменты, правила взаимодействия с ними, цикл планирования и проверки, а также ограничения, которые определяют, что системе разрешено.

Для обычного пользователя техническое слово не так важно, как вывод.

Способности агента зависят не только от модели.

Одна и та же модель, запертая в окне чата, способна написать инструкцию по удалению ненужных файлов. Подключённая к компьютеру — удалить их. Подключённая к корпоративной инфраструктуре — удалить их там. Получившая широкие права — сделать это в масштабе, который никто не подразумевал.

Поэтому разговор об агентности неизбежно становится разговором не только об интеллекте, но и об архитектуре полномочий.

Что именно система видит?

Какими инструментами располагает?

К каким данным имеет доступ?

Какие действия может выполнить без подтверждения?

Что необратимо?

Кто увидит журнал её действий?

И что произойдёт, если цель сформулирована правильно, а путь к ней окажется неожиданным?

Главная возможность

У агентной идеи есть очень сильная сторона, и её легко недооценить, если начинать разговор только с рисков.

Современная интеллектуальная работа состоит не из одного великого акта мышления. Большая её часть — координация.

Найти документ.

Скопировать цифру.

Сверить версии.

Открыть таблицу.

Запросить данные.

Перенести результат в другое приложение.

Написать письмо.

Дождаться ответа.

Обновить статус.

Вернуться к первоначальной задаче.

Человек может быть высококвалифицированным специалистом и при этом тратить значительную часть дня на переходы между системами.

Генеративный помощник сокращает стоимость отдельного интеллектуального шага: он быстрее пишет черновик, суммирует документ или предлагает вариант анализа.

Агент обещает сократить стоимость самой координации.

Это другой вид производительности.

Не «напиши быстрее письмо».

А «проследи весь процесс от запроса до результата».

Именно поэтому интерес к агентам так велик. Они потенциально превращают естественный язык из способа попросить совет в способ управлять программным обеспечением.

Вместо того чтобы изучать интерфейс десяти сервисов, пользователь описывает намерение.

Это особенно важно для людей, для которых сложность цифровых систем сама по себе является барьером: малых предпринимателей без IT-отдела, сотрудников, которым приходится работать сразу в нескольких корпоративных программах, людей с ограничениями моторики или зрения, тех, кто плохо знает конкретный интерфейс, но хорошо понимает собственную задачу.

Поэтому агентность нельзя сводить к модному слову.

Если она станет достаточно надёжной, она может изменить саму форму взаимодействия человека с компьютером.

Не «какую кнопку нажать?»

А «какого результата я хочу?»

Переход уже виден

Измерить реальное распространение агентов трудно. Компании используют разные определения, многие внутренние системы не публикуются, а слово «агент» стало настолько привлекательным маркетингово, что им иногда называют почти любой чат-бот с инструментом.

Но некоторые данные позволяют увидеть направление.

В 2026 году британский AI Security Institute вместе с Банком Англии исследовал 177 436 публично опубликованных инструментов, созданных для подключения агентов к внешним сервисам через стандарт Model Context Protocol. Это не перепись всех агентов мира и не показатель числа пользователей: выборка охватывает публичную экосистему MCP и поэтому сильно смещена в сторону разработчиков.

Но внутри этой экосистемы изменение было заметным.

За исследованные шестнадцать месяцев доля использования инструментов, которые не просто читают или анализируют данные, а меняют внешнюю среду, выросла с 27 до 65 процентов. Две трети опубликованных инструментов относились к разработке программного обеспечения, а на эту область приходилось около 90 процентов загрузок. Авторы также обнаружили инструменты для финансовых операций, включая платежи.

Самое важное здесь не число 177 тысяч.

Оно быстро устареет.

Важнее направление: инфраструктура смещается от наблюдения к действию.

То же видно на тестах компьютерного управления.