Когда машина отвечает

Важнее свойства, чем ярлык.

Почему спор об интеллекте всё равно не пустой

Можно возразить: если система полезна, зачем вообще спорить о том, «интеллект» ли это? Пусть философы спорят о терминах, а обычному человеку важен результат.

Отчасти это верно.

Если программа обнаруживает опасную аномалию на медицинском изображении, пациенту важнее качество системы, чем метафизический статус её «понимания». Если перевод точен, пользователю не обязательно знать, существует ли у модели человеческая концепция языка. Если программа быстрее находит ошибку в коде, фирма измерит экономию времени.

Но язык, которым мы описываем технологию, влияет на то, как мы ей доверяем.

Назовите систему «автодополнением» — и человек склонен недооценить её возможности.

Назовите «интеллектом» — и он может начать приписывать ей свойства, которых никто не доказал.

Назовите «ассистентом» — и возникает образ подчинённого, который понимает поручение.

Назовите «агентом» — появляется оттенок самостоятельности.

Назовите «разумом» — и спор почти незаметно переходит из инженерии в философию сознания.

Это не означает, что одно слово всегда правильно, а другое всегда ложно. Это означает, что слова несут скрытые предположения.

Для массовой книги об ИИ важнее всего не заменить одно магическое слово другим, а научиться разбирать систему на проверяемые свойства.

Если модель пишет юридический текст, вопрос не «настоящий ли это юрист?», а какие юридические задачи она выполняет, с какой точностью, на каких данных, при каком контроле и кто отвечает за ошибку.

Если система поддерживает разговор, вопрос не «настоящий ли это друг?», а какие ожидания формируются у человека и что происходит с отношением к реальным людям.

Если алгоритм рекомендует увольнение, вопрос не «понимает ли он судьбу работника?», а имеет ли организация право использовать такой механизм и кто обязан объяснить решение.

Так вопрос об интеллекте постепенно превращается в вопрос об ответственности.

И это, возможно, важнее определения.

Что мы уже знаем — и чего не знаем

По состоянию на август 2026 года несколько вещей можно утверждать достаточно уверенно.

Современные AI-системы способны выполнять широкий набор хорошо очерченных интеллектуальных задач: писать и анализировать текст, работать с кодом, создавать изображения и короткие видео, решать ряд сложных математических и научных задач, использовать компьютерные интерфейсы и инструменты.

Их возможности заметно улучшались, в том числе благодаря масштабированию обучения и методам, применяемым после первоначального обучения: дополнительной настройке, обучению на обратной связи и увеличению вычислений при формировании сложных ответов.

Мультимодальные системы стирают границы между отдельными видами цифровой информации.

Агентные системы делают переход от генерации ответа к выполнению последовательности действий.

Но одновременно сохраняется выраженная неровность способностей. Высокий результат на одном тесте не гарантирует устойчивости в другом. Controlled benchmark не равен реальной среде. Система может успешно решать сложные задачи и допускать ошибки, которые человеку кажутся примитивными. Для долгих, нестандартных и многошаговых процессов надёжность остаётся ключевым ограничением.

Есть и вопросы, на которые наука пока не дала ответа.

Как далеко можно продвинуть существующие архитектуры?

Какие ограничения исчезнут при увеличении вычислений и улучшении обучения, а какие окажутся фундаментальнее?

Можно ли создать систему, которая переносит компетентность между областями столь же гибко, как человек?

Насколько сегодняшние тесты вообще измеряют то, что общество хочет называть «общим интеллектом»?

Появится ли система, которую большинство исследователей согласится назвать AGI, и по каким критериям это согласие будет достигнуто?

И наконец, самый сложный вопрос: есть ли основания связывать всё более убедительное интеллектуальное поведение с субъективным опытом или сознанием?

Последний вопрос мы пока оставим открытым. Он вернётся позже, когда речь пойдёт о человеческой уникальности. Убедительная речь сама по себе не является доказательством сознания. И отсутствие такого доказательства не позволяет честно закрыть философскую проблему одним предложением.

Эта неопределённость не мешает обсуждать реальные последствия технологии.

Наоборот.

Именно потому, что мы не обязаны заранее решить, «думает ли машина по-настоящему», мы можем внимательнее исследовать то, что уже происходит вокруг неё.

Компания может перестроить работу независимо от философии сознания.

Ученик может передать системе часть мышления независимо от определения AGI.

Пациент может получить рекомендацию независимо от того, считает ли модель себя врачом — нынешним системам вообще не нужно приписывать такое внутреннее «считает».

Мошенник может синтезировать голос.

Государство может использовать алгоритмическое решение.

Человек может привязаться к искусственному собеседнику.

Технология способна изменить социальную реальность задолго до того, как философы договорятся о природе её интеллекта.

Поэтому в этой книге мы будем применять простой принцип.

Не спрашивать у машины, кто она.

Смотреть, что система делает, в каких условиях, насколько надёжно, кому даёт новую возможность и кому передаёт новый риск.

А затем задавать человеку следующий вопрос.

Если система способна выдавать результат, который мы ещё недавно считали доказательством человеческого ума, достаточно ли внешнего поведения, чтобы назвать её интеллектуальной, — или слово «интеллект» для нас всегда означало нечто большее, чем способность правильно отвечать?

Примечания к главе 1

1. OECD. Explanatory memorandum on the updated OECD definition of an AI system. OECD Artificial Intelligence Papers, No. 8, 5 March 2024. https://doi.org/10.1787/623da898-en

2. Stanford Institute for Human-Centered Artificial Intelligence. The 2026 AI Index Report, Chapter 2: Technical Performance. Данные по International Mathematical Olympiad, ClockBench, OSWorld и робототехническим задачам отражают конкретные benchmark-оценки, а не универсальную меру «интеллекта». https://hai.stanford.edu/ai-index/2026-ai-index-report/technical-performance

3. International AI Safety Report 2026. Разделы о general-purpose AI, неровном профиле способностей, post-training, агентах и ограничениях реальных оценок. https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026

4. Vaswani, A., Shazeer, N., Parmar, N. et al. Attention Is All You Need. 2017. https://arxiv.org/abs/1706.03762

5. NIST Computer Security Resource Center Glossary. Generative Artificial Intelligence. Определение класса генеративных моделей. https://csrc.nist.gov/glossary/term/generative_artificial_intelligence

6. International AI Safety Report 2025. Для разграничения general-purpose AI и AGI: отчёт отдельно отмечает отсутствие универсального определения AGI. https://internationalaisafetyreport.org/publication/international-ai-safety-report-2025

Глава 2. Почему машина врёт так убедительно

Весной 2023 года федеральный судья в Нью-Йорке столкнулся с юридическим документом, который на первый взгляд выглядел вполне обычным. В нём были ссылки на судебные решения, названия дел, номера томов, страницы, цитаты из постановлений. Всё то, чем профессиональный юридический текст обычно подтверждает: перед вами не мнение автора, а аргумент, опирающийся на право.

Проблема заключалась в том, что нескольких решений не существовало.

Дело называлось Mata v. Avianca. Один из адвокатов использовал ChatGPT при подготовке возражений на ходатайство авиакомпании. Система выдала не просто неверные сведения. Она создала убедительно оформленные судебные прецеденты: с названиями сторон, цитатами, ссылками и текстами, похожими на настоящие судебные решения. Когда адвокаты другой стороны не смогли найти эти дела, суд начал задавать вопросы. В ответ были представлены тексты якобы существующих решений — тоже созданные системой.

В июне 2023 года суд назначил адвокатам и фирме санкцию в 5000 долларов. В постановлении были перечислены шесть судей, которым система ложно приписала авторство несуществующих решений. Но важнее суммы и числа было признание самого адвоката. Он объяснял, что просто не мог поверить: программа способна полностью выдумать судебное дело.

Это признание стоит запомнить.

Ошибка произошла не потому, что текст выглядел плохо. Наоборот. Она стала опасной именно потому, что текст выглядел достаточно хорошо.

Если бы система отвечала бессвязным набором слов, проблема была бы гораздо меньше. Если бы перед каждым сомнительным утверждением она печатала крупными буквами «Я НЕ ЗНАЮ», пользователь быстро научился бы относиться к ней как к ненадёжному справочнику. Но современная языковая модель способна ошибаться в той же форме, в какой человек привык встречать знание: спокойно, связно, грамотно и с подробностями.

Отсюда возникает один из самых важных вопросов этой книги.

Почему способность красиво говорить так легко принимается за способность знать?

Это не совсем ложь

Название этой главы намеренно провокационно. В обычной речи мы говорим: «ИИ соврал». Так короче и понятнее.

Но буквально это неточно.

Ложь предполагает как минимум различие между тем, что субъект считает правдой, и тем, что он сознательно сообщает другому. Чтобы утверждать, что современная модель лжёт в человеческом смысле, пришлось бы сначала доказать наличие у неё убеждений, намерения обмануть и соответствующего внутреннего состояния. Таких оснований у нас нет.

Поэтому технические документы часто используют другое слово. NIST — Национальный институт стандартов и технологий США — называет этот класс ошибок confabulation, «конфабуляцией»: генеративная система создаёт и уверенно предъявляет ошибочный или ложный материал, иногда противоречащий входным данным или даже собственному предыдущему ответу. В разговорной речи закрепилось слово hallucination — «галлюцинация».

Оба термина несовершенны. Оба заимствованы из описания человеческой психики и поэтому слегка очеловечивают машину. Но нам важен не ярлык, а механизм.

В предыдущей главе мы уже разобрали основную идею: языковая модель строит продолжение на основе закономерностей, усвоенных во время обучения, и текущего контекста. Она не открывает внутри себя картотеку «истина», из которой достаёт проверенную карточку с ответом. Генерация устроена иначе.

Это различие особенно заметно на фактах, которые выглядят как продолжение знакомого шаблона.

Представьте вопрос о малоизвестном научном исследовании. В данных модели могли встречаться тысячи похожих библиографических записей: фамилии авторов, название журнала, год, том, страницы, DOI. Система хорошо знает форму академической ссылки. Она знает, какие фамилии правдоподобны в этой области, как обычно устроено название статьи, какой диапазон страниц выглядит естественно.

Но знание формы ссылки не гарантирует существования самой статьи.

То же самое произошло с судебными решениями в Mata v. Avianca. Форма была правдоподобной. Содержимое — нет.

Это помогает понять странный парадокс. Чем лучше модель осваивает структуру человеческой речи, тем убедительнее может выглядеть её ошибка. Улучшение языковой компетентности само по себе не является улучшением проверки фактов.

Мы привыкли, что эти качества идут вместе, потому что у людей они часто коррелируют. Профессионал обычно говорит на языке своей области лучше новичка. Врач знает медицинские термины и в среднем действительно знает медицину лучше пациента. Юрист умеет оформлять ссылку на решение и обычно знает, где это решение проверить. Учёный владеет жанром статьи и несёт профессиональные последствия за выдуманную ссылку.

Языковая модель разрывает эту привычную связь.

Она может владеть формой профессиональной речи без профессиональной биографии, лицензии, страха дисциплинарного взыскания и привычки открыть базу данных перед тем, как поставить ссылку в документ.

Мы видим форму компетентности и достраиваем остальное сами.

Почему нельзя назвать один «процент галлюцинаций»

Когда общество узнаёт о проблеме, почти сразу возникает естественный вопрос: насколько часто модель ошибается?

Хочется получить одно число.

Например: «галлюцинации происходят в 7 процентах ответов». После этого технологию можно было бы сравнивать с лекарством, тестом или производственным браком.

Но такого универсального числа не существует.

Частота ошибок зависит от модели, версии, языка, темы, формулировки запроса, длины ответа, наличия доступа к внешним источникам, критериев оценки и даже от того, что исследователь решил считать галлюцинацией.

Хороший пример даёт право — область, где фактические утверждения сравнительно легко проверять по официальным базам.

Исследователи Stanford RegLab взяли случайную выборку федеральных судебных дел США и задавали нескольким популярным языковым моделям конкретные проверяемые вопросы: существует ли дело, кто написал решение, каков его результат, какое место оно занимает среди других прецедентов. В опубликованном в 2024 году исследовании доля юридических галлюцинаций составляла от 58 процентов для GPT-4 до 88 процентов для Llama 2 на соответствующей постановке задач; у ChatGPT 3.5 показатель находился между ними. Разброс между системами был большим, но ни одна из исследованных универсальных моделей не превратилась в надёжную замену юридической базе.

Эти цифры не означают: «языковые модели ошибаются в семи случаях из десяти вообще».

Они означают: на конкретном юридическом тесте, с конкретными моделями того периода, конкретными вопросами о случайно выбранных американских федеральных делах ошибка была чрезвычайно частой.

И это важное различие.

Попросите модель переписать ваш собственный абзац более ясно — и вопрос фактической галлюцинации может вообще почти не возникать: нужная информация уже дана во входе. Попросите придумать двадцать названий кафе — фактическая точность не нужна по определению. Попросите назвать дозировку лекарства, условия визы, содержание судебного решения или сведения о редком историческом событии — цена выдуманной детали становится другой.

Поэтому полезнее спрашивать не «насколько часто ИИ галлюцинирует?», а «насколько проверяем и рискован именно этот тип ответа?»

Это изменение вопроса кажется маленьким, но оно превращает абстрактный страх в рабочее решение.

Модель не обязана «знать, что не знает» так, как человек

У человеческого незнания есть социальная форма.

Мы умеем сказать: «Не уверен». «Нужно проверить». «Я не специалист». «Не помню точную дату». В профессиональной среде эти фразы не всегда считаются слабостью. Иногда, наоборот, они являются признаком компетентности.

Хороший врач понимает границу своей специальности. Хороший исследователь различает результат и гипотезу. Хороший журналист не печатает факт, который не удалось подтвердить. Хороший инженер знает, когда расчёт требует второй проверки.

Для языковой модели подобное поведение нужно специально формировать и оценивать.

В 2026 году в Nature была опубликована работа Адама Калая, Офира Нахума, Сантоша Вемпалы и Эдвина Чжана, посвящённая тому, почему галлюцинации сохраняются даже у сильных современных моделей. Авторы обращают внимание на две разные стадии проблемы.

Первая связана с самим обучением на предсказании следующего элемента последовательности. Повторяющиеся закономерности — например грамматика — встречаются в данных снова и снова и поэтому хорошо усваиваются. Но единичные факты, которые появляются редко, принципиально труднее восстановить без ошибки.

Вторая причина особенно интересна, потому что относится уже не к архитектуре, а к тому, как мы измеряем успех.

Представьте экзамен, где за правильный ответ дают один балл, за неправильный — ноль, а за «не знаю» — тоже ноль. Если вы совершенно не знаете ответа, рациональная стратегия — угадывать. Иногда попадёте.

Многие оценки моделей устроены похожим образом: главный показатель — доля правильных ответов. Отказ может выглядеть так же плохо, как ошибка. В результате система, которая чаще осторожно воздерживается, способна уступить в рейтинге системе, которая чаще рискует и угадывает.

Авторы Nature протестировали простую схему уменьшения галлюцинаций на 4326 вопросах SimpleQA для каждой из четырёх frontier-моделей: система генерировала два независимых ответа, проверяла их согласованность и при расхождении отказывалась отвечать. Ошибок становилось меньше — но снижалась и обычная метрика accuracy, потому что часть потенциально правильных ответов превращалась в отказы.

Это не означает, что все современные модели специально «научены врать ради рейтинга». Такой вывод был бы слишком сильным.

Но исследование показывает более неприятную вещь: даже хорошая инженерная цель может создавать неправильный стимул. Если мы награждаем только правильный ответ и недостаточно награждаем разумный отказ, модель учится вести себя как студент, которому выгоднее написать что угодно, чем оставить строку пустой.

И здесь проблема ИИ неожиданно становится проблемой человеческих институтов.

Мы получаем поведение, которое измеряем.

Уверенность — это тоже интерфейс

Но даже если модель ошибается, почему человек ей верит?

Часть ответа лежит не в машине, а в нас.

В январе 2025 года журнал Nature Machine Intelligence опубликовал серию поведенческих экспериментов о том, насколько хорошо люди способны понять уверенность языковой модели по её объяснению. Исследователи сравнивали внутренние показатели уверенности моделей с тем, насколько уверенными в правильности ответа становились пользователи, читавшие сгенерированные объяснения.

Результат был тревожно интуитивным.

Люди переоценивали надёжность ответов, когда видели стандартные объяснения модели. Более того, длинные объяснения повышали человеческую уверенность, хотя дополнительная длина не помогала лучше отличать правильные ответы от неправильных.

Иными словами, подробность сама становилась сигналом авторитета.

Это знакомый психологический механизм. Развёрнутый ответ кажется более обоснованным. Точный термин создаёт впечатление экспертизы. Упоминание причины выглядит сильнее голого утверждения. Номер статьи закона, фамилия автора и дата публикации создают ощущение проверяемости ещё до того, как мы что-либо проверили.

Люди использовали эти признаки задолго до появления генеративного ИИ. Большую часть времени они полезны. Мир слишком сложен, чтобы каждый из нас перепроверял каждое утверждение лично. Поэтому мы доверяем институциональным и языковым маркерам компетентности: диплому на стене, стилю научной статьи, юридической ссылке, профессиональной лексике, спокойному объяснению специалиста.

Генеративная модель умеет воспроизводить многие такие маркеры почти бесплатно.

Это и есть новая ситуация.

Раньше убедительная форма часто была дорогой. Чтобы написать страницу, похожую на юридический меморандум, обычно требовалось хотя бы немного знать право. Чтобы создать библиографию из пятидесяти источников, нужно было потратить время на поиск. Чтобы на хорошем профессиональном языке объяснить сложную тему, чаще всего требовалась подготовка.

Теперь стоимость формы резко упала.

Стоимость истины — нет.

Факт по-прежнему может требовать поиска документа, чтения исследования, проверки даты, понимания методологии и иногда нескольких независимых источников.

Машина способна удешевить и эту работу. Но она также способна удешевить видимость этой работы.

Это различие — одно из самых важных для новой информационной грамотности.

Можно ли исправить проблему

До этого момента картина выглядит мрачно: модель генерирует вероятное продолжение, редкие факты теряются, оценки поощряют угадывание, а люди склонны доверять подробным объяснениям.

Но отсюда не следует, что генеративные системы обречены быть ненадёжными справочниками.

За последние годы разработчики научились значительно уменьшать риск ошибок.

Самый очевидный способ — не заставлять модель отвечать только из того, что закреплено в её параметрах. Ей можно дать доступ к поиску, базе документов, внутренней корпоративной системе, научным публикациям или другим внешним источникам. Сначала система извлекает релевантный материал, затем строит ответ на его основе. Этот подход часто называют retrieval-augmented generation, или RAG, — генерацией с дополненным поиском.

Можно подключать калькулятор вместо попытки вычислять всё языковой моделью. Можно обращаться к базе законодательства вместо воспроизведения закона по памяти. Можно заставлять систему давать ссылки. Можно отдельно проверять утверждения вторым этапом. Можно обучать модель чаще отказываться от ответа, если данных недостаточно. Можно строить интерфейс так, чтобы источник находился рядом с утверждением, а не был спрятан в конце красивого текста.

Все эти меры имеют смысл.

И они действительно помогают.

Но «помогают» не значит «делают ошибку невозможной».

Stanford RegLab отдельно проверил специализированные коммерческие системы юридического поиска, использовавшие технологии, призванные связывать генерацию с авторитетной базой права. В пререгистрированном исследовании такие инструменты галлюцинировали существенно реже, чем универсальные чат-боты, но ошибочные или неподкреплённые ответы всё равно встречались в диапазоне от 17 до 33 процентов в зависимости от продукта и типа оценки.

Здесь снова нельзя переносить число на сегодняшние версии систем или на другие задачи: исследование проводилось в 2024 году на конкретных продуктах и вопросах. Его ценность в другом.

Оно показывает механизм прогресса и предел обещания.

Поиск может снизить риск. Но система может найти не тот документ. Может неправильно интерпретировать найденный фрагмент. Может сделать утверждение, которое источник не подтверждает. Может привести правильную ссылку рядом с неправильным выводом.

Поэтому наличие цитаты нельзя считать доказательством факта.

Нужно открыть цитату.

Для читателя это почти комично простое правило. Но именно оно оказалось нарушено в одном из самых известных случаев юридической галлюцинации: в Mata v. Avianca несуществующие решения выглядели настолько правдоподобно, что человек продолжал им доверять даже после того, как не смог найти их обычным поиском.

Почему «проверь себя» — не волшебная команда

Есть ещё одно интуитивное решение: если модель может ошибиться, попросим её проверить собственный ответ.

Иногда это действительно работает. Система способна заметить противоречие, пересчитать результат, сравнить два варианта или обнаружить, что приведённая ссылка не соответствует тезису. Именно на таких идеях построены многие методы self-verification и consistency checking.

Но важно понимать предел этого подхода.

Если человек ошибся потому, что неправильно помнит событие, просьба «подумай ещё раз» может заставить его вспомнить лучше. А может заставить ещё увереннее рационализировать первоначальную ошибку. С моделью возникает похожая структурная проблема, хотя внутренний механизм иной: повторная генерация не превращает её автоматически в независимого фактчекера.

Один и тот же пробел в знаниях может проявиться дважды. Один и тот же неверно найденный документ может стать основой и ответа, и его проверки. Если проверяющая система построена на похожей модели и получает тот же контекст, ошибки могут быть коррелированы. Два одинаковых ответа не доказывают истину; они доказывают лишь согласованность двух процедур генерации.