Задача для ИИ-агента

Вторая: формулировка проверяется на дешёвом случае. Прежде чем отдавать агенту большую задачу по новому шаблону, дайте ему по этому шаблону крошечную задачу: одну страницу, один расчёт, одну карточку. Если на малом объёме результат не устраивает — на большом он точно не устроит, просто вы заплатите больше. Проверка шаблона на дешёвом случае стоит две минуты и спасает дни.

Глава 3. Приёмка: как понять, что результат настоящий

Главная ловушка: гладкость воспринимается как правильность

Есть свойство человеческой психики, на котором держится большинство провалов с ИИ, и знать его обязательно, прежде чем принимать первый результат. Мы оцениваем текст по беглости чтения, а беглость по неписаной внутренней лицензии считается признаком истинности. Текст, который легко читается, кажется заслуживающим доверия. Текст шероховатый — подозрительным.

Модели сняли с этой связи всякий смысл: они пишут максимально бегло независимо от того, истинно содержание или нет. Более того, чем увереннее и гладче сформулирован неверный тезис, тем выше шанс, что он пройдёт приёмку. Отсюда практическое правило, которое стоит записать и не нарушать:

Приёмка результата агента начинается с поиска того, что он не сделал, а не с чтения того, что он сделал.

Чтение — второй этап. Первый этап — проверка границ.

Четыре слоя приёмки

Слои идут от дешёвых к дорогим. Первые три автоматизируются и снимают 90 % риска. Четвёртый — человеческий, и он должен доставаться уже чистому результату.

Слой 1. Формальная валидность (автоматически, 100 % покрытие)

Самый недооценённый и самый дешёвый слой. Результат должен быть технически пригоден: файл открывается, формат соответствует стандарту, структура цела, кодировка верная, обязательные поля заполнены.

Я приведу конкретный пример из собственной практики — ровно тот, который случается у каждого, кто автоматизирует производство документов. Перед тем как писать эту книгу, я собрал производственный конвейер: один исходник превращается в четыре формата (текстовый документ, электронная книга, файл для печати, обложка). Первый прогон дал ошибку в самом конце цепочки — файл для печати не собирался из-за неверно указанной библиотеки работы с изображениями. Если бы я принял работу по внешнему виду — три формата из четырёх были бы готовы, папка выглядела бы заполненной, отчёт был бы бодрый: «собрано». По факту четвёртый, самый важный для читателя формат отсутствовал.

Формальная валидность ловит именно это. Наборы проверок, которые стоит иметь в каждом проекте:

файл существует, ненулевой, открывается програмно;

структура соответствует ожидаемой (для архивных форматов — обязательные элементы на месте, для таблиц — колонки, для текста — заголовки);

кодировка и шрифты: кириллица не превратилась в «кракозябры», шрифты встроены, если это файл для печати;

объём в заданных границах (не меньше минимума и не раздут);

отсутствие служебных артефактов: остатков разметки, заглушек, слов-маркеров вроде «продолжение следует», «вставьте сюда», «TODO».

Эти проверки пишутся один раз на проект и работают бесплатно вечно. В моей практике они заняли около часа и поймали с десяток дефектов, которые глаз бы не увидел: несоответствие пропорций обложки требованиям площадки, отсутствующие файлы в структуре электронной книги, неверный порядок элементов архива, из-за которого часть читалок отказывается открывать файл.

Слой 2. Фактическая проверка (выборочно, но по правилам)

Здесь проверяется то, что агент утверждает. Правило простое и жёсткое: проверяется не всё, а всё важное плюс случайная выборка.

«Всё важное» определяется до приёмки: числа, даты, имена, цитаты, ссылки, суммы, обещания. Если в результате двадцать числовых значений, а вы проверили два — вы не провели приёмку, вы создали видимость приёмки.

Случайная выборка нужна для одной цели: обнаружить систематическую подделку. Модель, которая выдумала один факт, с высокой вероятностью выдумала и другие, а выборка — единственный способ это увидеть, не читая всего.

Отдельная категория — ссылки. Проверять надо не «ссылка открывается», а «ссылка подтверждает именно то, ради чего приведена». Я видел и сам ловил себя на том, что ссылка ведёт на живой сайт с релевантной темой, но утверждение, которое она должна подтверждать, на той странице отсутствует. Это самый опасный вид несоответствия: он проходит обе поверхностные проверки и разоблачается только чтением.

Слой 3. Логическая связность (чтение с карандашом)

Третий слой — то, для чего нужен человек. Но читать надо не на содержание, а на стыки:

Обещано ли в начале то, что появилось в конце? Агенты любят заявлять широкую тему и выдать узкое покрытие.

Есть ли выводы в разделах, или разделы заканчиваются перечислением?

Повторяется ли одна мысль в трёх местах разными словами? Это признак того, что объём набирался, а не писался.

Противоречит ли текст сам себе на расстоянии? Модель плохо держит противоречия дальше нескольких тысяч знаков: в главе 2 она может написать «проверяйте всё», а в главе 5 — «выборочная проверка достаточна».

Противоречия на расстоянии — визитная карточка автогенерации. Живой автор, который держит книгу в голове, ошибается реже. Поэтому перечитывайте не текст, а его утверждения: выпишите ключевые тезисы списком и просмотрите список — противоречия в списке видны мгновенно, в прозе — нет.

Слой 4. Вкус и польза (последний, только после первых трёх)

Сюда доходит уже выверенный результат. Здесь решается вопрос не «правильно ли», а «надо ли». И честно: если первые три слоя пройдены, а четвёртый говорит «не надо», — виноват не агент. Виновато задание, в котором не было ответа на вопрос «зачем».

Приёмочный чек-лист: универсальная заготовка

Чек-лист, который я применяю к любому результату агента. Первые пять пунктов убивают большинство проблем.

Результат на месте и в нужной форме. Путь, имя, формат, объём. Открыть и убедиться программно, а не по отчёту.

Самопроверка приложена. Агент показал, что именно он проверял и что получилось. Если отчёта нет — приёмка не начинается, результат возвращается.

Все утверждения с фактами имеют источник с датой. Дата обязательна: утверждение, верное в 2024-м, может быть ложным сегодня.

Нет «мёртвых» мест. Ни заглушек, ни «будет добавлено», ни пустых подпунктов, ни списков без пояснений.

Границы не переступлены. Не тронуты чужие файлы, не отправлено ничего вовне, не изменено то, что менять было нельзя.

Выборочно проверены числа и ссылки