ИИ без мифов

сформулировать шаги и написать формулу

Узнать курс, цену, действующую норму

поиск, официальный источник, база

сформулировать запрос, объяснить выдачу

Найти клиента по 12 признакам

SQL, CRM, BI-отчёт

описать критерии отбора

Пересказать 60 страниц, снять протокол

языковая модель

основная работа

Разметить 500 отзывов по темам

модель плюс проверка выборки

основная работа

Решить, кому отказать в кредите

человек, модель только готовит сводку

собрать факты и вопросы

Сгенерировать иллюстрацию к отчёту

диффузионная модель

не участвует

Диффузионная модель — отдельное семейство генеративных моделей, которое собирает изображение или звук из шума, постепенно убирая случайность; она не «понимает» текст так, как языковая, и путать их — распространённая ошибка в разговорах о «нейросетях вообще».

Отдельно про поиск. Многие интерфейсы подключают его автоматически, и это снимает часть проблемы свежих фактов — но не всю: модель пересказывает выдачу и может перепутать дату, автора или единицу измерения. Правило простое: если в ответе есть ссылка, откройте её; если ссылки нет, считайте утверждение гипотезой. Поиск внутри модели не отменяет проверку, он делает её дешевле.

У каждого инструмента своя цена входа, и она решает, что выбрать в понедельник утром. Формула в таблице — пятнадцать минут. Запрос в базе — вечер обучения и доступ, который выдаёт не вы. Скрипт — час на первый и минуты на следующие. Языковая модель — три минуты и никакой подготовки, поэтому её и тянут во все задачи, включая те, где она слаба. Выбор инструмента по цене входа, а не по гарантии, — самая частая причина тихой ошибки в отчётах.

Дерево решений для новой задачи выглядит так.

1. Если на выходе должно быть число, которое кто-то подпишет, — считайте формулой, запросом или скриптом; модель пусть пишет формулу и объясняет шаги.

2. Если ответ — факт, появившийся после даты обучения, или внутренний факт вашей организации, — идите в поиск, базу или документ; модель пусть формулирует запрос и пересказывает найденное с указанием источника.

3. Если ответ — текст, структура, пересказ, черновик, разметка по заданным правилам — отдавайте модели, но с критерием приёмки.

4. Если решение имеет цену ошибки — деньги, здоровье, свобода, репутация, — модель готовит материал, решает человек, а в регулируемых областях ещё и профильный специалист.

5. Если процесс повторяется сотни раз и правила стабильны — можно думать об автоматизации, то есть о выполнении шагов без человека в каждом цикле. Но только после двух недель ручной проверки на выборке: автоматизация без замера точности — это способ производить ошибки быстрее.

Автоматизация отличается от «ускорения с проверкой» одним: в автоматическом режиме человек не смотрит на каждый выход, и цена ошибки платится пачкой. Поэтому в дереве она стоит последней, а не первой.

До / После: «посчитай средний чек»

Сравним два запроса на одной и той же выгрузке. Разница между ними — не вежливость и не длина, а распределение работы между моделью и инструментом.

Плохо. «Посчитай средний чек по этому списку: [дальше 240 строк текстом]. Дай итог и среднее значение». Результат: два числа за одиннадцать секунд, отклонение от бухгалтерии 3,4 %, и никакой возможности увидеть, где потерялась строка. Проверить нечем: модель не показывает путь, а пересчитывать вручную — те же 40 минут, что и раньше.

Хорошо. «Вот файл sales.csv: колонки check_id, till, amount, date; разделитель ;, десятичная запятая. Напиши код на pandas, который: читает файл; приводит amount к числу; считает итог и число уникальных чеков; выводит средний чек как итог, делённый на число чеков; считает контрольную сумму по кассам и печатает разницу; отдельно печатает число строк и число пустых amount. Выполни код и покажи вывод целиком. Если контрольная сумма не сходится, не пересчитывай вручную — покажи строки, которые не попали в группировку».

Что изменилось, по пунктам.

1. Инструмент вычисления вместо языка. Числа считает pandas, модель пишет код. Ошибка в арифметике становится невозможной, зато становится возможной ошибка в постановке — её ловит следующий пункт.

2. Данные поданы файлом со схемой. Явные имена колонок, разделитель, десятичная запятая. Модель больше не угадывает, где кончается одно поле и начинается другое.

3. Проверка встроена в задачу, а не в голову проверяющего. Контрольная сумма по кассам, число строк, число пустых значений — три независимых индикатора, которые печатаются всегда.

4. Критерий приёмки сформулирован. «Разница ноль» — это условие, которое можно проверить, а не ощущение «вроде похоже».

Стоимость перехода: сорок минут на освоение read_csv и groupby, если вы никогда этого не делали, и примерно ноль, если делали. Дальше этот скрипт переиспользуется на любой выгрузке с теми же колонками. Сравнение по деньгам: один пересчёт отчёта вручную — час работы финансиста, одна ошибка в отчёте перед советом директоров — репутация и, иногда, премия.

Есть и менее очевидная выгода: воспроизводимость. Скрипт можно запустить через месяц на новых данных и получить сопоставимый результат. Ответ модели на тот же вопрос через месяц будет другим: версии меняются, параметр температуры вносит разброс, контекст другой. Для отчётности это принципиально — число, которое нельзя воспроизвести, нельзя и защитить.

Тот же приём работает и без Python. В таблице достаточно попросить модель сформулировать формулу и проверить её на трёх строках вручную; в SQL — попросить запрос с GROUP BY и отдельный запрос-сверку COUNT(*); в BI-системе — попросить список метрик и определение каждой. Принцип один: модель формулирует, инструмент считает, человек сверяет.

Если исполняемой среды нет вовсе — чат не запускает код, доступа к базе не дают, — процедура меняется, но не отменяется. Просите у модели не результат, а проверяемый путь: формулу, шаги, список строк, которые надо исключить, и ожидаемый порядок величины. Затем считайте сами, а модель привлекайте к сверке расхождений: «получилось 46 190,80, а по моей прикидке 47 000 — где я мог ошибиться». В такой постановке она полезна: ищет пропущенные строки и неверные допущения, а не складывает числа.

Красные флаги: когда ИИ точно не поможет

- Задача требует не «сделать работу», а «взять ответственность»: судебное заключение, диагноз, подписанная цифра в отчёте, кадровое решение.

- Результат зависит от внутреннего контекста организации, которого нет в запросе: история конфликтов, негласные правила, реальные сроки поставщика.

- Нужно уникальное мнение или позиция, а не структурированное рассуждение по известным правилам.

- Цена ошибки превышает стоимость проверки в десятки раз: чем дороже ошибка, тем меньше смысла экономить на человеке.

- Вы не можете назвать критерий приёмки. Если непонятно, что считать хорошим результатом, модель выдаст что-то правдоподобное, и вы это примете.

- Данные нельзя отдавать наружу: клиентские базы, медицинские записи, коммерческая тайна без договора и режима обработки. Подробно — в главе 15.

Что сделать сегодня

1. Заполните таблицу из пяти своих задач на этой неделе. Колонки: задача, что на выходе (число, факт, текст, решение), вердикт (отдать, отдать с проверкой, не отдавать), инструмент. Результат: пять строк. Измерение: если вердикт «отдать без проверки» стоит больше чем у одной задачи из пяти — вы недооцениваете риск.

2. Переведите одну числовую задачу на формулу или скрипт. Результат: итог, посчитанный инструментом, и контрольная сумма. Измерение: расхождение с вашей ручной оценкой; зафиксируйте время до и после.

3. Проверьте одну слабую зону на своём материале: попросите модель назвать источник трёх фактов из вашей области и проверьте каждый. Результат: счёт «подтверждено из трёх». Измерение: меньше трёх — этим фактам нужен внешний источник, и это правило стоит записать.

4. Добавьте в свой рабочий шаблон две строки: блок правил и «если данных нет — напиши „нет данных“». Прогоните на трёх прошлых запросах. Результат: сравнение до и после. Измерение: число выдуманных правил и пропущенных полей; цель — ноль.

5. Замерьте одну задачу по времени: до (ваша обычная работа) и после (модель плюс проверка). Результат: два числа и разница. Измерение: если разница меньше 20 %, проверка съедает выигрыш, и задачу стоит либо упростить, либо вернуть человеку.

Дальше — глава 3 о мифах, которые мешают применять всё это на практике. Технические детали того, почему модель ведёт себя именно так, — в главе 5; как измерять точность и стоимость решения — в главе 14; как строить личные сценарии — в главе 10; про галлюцинации подробно — в главе 7.

Живой слой. Обновляемые шаблоны, чек-листы и разборы под текущие версии моделей: github.com/ai-bez-mifov/book#ch02 — QR-код на вклейке и в электронной версии.

Глава 3. Мифы, которые мешают применять ИИ

Паспорт главы. Обещание: распознавать миф об ИИ за тридцать секунд и не строить на нём решение. Время чтения: 14 минут. Результат: разобранное по пяти вопросам чужое утверждение об ИИ, таблица «миф — реальность — цена веры — что делать» с тремя вашими строками и один переписанный запрос к подрядчику.

В четверг, в 16:10, в переговорной на тридцать четвёртом этаже в Дубае подрядчик показывает слайд. Карта региона, четырнадцать стрелок, подпись: «4 200 источников, 11 рынков, прогноз спроса на два квартала». Директор по маркетингу кивает. Слайд отвечает на вопрос, который она задала две недели назад: где нам расти.

Вопросов никто не задаёт. Не потому, что их нет, а потому, что «а как именно вы это посчитали» в такой момент звучит как недоверие — к данным, к людям, к потраченным двум неделям. Решение принимают за девять минут. Цена — $18 000 за «ИИ-стратегию» и два аналитика, снятых с других задач на квартал.

Через три недели в отчёте на 41 страницу не нашлось ни одного места, где было бы видно, откуда взялась конкретная цифра. Не потому, что подрядчик прятал метод. Потому, что метода не было: модель пересказала открытые статьи, а люди оформили пересказ как аналитику.

Миф об ИИ редко выглядит как ложь. Он выглядит как удобное сокращение, которое экономит одно решение, — и стоит квартала.

Кейс: $18 000 за пересказ и квартал, которого не было

Отдел маркетинга дистрибьютора бытовой техники в Дубае: одиннадцать рынков, шестьдесят сотрудников, оборот €84 млн. Задача года — выбрать два рынка для расширения. Штатных аналитиков двое. Полный цикл исследования с внешним консультантом стоил $40 000 и занимал четыре месяца. Руководитель искала путь короче и дешевле и нашла предложение за $18 000: «ИИ-стратегия, шесть недель, прогноз по одиннадцати рынкам».

Стоимость ожидания тоже была известна. Окно входа на два рынка закрывалось к концу второго квартала; по внутренней оценке, задержка на квартал стоила бы около $140 000 недополученной маржи. Именно эта цифра, а не отчёт, и была настоящим предметом решения.

Был и третий вариант, который отклонили: взять у консультанта не весь проект, а один рынок за $12 000 и четыре недели, а остальные десять отсеять своими силами по грубому критерию. Вариант отвергли как «половинчатый» — и в этом была первая ошибка, потому что он давал проверяемую базу для сравнения.

Подрядчик прислал 41 страницу: девять рекомендаций, тепловые карты, три сценария спроса. Первые две недели отчёт читали с интересом. На третьей финансовый аналитик попросил показать, откуда взялась одна конкретная цифра — доля рынка в одном из эмиратов. Подрядчик ответил: «модель проанализировала массив открытых данных».

Дальше разговор пошёл по предсказуемому кругу. Запросили список источников — прислали двенадцать ссылок, из которых восемь оказались пресс-релизами поставщиков. Запросили источник по каждой цифре — получили обещание прислать позже. Тогда аналитик сделал то, что стоило сделать до подписания: взял двадцать утверждений из отчёта и потратил два часа на ручную проверку. Источник нашёлся у шести. Одиннадцать совпали с открытыми статьями почти дословно, включая формулировки. Три не подтвердились вовсе: описанного сегмента покупателей в таком объёме не существовало, а ссылка вела на статью о другом регионе.

Отдельно сверили цифры с собственной выгрузкой продаж. Расхождение по одному рынку — 22 %. Подрядчик объяснил это «иной методикой подсчёта», но методику не показал. Деньги не вернули: в договоре был поставлен «аналитический отчёт», и он был поставлен. Квартал ушёл.

Отдельно стоит назвать упущенную возможность. Подрядчик предлагал пробный фрагмент за €600: один рынок, две недели, тот же метод. Фрагмент не заказали, потому что он выглядел как лишний шаг — и это ровно та ошибка, которую потом дороже всего объяснять. Два часа проверки и три недели переделки обошлись в двадцать раз дороже, чем стоил бы пробный кусок до подписания.

Пересборка заняла неделю и не потребовала новых инструментов. Отдел разделил работу на три типа, у каждого — свой исполнитель и свой критерий.

Факты. Источники, цифры, даты, выгрузки, интервью — люди и поиск. У каждого факта в рабочей таблице появились источник, дата и метод: «опрос 300 клиентов, февраль, телефон», «выгрузка из ERP, март, артикулы без возвратов».

Черновики. Модель. Сжать сорок интервью до пятнадцати цитат, разложить конкурентов по десяти признакам, превратить таблицу в связный текст, сформулировать пять гипотез для проверки. Здесь она сильна, потому что критерий приёмки дешёвый: цитаты проверяются поиском по транскрипту, гипотезы — обсуждением.

Решения. Руководитель. Какой рынок, какая цена входа, какой риск допустим, кто отвечает за результат. Модель не подписывает контракт и не платит за ошибку.

К этому добавилась одна процедура, которая позже прижилась во всех отчётах компании, — «карточка утверждения». Одна строка на каждую цифру: значение, источник, дата, кто проверил, что будет, если ошибка. Если строку заполнить нечем, утверждение отправляется в раздел «предположения», а не в раздел «выводы».

Второй отчёт готовили шесть недель. Он стоил $2 300: подписка на модель, 30 человеко-часов на проверку и один день на вёрстку. Вышло двенадцать страниц вместо сорока одной. Из 41 утверждения с цифрами все имели источник, кроме девяти, честно помеченных как оценка.

Ограничение оказалось неприятным. Две рекомендации не выдержали проверки в пилотном регионе: модель оценила эластичность спроса по открытым статьям, а локальный тест на 300 клиентах дал другие числа. Пришлось заменить оценку на собственные измерения и потратить ещё три недели. Квартал это не вернуло: конкурент вошёл на рынок первым, и часть маржи ушла вместе с окном.

(собирательный кейс)

Разбор.

- Миф был не в модели, а в постановке закупки: купили «аналитику», не определив, что считается анализом, а что пересказом.

- Проверка стоила два часа и нашла проблему до решения. Соотношение — примерно 1 к 2 000 по потраченной сумме.

- Разделение фактов, черновиков и решений вернуло управляемость: у каждого типа работы появился свой исполнитель и свой критерий приёмки.

- Карточка утверждения сделала отчёт проверяемым. Цифра без источника — не актив, а обязательство, которое кто-то однажды предъявит.

- Урок не в том, что модель не годится для анализа рынка. Урок в том, что анализ без данных и метода остаётся пересказом, сколько бы источников ни значилось на слайде.

Почему мифы дороже, чем кажутся

Миф удобен. Он снимает одно решение: не надо выяснять, как устроено, — достаточно поверить, что устроено нужным образом. Плата приходит позже и не сразу: часами на переделку, деньгами на подрядчика, закрытым окном на рынке.

Глава 2 раскладывала, что модель умеет и чего не умеет по факту. Эта глава — про то, во что люди верят вопреки факту, и почему вера держится. Мифы не случайны: каждый закрывает неудобное место, где пришлось бы признать границу своей компетенции или потратить время на проверку.

У веры в миф всегда есть цена, и её можно назвать заранее. Ниже — карта из девяти мифов, которые чаще всего встречаются в разговорах о внедрении.

Миф

Что на самом деле

Цена веры

Что делать вместо

«ИИ думает»

Предсказывает следующий фрагмент текста

Поручают суждение, а не преобразование

Формулировать задачу как преобразование входа в выход

«ИИ знает факты»

Воспроизводит статистику текстов

Уверенные выдумки в отчётах и письмах

Давать документ и требовать ссылку на фразу

«Чем длиннее промпт, тем лучше»

Конкурирующие инструкции размывают приоритет

Семь требований из двенадцати

Одна задача на запрос, цепочка шагов

«ИИ скоро заменит всех»

Меняется состав задач, не факт профессии

Стратегия «подождём» или паника

Переобучение под конкретные операции

«ИИ объективен»

Обучен на человеческих текстах со сдвигами

Решения с непроверенным уклоном

Свои данные как основа, модель как редактор

«Секретный промпт решает»

Решает структура задачи и данные

Покупка «магии» и курсов по кнопкам

Задача, данные, критерий приёмки

«ИИ корректен с одного запроса»

Один прогон — черновик, не результат

Ошибки уходят заказчику

Проверка по чек-листу до отправки

«ИИ — это только чат»

Встраивается в процессы и системы

Упущенные выгоды автоматизации

Искать узкие места процесса, а не окно чата

«ИИ нечестен, его надо бояться»

Инструмент с известными границами

Отказ от измеримой пользы

Риск-план вместо страха

Таблица полезна как список для сверки, но решение принимается по механике. Поэтому разберём каждый пункт отдельно — что именно происходит и что делать вместо.

Откуда мифы берутся

Мифы не появляются из ниоткуда. У них три устойчивых канала, и в каждом есть свой интерес.

Первый — продавец. Ему нужно, чтобы возможность выглядела готовой услугой, поэтому формулировка сжимается до «ИИ проанализирует рынок». Это не обязательно обман: человек искренне верит, что продаёт результат, а не процесс. Проверка здесь одна — просить метод и источники до подписания, как в дереве решений ниже.

Второй — внутренний энтузиаст. Сотрудник попробовал инструмент на своей задаче, получил хороший результат и переносит вывод на соседнюю область, где условия другие. Так рождается «у нас уже работает, давайте распространим». Это самый симпатичный канал и самый опасный: энтузиаст говорит правду о своём случае и неправду о вашем.

Третий — пересказ. Отраслевая новость проходит три пересказа и теряет условия: «компания сократила отчётность на 40 %» превращается в «ИИ заменяет аналитиков». Условия — единственное, что делало новость правдой, и они исчезают первыми.

Практический вывод: спрашивайте не «правда ли это», а «при каких условиях это было правдой». Условия — то, что нельзя пересказать, не потеряв.

Девять мифов, каждый с ценой

Миф 1. «ИИ думает». Модель — это программа, обученная на большом массиве текстов предсказывать следующую часть текста. Внутри нет намерения, плана на завтра и способности усомниться. Технически она предсказывает следующий токен — единицу текста длиной примерно в три-четыре символа. Практический пример: руководитель пишет «подумай, стоит ли нам выходить на рынок X», получает аккуратный список плюсов и минусов и воспринимает его как размышление. На деле это усреднённое содержание статей на эту тему, разложенное по рубрикам. Опасность не в том, что ответ плох, а в том, что он выглядит как работа с вашим случаем, хотя описывает средний случай. Что делать вместо: заменить просьбу «подумай» на просьбу «разложи по признакам, которые я перечислю», и заранее решить, какой из признаков для вас решающий.

Миф 2. «ИИ знает факты». Модель знает тексты, а не факты. Если утверждение встречается в тысячах документов, ответ будет уверенным и, скорее всего, верным. Если утверждение встречается один раз в локальной заметке или не встречается вовсе, ответ будет таким же уверенным и выдуманным. Бытовой тест: спросите модель о том, что известно только вам, — о вашем тарифе, вашем поставщике, вашем прошлогоднем объёме. Ответ будет правдоподобным и неверным. Что делать вместо: прикладывать документ и требовать цитату. Чем сильнее ответ заземлён — привязан к вашему тексту, — тем меньше выдумки. Механика этого — в главе 5, галлюцинации как явление — в главе 7.

Миф 3. «Чем длиннее промпт, тем лучше». Длинная инструкция не усиливает модель, а ставит её перед конкуренцией требований. Наблюдение из практики: в запросе на 900 слов с двенадцатью требованиями модель устойчиво выполняет семь-восемь, причём разные в разных прогонах; в запросе на 180 слов с тремя требованиями — все три. Причина не в лени, а в том, что веса внимания распределяются по всему тексту, и требование из первого абзаца конкурирует с требованием из десятого. Что делать вместо: одна задача — один запрос, а сложный результат собирается цепочкой. Как это устроить технически — в главе 8.

Миф 4. «ИИ скоро заменит всех». Прошлые волны автоматизации дают один и тот же паттерн: банкоматы не закрыли отделения, шаблоны договоров не отменили юристов, голосовые меню не убрали операторов. Менялся состав задач внутри профессии, а не факт её существования. Это наблюдение, а не гарантия: скорость перестройки в этот раз выше, и часть операций действительно исчезает.

Полезно смотреть не на профессию, а на операции. В работе юриста есть чтение типового договора, поиск прецедента, черновик письма и переговоры о риске. Первые три сжимаются сильно, четвёртая — почти нет. В работе бухгалтера есть сверка, перенос, объяснение расхождения и разговор с аудитором: сжимаются первые две. Кто видел свою работу как набор операций, тот перестраивается за месяцы. Кто видел её как неделимое «я специалист», тот обсуждает прогнозы.

Практический вывод одинаков для обеих крайностей — и для «подождём, всё рассосётся», и для «надо срочно всё менять». Он простой: выигрывает тот, кто переводит свои повторяющиеся операции на инструмент и измеряет результат. Прогнозы о сроках — это погода, она меняется каждые несколько месяцев; устройство работы — климат.

Миф 5. «ИИ объективен». Модель обучена на человеческих текстах, а затем подстроена под предпочтения разметчиков — это называется RLHF, обучение с подкреплением по обратной связи человека: люди оценивают ответы, модель учится выдавать те, что нравятся оценивающим. Значит, в ответах живут и человеческие сдвиги: округления, привычные клише, представления о том, «как принято». Проверяемый пример: попросите описать идеального кандидата на вакансию — и посмотрите, какие признаки всплывут без вашего запроса. Что делать вместо: чем важнее решение, тем больше веса у ваших проверенных данных и меньше — у общих знаний модели. Модель здесь редактор и сборщик, а не судья.

Миф 6. «Мой промпт — секрет успеха». Магических промптов нет. Есть структура: задача, данные, критерий хорошего результата. Если все три описаны, работает почти любой аккуратный текст запроса. Если не описаны, не спасает никакая формулировка. Цена веры в секрет измерима: люди покупают курсы «промптов», тратят недели на коллекционирование чужих шаблонов и не делают главного — не собирают данные и не пишут критерий приёмки. Что делать вместо: потратить те же недели на карточку задачи, как в главе 4, и на тестовый набор из десяти своих случаев.

Миф 7. «ИИ корректен с одного запроса». Один прогон — это черновик. Не потому, что модель плохая, а потому, что вы ещё не видели, где она ошиблась. Если важный результат, проверка обязательна, и её стоимость надо закладывать в смету задачи. Признак, который стоит запомнить: если модель даёт неверный результат дважды подряд на одном и том же входе, дело почти всегда не в модели, а в данных — вы не дали то, на что она должна опираться. Что делать вместо: заранее написать, как вы проверите результат за две минуты, и только потом запускать.

Миф 8. «ИИ — это только чат». Это самый дорогой миф из девяти, потому что он тихий. Пока руководитель обсуждает, какой чат купить, в его компании уже работают другие применения: поиск по документации, разбор входящих писем, извлечение полей из счетов, черновики ответов в системе поддержки, сводки по звонкам. Интерфейсы меняются, названия кнопок тоже, но принцип устойчив: ценность появляется там, где модель встроена в шаг процесса, а не стоит отдельным окном.