Юристы и нейросети. Руководство к действию

По общему признанию для сложных вопросов такие модели предпочтительны, но они могут требовать более точного и детального промпта.

Если с ними правильно обращаться, то совсем уж возмутительные галлюцинации вы скорее всего не встретите – однако я по-прежнему настоятельно рекомендую перепроверять факты и цитаты, которые приводит любая нейросеть в своих ответах. Я и коллеги все чаще встречаемся с документами, которые были очевидно лениво сгенерированы в нейросетях и не перепроверены.

Конечно, в нашей юрисдикции к судебному штрафу за такое вряд ли привлекут, да и $10 000 явно не выпишут. Однако такие ошибочные документы в любом случае сформируют у судьи, клиента или контрагента явно негативное впечатление, которое может привести к нежелательным последствиям.

Ограничения датасета

Ранее я уже указывал, что датасет формируется в законченном виде на момент начала обучения.

Это приводит к тому, что «знания» ИИ ограничены датой формирования датасета и, естественно, его содержанием.

До 2024 года это было очень существенной проблемой, потому что было регулярно видно, когда ИИ не в курсе, где сейчас какой президент, какие последние события произошли и т. д.

С законодательством это еще сложнее, потому что никто из разработчиков не включает в датасет «слепок» полной базы каждого национального законодательства на какую-то дату. И тем более не настраивает учет редакций, сроков их действия, дат вступления в силу уже принятых законопроектов и прочих существенных для нас зависимостей.

В 2024 году разработчики научились предоставлять ИИ возможность поиска в интернете, что остроту проблемы сняло, однако не может решить ее полностью, тем более в сфере юриспруденции. Ведь в публичном доступе (для автоматизированного сбора) в интернете находится далеко не вся правовая информация, да и веб-поиск все равно несовершенен.

Поэтому если вы хотите поработать с конкретным законом, то лучше дайте ИИ сам текст, ибо не факт, что он был в датасете в актуальной редакции. А даже если и был – не факт, что ИИ сможет его точно воспроизвести для ответа.

Ограничения контекста и внимания

Генерация текста LLM очень затратна по электроэнергии и вычислительным ресурсам, а это деньги. Поэтому все разработчики нейросетей ограничивают их использование всевозможными лимитами: на количество запросов в день/неделю/месяц, на количество используемых токенов в определенный период и т. д. Кроме того, они часто такие лимиты не публикуют и меняют их без предупреждения.

Но самое главное – все они ограничивают размер контекста. У большинства популярных моделей лимит контекста в пределах 100 000–200 000 токенов на один чат. Есть несколько моделей с лимитом до 1 млн токенов.

К чему это приводит? В длинном чате ИИ станет забывать начало диалога, поскольку весь чат не будет помещаться в контекст. Впрочем, большинство сервисов сейчас принудительно не дадут вам продолжать диалог при превышении этого лимита. Также вы не сможете загрузить документ, превышающий по размеру лимит контекста.

Помимо этого, есть ограничение механизма внимания, которое непосредственно связано с контекстом. Суть механизма внимания можно увидеть на следующем примере:

• Кошка не перешла улицу, потому что она устала.

• Кошка не перешла улицу, потому что она широкая.

Оба предложения по структуре одинаковые, в них различается только последнее слово. Но в одном случае придаточное предложение относится к кошке, а в другом – к улице.

Механизм внимания решает проблему анализа связей разных частей входящего текста. И он неидеален – чем больше контекст, тем больше упущений он может допустить.

Причем последние исследования показывают, что нейросети «запоминают» контекст неравномерно. Лучше всего запоминается начало контекста (первые 10–20% информации) – модели уделяют повышенное внимание, а также конец контекста (последние 10–20%) – эффект недавности, свежая информация. Хуже всего обрабатывается середина – информация в диапазоне 30–70% контекста чаще «теряется»: то есть при ответе нейросеть может просто «забыть» часть информации из середины.

Поэтому до сих пор лучше всего большие документы дробить на части и работать с ними, а также не перегружать диалог, периодически начиная новый чат.

Черный ящик нейросетей

Дело в том, что даже для создателей текущих LLM они являются черным ящиком или даже черной дырой. Мы знаем, какая в их основе лежит математика, знаем, из каких частей они состоят.

Но вот почему они работают именно так – не знает никто. В результате изучение возможностей нейросетей и особенностей их работы проходит экспериментально: мы даем промпты на вход, смотрим на ответ, меняем промпт или задаем уточняющие вопросы – и так до тех пор, пока результат нас не устроит или мы не обнаружим какие-то закономерности.

Поэтому в вопросах использования ИИ важное значение имеет практический опыт – кто какие давал задачи, как формулировал промпты, на какие грабли наступал и какие ответы получал. Мы написали эту книгу для того, чтобы поделиться имеющимся опытом и облегчить вам начало использования ИИ или повысить эффективность. Ведь несмотря на все ограничения технологии – если им правильно пользоваться, это очень эффективный инструмент, который может сэкономить вам уйму времени и стать конкурентным преимуществом.

Итоги

1. ИИ – это технология, а не магия

Современный искусственный интеллект (слабый ИИ) является инструментом для решения узкоспециализированных задач и не обладает человеческим мышлением или способностью к нестандартным решениям.