Проблема фрагментарной когерентности в генеративных языковых моделях при обработке протяженных контекстов: архитектурные и методологические решения (Антон Александрович Белявский)
Полная версия:
Описание книги:
В докладе исследуется проблема фрагментарной когерентности (FCP) в больших языковых моделях (LLM), таких как DeepSeek, при обработке объёмных документов. FCP проявляется в том, что модель, вместо целостной переработки текста, генерирует разрозненные фрагменты, перекладывая задачу их интеграции на пользователя. Анализируются коренные причины: архитектурные ограничения механизма внимания, приоритизация локального контекста, неадаптированность обучения для сложного редактирования. Предлагается многоуровневое решение, включающее архитектурные инновации (иерархическое внимание, динамическая память), методологии работы (стратегическое чанкирование, мастер-промпты) и новые парадигмы обучения (RL для глобальной когерентности). Доклад завершается протоколом для эмпирической валидации методов.
