LLM в продакшене (Михаил Юрьевич Деркунов)
Описание аудиокниги:
Учебно-методическое пособие «LLM в продакшене» представляет собой инженерное руководство по проектированию, развёртыванию и эксплуатации систем на основе больших языковых моделей в корпоративном контуре. В отличие от большинства существующих материалов по теме, пособие не ограничивается демонстрацией возможностей моделей, а последовательно разбирает весь путь от архитектурного решения до инцидент-менеджмента в продакшене. Издание охватывает пять взаимосвязанных областей: анатомию AI-бэкенда и управление вероятностной природой LLM; построение RAG-систем с учётом специфики русского языка - морфологии, токенизации кириллицы, отечественных моделей эмбеддингов; локальный инференс на собственном оборудовании - от расчёта видеопамяти до квантования и сервинга; высоконагруженную эксплуатацию - кэширование, стриминг, метрики LLMOps, трассировку; и enterprise-безопасность - prompt injection, DLP, комплаенс 152-ФЗ, RBAC в векторном поиске.
