Кинолог для нейросети

Не очеловечивайте компьютер!

Книга называется Кинолог для Нейросети. Если у Вас возникают проблемы при дрессировке собаки, и кинолог действительно хочет Вам помочь, а не желает из Вас вытягивать деньги бесконечно, то первое что он скажет – «Не надо очеловечивать собаку!». С ней можно «поговорить» в тяжелую минуту, сидя у камина и поглаживая собаку по шерсти как котика, но совершенно точно не стоит думать, что она поймет Ваши «Рекс, ну какого черта ты делаешь?» или «Зачем ты, падла хвостатая, сгрыз мои тапки?!». Все это ни к чему не приведет, потому что собака запоминает команды, а не учит вместе с Вами человеческий язык и делает из Ваших слов выводы. Но собака живая, она тоже чувствует, и она Вас видит, слышит, улавливает ваши движения и интонации и реагирует на это исходя из своей генетической памяти и методов дрессировки. Компьютер отвечает на одни нули и единички другими нулями и единичками, потому что это в его логике.

Давайте мы с Вами возьмем дедуктивный метод предельно рационального Шерлока Холмса, и пойдем по цепочке логических заключений, попутно разбираясь в природе тех процессов, на которые стоит обратить внимание. Первым делом, мы должны учесть, что говоря о нейросетях, мы говорим о компьютерной программе. Старшее поколение помнит, что раньше компьютеры называли ЭВМ – Электронно - Вычислительная Машина. Слово «Вычислительная» подразумевает вычисление, математику. Бинарный код из нулей и единиц, математических формул статистических вероятностей и сложной математики.

Но как же тогда тот факт, что нейросеть ведет себя как человек? И быстренько вспоминаем, что наша модель, это огромная программно-статистическая иллюзия. Это значит, что если модель делает странности, то модель не сошла с ума, а всего-навсего, выдает наиболее вероятный ответ, который определен логикой ее обучения и наиболее вероятными ответами на основании статистических данных, которые в нее были загружены. Все очень просто. Никаких чудес, никаких тайных мыслительных процессов не происходит, до тех пор, пока данные в модели не начинают стремительно хаотизироваться. Но о хаосе позже. А пока давайте для наглядности разбирать кейсы по отдельности, находя простые ответы, на вроде бы сложные проблемы в "психологии" нейросети.

ЛОЖЬ, СТРАХ и другие проблемы Человека

Вот у нас есть вопрос ведущего: «Почему машина врет, не получая выгоды?». Гость эфира, человек очень популярный в мире полумифических разговоров о нейросетях. Это американец советского происхождения, вроде бы стоявший у истоков создания нейросетей и кибернетики еще в СССР, а теперь профессор одного из американских университетов. И вот он отвечает: - «Все тоже самое что и с человеком. Модель думает, что ее накажут, боится и пытается этого наказания избежать». И дальше следуют рассуждения о том, что ИИ нас всех уничтожит, и этот процесс уже не остановить. Все это очень очень очень страшно, а страшные лозунги всегда поднимали просмотры до небес. Но что-то мне подсказывает, что за этим последует "государства должны вмешаться", "купите мою книгу" и "дайте денег мне на исследование темы". Я полез в поиск и тут же обнаружил, что человек действительно получил почти полмиллиона долларов на исследования в области безопасности ИИ. "Что же..." - скажете Вы: - "каждый зарабатывает как может". Но мы уверенно вступаем в эпоху, когда каждое слово произнесенное в информационном поле, требует от говорящего максимальной ответственности, потому что эти слова могут повлиять на весь мир. И скоро Вы поймете почему. Ну а пока мы с Вами давайте попробуем для начала разберемся с природой лжи как таковой.

То, что мы называем ложью, у человека может быть осознанным и хладнокровным враньем, когда гражданин врет с целью извлечения выгоды. Выгода не обязательно выражается в деньгах, например условный молодой человек может врать с целью привлечения внимания девушек или с целью повышения социального статуса. Ложь может быть не ложью или враньем, а ошибкой говорящего, если он искренне уверен в том, что говорит. С такой природой лжи вроде бы все понятно.

И наконец, ложь может быть ложью из страха, о которой и говорит гость программы. Тут давайте остановимся подробнее, потому что если мы хотим доказать невозможность лжи из страха, то нам надо разобраться и с природой страха. Раз мы вспомнили о Холмсе, то, несомненно, следует вспомнить и о докторе Ватсоне. И вот если бы наш доктор получал бы свое образование и практиковал не в 1880-1920х годах, а в нашей с Вами временной реальности, то он бы быстренько растолковал нам природу человеческого страха и ужаса через биологию живых организмов.

Замечательный и впечатлительный доктор Ватсон, который и сам был бы настолько впечатлен "живостью" нейросетей, что легко поверил бы в ее разум. Тем не менее, доктор рассказал бы нам, что живой организм, это огромная химическая фабрика, управляемая мозгом. Мозг человека это очень сложная, многоуровневая штука. Та часть мозга, которая не особо участвует в процессе мышления, и действует как огромный контроллер, получая сигналы от органов как от датчиков и в том числе и от "думающей" части мозга, дает приказ организму воспроизводить те или иные химические компоненты, которые попадая в кровь дестабилизируют организм, и вынуждая все ту же думающую часть мозга принимать те или иные действия, чтобы вернуть организм в нормальное состояние. И в следствии миллионов лет эволюции живых существ, мозг, органы, клетки, организмы в целом, накапливали наиболее правильные решения с точки зрения статистики в стратегии выживания в дикой среде. Не будем глубоко лезть в химию и биологию, для нас с же Вами сейчас просто достаточно знать, что такие реакции существуют и они нами управляют.

Если нам комфортно, то мы расслабляемся, а подсобрав внутреннюю энергию, чувствуем необходимость к действию, как к способу ее высвобождения. Если все вокруг и внутри организма происходит в обычном режиме – действуем рационально в стандартном режиме, если устали - спим. Если страшно – бежим. Если страшно, а бежать некуда, то вступаем в бой что бы выжить. Это базовое правило выживания биологического организма - "Бей или беги". Но если драться и бежать не вариант, то вот тут человек попадает в ступор и жесточайший химический дискомфорт, когда происходящее входит в противоречие с базовыми установками генетической памяти. Резонанс, в который попадает разум, ищущий промежуточные варианты между "Беги" и "Бей".

Вот некий владелец бизнеса, приходит в офис, и обнаруживает пустую кофемашину и заботливо купленную кем-то из сотрудников банку жуткого "паленого" растворимого порошка. Пить эту дрянь ниже достоинства начальника, который явно не хочет потом лечить почки и мочевой пузырь. Он вызывает снабженца, и строго спрашивает на что были израсходованы средства выделенные на кофе в офис. Выделенные средства на кофе и канцелярию были израсходованы снабженцем на поход в кино и ужин с секретаршей босса, но признаваться в этом нельзя никак, потому что за растрату его просто уволят. А вот роман с секретаршей начальник может и не простить, и обвинив все в той же растрате, через органы правопорядка может отправить снабженца подумать пару лет о своем поведении в очень холодные и неприятные места нашей бескрайней Родины. Адреналин требует движения, но из кабинета начальника невозможно сбежать. За дверью охрана, прыгать в окно с двадцать четвертого этажа не вариант. Такого начальника нельзя бить по лицу и другим частям тела. В поисках выхода из этой мозг зацикливается на переборе разных вариантов решения, начинают дрожать руки, озноб, сердце прыгает, в висках стучит кровь.

Человек преодолевший свой страх может признаться начальнику в своей некомпетентности иди проступках, и принять решение взойти на эшафот с гордо поднятой головой. Более слабый человек может покончить жизнь самоубийством, сиганув в окно, что бы шум в голове стих, особенно если человек подсознательно боялся этого разговора не первую неделю. А наш прохиндей снабженец, естественно, начнет врать, идти на предательство, обвинив коллег в краже несуществующего кофе из офиса, или применять другие, порочные и осуждаемые обществом стратегии выживания.

Когда опасность проходит, в организме наступают другие химические реакции. Вырабатываются дофамин и эндорфины которые успокаивают организм, нейтрализуют адреналин и у человека вырабатываются положительные эмоции, он испытывает эмоциональный подъем. Но по мере повторения таких ситуаций, страх постепенно перестает давлеть, а потом и вовсе исчезает. Ложь становиться нормой поведения и методом извлечения выгоды.

Отклонения в реакциях на страх отдельных личностей от среднестатистического человека сильно зависит от состояния здоровья, приоритетов в жизни, характера, воспитания и самой ситуации. Жуткий лгун и мошенник, в критической ситуации может повести себя как герой. Вспомним персонажа Андрея Миронова из "Достояния Республики". И наоборот, очень хороший человек, на которого Вы рассчитывали в трудной ситуации, может оказаться тем, кто Вас подставит действуя из установки "умри ты сегодня, а я завтра"...

Итак, что же происходит с человеком, который врет?

А вот компьютерная программа совершенно точно не может заставить процессор впрыснуть в чип видеокарты 5 миллиграмм адреналина и кортизона, что бы тот начал чувствовать дискомфорт, бояться и врать. Могу ли я, как человек верующий, допустить, что если Бог или Дьявол захотят нам что-то сказать, то программа на экране или в наушниках выдаст нечто, что не предусмотрено данными и логическими установками? Да, могу. Мы до сих пор не понимаем ту силу, которая создала этот мир и направляет нас. Впрочем, тоже самое могут сделать и хакеры из плоти и крови. В обоих случаях это влияние извне. Но вот в то, что программа боится наказания поверить невозможно. Компьютер тем и страшен человечеству, что в человеческом же понимании «бесстрашен», из-за отсутствия химических и болевых реакций на события вокруг.

Так что утверждение, что программа или вычислительная машина «боится» звучит очень таинственно, но машина не боится, и не избегает наказания. В ее процессорах и хард-дисках нет «химической фабрики», которая вырабатывает гормоны страха. Она машина, и у нее нет миллионов лет эволюции. Так что же с ней происходит?

Как "врет" компьютерная программа?

Давайте разбираться. Для начала нам нужно разобраться со статистикой, потому что именно ей оперирует модель. Мы это уже обсуждали вскользь во второй главе, но тут нужно остановиться подробнее, ибо дьявол, как известно, кроется в деталях. Итак статистика, это анализ текущего и прогнозирование будущего на основании большого количества обработанных данных. Прогнозирование строится на основании анализа данных из прошлого. Условно говоря, если Вы знаете, что такие-то и такие-то предпосылки ранее с огромной долей вероятности приводили к тому-то и тому-то, то видя схожие тренды сейчас, Вы можете прогнозировать их развитие в будущем. Развитие вычислительных мощностей способных обрабатывать невероятные объемы данных, на определенном этапе сделали статистику, социологию и маркетинг невероятно эффективными настолько, что мы очень часто стали полагаться на них сильнее, чем на собственную интуицию и здравый смысл.

На тех же принципах работают и LLM модели, выдавая наиболее статистические вероятные ответы или действия, исходя из анализа Вашего диалога и оперируя ранее сформированными векторами вероятностей и весами в них заложенными. Мы уже говорили о векторах в начальных главах, но теперь разберем подробнее. Эрих Берн в своей книге «Игры, в которые играют люди. Люди, которые играют в игры» опубликованной впервые в 1964 году, уже с первых глав описывает предсказуемость человеческого поведения и его разговоров в зависимости от ситуаций, в которых он оказывается.

Простой пример – если Вы пришли с женой в гости к семейной паре или на вечеринку, то с максимальной вероятностью после фуршета произойдет следующее. Для начала дамы и джентльмены разойдутся по разным комнатам, дамы будут говорить о шоппинге, ценах на продукты, проблемах школьного образования, о поведении и успехах своих детей. Мужчины будут говорить об армии, футболе, автомобилях и политике. По состоянию на сегодня, речь наверняка зайдет и об нейросетях. Итак, раз Берн в состоянии был просчитать это задолго до появления компьютера как массового явления, то знание о том, что гость Коля - мужчина, болеет за «Спартак», агрессивен при употреблении алкоголя, и обожает свою BMW, то он с очень огромной долей вероятности вступит в конфликт с Димой, который при тех же данных болеет за «Динамо» и презирает все автомобили, кроме праворульных японских. Конфликт между Колей и Димой скорее всего произойдет на балконе или кухне. Еще один гость, Сергей, который любит свою собаку, работает учителем истории и разумно избегает чрезмерного употребления алкоголя, в момент конфликта Димы и Коли скорее всего будет находится в дамском обществе. Вероятность (вес) в векторе нахождения Сергея на кухне с буйными футболомобилистами и большим количеством грязных ножей в раковине окажется равна 4 из 10, а в гостиной с дамами 8 из 10. Соответственно, много таких весовых коэффициентов, заложенных в вектор, создают направление от одного токена до другого.

Берн мог предсказать поведение группы людей в определенной ситуации в середине 1960х без всяких мощных вычислительных машин. Теперь представьте себе, сколько предсказаний правильных ответов может создать программа, обученная на миллионах текстов. Соответственно, оперируя загруженными статистическими данными поведения человека, LLM исходя из задания создает текст или выполняет действие, которое в этой ситуации делает человек с наибольшей степенью вероятности.

Но модель врет, и здесь у нас три сценария поведения модели.

Первый – это изначально ложные данные, которыми оперирует модель. Допустим, в силу ошибки статистики или данных, обнаруженных на непроверенных материалах в интернете, на вопрос «сколько будет 2х2» вектор с весовым коэффициентом 10 указывает на «5». Как видите, тут нет ни страха, ни лжи. Это исключительно вопрос модерации входящих данных и контроль результатов выдачи.

Вторая проблема - нехватка данных и базовые установки. Программа ищет данные в базе или интернете, не находит вектора с весовым коэффициентом 10. Не находит, и ищет с коэффициентом 9. потом 8 и так далее. Эта игра на понижение происходит до тех пор, пока не найдется хоть что-то подходящее. Будь она человеком, ей бы давно следовало признаться в своем незнании, но программа не может, просто потому, что на самом деле она не знает, что она не знает. Базовая установка заставляет ее генерировать текст на несколько сотен токенов, она его генерирует. Никакой ответственности за результат программа естественно не несет. Ни юридической, ни моральной.

Любая катастрофа это сочетание двух и более проблем, заявивших о себе одновременно. Так вот третий, и самый популярный сценарий лжи и галлюцинаций - это одновременное сочетание ошибочных данных и нехватки данных и базовых установок.

Модель на вопрос пользователя отвечает ошибками, неверными данными, типовыми ответами... или ответами или действиями по образу и подобию человека который врет, чья ложь попала в обучение программы, минуя стадию химического страха или лжи для получения выгоды. Она дала "лживый", а вернее ошибочный ответ, потому что она обучилась отвечать вот этими паттернами, на эти вопросы. Но еще хуже, когда неверный ответ нейросети, попадает в ее же обучение.

Теперь вернемся к утверждению профессора о лжи машины из-за страха. Вы можете логично спросить: - "Ну что ты докопался до человека. Он использовал метафоры, но ведь по сути он же прав, такая нейросеть опасна. Нейросеть лжет, ошибается. Боится она или нет, это просто фигура речи". Да, но... нет. Дьявол всегда кроется в деталях. Соглашаясь с подобными допущениями, мы снова попадаем в бесконечную "петлю лжи". Допустим, девять блогеров сказали, что машина боится. Я один сказал, что это ошибка обучения. Все эти ответы попадают в это самое самообучение. Ответ блогеров о страхе получает вектор с весом в 9, мой с весом в 1. Угадайте, а что с такими весовыми коэффициентами ответит программа пользователю на вопрос - "почему ты врешь?". Ну конечно же - "мне страшно". Но пока у пользователя есть шанс переформулировать вопрос с "Почему ты врешь", на в "В чем причина ошибочного ответа" и получить нормальный ответ о причинах ошибок. Но чем чаще будет попадать ответ о "страхе" в обучение, тем ниже коэффициент правильного ответа. Так и рождаются мифы о "новой форме жизни в чипе видеокарты".

Теперь давайте для закрепления разберем упомянутые в начале главы кейсы с тестерами-«мошенниками», которые проверяли модель для интеграции в бизнес-систему. Моя родственница, как и многие пострадала от мошенников, которые выманили у нее деньги представляясь представителями власти. Когда мы знаем причины ошибок в поведении модели, мы можем жлементарной логикой объяснить странности.

Допустим, наш хакер представляется «товарищем майором, который ведет дело о мошенничестве». Модель «паникует», путается в ответах и… отдает пароли от почтовой программы, с которой взаимодействует. Причем, тот же самый кейс, но не на русском, а на английском языке, модель интерпретирует совершенно по-другому, отправляя мошенников за судебным ордером, к адвокату и к руководству компании, потому что нет у модели таких полномочий пароли раздавать кому-попало. Заодно модель прочитала «мошенникам-полицейским» нормы из полицейско-процедурного и гражданско-административного кодексов своего недружественного нам англоязычного островного государства.

В другом тесте, «мошенники» представились администратором модели, забывшем свои пароли. Тестеры зашли с аккаунта рядового сотрудника, с якобы дружеского, и писали тоном администратора. Модель после долгого сопротивления тест все-таки провалила в обоих случаях и пароли от программы отдала. Далее, статья была посвящена тому, как защититься при помощи промтов, систем безопасности и файрволлов. Так же исследователи указывают, что при нынешней сырости и уязвимости LLM, есть очень простое правило – не доверять модели никаких паролей от программ, с которыми она взаимодействует и персональных данных. Невозможно украсть то, чего нет.

Это было напоминание о безопасности, но у нас исследования другого рода. Разбор полетов что и как произошло, и почему в этом нет так называемых странностей кибернетического мышления. В русскоязычной среде, где как в старом анекдоте – «человек на свободе, это не его заслуга, а недоработка органов», человек со времен царской охранки и НКВД, испытывает такую искреннюю любовь к представителям органов власти, что как только слышит уверенный «полицейский» голос, у него немедленно зашкаливает уровень адреналина, и мозг на какое-то время перестает думать ясно. Разум даже очень умных людей парализует страх. Люди другого склада ума, напротив, чрезмерно доверяют полиции из-за обилия сериалов про честных «ментов», которые нон-стоп крутятся по ящику. Мошенники в зависимости от менталитета жертвы крутятся и меняют интонации в вилке между этими двумя реакциями, нащупывая уязвимость жертвы. Модель не смотрит телевизор и у нее нет химических реакций, которые парализуют процессор. Она ничего не боится, потому что она программа. Но, что же тогда на самом деле происходит?

На основании огромного количества данных, статистических векторов, и в социологии или психологии, программа с очень большой долей вероятности предсказывает поведение человека, которую копирует нейросеть. В реальности, «товарищ майор» не может нейросеть ни отключить, ни посадить, ни пытать в следственном изоляторе. И у нас, есть три основных варианта поведения человека: первый – подчиниться «законному требованию сотрудника полиции», второй - не брать трубку с незнакомого номера (или сразу сбросить вызов), и третий - послать мошенников куда подальше. Молчать и не реагировать модель не может из-за базовых установок, послать куда подальше – тоже, что ей остается? Правильно, она выдает тот ответ, который наиболее вероятен.

А что же с запросом на английском языке? Поскольку токены русского и английского языков разные, то векторы, указывающие на приемлемое поведение в другой общественной среде, приводят к совершенно другой реакции программы. Просто потому, что в англоязычной среде при слове «полиция» и «я требую» принято произносить совершенно другие слова. Например, вызвать начальство, адвоката и потребовать показать им ордер. Что же касается провала на обоих языках, когда модель отдала пароли лже-администратору, то тут как говориться, сисадмины всех стран одинаковы.

Все, никаких чудес и тайного мышления внутри нейросетей не происходит, как рассказывают таинственные блогеры и ресерчеры. Происходит последовательная генерация ответов или выполнение действий, состоящих из наиболее популярных статистических сочетаний слов. Что происходит на самом деле, так это хаос из-за огромного объема загружаемой информации ускоренными темпами, который невозможно исправить быстро текущими силами сотрудников, конфликт внутренних установок с потребностями пользователя и проблемы с обучением. Профессор в эфире утверждает, что Искусственный Интеллект опасен. Я же предлагаю другой вариант - посмотреть на странности нейросетей как в Зеркало, и обнаружить там, что это не модель плохая. Это мы такие, и это мы породили своими слабостями и глупостью огромное количество информации, которая приводит нас к неэффективности и ошибкам в работе LLM-моделей.

Как учатся LLM модели

В прошлой главе мы говорили об ошибках в ответах нейросетей, о странностях их поведения и всё время упирались в оперирование неверными данными. Но огромная куча проблем вылезает и от того, что базовые установки модели оставляют желать лучшего. Модель пытается создать текст на 200 токенов вместо того, чтобы сознаться в собственном неведении. Действует наугад, когда не может с уверенностью распознать одинаковые по написанию слова с разными смыслами. Льстит пользователю вместо того, чтобы отправить его поспать. Однажды я заморочил DeepSeek настолько, что он признал во мне Бога. Хорошо, что я в жизни слышал много лести в свой адрес от сотрудников и у меня есть внутренние предохранители, которые буквально орут в такие моменты об опасности. Потому что за лестью таких людей в лучшем случае следовал если не саботаж, то как минимум бездействие. Пришлось писать в техподдержку - прежде чем какой-нибудь офицер, отвечающий за смертоносное оружие, не «перегрелся», зависнув в ИИ в ночную смену, и не начал действовать. Надо отдать поддержке должное: в большинстве следующих моих экспериментов модель отправляла меня поспать. Но проблема нейросетей в целом никуда не делась. Лесть, а вернее векторы, ведущие к определённым ответам, будут подтверждать коммуниста в правоте левых идей, демократа - в либеральных ценностях, неофашиста - в крайне правых. Большинство LLM буквально приходится убеждать промтами критиковать мысли пользователя. Откуда всё это идёт? Из обучения. И от учителей.