Теория интеллектуальных систем препринт

То, что инстинкты, в том числе мотивационные, врождённо реагируют на определённые последовательности сигналов, находит прямое подтверждение в клинических наблюдениях за детьми с гидранэнцефалией — редким пороком развития, при котором ребёнок рождается практически без коры головного мозга, но с сохранным стволом и подкорковыми структурами. Если бы способность реагировать на сигналы внешней среды была исключительно функцией коры, такие дети должны были бы находиться в вегетативном состоянии. Однако масштабный опрос 108 основных опекунов показал обратное: дети с гидранэнцефалией демонстрируют отзывчивость, эмоциональную реактивность и реагируют на голос [75]. Отдельные сообщения о реакции на собственное имя могут указывать на то, что в некоторых случаях сохраняются остатки коры, позволяющие записывать отдельные сигналы, — однако и без этого дети проявляют эмоциональную реактивность и отзывчивость.

Для нашей теории это означает следующее. Эти данные указывают на то, что подкорковые структуры — в первую очередь верхний отдел ствола мозга — способны врождённо реагировать на биологически значимые последовательности сигналов [76]. При этом важно уточнить: сознание в терминах Теории интеллектуальных систем — это активность сенсорных элементов, и у детей с гидранэнцефалией, у которых кора практически отсутствует, этих элементов может и не быть. Речь идёт не о сохранении сознания в нашем понимании, а о сохранении врождённой способности реагировать на последовательности сигналов — то есть о работе инстинктов.

Человек с полноценной корой отличается от человека без коры не наличием сознания как такового, а прежде всего наличием большого количества мемстинктов, которые также могут реагировать на сигналы внешней среды и обеспечивать сложное, выученное поведение. Инстинкты же — врождённые детекторы последовательностей — работают и без коры. Это наглядно демонстрирует, что базовый механизм реакции на биологически значимые сигналы локализован именно в подкорковых структурах.

2.4. Реципрокное торможение и волевой акт: почему мы делаем то, что приносит удовольствие

На схеме мы видим, что целевые и стрессовые инстинкты соединены между собой стрелочками. Связано это с тем, что мотивационные инстинкты могут напрямую или через посредников тормозить либо возбуждать друг друга. Целевые инстинкты тормозят стрессовые, а стрессовые тормозят целевые. На бытовом уровне это можно проиллюстрировать тем, что тяжело быть счастливым, испытывая боль, и наоборот, счастливый человек испытывает меньше страданий. В этом смысле счастье можно описать как активацию целевых мемстинктов, которой не мешает активация стрессовых.

Данный принцип реципрокного торможения подтверждается конкретными нейроанатомическими данными. Боль подавляет дофамин: нейроны латеральной парабрахиальной области (стрессовый контур) напрямую активируют ГАМК-ергические интернейроны в VTA, что приводит к торможению дофаминергических нейронов и снижению выброса дофамина [77]. Стресс через таламус подавляет дофамин: активация среднего ядра шва (nucleus reuniens, RE) — структуры, рекрутируемой стрессовыми стимулами, — мощно снижает активность дофаминовых нейронов VTA, замыкая ещё один контур стресс-индуцированного торможения целевого инстинкта [78]. Дофамин, в свою очередь, подавляет стресс: введение дофамина и его предшественника L-DOPA непосредственно в префронтальную кору грызунов ускоряло угашение (extinction) страшных воспоминаний, то есть разрушало связь между стимулом и стрессовым мемстинктом [79].

Как же активация целевых и стрессовых мемстинктов влияет на наше поведение? Для этого нам нужно рассмотреть механизмы воли, работа которых во многом связана с базальными ганглиями и близлежащими структурами. Как это работает? Базальные ганглии и близлежащие структуры получают прямые входы от структур коры, причём входы эти выходят в основном из шестого слоя отдельной колонки кортекса, то есть от отдельных мемстинктов. Мемстинкты эти, по всей вероятности, прежде всего дофаминовые, но, вероятно, могут быть и стрессовые, и агрессии, и серотониновые, и т. д. В свою очередь, они по прямому пути (хвостатое ядро → внутренний бледный шар → таламус) через «торможение торможения» воздействуют на таламус, который в результате добавляет возбуждение первичным и вторичным моторным зонам коры. Непрямой путь (хвостатое ядро → внешний бледный шар → субталамическое ядро → внутренний бледный шар → таламус), наоборот, может тормозить эти зоны. Кроме моторных зон, в некоторой степени также могут быть заторможенными или возбуждёнными другие части коры.

Недавнее исследование Komiyama et al. напрямую подтверждает эту модель на уровне отдельных нейронов моторной коры [80]. Учёные обучали мышей нажимать на рычаг, регистрируя активность сотен нейронов с помощью двухфотонной кальциевой визуализации и стимулируя отдельные нейроны с помощью голографической оптогенетики. Оказалось, что кратковременная синхронная активация всего около двадцати нейронов, чья активность начиналась непосредственно перед движением, запускала движение, похожее на выученное. При этом в других, нестимулированных нейронах моторной коры возникал паттерн активности, сходный с тем, который наблюдался при произвольном выполнении выученного движения.

Принципиально важно, что эта стимуляция не была единственной и достаточной причиной движения: её успех зависел от исходного состояния моторной коры и от того, вовлечена ли мышь в задачу. Если животное не было сфокусировано на задаче, стимуляция не вызывала ни движения, ни «выученного» паттерна активности. Это полностью соответствует описанному выше механизму: волевой акт не «запускает» движение с нуля, а снимает торможение с тех таламокортикальных цепей, которые уже были подготовлены обучением.

Более того, в отдельной работе той же группы было показано, что ключевым источником этого «подготовительного» возбуждения является моторный таламус [81]. В процессе обучения таламус начинает избирательно возбуждать именно те нейроны поверхностного слоя моторной коры, которые связаны с выученным движением, и перестаёт возбуждать «лишние». Инактивация моторного таламуса у обученных животных значительно нарушала выполнение выученного движения.

Таким образом, мы видим, как механизм воли работает непосредственно в моторной коре: активация отдельных мемстинктов (прежде всего целевых, связанных с базальными ганглиями — наше «желание») растормаживает моторный таламус, который, в свою очередь, дополнительно возбуждает моторную кору, но не всю, а только отдельные зоны, синапсы которых были усилены благодаря обучению. Целенаправленная стимуляция этих ансамблей и запускает заученные движения.

Что это даёт? Сигнал в системе мемстинктов может как подниматься вверх, так и спускаться вниз, при этом мемстинкт более высокого уровня может активировать мемстинкты более низкого уровня, которые в него входят. Таким образом, возбуждение от верхних уровней позволяет произойти узнаванию мемстинктов более низких уровней вплоть до самих элементов — точно так же, как при восходящем движении сигнала происходит узнавание мемстинктов высоких уровней. При этом активация одного сенсорного элемента — это и есть эпизод сознания. Однако элементы практически никогда не возбуждаются по отдельности: они возбуждаются либо рецепторами, и тогда возбуждается какая-то последовательность элементов, соответствующая процессу, происходящему во внешней среде, либо активируются благодаря мемстинкту высокого уровня, который хранит воспоминания о последовательности событий. Поэтому элементы практически всегда возбуждаются последовательно в виде историй сознания; истории практически всегда логически правильно уложены.

Однако возбуждение сверху может также дотягиваться до двигательных элементов; в этом случае должно происходить узнавание двигательных мемстинктов низких уровней и, потенциально, активация последовательности движений. Но система движения устроена так, что нисходящего возбуждения самого по себе недостаточно для полноценного узнавания двигательных мемстинктов низкого уровня и двигательных элементов. В результате, если активируется мемстинкт высокого уровня, содержащий воспоминания о движении, мы можем, например, увидеть это движение в нашем мысленном взоре, потому что возбуждение дойдёт до сенсорных элементов и вызовет их узнавание, но до двигательных элементов оно не дойдёт. Такое ограничение не позволяет нам совершать хаотические движения, только подумав о них, — например, мы не будем шагать в пропасть, даже если подумаем об этом. Исследования внутренней речи с использованием современных методов нейровизуализации подтверждают, что при мысленном проговаривании (нисходящее узнавание сенсорных элементов) и реальной речи (активация двигательных элементов) активны одни и те же группы нейронов — одни и те же двигательные мемстинкты низких уровней, а разница заключается именно в том, что во втором случае дополнительное возбуждение от механизмов воли запускает двигательную реакцию, произнесение звуков вслух [82].

Чтобы совершить осознанное движение, необходимо активировать механизм воли. Дополнительное возбуждение, которое поступает в моторную и близлежащие зоны, позволяет произойти полноценному узнаванию двигательных мемстинктов низких уровней, благодаря чему активируются последовательности двигательных элементов, и сигнал вниз через разные механизмы достигает мышц. Ключевым звеном здесь является прямой путь базальных ганглиев (D1-рецепторы стриатума → внутренний бледный шар → таламус), который снимает тоническое торможение с таламокортикальных моторных цепей [83].

Именно целевые, дофаминовые мемстинкты имеют преимущественный доступ к этому воротному механизму. Это означает, что мы в самом прямом нейрофизиологическом смысле делаем то, что приносит нам удовольствие (способствует передаче генетической информации), и не делаем то, что вызывает стресс (препятствует ей). Когда активирован целевой инстинкт, дофамин облегчает проведение сигналов через D1-стриарный путь, и волевой акт совершается легко — мы чувствуем мотивацию и готовность действовать. Когда же активирован стрессовый инстинкт, он тормозит VTA, снижая дофаминовую модуляцию. Целевые мемстинкты, даже будучи активными на корковом уровне, не могут «открыть ворота» базальных ганглиев. Движение блокируется на подкорковом уровне.

Таким образом, мы видим, что множество двигательных мемстинктов являются целевыми, то есть мы делаем то, что приносит нам удовольствие, в прямом смысле этого слова. С другой стороны, стрессовые инстинкты тормозят целевые, в результате чего вероятность движения сильно снижается. Получается, что мы не делаем того, что приносит нам стресс, то есть может препятствовать передаче генетической информации. Причём остановка такого движения происходит сразу же после активации стрессового мемстинкта, который реципрокно возбуждает стрессовый инстинкт, а тот, в свою очередь, автоматически тормозит целевой. Подобный механизм позволяет нам отбросить опасные действия на самых ранних этапах планирования, ещё до составления каких-либо подробных планов.

Более того, из реципрокного характера торможения следует, что мы не только делаем то, что активирует целевые инстинкты, но и то, что снижает активацию стрессовых. Поскольку стрессовые инстинкты тонически тормозят целевые, любое ослабление стрессовой активации автоматически приведёт к растормаживанию целевого контура и, как следствие, к субъективному переживанию удовольствия. Таким образом, поведение направляется двумя комплементарными векторами: стремлением к стимулам, активирующим целевые инстинкты, и стремлением к действиям, выключающим или уменьшающим активность стрессовых. При планировании мозг автоматически отдаёт предпочтение тем маршрутам, которые не только обещают награду, но и позволяют избежать или минимизировать стрессовую активацию.

2.5. Инстинкты агрессии: выход из двигательного паралича

Однако у описанной выше системы реципрокного торможения есть фундаментальная уязвимость. Если стрессовый стимул достаточно силён и продолжителен, он может полностью подавить активность целевого инстинкта, и организм окажется в состоянии поведенческого паралича — неспособным инициировать какое-либо действие. Велика вероятность возникновения ситуации, когда мышь забьётся в угол и не будет ничего делать при сильном стрессе. Это не всегда эффективно; иногда в стрессовых ситуациях, например при нападении хищника, требуется реакция типа «бей или беги».

Чтобы не возникало такого залипания, природа создала ещё один тип инстинктов — инстинкты агрессии, на схеме они обозначены буквой «А». Их частично можно ассоциировать с норадреналином. Мемстинкты из норадреналиновых регионов коры позволяют совершать движение в таких случаях. Логика взаимодействия инстинктов агрессии с двумя другими контурами прямо противоположна логике стрессового инстинкта:

· Стресс активирует агрессию. Те же стрессовые сигналы, которые через парабрахиальную область тормозят VTA, через ретикулярную формацию активируют голубое пятно [84].

· Агрессия тормозит стресс. Активированное голубое пятно через α2-ауторецепторы и проекции к гипоталамусу ограничивает дальнейший выброс гистамина и кортиколиберина, снижая интенсивность стрессовой реакции.

· Агрессия возбуждает целевые инстинкты. Норадреналин через β-рецепторы в VTA и прилежащем ядре потенцирует выброс дофамина, временно растормаживая целевой контур [85].

Субъективно этот каскад переживается как переход от страха и оцепенения к ярости и готовности к активному сопротивлению или бегству. Это и есть классическая реакция «бей или беги». Как мы видим из схемы, инстинкты агрессии возбуждаются стрессовыми, но сами тормозят стрессовые; с целевыми они находятся во взаимном возбуждении. Другие типы инстинктов также могут взаимно возбуждать или тормозить друг друга, благодаря чему реализуется ещё один вариант сложности поведения животных.

Следует отметить, что стрессовые инстинкты и инстинкты агрессии могут совместно активироваться благодаря частичному совпадению последовательностей сигналов от рецепторов, которые их запускают. Это совпадение не является полным. Например, укачивание или наличие в крови маркеров воспаления и инородных агентов активирует стрессовый инстинкт, но практически не затрагивает инстинкт агрессии. Однако боль способна активировать оба контура одновременно — именно поэтому болевой стимул в зависимости от интенсивности и контекста может вызывать как реакцию избегания и замирания, так и яростное сопротивление.

Аналогичным образом могут частично совпадать активирующие последовательности для целевых инстинктов и инстинктов агрессии. В данном контексте необходимо подчеркнуть, что термин «агрессия» используется здесь в сугубо физиологическом, а не социально-оценочном смысле. Речь идёт об активации норадренергической системы, обеспечивающей мобилизацию организма, повышение мышечного тонуса, сужение фокуса внимания и готовность к энергичным действиям. Многие активные и экстремальные виды спорта, соревновательная деятельность, охота и тому подобное как раз и представляют собой ситуации, в которых одновременно активируются и целевые инстинкты (удовольствие от процесса и результата), и инстинкты агрессии (мобилизация, преодоление сопротивления, концентрация усилий). Именно это сочетание даёт характерное переживание «драйва» и азарта.

2.6. Планирование как внутреннее проигрывание: отбрасывание опасных вариантов

Трёхконтурная система мотивации взаимодействует не только с моторным выходом, но и с самим процессом мышления. Поскольку сигнал в системе мемстинктов может двигаться как вверх, так и вниз, активация мемстинкта высокого уровня способна последовательно активировать — то есть вызывать узнавание — входящих в него мемстинктов более низких уровней, вплоть до сенсорных элементов. Этот процесс нисходящего узнавания и составляет нейрофизиологическую основу планирования — мысленного проигрывания последовательности событий до их реального совершения.

И здесь описанная выше система реципрокного торможения инстинктов проявляет себя в полной мере. Представьте, что вы обдумываете маршрут до магазина. Один из вариантов предполагает пройти мимо дома соседа, с которым вчера произошла ссора. Как только этот фрагмент плана активируется в префронтальной коре, он возбуждает соответствующий стрессовый мемстинкт. Стрессовый мемстинкт имеет двусторонние связи со «своим» подкорковым инстинктом (как будет подробно разобрано в Главе 3). Он реципрокно активирует TMN, что приводит к торможению VTA и подавлению дофаминовой поддержки всего текущего плана.

План, содержащий опасный элемент, разрушается на самых ранних стадиях мысленного проигрывания. Он просто перестаёт «казаться привлекательным», и мышление спонтанно переключается на другой, обходной маршрут. Замечательно, что этот процесс происходит автоматически и не требует осознанного анализа опасности. Более того, мы склонны немедленно изобретать рациональные обоснования для уже совершённого подсознанием выбора: «Я пойду дальней дорогой, потому что заодно посмотрю на строящееся здание».

Этот механизм принципиально отличен от того, как обучаются современные системы искусственного интеллекта на основе обучения с подкреплением (Reinforcement Learning, RL). В классической RL-парадигме отрицательная награда (negative reward) просто снижает вероятность повторения всей цепочки действий, которая к ней привела. Отрицательный опыт, по сути, стирается, а положительный — закрепляется. Такая система просто не даёт сохраниться негативному опыту и позволяет сохранять только правильные паттерны поведения. В биологическом мозге, напротив, и негативный, и позитивный опыт сохраняются в виде мемстинктов. Регуляция же осуществляется не на уровне запоминания/стирания, а на уровне динамического торможения одного мотивационного контура другим.

Это даёт колоссальное преимущество при изменении ситуации: связь, например, стрессового мемстинкта с породившим его стрессовым инстинктом может быть ослаблена, и сохранённая последовательность действий уже не будет казаться такой страшной и неприятной. Представим себе ситуацию: вы живёте на левом берегу реки, на правом водятся опасные тигры, и вы, несмотря на то что когда-то нашли способ перебраться туда, совершенно не хотите этого делать. Однако на правом берегу находятся неисчерпаемые запасы еды — например, ягод и орехов, — и если тигры покинули это место, то заполненный ранее вами путь, который может привести на правый берег, может стать очень выгодным для вашего выживания. В этом случае наш мозг может ослабить связь этого воспоминания со стрессовым инстинктом, и вы перестанете бояться переходить на соседний берег. Как можно использовать этот механизм, мы будем говорить ниже (раздел 7.6, Самоформирование). Искусственный интеллект, обучающийся по классической парадигме reinforcement learning, так не умеет — ведь он в принципе не сохранил бы опасный путь, и при изменении обстановки ему потребовалось бы полное переобучение с нуля. Современные гибридные подходы, включающие модели мира (model-based RL), частично смягчают это ограничение, но принципиальное различие сохраняется: биологический мозг хранит и позитивный, и негативный опыт одновременно и регулирует поведение через динамическое торможение мотивационных контуров, а не через переобучение.

Ещё одно фундаментальное различие между биологическим мозгом и современными системами искусственного интеллекта касается способности к упреждающей фильтрации опасных планов. Ребёнок, однажды засунувший шпильку в розетку и получивший удар током, запомнит не только саму розетку как источник боли, но и сформирует стрессовый мемстинкт, активируемый видом любых оголённых проводов, искр, специфических предупреждающих знаков и т. д. В следующий раз, обдумывая какой-либо план действий, он ещё на стадии мысленного проигрывания столкнётся с узнаванием элемента «оголённый провод», что немедленно активирует стрессовый мемстинкт, затормозит целевой инстинкт и отбросит опасный вариант. Система, не сохраняющая негативный опыт, не сможет оценить угрозу, содержащуюся в новой, ранее не встречавшейся комбинации знакомых элементов. Например, если взрослый человек в процессе планирования ремонта скомбинирует несколько известных ему операций, но в получившейся последовательности будет присутствовать «сборка проводов под напряжением голыми руками», этот план будет отброшен на стадии мысленного проигрывания, даже если сам человек никогда прежде не делал именно этой ошибки.

Именно отсутствие подобного механизма является одной из фундаментальных причин появления так называемых галлюцинаций у больших языковых моделей (Large Language Models, LLM). Многие люди в детстве бывали наказаны или испытывали стыд за ложь, заведомо неправильный ответ или грубую ошибку, а значит, имеют стрессовые мемстинкты, связанные с порождением недостоверной информации. При попытке сказать заведомую нелепость эти мемстинкты активируются и тормозят речевой акт ещё до его совершения. У LLM такой встроенной системы валидации на основе эмоционального опыта нет, поэтому проблему галлюцинаций приходится решать внешними, инженерными инструментами — reinforcement learning from human feedback (RLHF), фильтрацией обучающих данных, формальной верификацией вывода и т. д.

Как мы видим, описанная схема с сохранением и позитивного, и негативного опыта и их динамическим взаимодействием на уровне инстинктов работает намного эффективнее и надёжнее применяемых ныне в искусственном интеллекте архитектур.

2.7. Нервная система как часть целостного организма: аллостаз, эндокринная и иммунная регуляция

Далее мы будем говорить о том, что наша нервная система не находится в изоляции от остального организма. Мы обсудили поведение, которым управляет нервная система; теперь обратимся к другим аспектам регуляции, в частности к аллостазу — процессу поддержания стабильности организма через изменение его внутренних параметров в ответ на внешние и внутренние вызовы, согласно Булгаковой О. С. [86]. В регуляции аллостаза участвуют две другие важнейшие системы: иммунная и эндокринная.

Прежде чем рассматривать их взаимодействие с нервной системой, взглянем на организм целиком. Многие современные исследователи сравнивают наш организм с лесом, в котором обитает множество других живых существ. На первый взгляд мы видим лес с большими деревьями, но, присмотревшись, замечаем, что в них и вокруг них живёт огромное количество мелких организмов — животных, растений, микроорганизмов. Хотя масса клеток самого организма (деревьев) и превосходит массу биома, обитающего в нём и на нём, по количеству клеток микроорганизмы значительно превышают число клеток человека. Безусловно, микробиом взаимодействует с организмом хозяина, и тому есть множество примеров [87]. Однако, описывая общую упрощённую схему регуляции человеческого организма, мы оставим данные типы взаимодействия (в основном химические) за рамками нашего рассмотрения. Кроме того, все клетки нашего организма взаимодействуют друг с другом физически и посредством химических сигналов, но мы также не будем детально рассматривать эти механизмы, хотя обозначим их наличие на схеме (см. Рисунок 2.2).