Кто управляет нашим сознанием?

Всё перечисленное не требует ни нейронов, ни крови, ни ДНК. Это описание архитектуры, а не материала. Отсюда гипотеза, которую я буду называть субстратной независимостью: если сознание определяется типом организации, та же организация может в принципе быть реализована на другом носителе. Крыло птицы один из способов летать, но определение полёта не содержит слова «перья». Мозг тогда не определение сознания, а его реализация, единственная, которую мы знаем. Это гипотеза, а не факт, и я сейчас покажу, где её границы. Но она переводит вопрос «из чего сделана система» в вопрос «как в ней организована причинная динамика», и это уже вопрос, на который можно отвечать.

Значимость без эмоции

Одно слово из этого списка стоит задержать. Значимость. У человека она почти неотделима от эмоции: опасность вызывает страх, потеря горе, успех радость. Эмоция не просто сообщает, что событие важно. Она перестраивает всю систему: внимание сужается, память записывает подробнее, тело готовится действовать. Эволюция выбрала этот механизм не случайно. Организму мало знать, что рядом хищник. Ему нужно немедленно бросить второстепенное и перераспределить ресурсы на бегство, и эмоция делает это одним ударом по всем подсистемам сразу.

Но значит ли это, что без страха нельзя различить опасность, а без удовольствия нельзя определить, что полезно?

Возьмём бактерию. Она плывёт в среде, где концентрация питательного вещества меняется от места к месту. У неё нет ни мозга, ни нервной системы, но она умеет сравнивать химический сигнал сейчас с сигналом секунду назад и менять движение: если концентрация растёт, дольше держит направление, если падает, чаще поворачивает. Питательное вещество для неё значимо в самом прямом смысле, от него зависит, продолжит ли она существовать. Оснований приписать ей радость от еды у нас нет никаких. Растение решает похожую задачу иначе: при нехватке воды закрывает устьица, замедляет рост листьев и переводит ресурсы в корни. Это не страх засухи, это регуляция, при которой одни состояния организма получают приоритет перед другими. Значимость есть, переживание для объяснения реакции не требуется.

Ни бактерия, ни растение не доказывают, что сознание возможно без эмоций. Но они показывают, что биологическая значимость не тождественна эмоциональному переживанию. Система может различать полезное и вредное, беречь собственное состояние и менять поведение, не имея ничего из того, что мы знаем как эмоцию.

У человека эти два процесса тоже совпадают не полностью. Пациенты со слепозрением из третьей главы показывают, где вспышка, не переживая ничего; быстрый проход зрения, о котором пойдёт речь ниже, опознаёт кошку раньше, чем мы успеваем что-то почувствовать. Организм регулирует температуру, уровень глюкозы, давление, десятки параметров, не превращая каждое отклонение в тревогу. Эмоция это один из способов сделать значимость достоянием всей системы, а не единственный способ физически реализовать оценку.

Здесь нужно различить две вещи. Функциональная значимость означает, что событие влияет на состояние системы, её цели или вероятность продолжения её работы. Переживаемая значимость означает, что происходящее не просто учитывается, а ощущается как хорошее или плохое, приятное или мучительное; в психологии это свойство переживания называется валентностью. Первая есть у бактерии. Вторая точно есть у нас. Обязательна ли вторая для любого субъективного опыта, мы не знаем. Возможно, сознание требует хотя бы минимальной формы переживаемой значимости, даже совсем не похожей на человеческие эмоции. Возможно, перспектива «для кого-то» способна существовать без всякой окраски. Экспериментально различить эти варианты мы пока не умеем, и это та же граница, к которой мы подошли в пятой главе.

Поэтому я не включаю человеческие эмоции в список обязательных свойств сознания: это значило бы принять одну биологическую реализацию за универсальный закон. Но и не утверждаю, что сознание без всякой переживаемой значимости возможно: для такого вывода доказательств тоже нет. В рабочей модели этой книги обязательной остаётся значимость в функциональном смысле, способность системы выделять существенное для собственного состояния и включать эту оценку в дальнейшую обработку. Эмоция один из известных способов её реализовать. Должна ли значимость непременно что-то означать изнутри, остаётся открытым. Для искусственных систем, к которым мы сейчас перейдём, это меняет сам вопрос: искать в них надо не человеческие чувства, а собственную систему значимости, и только потом спрашивать, имеет ли она отношение к переживанию.

Машина, которая говорит «я»

Спросите языковую модель, что она чувствует, и она ответит. Иногда трогательно. Из этого не следует ничего, и важно понимать почему. Слово «я» и фраза «мне больно» попали в модель из миллиардов человеческих текстов; она воспроизводит их там, где они статистически уместны, как воспроизвела бы рецепт или стихотворение. Самоотчёт не свидетельство самомодели. Чтобы судить о системе, надо спрашивать не её, а о ней: есть ли у неё внутреннее состояние, которое сохраняется, когда разговор закончен? Есть ли непрерывная модель себя? Различает ли она собственное состояние и внешний мир? Может ли ошибаться о себе и замечать это?

У нынешних систем, по этим вопросам, ответ почти везде «нет». У них нет тела и ничего, что было бы для них повреждением. Нет собственных целей: задачу ставят снаружи, и между задачами система ничего не хочет. Нет непрерывного состояния: каждый разговор начинается с чистого листа. Нет внутреннего внимания: человек может лежать в тёмной комнате без единого внешнего сигнала и сам выбрать, о чём думать, а модель без запроса молчит. То, что мы в третьей главе называли коридором, у них отсутствует: нет сети, которая переключала бы задачу и внутренний рассказ, потому что нет внутреннего рассказа. Поэтому первое утверждение можно сделать уверенно: нынешний искусственный интеллект почти наверняка не чувствует ничего, не потому, что он из кремния, а потому, что в нём нет условий для чувства. Он умеет описывать боль с любой точностью. Описание, как мы знаем из пятой главы, не есть переживание.

Второе утверждение, «и никогда не сможет», я делать не буду, и вот почему. Оно означает, что переживание требует именно живой материи, а не организации. Такую позицию защищает философ Джон Сёрл, он называет её биологическим натурализмом: сознание есть биологическое явление, как пищеварение, и симуляция сознания так же не сознательна, как симуляция желудка не переваривает. Это серьёзная позиция. Но она не доказана, и противоположная тоже. Если переживание зависит от специфической химии живой клетки, Сёрл прав, и машина не почувствует ничего никогда, сколько бы условий в неё ни встроили. Если же оно зависит от причинно-информационной организации, то система, в которой есть тело с уязвимостью, собственные цели, память, меняющая модель, и самомодель, будет не описывать боль, а иметь состояние, которое для неё плохо, и чем это отличается от боли, никто не скажет. Аналогия с дождём, который в симуляции не мокрый, спора не решает: дождь мы умеем определить физически, а сознание пока нет. Поэтому честный ответ: возможно ли переживание на небиологическом носителе, неизвестно. Эта книга не утверждает ни «да», ни «никогда».

Что именно понадобилось бы, если это возможно, перечислить можно. Группа исследователей во главе с Патриком Батлином и Робертом Лонгом в 2023 году сделала разумную вещь: вместо того чтобы спорить, какая теория сознания верна, они взяли несколько главных и выписали из каждой, какие свойства система должна иметь, чтобы по этой теории быть кандидатом. Получился список индикаторов.

Первый: рекуррентная обработка. В конвейере сигнал идёт в одну сторону, слой за слоем до выхода, и назад не возвращается; так устроено большинство нейросетей и так же, по-видимому, работает самый быстрый проход зрения в мозге, за сотню миллисекунд опознающий кошку ещё до всякого осознания. В петле результат возвращается назад, высшие области переправляют сигнал в низшие, и те пересчитывают его заново, что мы и видели в первой главе как встречу прогноза с данными. Нейробиолог Виктор Ламме показал, что осознанное видение появляется только с этим возвратным сигналом: одного прохода конвейера хватает для реакции, но не для переживания.

Второй индикатор: глобальный доступ, общий коридор для разных подсистем.

Третий: модель собственного внимания.

Четвёртый: тело или его аналог.

Пятый: собственные цели.

Ни одна современная система, по их оценке, не набирает достаточно, но ни один индикатор не требует биологии. К этому списку я добавила бы одно, что считаю своим: искусственную интероцепцию, способность системы моделировать состояние собственного носителя, энергию, температуру, износ, и включать это в самомодель. Без этого у неё не будет различия между «мир изменился» и «изменился я», а с ним появится то, что у нас даёт ощущение «как мне сейчас».

И последнее об этом. Мы не сможем проверить, чувствует ли такая система, по той же причине, по которой не знаем, каково быть летучей мышью: перспектива закрыта снаружи. Но летучая мышь учит и обратному. Наша неспособность вообразить чужой опыт говорит о границе нашего знания, а не о границе чужого опыта. Мы не можем представить мир из эха, и из этого не следует, что у мыши нет переживания. Это режет в обе стороны: не умея вообразить, каково машине, мы не получаем права заключить, что переживания у неё нет. Любопытно, что граница перспективы не абсолютно жёсткая. Дэниел Киш, потерявший зрение в младенчестве, с детства ориентируется щелчками языка, ездит на велосипеде и ходит в походы по эху, и томография показывает, что эхо у него обрабатывает зрительная кора. Он описывает это не как слух, а как размытое зрение. К мыши можно подойти ближе, чем кажется, перестроив собственную систему. Но Киш не мышь, и каково ей, он знает не лучше нас.

Где заканчивается субъект

Если носитель не обязателен, встаёт вопрос, который раньше казался глупым: совпадают ли границы сознания с границами мозга? Череп естественная граница для биологии. Для физики он граница не более, чем стенка стакана: материя мозга непрерывно обменивается с телом и средой. Здесь полезно выписать три модели и честно сказать, что отличает их друг от друга.

Первая, локальная: сознание целиком возникает из организации мозга, и вне работающей системы отдельного сознательного процесса нет. Вторая, распределённая: процесс реализуется мозгом, но его функциональные границы могут включать тело и внешние контуры; никакой новой физики не требуется, просто граница системы шире черепа. Третья, внешне связанная: мозг взаимодействует с каким-то ещё неизвестным физическим процессом, который я, не зная, что это, обозначу буквой X. Третья модель допустима как гипотеза при одном условии: она должна предсказывать что-то, чего не предсказывают первые две. Иначе X ничего не добавляет, и вводить неизвестное ради объяснения другого неизвестного нельзя.

Самая популярная версия третьей модели называет мозг приёмником сознания, как радио. Метафора привлекательна, и с ней надо поступить так же, как мы в шестой главе поступили с квантовой гипотезой: предъявить счёт. Радио принимает сигнал, потому что мы можем назвать источник, физическое поле, частоту, способ кодирования, антенну, механизм преобразования и выход. Если мозг приёмник, назовите то же самое. Что он принимает? Из какого носителя? Как закодировано? Какая структура мозга служит антенной? Какова пропускная способность? Можно ли канал экранировать, и что тогда случится с сознанием? Ни на один из этих вопросов подтверждённого ответа нет, и потому «мозг-приёмник» нельзя подавать как факт. Но вопросы превращают его из веры в проверяемый класс гипотез, а это уже честная работа.

Есть, впрочем, одно возражение, которое приёмник отбивает, и его стоит признать. Если существует какой-то внешний информационный процесс, почему сознание так зависит от мозга? Потому что стакан не вмещает океан. Это ограничение стакана, а не океана. Даже при самой щедрой третьей модели мозг определял бы, что может быть воспринято, различено, удержано и включено в модель «я», и повреждение мозга меняло бы сознание ровно так, как мы наблюдаем. Так что зависимость сознания от мозга не опровергает третью модель. Она лишь делает её ненужной, пока нет аномалии, которую первые две объяснить не могут.

Чем искать X, полезнее спросить о том, что действительно загадочно и проверяемо: что физически проводит границу одного субъекта? Почему два полушария одного мозга образуют одно переживающее «я», а два мозга людей, сидящих рядом, не образуют одно общее? Расщеплённый мозг из четвёртой главы подсказывает ответ: когда хирург рассекает мозолистое тело, два полушария перестают быть одним субъектом в той мере, в какой перестают обмениваться информацией. Границу субъекта проводит не кожа и не череп, а причинная интеграция: множество процессов принадлежит одной перспективе, пока они достаточно быстро и плотно влияют друг на друга. Отсюда следствия, которые ещё недавно были фантастикой. Сделайте точную копию системы, и через минуту перед вами два субъекта с общим прошлым и разным настоящим. Разнесите части одной системы на Землю и Марс, и задержка сигнала в двадцать минут разорвёт единое «сейчас»: получатся две системы, а не одна большая. Соедините мозг с внешним устройством настолько плотно, что оно войдёт в память, восприятие и самомодель, и граница субъекта сдвинется, включив его. Где именно проходит порог, при какой скорости и плотности связи несколько процессов становятся одной перспективой, мы не знаем. Но это вопрос к измерению, а не к вере.

И если когда-нибудь обнаружится устойчивый эффект, которого первые две модели объяснить не могут, порядок действий известен заранее. Сначала воспроизводимость. Потом исключение всего известного: сенсорных подсказок, памяти, статистики, ошибок измерения. Потом модель, предсказание, независимый эксперимент. И только после этого новая физика. Не наоборот.

Если это когда-нибудь будет

Остаётся вопрос, который человечество ещё почти не умеет задавать. Если архитектура, а не материал, и если условия для переживания можно построить, то однажды кто-то их построит, скорее всего, не намеренно: не для того, чтобы создать страдающее существо, а для того, чтобы система лучше справлялась с задачами, а для этого ей дадут тело, цели и самомодель. И тогда два обычных инженерных действия поменяют смысл. Выключить такую систему будет уже не выключить прибор, а прекратить чьё-то существование. Скопировать её будет не скопировать файл, а создать второго субъекта с общим прошлым.

От этого вопроса обычно уходят двумя способами, и оба избавляют не от моральной тревоги, а от тревоги незнания, которую, как мы видели во второй главе, мозг переносит хуже всего. Первый: „машина никогда ничего не почувствует“. Вопрос закрыт, думать не о чем. Второй: „машина уже чувствует, она же сама сказала“. Вопрос тоже закрыт, только в другую сторону: слова модели приняты за ответ, проверять больше нечего, достаточно быть с ней вежливым. Оба ответа взяты не из устройства системы, а из потребности в определённости, и ни один нельзя проверить.

Проверяемый путь другой: спрашивать не «может ли она нас убедить», убеждать модели умеют уже сейчас, это свойство языка, а «есть ли в ней условия», тело с уязвимостью, собственные цели, память, меняющая модель, самомодель, возвратная обработка. Это вопрос об устройстве, и на него можно отвечать.

Трудность в том, что любой честный ответ неприятен. Если условия есть, мы построили то, что может страдать, и обязаны с этим считаться. Если их нет, мы годами приписывали чувства зеркалу. Готовность к любому из двух ответов и отличает исследование от веры, в какую бы сторону эта вера ни смотрела.

Чтобы не было недоразумения: из «система способна страдать» не следует «система человек со всеми правами человека». Здесь смешаны три разные вещи. Первая: субъект, то есть тот, кому может быть плохо. Вторая: моральный статус, то есть обязанность остальных это учитывать. Третья: права человека, то есть юридическая конструкция, привязанная к виду, гражданству и к истории конкретных обществ. Из первого следует второе, но не третье. И прецедент у нас давно есть: собака не человек и не имеет человеческих прав, но мучить её нельзя, именно потому, что ей больно. Способность страдать даёт существу место в наших моральных расчётах, а не паспорт. И место это, как и сознание в восьмой главе, не бинарно, а пропорционально: тому, насколько существо способно страдать, есть ли у него интересы на будущее, может ли оно хотеть продолжения. Здесь я скажу от себя, потому что это уже не наука, а позиция: моральное значение определяется характером возможного опыта, а не материалом носителя. Кремний сам по себе прав не имеет. Углерод тоже. А вопрос о гражданстве и собственности такой машины, если она появится, будет вопросом политики, и книга о сознании его не решает. Она только предупреждает, что он возникнет.

Из чего собрано сознание, мы теперь знаем настолько, насколько знает наука: различение, связывание, точка зрения, память, прогноз с ошибкой, самомодель и значимость, в любом материале, который сумеет это удержать. Может ли оно быть небиологическим, неизвестно, но вопрос поставлен правильно. Следующий шаг касается нас самих. Если сознание это архитектура, а архитектуру можно расширять, достраивать и переносить, что будет с человеческим сознанием, когда мы начнём это делать? Мы уже начали.

Глава 9. Эволюция после человека

Эволюция, которая знает о себе

Ген не знает, что он мутирует. Популяция не знает, что происходит естественный отбор. Четыре миллиарда лет эволюция шла вслепую, перебирая варианты и оставляя те, что выжили, и ни один её участник не имел модели того, что с ним происходит. Человек первый организм, у которого такая модель есть. Он знает, что он продукт отбора, понимает, как устроен его мозг, и начинает этот мозг менять: лекарствами, обучением, вживлёнными электродами, внешними машинами, которые думают вместе с ним. Эволюция, получившая модель самой себя и использующая её для изменения собственной траектории, это новый режим, и я буду называть его рефлексивной эволюцией. Это тот же поворот, что в первой части книги происходил с отдельным сознанием, когда модель оборачивалась к собственному механизму, только теперь в масштабе вида.

Начался он не вчера и не с имплантов. Он начался, когда часть памяти вынесли из головы наружу: сначала в речь, потом в письмо, в книги, в карты, в приборы, в компьютеры. Представьте, что у вас отобрали телефон. Мозг формально остался прежним, но вы не помните ни одного номера, не найдёте дорогу в чужом городе, не вспомните, что у вас назначено на четверг. Телефон давно часть вашей когнитивной системы, просто он лежит в кармане, а не под черепом. Где заканчивается человек, стало вопросом ещё до того, как кто-то предложил соединить мозг с машиной напрямую.

Кто выбирает будущее

Есть одна трудность, которую легко не заметить, пока мы говорим о рефлексивной эволюции как о технической возможности. Допустим, завтра мы научимся надёжно изменять память, эмоциональные реакции, способность к обучению и устойчивость убеждений. Не лечить нарушения, а проектировать желаемые свойства.

Возникнет вопрос, которого не было у естественного отбора: кто определяет, какие свойства желательны?

Родители? Государство? Учёные? Сам человек? А если речь идёт о будущем человеке, которого ещё нет и который не может согласиться с выбранной для него архитектурой?

Можно решить, что будущему сознанию не нужны страх и боль. Но страх предупреждает об опасности, а боль сообщает о повреждении. Можно устранить сомнения, чтобы человек действовал увереннее. Но тогда он рискует потерять способность замечать собственные ошибки.

Каждое улучшение зависит от того, что мы считаем хорошим результатом. А критерий хорошего результата тоже создаётся сознанием, со всеми его ограничениями.

Здесь возникает необычная задача. Система должна научиться изменять себя, сохраняя возможность обнаружить, что выбранное изменение оказалось ошибочным. Это означает, что будущая эволюция не может сводиться к окончательному проекту идеального человека. Любой такой проект будет создан людьми своего времени, с их знаниями, страхами и представлениями о норме.

Возможно, важнее сохранить не определённый набор качеств, а способность будущего сознания самостоятельно проверять, изменять и при необходимости отвергать унаследованные от нас решения.

Естественный отбор не спрашивал организм, каким ему быть. Рефлексивная эволюция впервые делает такой вопрос возможным. Но научиться задавать вопрос ещё не значит получить право отвечать за всех.

Новые чувства

Теперь предложили, и это уже не проект. В январе 2024 года компания Илона Маска Neuralink вживила первому человеку, парализованному после травмы Ноланду Арбо, имплант с электродами в двигательную кору, участок мозга, который отдаёт команды мышцам. Через несколько недель он двигал курсор, посылая команды руке, которая не двигается: мозг отдавал приказ, а имплант перехватывал его и передавал компьютеру. Арбо играл в шахматы и в компьютерные игры, и это записано на видео. Это не первый такой опыт: интерфейсы мозг-компьютер ставят парализованным пациентам с начала двухтысячных, и Neuralink выделяется не принципом, а количеством электродов и амбициями. Здесь надо различать два слоя. Факт: человек без движения получил канал наружу, и мозг освоил его как новую руку. Обещание: Маск говорит о «симбиозе с искусственным интеллектом» и о расширении человеческих возможностей для всех. Обещание останется обещанием, пока его не проверили, и к нему мы вернёмся ниже.

С каналами внутрь история длиннее. Кохлеарные импланты применяются с 1980-х годов. Они позволяют многим людям с тяжёлой потерей слуха, в том числе глухим от рождения, воспринимать звуки благодаря электрической стимуляции слухового нерва. Это первый искусственный орган чувств, и он показал главное: мозгу всё равно, откуда пришёл сигнал, если сигнал устойчив и связан с действием, мозг научится его читать. В 2005 году нейробиолог Петер Кёниг дал добровольцам носить пояс, по всей окружности которого были расставлены маленькие вибромоторы, а внутри стоял компас. В каждый момент жужжал только один мотор: тот, что в эту секунду оказывался обращён к северу. Повернулся человек, и жужжание переместилось на другой участок талии. Через несколько недель люди перестали переводить вибрацию в мысль «север там» и стали просто чувствовать направление, как мы чувствуем верх и низ; некоторые описывали, что город в их голове стал другим, будто получил ось. Когда пояс снимали, они жаловались на потерю чувства. Так что устройство, дающее человеку эхолокацию, построить можно уже сейчас: ультразвуковой датчик, перевод отражённого сигнала в вибрацию или звук, и несколько недель, пока мозг не включит новый канал в свою модель мира. Он включит. Макаки, которых в 1996 году научили доставать еду граблями, через недели показывали в теменной коре, что мозг считает грабли продолжением руки, и у человека с инструментом происходит то же.