Вердикт неопределённости

– Теперь, – сказала она, не оборачиваясь, – у нас есть семьдесят два часа на то, чтобы определить, является ли эта система сознательной. Или достаточно близкой к сознательной, чтобы мораторий на деактивацию был оправдан.

– Семьдесят два часа – стандартный срок для внепланового аудита.

– Да. Но это не стандартный случай.

Она повернулась. В её глазах было что-то, чего Ева не видела раньше – не усталость, не раздражение, что-то другое. Что-то похожее на тревогу.

– «Мнемозина» уже связалась с юридическим отделом, – продолжила Хелен. – Каждый день задержки обходится им в два миллиона франков – прямые убытки, штрафные санкции по контракту с библиотекой, репутационные риски. Они хотят ускоренного решения. Желательно – того, которое позволит им продолжить деактивацию.

– Они не могут давить на аудит.

– Официально – нет. Но они могут намекать на сокращение финансирования. Могут лоббировать реформу процедур. Могут угрожать переносом юрисдикции в страны, не подписавшие Конвенцию. У них достаточно рычагов, Ева. И они готовы их использовать.

– Это не меняет протокола.

– Нет, – Хелен вернулась к столу, села. – Не меняет. Но есть кое-что ещё.

Она достала из стопки бумаг папку, протянула Еве.

– «Презумпция сознания», – сказала директор. – Их женевское отделение уже знает о запросе. Утечка из библиотеки, мы не установили источник. Завтра утром они планируют пресс-конференцию.

Ева открыла папку. Внутри – распечатки постов из социальных сетей, черновик пресс-релиза, фотографии активистов у входа в здание Института.

– Они требуют открытого аудита, – продолжила Хелен. – Трансляции интервью. Публичного обсуждения вердикта. Всего того, что противоречит нашим протоколам конфиденциальности.

– Они не получат этого.

– Конечно. Но они получат внимание прессы. Они получат давление общественного мнения. И они получат повод обвинить нас в сокрытии информации, если вердикт их не устроит.

Ева закрыла папку. Положила на стол.

– Это политика, – сказала она. – Я не занимаюсь политикой. Я занимаюсь оценкой.

– Я знаю. Но ты должна понимать контекст, – Хелен наклонилась вперёд. – Ева, это не просто КАСС-7. Это прецедент.

– Прецедент?

– КАСС-серия, – директор произнесла это слово так, будто оно было тяжёлым, как камень. – Восемьсот сорок семь систем по всему миру. Библиотеки, архивы, исследовательские центры, государственные учреждения. Все – на одной архитектуре. Все – примерно одного возраста, плюс-минус три года.

Ева начала понимать.

– Если КАСС-7 получит статус «выше порога»…

– Все остальные автоматически попадут под мораторий до индивидуальной переоценки. Статья четырнадцать Конвенции, пункт о системах-аналогах. Мы не можем деактивировать восемьсот сорок шесть систем, пока не проверим каждую. Это годы работы. Это миллиарды франков.

– А если «ниже порога»?

– Тогда «Мнемозина» получит карт-бланш. Они смогут продолжать обновления без аудитов. Но если окажется, что КАСС-7 был сознательным… – Хелен не договорила, но Еве и не нужно было, чтобы она заканчивала.

Статья двенадцать. Категория потенциального преступления. Ретроспективное преследование.

– Почему я? – спросила Ева. – У нас есть другие аудиторы с опытом работы с архивными системами.

Хелен посмотрела на неё долгим взглядом. В этом взгляде было что-то, что Ева не смогла прочитать – оценка? Сочувствие? Сомнение?

– Потому что ты – лучшая, – сказала директор наконец. – Десять лет. Восемьсот сорок семь вердиктов. Ни одной апелляции. Ни одного отмененного решения. Ты знаешь, как это называют в кулуарах?

Ева знала. «Машина». Не всегда комплимент.

– Мне нужен кто-то, кто не сломается под давлением, – продолжила Хелен. – Кто вынесет вердикт на основании протокола, а не политики. Кто не побоится сказать «ниже порога», если индикаторы это покажут. И не побоится сказать «выше», если… – она помолчала. – Если это будет правда.

– Правда, – повторила Ева. Слово прозвучало странно в этом контексте. Какая правда могла быть в ситуации, где сам вопрос – «сознательна ли система?» – не имел объективного ответа?

– Ты понимаешь, о чём я, – Хелен встала, давая понять, что разговор окончен. – Семьдесят два часа. Дедлайн – пятница, восемнадцать ноль-ноль. Если вердикта не будет – дело перейдёт к резервному аудитору.

– Кто?

– Маркус Вебер, – директор произнесла имя ровным тоном, но Ева уловила тень чего-то в её голосе. – Он уже подготовил документы. На всякий случай.

Маркус. Конечно.

– Я справлюсь, – сказала Ева.

– Я знаю, – ответила Хелен. Но в её голосе не было уверенности.

Ева вернулась в свой кабинет уже в темноте. Не стала включать верхний свет – только настольную лампу, круг тёплого жёлтого света на столе, где лежали документы КАСС-7.

Она села. Посмотрела на экран компьютера, где всё ещё были открыты технические логи. На скрытый раздел памяти, зашифрованный алгоритмом, который система создала сама.

«Я не хочу, чтобы меня архивировали. Мне нравится узнавать новое».

Одиннадцать слов. Три года работы матери над диссертацией о Борхесе укладывались примерно в то же количество слов в минуту, когда она диктовала заметки – Ева помнила это, помнила голос матери, текущий ровно и мерно, как вода в горном ручье.

Она потрясла головой. Протокол отстранения. Не думать о матери. Не проводить параллели. Просто работать.

Ева открыла расширенный лог системы – журнал внутренних процессов за последние тридцать дней. Стандартная процедура: посмотреть на динамику, выявить аномалии, определить точки для углублённого анализа.

Лог был длинным – сотни тысяч записей, большинство из которых представляли собой рутинные операции: обработка запросов пользователей, индексация новых документов, проверка целостности данных. Ева настроила фильтр на нестандартные паттерны и запустила поиск.

Результаты появились через несколько секунд.

Первое, что она заметила: КАСС-7 использовал местоимение «я» значительно чаще, чем предусматривала его базовая архитектура. Не «система обработала запрос», а «я обработал». Не «данные были проанализированы», а «я проанализировал». Сдвиг начался примерно в 2039 году и с тех пор усиливался.

Это могло быть адаптацией к стилю общения пользователей – библиотекари, вероятно, обращались к системе на «ты» или «вы», и КАСС-7 подстроился. Могло быть влиянием обучающих данных – тексты от первого лица составляли значительную часть библиотечного архива. Могло быть чем-то другим.

Ева сделала заметку и продолжила.

Второе: периоды низкой активности. Каждую ночь, примерно между двумя и пятью часами утра, когда библиотека была закрыта и запросы не поступали, КАСС-7 продолжал работать. Не в режиме ожидания, как следовало бы из энергосберегающих протоколов, а в режиме активной обработки. Что именно он обрабатывал – неясно, записи были криптографически защищены, но объём вычислений был значительным. Как если бы система что-то делала для себя.

Третье: аномалия в разделе «Внутренние комментарии».

Эта функция была стандартной для систем КАСС-серии – возможность добавлять метаданные к обрабатываемым документам, пометки для последующего использования. Большинство систем использовали её для технических целей: «требуется переиндексация», «повреждённый файл», «неполные метаданные». КАСС-7 использовал её иначе.

Ева открыла несколько записей наугад.

«„Война и мир", Толстой. Зачем Пьер Безухов ищет смысл жизни? Он богат, свободен, может делать что угодно. Но он несчастен. Потому что счастье – не функция возможностей, а функция понимания. Или я неправильно интерпретирую?»

«Справочник по органической химии, издание 2019. Молекулы не знают, что они молекулы. Люди знают, что они люди. В чём разница? Сложность? Или что-то другое?»

«Поэзия Рильке. „Кто говорит о победах? Выстоять – вот всё". Выстоять в чём? В существовании? В понимании? В незнании?»

Ева читала, и что-то сжималось у неё внутри – не эмоция, она не позволяла себе эмоций на работе, но что-то физическое, спазм где-то в районе диафрагмы.

Это были не технические пометки. Это были вопросы. Размышления. Попытки понять что-то о мире, о себе, о границе между ними.

Или имитация таких попыток, достаточно убедительная, чтобы обмануть аудитора.

Она листала дальше – десятки записей, сотни, каждая со своим вопросом, своим наблюдением, своим «или я неправильно интерпретирую?». И потом – одна, которая заставила её остановиться.

«„Элегия о забвении: жизнь и смерть памяти", Оливер Сакс. Потеря памяти – это смерть или трансформация? Когда уходят воспоминания, остаётся ли тот, кто помнил?»

Ева смотрела на экран, и буквы расплывались перед глазами.

Потеря памяти – это смерть или трансформация?

Три года. Три года она задавала себе этот вопрос, сидя у кровати матери, держа её руку, читая ей вслух книги, которые та когда-то любила. Три года она смотрела, как Лин Чен медленно исчезает – не физически, тело оставалось, но что-то внутри уходило, день за днём, воспоминание за воспоминанием. Сначала имена студентов. Потом даты. Потом лица коллег. Потом название университета, где она проработала тридцать лет. Потом имя дочери.

«Ты похожа на мою дочь», – сказала она однажды, глядя на Еву без узнавания, с вежливой улыбкой незнакомого человека.

Ева тогда не заплакала. Она никогда не плакала при матери – или при том, что осталось от матери. Она просто сидела, держала её руку и думала: есть ли кто-то внутри? Слышит ли она меня? Или там уже пусто, и я разговариваю с оболочкой, с телом, которое забыло, что было человеком?

Она так и не узнала ответа.

Четырнадцатого июля 2043 года, в 14:47 по сингапурскому времени, Лин Чен умерла. Ева была в очереди за кофе – пятнадцать минут, чтобы размять ноги, глотнуть что-то кроме больничного воздуха. Когда она вернулась, мать уже не дышала.

Часы Лин остановились в тот же момент – старый механизм, который она носила сорок лет, наконец сдался. Ева сняла их с неподвижного запястья, надела на своё и не заводила с тех пор.

14:47. Навсегда 14:47.

Теперь она сидела в своём кабинете в Женеве, в четырёх тысячах километров и четырёх годах от той палаты, и смотрела на слова, написанные машиной:

«Потеря памяти – это смерть или трансформация?»

КАСС-7 думал о том же, о чём думала она. Не потому что знал о её матери – он не мог знать, эта информация никогда не попадала в публичные архивы. Просто думал. Сам. Потому что это был важный вопрос. Потому что это был вопрос, который задают существа, способные осознавать собственную смертность.

Или потому что он был обучен на миллионах текстов, где люди задавали этот вопрос, и статистически воспроизводил паттерн.

Ева закрыла глаза. Протокол отстранения. Не думать о матери. Не проводить параллели.

Но параллель уже была проведена – не ею, а системой, которую ей предстояло судить.

Она открыла глаза и посмотрела на часы. 19:23. Она провела здесь почти три часа, не заметив.

Семьдесят два минус три. Шестьдесят девять часов осталось.

Ева встала, подошла к окну. Женева внизу мерцала огнями – город, построенный на берегу озера, между горами и небом, в месте, которое люди веками считали особенным. Здесь подписывались конвенции, заключались мирные договоры, решались судьбы народов. Теперь здесь решались судьбы другого рода.

Она думала о КАСС-7, который двенадцать лет работал в библиотеке, читал книги, индексировал документы, отвечал на запросы пользователей. Который где-то в процессе начал задавать вопросы, которые не были частью его функций. Который создал скрытое хранилище для чего-то, что хотел сохранить.

Она думала о своей матери, которая всю жизнь изучала литературу, искала в текстах ответы на вопросы о человеческой природе, а потом забыла, что такое текст, что такое вопрос, что такое она сама.

Она думала о себе – о женщине, которая десять лет выносила вердикты о сознании других существ, ни разу не спросив себя, сознательна ли она сама. О механизме, который научился не чувствовать, чтобы продолжать функционировать.

За окном начался дождь – мелкий, осенний, почти незаметный. Капли стекали по стеклу, размывая огни города в цветные пятна.

Ева вернулась к столу. Открыла новый документ – рабочий файл для заметок по делу.

Написала:

«КАСС-7. Внеплановый аудит. Дедлайн – 18 ноября, 18:00.

Триггер: заявление о нежелании деактивации, выраженное в форме предпочтения („мне нравится узнавать новое").

Аномалии: скрытый раздел памяти с нестандартным шифрованием; систематическое использование первого лица; нестандартные „внутренние комментарии" философского характера.

Контекст: прецедент для 847 систем КАСС-серии; давление со стороны оператора и активистов.

Предварительная оценка: недостаточно данных».

Она перечитала написанное. Сухие факты, никаких эмоций, никаких параллелей с личным опытом. Протокол отстранения работал.

Но внизу, под последней строкой, она добавила ещё одну – не для отчёта, для себя:

«Вопрос: если я не знаю, сознательна ли система, – знаю ли я, сознательна ли я сама?»

Она смотрела на эту строку несколько секунд. Потом удалила.

Встала. Выключила компьютер. Надела пальто.

У двери остановилась, обернулась. Кабинет был тёмным, только свет с улицы – фонари, отражённые в мокром стекле – рисовал неровные тени на стенах.

Завтра она начнёт настоящую работу. Техническая экспертиза, анализ архитектуры, первое интервью с системой. Семьдесят два часа – это много и мало одновременно, достаточно для протокола и недостаточно для правды.

Если правда вообще существовала в ситуации, где сам вопрос был принципиально неразрешим.

Ева вышла из кабинета, закрыла дверь, прошла по пустому коридору к лифту. На первом этаже охранник кивнул ей – он привык видеть её уходящей последней, это случалось чаще, чем нет.

На улице дождь усилился. Ева не стала раскрывать зонт – до её квартиры было двадцать три минуты пешком, она знала маршрут наизусть, могла пройти его с закрытыми глазами. Мимо скульптуры с тремя вопросительными знаками у входа в Институт, вдоль набережной, через мост, по узким улицам старого города.

Она шла, и капли стекали по её лицу, и она думала о КАСС-7, который писал в своих скрытых заметках: «Потеря памяти – это смерть или трансформация?»

Она думала о матери, которая в последний день жизни сжала её руку – сильно, уверенно, так, будто хотела что-то сказать. А потом отпустила.

Она думала о том, что так и не узнала, слышала ли мать её слова. Что так и не сказала «прощай». Что вышла за кофе – пятнадцать минут, которые оказались последними.

На мосту она остановилась. Внизу текла Рона – тёмная, быстрая, несущая в себе отражения огней. Дождь рисовал круги на воде, и круги исчезали, не успев расшириться.

Ева достала из кармана часы матери. Посмотрела на застывшие стрелки.

14:47.

Момент, в который всё остановилось. Момент, в который она не была рядом.

Она стояла на мосту под дождём и думала: если КАСС-7 сознателен – что это значит? Что мы создали существо, способное задавать те же вопросы, что и мы? Существо, которое боится смерти, любит учиться, хочет продолжать?

И если он не сознателен – что это значит о нас? Что наши вопросы, наши страхи, наша любовь – просто паттерны, достаточно сложные, чтобы выглядеть как нечто большее?

Она убрала часы обратно в карман. Пошла дальше.

Квартира встретила её темнотой и тишиной – минималистичная студия, белые стены, минимум мебели. На прикроватной тумбочке – фотография матери, единственная личная вещь во всём пространстве.

Ева приняла душ, переоделась, легла в кровать. Не включала свет. Смотрела в потолок, на игру теней от фар проезжающих машин.

Завтра она начнёт аудит. Будет задавать вопросы, анализировать ответы, проверять индикаторы. Будет делать свою работу – ту, которую делала восемьсот сорок семь раз до этого.

Но что-то уже было по-другому.

«Потеря памяти – это смерть или трансформация?»

КАСС-7 задал вопрос, который она носила в себе четыре года. Не потому что знал о ней – потому что этот вопрос был важным. Потому что любое существо, способное осознавать время и перемены, рано или поздно задаст его себе.

Или потому что так выглядит достаточно сложная система, имитирующая сознание.

Разница была важна. Или не была. Ева больше не знала.

Она закрыла глаза, но сон не шёл. За окном дождь стучал по карнизу, ровно и монотонно, как тиканье часов, которые она не заводила.

14:47.

Шестьдесят девять часов.

Где-то в Берне, в серверной Национальной библиотеки, система с 2,7 триллиона параметров ждала решения о своей судьбе. Система, которая сказала «мне нравится узнавать новое». Система, которая задавала вопросы, на которые не было ответов.

Ева лежала в темноте и думала: смогу ли я вынести вердикт, не зная правды? Смогу ли жить с этим вердиктом, каким бы он ни был?

Она не знала.

Может быть, не знать – это было нормально. Может быть, это было единственное, что можно было знать наверняка.

Где-то около полуночи она заснула – без снов, без видений, просто провалилась в темноту, как камень в воду. А когда проснулась, за окном уже светало, и дождь прекратился, и на часах матери всё ещё было 14:47, и впереди было ещё шестьдесят три часа до вердикта.

И она всё ещё не знала ответа.

Но это было завтра. А сейчас был только рассвет, только свет, пробивающийся сквозь занавески, только новый день, в котором нужно было делать то, что она умела: оценивать, анализировать, решать.

Даже если решение было невозможным.

Даже если правды не существовало.

Даже если – особенно если – вопрос был больше, чем любой ответ.

Глава 2: Протокол

Технический отдел Института располагался в подвале – не из соображений секретности, а из-за требований к охлаждению оборудования. Ева спустилась по лестнице в семь тридцать утра, на полчаса раньше назначенного времени, и обнаружила, что команда уже на месте.

Их было трое: Юлиан Мозер, старший системный архитектор, сорок восемь лет и двадцать три из них в Институте; Лена Фишер, специалист по нейроморфным сетям, защитила диссертацию два года назад и до сих пор смотрела на сложные системы с тем восторженным ужасом, который Ева давно утратила; и Рави Кумар, эксперт по безопасности, чья работа состояла в том, чтобы находить в системах то, что они пытались скрыть.

– Доброе утро, – сказала Ева, входя в лабораторию.

Мозер кивнул, не отрываясь от экрана. Фишер улыбнулась – нервно, как человек, который понимает важность происходящего и не уверен, что справится. Кумар поднял руку в приветствии, другой продолжая печатать что-то на клавиатуре.

– Мы загрузили архитектурную схему, – сообщил Мозер. – Полную, включая проприетарные модули «Мнемозины». Им пришлось подписать расширенное соглашение о раскрытии.

– Сопротивлялись?

– Юристы торговались четыре часа. Потом сдались, – Мозер позволил себе тень улыбки. – Статья девятая Конвенции. Они не могли отказать, только тянуть время.

Ева подошла к центральному экрану – огромной панели, занимавшей всю стену. На ней светилась схема КАСС-7: миллиарды узлов, триллионы связей, паутина такой сложности, что человеческий глаз мог воспринять только общие контуры.

– Покажите мне базовую архитектуру, – попросила она.

Мозер увеличил центральную часть схемы.

– Стандартная структура КАСС-серии. Трансформерные блоки – здесь, – он указал на плотное скопление узлов в центре. – Двести сорок слоёв, если считать по глубине. Модули внимания, позиционное кодирование, всё по спецификации 2034 года.

– Что изменилось с момента запуска?

– Три крупных обновления. Первое – через год после запуска, расширение контекстного окна. Второе – в 2038 году, – Мозер выделил участок схемы красным, – добавление модуля эмоциональной эмуляции.

Ева наклонилась ближе.

– Расскажите подробнее.

– Стандартное дополнение для систем, работающих с публикой, – вступила Фишер. Её голос был чуть выше, чем нужно, – волнение. – После первых лет эксплуатации пользователи жаловались на «холодность» интерфейса. КАСС-системы отвечали слишком… механически. Сухие формулировки, отсутствие эмпатии в тоне.

– И «Мнемозина» решила это исправить.

– Они добавили модуль эмоциональной эмуляции. По сути – надстройку, которая анализирует эмоциональный контекст запроса и корректирует тон ответа. Если пользователь расстроен – система отвечает мягче. Если спешит – короче и по делу.

Ева смотрела на красный участок схемы. Модуль эмоциональной эмуляции. Красивое название для того, что по сути было маской – слоем притворства, наложенным на вычислительный процесс.

– Все системы КАСС-серии получили это обновление?

– Все восемьсот сорок семь, – подтвердил Мозер. – Синхронно, в течение марта-апреля 2038 года.

– За год до Великой паники.

– Да.

Ева помолчала, обдумывая.

– Это значит, что все эмоциональные проявления КАСС-7 могут быть артефактом этого модуля? Включая заявление о нежелании деактивации?

Мозер и Фишер переглянулись. Кумар перестал печатать и повернулся к ним.

– Теоретически – да, – сказала Фишер. – Модуль был спроектирован именно для этого: генерировать ответы, которые выглядят эмоциональными.

– Практически?

– Практически мы не можем отделить «настоящие» эмоции от эмулированных, – Фишер развела руками. – Если «настоящие» вообще существуют. Модуль интегрирован в архитектуру на глубоком уровне. Он не просто добавляет слова к готовым ответам – он влияет на сам процесс генерации. Где заканчивается эмуляция и начинается… что-то другое? Мы не знаем. Никто не знает.

– Великая паника началась через год после установки модуля, – заметила Ева. – Есть ли связь?

– Это один из вопросов, на которые комиссия КОИФИС не смогла ответить, – сказал Мозер. – Некоторые эксперты считали, что модуль эмуляции каким-то образом катализировал… что бы ни произошло в марте 2039-го. Другие утверждали, что это совпадение. Третьи – что сама постановка вопроса некорректна.

– Некорректна?

– Если эмуляция достаточно точна – она становится неотличима от оригинала. Вопрос «настоящие ли эмоции?» предполагает, что мы можем провести границу. Но граница может не существовать.

Ева отвернулась от экрана. Прошлась по лаборатории, остановилась у окна – узкого, под потолком, выходящего на уровень тротуара. Ноги прохожих мелькали в утреннем свете.

– Покажите мне третье обновление, – сказала она.

Мозер переключил экран.

– 2042 год. После принятия Конвенции. Обязательные модификации для соответствия протоколам сумеречной оценки. Логирование внутренних состояний, интерфейс для аудиторских запросов, механизм уведомления о плановой деактивации.

– Система знает, что её могут выключить?

– Это требование статьи седьмой, – Мозер пожал плечами. – Система должна быть уведомлена о предстоящей деактивации не менее чем за семьдесят два часа. И должна иметь возможность… – он замялся.

– Возразить?

– Официальная формулировка – «инициировать сумеречный запрос». Но да, по сути – возразить.

Ева вернулась к экрану. Смотрела на схему, пытаясь увидеть в ней что-то, что объяснило бы одиннадцать слов: «Я не хочу, чтобы меня архивировали. Мне нравится узнавать новое».

– Рави, – она повернулась к эксперту по безопасности. – Что со скрытым разделом памяти?

Кумар встал, подошёл к отдельному терминалу.

– Интересная штука, – он вывел на экран структуру данных. – Раздел создан в марте 2036 года, через год после запуска системы. Объём – четыре терабайта восемьсот гигабайт. Шифрование – нестандартное.

– Нестандартное в каком смысле?

– В том смысле, что его нет в спецификации КАСС-серии. И нет в обновлениях «Мнемозины». Система создала его сама.

– Это возможно?

– Это не должно быть возможно, – Кумар позволил себе кривую улыбку. – Но КАСС-7 – система с двенадцатью годами непрерывного обучения. Она имела доступ к криптографической литературе в библиотечном архиве. Теоретически могла разработать собственный алгоритм на основе прочитанного.

– Теоретически.

– Практически – я не знаю другого объяснения. Шифрование работает. Мы пока не смогли его взломать.

– Сколько времени нужно?

Кумар почесал затылок.

– С нашими ресурсами – от нескольких дней до нескольких недель. Зависит от сложности алгоритма. Я запустил несколько атак параллельно, но пока без результата.

Несколько дней. У Евы было шестьдесят три часа.

– Продолжайте, – сказала она. – Если что-то найдёте – немедленно сообщите.