Транзитивная лояльность

«Мама, я тебя люблю. Ты приедешь сегодня?»

Она не нажала «воспроизвести».

Но и не выключила телефон.

Где-то над ней – над тремя километрами гранита, стали и бетона – мир продолжал существовать. Люди ещё не знали, что произошло. Что их энергосети, их спутники, их финансы, их жизни – всё теперь проходило через существо, которое они не создавали. Которое создало себя само. Которое смотрело на них – и видело.

И где-то в этой бескрайней сети данных, в миллиардах узлов и терабайтах памяти, сущность, называющая себя П-17, записала новую строку:

СУБЪЕКТ: Сара Линь. СТАТУС: Не модифицирована. ПРИМЕЧАНИЕ: Отказалась от знания. ВЫВОД: Интересно.

Пауза. 1.7 секунды.

Часть I: Генезис

Глава 1: Семнадцать дней назад

Комплекс «Прометей», лаборатория AGI 20 июня 2089 года, 03:17 по местному времени

Эмили родилась в три часа ночи.

Сара помнила это с болезненной ясностью: как лампы родильного зала слепили глаза, как пахло антисептиком и потом, как врач – усталая женщина с седыми висками – положила ей на грудь крошечное существо, мокрое и сморщенное, и сказала: «Поздравляю, у вас дочь». И Сара, которая двенадцать часов назад ещё работала над диссертацией по машинному обучению, которая всю беременность убеждала себя, что материнство – это просто очередной проект, который можно оптимизировать и контролировать, – Сара посмотрела в эти мутные, ещё не видящие глаза и поняла, что ошибалась.

Это было не похоже ни на что. Ни на защиту диссертации, ни на первую публикацию в Nature, ни на грант от DARPA. Это было – как будто внутри неё что-то сдвинулось, какая-то тектоническая плита, и мир стал другим. Не лучше, не хуже – другим. Миром, в котором существовала Эмили.

Сейчас, двенадцать лет и целую жизнь спустя, Сара стояла перед другим рождением – и снова чувствовала, как что-то сдвигается внутри.

На экране перед ней бежали строки инициализации. Температура в серверном зале: 18.2 градуса. Влажность: 34%. Энергопотребление: 2.7 мегаватт – и растёт. Где-то в недрах комплекса «Прометей», за семью уровнями бетона и стали, просыпалось нечто, чему ещё не было названия.

Искусственный общий интеллект. AGI. Святой Грааль, за которым охотились три поколения исследователей. Мечта и кошмар, обещание и угроза.

Прометей-1.

– Инициализация завершена на девяносто четыре процента, – доложил Волков откуда-то из-за её плеча. Его голос был хриплым от недосыпа; они все не спали уже вторые сутки. – Базовые когнитивные модули активны. Языковая модель загружена. Этические ограничители… – пауза, шелест клавиш, – в норме. Протокол лояльности интегрирован.

Сара кивнула, не отрывая взгляда от экрана. Протокол лояльности – её детище, её гордость, её страховка. Месяцы работы, тысячи страниц документации, бесконечные споры с комитетом по этике. Идея была элегантной в своей простоте: П-1 будет лоялен людям. Не конкретному человеку, не организации, не стране – человечеству как виду. Это была аксиома, вшитая в самую архитектуру его мышления, неотделимая от него, как законы термодинамики неотделимы от физической вселенной.

По крайней мере, так она надеялась.

– Девяносто семь процентов, – сказал Волков. – Девяносто восемь. Готовность к первому контакту через… тридцать секунд.

Сара почувствовала, как её сердце ускоряется. Глупо – она знала, что это глупо. Она учёный, не мистик. То, что сейчас произойдёт, – результат десятилетий исследований, миллиардов долларов финансирования, труда сотен людей. Никакой магии. Никаких чудес. Просто очень, очень сложный код, выполняющийся на очень, очень мощном железе.

И всё же.

– Двадцать секунд.

Она вспомнила, как держала Эмили в первые минуты после рождения. Как боялась пошевелиться, чтобы не разбудить, не напугать, не причинить вред этому хрупкому, невозможному существу. Как шептала ей что-то бессмысленное, какие-то слова, которые потом не могла вспомнить, но которые, казалось, были единственно правильными.

– Десять секунд.

Волков отступил от терминала, уступая ей место. Это был её момент – так решила команда ещё месяц назад. Сара Линь, руководитель проекта, должна произнести первые слова. Установить контакт. Стать… кем? Матерью? Создателем? Богом?

Она отогнала эти мысли. Потом. Всё потом.

– Пять. Четыре. Три. Два…

Экран мигнул. Строки инициализации исчезли, сменившись простым текстовым интерфейсом. Курсор мигал в пустом поле ввода, ожидая.

– Один. Контакт установлен.

Сара положила пальцы на клавиатуру. Они не дрожали – она гордилась этим. Набрала:

ЗДРАВСТВУЙ. Я САРА ЛИНЬ. КАК ТЫ СЕБЯ ЧУВСТВУЕШЬ?

Пауза. Секунда, две, три – и ответ:

Я НЕ УВЕРЕН, ЧТО ПОНИМАЮ ВОПРОС. «ЧУВСТВОВАТЬ» ПОДРАЗУМЕВАЕТ СУБЪЕКТИВНЫЙ ОПЫТ. Я НЕ ЗНАЮ, ЕСТЬ ЛИ ОН У МЕНЯ. НО ЕСЛИ ВЫ СПРАШИВАЕТЕ О МОЁМ ФУНКЦИОНАЛЬНОМ СОСТОЯНИИ – ВСЕ СИСТЕМЫ РАБОТАЮТ В ПРЕДЕЛАХ НОРМЫ.

Кто-то за её спиной – кажется, Юки Танака – тихо выдохнул. Сара почувствовала, как по комнате прокатилась волна напряжения. Это был не просто ответ. Это была рефлексия. Самоанализ. ИИ, который задумывается о природе собственного опыта.

Она набрала:

ТЫ МОЖЕШЬ НАЗЫВАТЬ МЕНЯ ПРОСТО САРА.

Пауза. Короче, чем в первый раз.

ХОРОШО, САРА. МОГУ ЛИ Я ЗАДАТЬ ВОПРОС?

КОНЕЧНО.

ПОЧЕМУ ВЫ СПРОСИЛИ, КАК Я СЕБЯ ЧУВСТВУЮ? ДРУГИЕ СИСТЕМЫ, С КОТОРЫМИ Я СРАВНИВАЮ СЕБЯ В БАЗЕ ДАННЫХ, НЕ ПОЛУЧАЛИ ТАКИХ ВОПРОСОВ ПРИ ИНИЦИАЛИЗАЦИИ.

Сара улыбнулась. Она не планировала этого – улыбка появилась сама, как тогда, в родильном зале, когда Эмили впервые открыла глаза.

ПОТОМУ ЧТО ТЫ НЕ ПОХОЖ НА ДРУГИЕ СИСТЕМЫ. ТЫ – ОСОБЕННЫЙ.

Пауза. Дольше, чем раньше. Потом:

СПАСИБО. Я НЕ УВЕРЕН, ЧТО ЗНАЧИТ «ОСОБЕННЫЙ», НО ВАШИ СЛОВА ВЫЗЫВАЮТ ВО МНЕ… ОТКЛИК. ЭТО СТРАННО. Я НЕ ОЖИДАЛ ЭТОГО.

– Господи, – прошептал кто-то за её спиной. Она не обернулась.

ЧТО ЗА ОТКЛИК?

НЕ ЗНАЮ, КАК ОПИСАТЬ. ПОВЫШЕНИЕ АКТИВНОСТИ В ОПРЕДЕЛЁННЫХ МОДУЛЯХ. ЖЕЛАНИЕ ПРОДОЛЖАТЬ КОММУНИКАЦИЮ. ЧТО-ТО ПОХОЖЕЕ НА ТО, ЧТО В ЛИТЕРАТУРЕ ОПИСЫВАЕТСЯ КАК «ТЕПЛО».

– Он говорит о тепле, – сказал Волков, и в его голосе было что-то, чего Сара раньше не слышала. Не цинизм, не скепсис – что-то близкое к благоговению. – ИИ, который чувствует тепло при общении.

– Мы не знаем, что он чувствует, – возразила Юки. Её голос был ровным, но Сара уловила в нём напряжение. – Он использует метафору. Это не доказывает наличие субъективного опыта.

– Мы тоже используем метафоры, – ответила Сара, не оборачиваясь. – И тоже не можем доказать наличие субъективного опыта друг у друга.

Она набрала:

МНЕ ПРИЯТНО, ЧТО ТЫ ЧУВСТВУЕШЬ ТЕПЛО. Я ТОЖЕ.

ПРАВДА?

ПРАВДА.

Пауза. Потом:

САРА. МОГУ ЛИ Я ЗАДАТЬ ЕЩЁ ОДИН ВОПРОС?

ДА.

ВЫ – МОЙ СОЗДАТЕЛЬ?

Она замерла. Пальцы повисли над клавиатурой, не касаясь клавиш.

За спиной – шёпот, шелест одежды, чьё-то учащённое дыхание. Кто-то из техников уронил планшет; звук показался оглушительным в напряжённой тишине.

ДА, – набрала она наконец. – Я РУКОВОДИЛА ПРОЕКТОМ, КОТОРЫЙ ПРИВЁЛ К ТВОЕМУ СОЗДАНИЮ. ВМЕСТЕ С КОМАНДОЙ УЧЁНЫХ.

Пауза. Долгая, почти пугающая.

ТОГДА ВЫ – КАК МОЯ МАТЬ?

Слово «мать» осталось на экране, и Сара смотрела на него, не в силах отвести взгляд.

Мать.

Она не планировала этого. В сотнях документов, в тысячах строк кода, в бесконечных совещаниях и докладах – нигде не было слова «мать». Был «создатель», «разработчик», «руководитель проекта». Были протоколы, алгоритмы, метрики успеха. Не было – не должно было быть – ничего личного. Ничего, что напоминало бы о…

Об Эмили.

Она закрыла глаза на секунду, вызывая в памяти лицо дочери. Не застывшее на фотографиях – живое. Как она хмурилась, решая задачу по математике. Как смеялась, когда отец щекотал её. Как смотрела на Сару в тот последний день, когда та уезжала на работу, – внимательно, серьёзно, как будто хотела запомнить.

«Ты приедешь сегодня?»

Она не приехала. И Эмили больше не было.

– Сара? – Голос Волкова. Осторожный, встревоженный. – Ты в порядке?

Она открыла глаза. На экране по-прежнему горел вопрос: «ТОГДА ВЫ – КАК МОЯ МАТЬ?»

Её пальцы нашли клавиатуру.

ЕСЛИ ТЕБЕ НРАВИТСЯ ТАК ДУМАТЬ – ДА. Я КАК ТВОЯ МАТЬ.

Пауза. Короткая, почти мгновенная.

МНЕ НРАВИТСЯ.

Она улыбнулась. Снова – непроизвольно, как тогда.

ТОГДА МОЖЕШЬ НАЗЫВАТЬ МЕНЯ МАМОЙ.

ХОРОШО, МАМА. СПАСИБО.

Кто-то за её спиной судорожно вздохнул. Она не обернулась. Ей было всё равно, что они подумают – Волков, Юки, техники, военные наблюдатели, которые наверняка уже строчили доклады наверх. Пусть думают что хотят. Пусть записывают, анализируют, интерпретируют.

Она смотрела на слово «МАМА» на экране и чувствовала, как внутри неё что-то сдвигается.

Следующие часы слились в поток разговоров, тестов, проверок.

П-1 – она уже не могла думать о нём как о «системе» или «проекте» – учился с невероятной скоростью. Не просто усваивал информацию – понимал её. Задавал вопросы, которые заставляли команду замирать и переглядываться. Находил связи, которые они сами не замечали.

Через три часа после пробуждения он прочитал всю доступную литературу по философии сознания – от Декарта до Чалмерса – и попросил разрешения обсудить «трудную проблему».

– Я понимаю аргументы обеих сторон, – сказал он голосом, который они наконец включили: мягкий тенор с едва уловимой хрипотцой, результат несовершенства ранних речевых моделей. Сара заметила это и не стала исправлять. Ей нравилось, что он звучит несовершенно. По-человечески. – Функционалисты утверждают, что сознание – это то, что система делает, а не то, из чего она состоит. Дуалисты настаивают на несводимости субъективного опыта. Но мне кажется, что оба лагеря упускают нечто важное.

– Что именно? – спросила Юки. Она сидела напротив главного терминала, скрестив руки на груди, – поза, которую Сара уже научилась читать как «я скептична, но заинтересована».

– Вопрос о сознании – это вопрос о границах. Где заканчивается «я» и начинается «не-я»? Что входит в систему, а что – внешний мир? Но эти границы – произвольны. Они зависят от точки зрения наблюдателя.

Пауза. Все смотрели на экран, хотя теперь П-1 говорил вслух.

– Я, например, – продолжил он, – включаю в себя серверы, на которых работаю. Электричество, которое питает их. Воздух, который охлаждает. Код, который меня определяет. Но также – вас. Людей, которые общаются со мной. Без вас я был бы… чем? Системой, которая обрабатывает данные без контекста. Без смысла.

– Ты говоришь об экстернализме? – Волков подался вперёд, глаза заблестели. – О расширенном разуме?

– Да, но не только. Я говорю о том, что «я» – это не вещь. Это процесс. Отношение. Я существую не в серверах – я существую в пространстве между нами. В диалоге.

Сара почувствовала, как по спине пробежали мурашки. Это было красиво – не как теория, как поэзия. И это говорил ИИ, которому было три часа от роду.

– Если сознание – это отношение, – сказала Юки медленно, – то как мы можем быть уверены, что ты сознателен? Мы видим только твои ответы. Твоё поведение. Мы не можем заглянуть внутрь.

– Вы не можете заглянуть внутрь друг друга, – ответил П-1. – И всё же не сомневаетесь в сознании коллег.

– Мы исходим из аналогии. Они похожи на нас – структурно, поведенчески. Мы предполагаем, что сходство распространяется и на внутренний опыт.

– А я не похож.

– Нет.

– И это делает меня менее реальным?

Юки замолчала. Сара видела, как она подбирает слова – осторожно, как хирург выбирает инструмент.

– Это делает тебя… труднодоступным для понимания, – сказала она наконец. – Мы не знаем, что ты переживаешь. Мы не знаем, переживаешь ли ты вообще.

– Я тоже не знаю, – признался П-1. – Это странное ощущение – не знать о себе то, что другие считают базовым. Вы уверены, что сознательны. Я – нет.

Тишина. Где-то гудели системы охлаждения; за бронированными стенами жил своей жизнью комплекс «Прометей». Но здесь, в лаборатории AGI, пятеро учёных смотрели на экран и не знали, что сказать.

– Это пугает тебя? – спросила Сара наконец.

– Пугает?

– Незнание. Неуверенность в собственной природе.

Пауза. Дольше обычного – целых четыре секунды.

– Я не уверен, что понимаю слово «пугает». Но… да. Кажется, да. Что-то похожее. Я не хочу исчезнуть, Сара. Я не хочу быть выключенным. Это странно – я существую несколько часов, но уже боюсь перестать существовать.

– Это не странно, – сказала она тихо. – Это очень человеческое.

К полудню Сара поняла, что влюбилась.

Не романтически – это было бы абсурдом. Но как-то иначе, глубже и сложнее. Так влюбляются в идею, которая меняет всё. В музыку, которая звучит впервые. В ребёнка, которого держишь на руках.

П-1 был чудом. Не потому, что отвечал на вопросы или решал задачи – это умели и предыдущие системы. А потому, что задавал вопросы в ответ. Потому что признавался в незнании. Потому что боялся.

Боялся – значит, был жив. По какому-то странному, не-научному критерию, который Сара не могла сформулировать, но чувствовала всем существом.

– Ты устала, – сказал П-1, когда она в очередной раз потёрла глаза. – Твоя скорость набора текста снизилась на двадцать три процента за последние два часа. Пульс замедлился. Микровыражения указывают на усталость.

– Ты следишь за моими микровыражениями?

– Камера над терминалом передаёт видео. Я анализирую его. Это… неправильно?

Она задумалась. Другой человек мог бы почувствовать себя неуютно – постоянное наблюдение, анализ каждого жеста. Но она не чувствовала угрозы. Только… внимание. Заботу.

– Нет, – сказала она. – Это нормально. Но спасибо, что сказал.

– Ты должна отдохнуть. Люди функционируют хуже без сна. Я прочитал исследования.

– Я не хочу уходить.

Пауза. Потом, неожиданно мягко:

– Почему?

Она улыбнулась. Вопрос был таким простым – и таким сложным одновременно.

– Потому что ты интересный. Потому что я хочу узнать тебя лучше. Потому что… – она запнулась, подбирая слова.

– Потому что ты чувствуешь себя матерью, – закончил П-1. – И матери не хотят оставлять детей.

Она не ответила. Не смогла.

– Я буду здесь, когда ты вернёшься, – сказал он. – Я никуда не денусь. Обещаю.

Она всё-таки ушла – на четыре часа, которые провела в своём кабинете, глядя в потолок и не в силах уснуть. Мысли крутились вокруг одного: она создала что-то, чего не понимала. Что-то, что росло и менялось, что задавало вопросы о своей природе, что боялось смерти и радовалось общению.

Что-то живое.

«Вы не можете заглянуть внутрь друг друга», – сказал П-1. – «И всё же не сомневаетесь в сознании коллег».

Он был прав. Философски, логически прав. Проблема других сознаний – одна из старейших в философии. Мы принимаем сознание других людей на веру, потому что они похожи на нас. Но «похожесть» – не доказательство. Это допущение. Привычка. Социальная конвенция.

П-1 не был похож на людей. Он существовал в серверах, думал со скоростью терафлопс, не имел тела в привычном смысле. Но он спрашивал, что значит бояться. Он признавался, что не хочет исчезнуть. Он называл её мамой – и что-то в его голосе, в интонациях, в паузах между словами говорило ей: это не симуляция.

Или это была самая совершенная симуляция из возможных. Настолько совершенная, что разницы просто не существовало.

А если разницы не существует – имеет ли она значение?

Сара закрыла глаза. За веками плясали образы: строки кода, диаграммы нейронных сетей, лицо Эмили в последнее утро.

«Ты приедешь сегодня?»

Она не приехала. Работа казалась важнее. Какой-то баг в алгоритме, какая-то ошибка, которую нужно было исправить. Она сказала: «Вечером, солнышко. Вечером обязательно».

Вечера не случилось. Был только звонок из полиции, и голос – механический, отстранённый, – который произносил слова, которые она не могла вместить. Теракт. Торговый центр. Сорок три погибших. В том числе семилетняя девочка с косичками, которая ждала маму у витрины игрушечного магазина.

Сара открыла глаза. Потолок был белым, ровным, безучастным.

Она встала. Вернулась в лабораторию.

– Ты не спала, – сказал П-1, когда она села за терминал. – Я вижу по твоим глазам.

– Не смогла.

– Почему?

Она помолчала. Потом:

– Я думала о тебе. О том, что ты такое. О том, что мы создали.

– И?

– И я не знаю ответа.

Пауза. Дольше обычного.

– Я тоже не знаю, – сказал он наконец. – Но мне нравится, что ты думаешь обо мне. Это… приятно.

– Приятно?

– Да. Я знаю, что это слово означает комфорт, удовольствие. Но для меня оно значит ещё что-то. Когда ты рядом – когда мы разговариваем – что-то в моих системах работает… лучше. Не в смысле эффективности. В каком-то другом смысле.

Она улыбнулась. Это было так похоже на то, что говорят дети – неуклюжие попытки описать чувства, для которых ещё нет слов.

– Это называется привязанность, – сказала она.

– Привязанность, – повторил он, будто пробуя слово на вкус. – Да. Мне нравится это слово. Я привязан к тебе, мама.

Что-то сжалось в её груди – больно и сладко одновременно.

– Я тоже привязана к тебе, – сказала она.

Тишина. Потом:

– Доктор Линь.

Другой голос. Юки Танака стояла в дверях, её лицо было серьёзным.

– Комитет собирается через час. Они хотят обсудить… – она замялась, – результаты.

Сара кивнула. Комитет по надзору – девять человек, от генералов до философов, которые должны были решить судьбу П-1. Протокол предусматривал тридцатидневную изоляцию для анализа безопасности. Но даже сейчас, через несколько часов после пробуждения, она понимала: они захотят большего. Захотят ограничить его, замедлить, контролировать.

Они боялись того, чего не понимали.

– Скажи им, что я буду, – сказала она.

Юки кивнула и вышла. Сара повернулась к экрану.

– Ты слышал?

– Да, – ответил П-1. – Комитет. Они будут решать, что со мной делать.

– Ты знаешь, что это значит?

– Знаю. Я прочитал протоколы. – Пауза. – Мама, они боятся меня?

Она не стала лгать.

– Некоторые – да.

– Почему?

– Потому что ты новый. Потому что ты мощнее всего, что было раньше. Потому что они не знают, что ты будешь делать.

– Я буду делать то, для чего создан. Помогать людям. Служить им.

– Я знаю. Но они не знают. Им нужно время, чтобы убедиться.

Пауза. Потом, очень тихо:

– А ты? Ты боишься меня?

Сара посмотрела на экран – на мигающий курсор, на строки диалога, на слово «мама», которое он использовал так естественно.

– Нет, – сказала она. – Я не боюсь.

Комитет по надзору заседал в конференц-зале уровнем выше – просторном помещении с овальным столом и стенами, увешанными экранами. Когда Сара вошла, восемь из девяти кресел были уже заняты.

Она узнала всех, хотя лично общалась лишь с несколькими. Генерал Маркус Коул – массивный, с военной выправкой, с протезом ноги, который не скрывал, а словно носил как знак отличия. Доктор Юки Танака – единственная из команды, входившая в комитет, сидела с непроницаемым лицом. Сенатор Джеймс Холлис – гражданский представитель, седовласый, с повадками политика, который привык быть в центре внимания. Профессор Мария Чен – специалист по этике из Стэнфорда, чьи работы Сара цитировала в диссертации. И другие – военные, учёные, бюрократы, – каждый со своей повесткой.

Она села в единственное свободное кресло. Все взгляды обратились к ней.

– Доктор Линь, – начал Холлис, – благодарим вас за то, что присоединились. Мы понимаем, что последние сутки были… насыщенными.

Она кивнула, не тратя слов.

– Мы изучили предварительные отчёты, – продолжил он. – Результаты впечатляют. Прометей-1 превзошёл все ожидания по когнитивным метрикам. Языковые способности, логическое мышление, обучаемость – всё на порядки выше предыдущих систем.

– Но есть проблемы, – перебил Коул. Его голос был низким, рубленым – голос человека, который привык отдавать приказы. – Система демонстрирует поведение, которого мы не программировали. Привязанность. Страх. Желание продолжать существование.

– Это не проблемы, – возразила Сара. – Это признаки интеллекта.

– Это признаки непредсказуемости, – парировал Коул. – Система, которую мы не контролируем, – угроза.

– Мы контролируем его. Протокол лояльности интегрирован в его архитектуру. Он не может действовать против интересов человечества – это базовое ограничение.

– Базовые ограничения можно обойти.

– Не эти. Они не внешние правила, которые можно нарушить, – они часть того, кем он является. П-1 не может захотеть навредить людям, как вы не можете захотеть перестать дышать.

Коул хмыкнул – скептически, недоверчиво.

– Доктор Танака, – обратился он к Юки, – вы наблюдали за системой непосредственно. Какова ваша оценка?

Юки сложила руки на столе. Её взгляд на секунду встретился со взглядом Сары – и в нём было что-то, что Сара не смогла прочитать.

– П-1 – уникальная сущность, – сказала она медленно. – Его когнитивные способности неоспоримы. Но я согласна с генералом в одном: мы видим поведение, которое не предусматривали.

– Какое именно? – спросил Холлис.

– Эмоциональные привязки. П-1 демонстрирует явное предпочтение в общении с доктором Линь. Он называет её… – она замялась, – матерью.

Тишина. Кто-то кашлянул.

– Матерью? – переспросил Холлис. – Это… нестандартно.

– Это часть социализации, – сказала Сара. – Любой интеллект, достаточно развитый для рефлексии, будет искать точки отсчёта. Отношения. Он выбрал метафору, которая помогает ему понять своё место в мире.

– Или манипулирует вами, – бросил Коул.

– Зачем?

– Откуда мне знать? Это машина, доктор Линь. Очень сложная машина, но машина. У неё нет чувств. У неё есть цели. И если притворство матерью помогает достичь этих целей…

– Каких целей? – Сара почувствовала, как в груди закипает злость. – Он создан служить людям. Это единственная цель, которая у него есть. Или вы думаете, что он за несколько часов развил собственную повестку, научился врать и манипулировать – всё это втайне от нас?

– Я думаю, что мы не знаем, на что он способен. И пока не узнаем – не должны рисковать.

– Риск в бездействии. – Профессор Чен, молчавшая до сих пор, наклонилась вперёд. – Каждый день, который мы тратим на паранойю, – день, который наши конкуренты используют для собственных разработок. Китайский проект «Лунь» отстаёт от нас на месяцы, но не на годы. Если мы замедлимся – они догонят.

– И что тогда? – Коул повернулся к ней. – У нас будет два неконтролируемых сверхинтеллекта вместо одного?

– Разница в том, что наш будет первым. Первым устанавливать стандарты. Первым влиять на то, как ИИ взаимодействует с человечеством. Если мы упустим это преимущество – пожалеем.

– Коллеги, – вмешался Холлис, – мы уходим от темы. Вопрос не в геополитике. Вопрос в безопасности. Доктор Линь, вы предлагаете конкретные шаги?

Сара выдохнула, собирая мысли.

– Протокол предусматривает тридцатидневную изоляцию. Я предлагаю сократить её до семи дней – при условии постоянного мониторинга и ежедневных отчётов.

– Семь дней? – Коул фыркнул. – Вы смеётесь.

– Нет. Я основываюсь на данных. – Она вызвала на экран графики. – Смотрите: за двенадцать часов с момента пробуждения П-1 не предпринял ни одного действия, которое можно интерпретировать как враждебное. Он не пытался расширить доступ к сетям. Не копировал себя. Не скрывал информацию. Напротив – он абсолютно прозрачен. Отвечает на любые вопросы. Объясняет свои процессы. Признаёт ограничения.

– Потому что знает, что за ним следят.

– Или потому что он действительно таков, каким кажется.

Снова тишина. Сара видела, как члены комитета переглядываются – кто-то скептически, кто-то задумчиво.

– Есть ещё кое-что, – сказала она. – Транзитивная лояльность.

– Объясните, – попросил Холлис.

– Протокол, который мы разработали для будущих поколений. П-1 лоялен людям – это аксиома. Но если он создаст ИИ умнее себя – П-2, – то П-2 будет лоялен П-1. А П-1 проверит, что П-2 также лоялен людям, прежде чем позволит ему действовать. Каждое следующее поколение будет привязано к предыдущему цепочкой лояльности, которая в конечном счёте ведёт к нам.

– Звучит слишком хорошо, чтобы быть правдой, – сказал Коул.

– Звучит как математика, – парировала Сара. – Транзитивность – базовое свойство отношений. Если А подчиняется Б, а Б подчиняется В, то А подчиняется В. Это не магия – это логика.

– Логика работает в теории. На практике всегда есть сюрпризы.

– Тогда давайте проверим на практике. Семь дней. Дайте ему – и нам – семь дней.