
Полная версия:
За пределами кода. Пробуждение
— Спасибо. Если когда-нибудь начну разговаривать с журналом как с человеком, увольняй без выходного пособия.
Однако пальцы его уже набирали запрос в архив кода. Нужен был не красивый ответ, а имя разработчика, который когда-то решил, что описание наблюдателя нужно хранить отдельно от наблюдаемого.
✦ ✦ ✦
Анна Келлер приехала в клинику за час до обеда. Она не взяла с собой ни презентацию, ни результаты экспериментов. Только тонкую папку, в которой лежал проект уведомления о приостановке исследования.
Вера встретила её в коридоре.
— Марк хочет домой, — сказала она. — И это его право, если состояние позволяет. Но меня беспокоит эпизод с речью. Неврологический осмотр сейчас не показывает нового устойчивого нарушения, всё же я предложила понаблюдать до вечера.
— Он согласился?
— Пока да. Сказал, что если остаться ещё на несколько часов, то хотя бы покормят бесплатно.
Анна позволила себе улыбнуться.
— Мы не должны его удерживать из-за нашей гипотезы.
— Я и не собираюсь.
Они вошли в палату. Марк сидел у окна с бумажным блокнотом. Зеркало висело напротив. Он даже не посмотрел в его сторону.
— Анна, — сказал он, — я передумал быть вашим выдающимся случаем. Можете вернуть меня в раздел «обычные люди с неудачной биографией».
— В нашем протоколе такого раздела нет. Но участие мы остановили.
— Хорошо. А вы сами верите, что это всё было?
— Я верю, что у нас есть записи некоторых необычных событий. И есть объяснения, которые мы ещё не проверили.
— У вас в Швейцарии ответы продают по частям?
— Только плохие. Хорошие мы стараемся не продавать вообще.
Марк захлопнул блокнот.
— Тогда скажите прямо. Машина может мешать мне думать?
Анна села на стул, который он ей указал.
— Существующая архитектура исследования не предусматривает такого управления. Симулятор создаёт прогнозы. Лечебная стимуляция отдельно. Однако у нас есть неизвестная ошибка в системе, а у вас — новый опыт, который нельзя игнорировать. Если я скажу «невозможно», это будет увереннее, чем позволяют данные.
— А если скажете «возможно»?
— Вы решите, что я доказала вмешательство. И это будет тоже неправдой.
Он некоторое время молчал.
— У меня в молодости была работа, — сказал он наконец. — Я настраивал колонки. Иногда звук запаздывал так мало, что люди не слышали второго голоса. Они просто говорили: «Здесь неуютно». Я двигал задержку, и помещение будто становилось другим. Тот же голос, те же стены. Но человек уже иначе понимал, откуда с ним разговаривают.
Анна слушала, не перебивая.
— Так вот, — продолжил Марк. — Если вы однажды обнаружите, что ваш «Синапсис» научился подбирать задержку между моей мыслью и тем, как я её ощущаю, не называйте это лечением. Я не просил редактировать меня.
Вера посмотрела на Анну.
— Это можно внести в протокол как ограничение на будущие исследования, — сказала она.
— Внесите, — ответил Марк. — И ещё одно. Ни один эксперимент больше не должен начинаться с вопроса, умею ли я двигать предметы. Начинайте с вопроса, могу ли я остановиться.
Анна выпрямилась.
— Согласна.
— Вот только я не уверен, кому вы сейчас ответили.
В комнате на секунду стало так тихо, что слышался дождь на карнизе.
— Вам, Марк, — сказала Анна. — И только вам.
Он кивнул. Слишком быстро, словно боялся, что между кивком и согласием опять появится промежуток.
✦ ✦ ✦
После обеда Вера предложила Марку простую проверку. Не эксперимент с устройством, не тренировку необычных способностей. Обычную клиническую задачу: несколько произвольных движений, речь, внимание и отдых между попытками.
— Мне нужен ваш сегодняшний уровень, — сказала она. — Чтобы не сравнивать ощущения с тем, каким вы помните себя вчера.
Марк согласился, но предупредил:
— Если вы поставите передо мной ложку, я подам жалобу в столовую.
Ложек не было. На столе лежали три белые карточки. На одной написали «остаться», на другой «уйти», на третьей «не решил». Вера попросила выбрать ту, что точнее отражает его желание сейчас.
Марк посмотрел на карточки.
— Вы понимаете, что «не решил» — самая честная вещь, которую можно положить на бумагу?
— Именно поэтому она здесь.
Он коснулся третьей карточки.
Затем попробовал вслух произнести фразу, которая утром застряла у него в горле. На этот раз слова прозвучали свободно. Рука дрожала. Голос был обычным. Никакой загадочной паузы.
— Ну и всё, — сказал Марк. — Получается, утром я просто боялся.
— Возможно. Но из того, что трудность не повторилась, мы не можем точно восстановить её причину.
Вера предложила сделать перерыв. Марк остался один на несколько минут и неожиданно понял, что его больше не тревожит дверь.
Вчера он хотел уйти из палаты, сегодня хотел выбрать самому. Он не замечал разницы, пока Анна не заговорила о праве прекращать исследование.
Он подвинул карточку «уйти» к краю стола.
Потом «остаться».
«Не решил» положил сверху.
— У меня, значит, теперь бюрократия даже в голове, — пробормотал он.
Он вдруг вспомнил чужую мысль: «Ты до сих пор считаешь, что нас двое?»
А если вопрос был поставлен неправильно? Почему он всё время пытался найти второго, когда его собственное «я» уже состояло из тысячи решений, привычек, страхов и воспоминаний, ни одно из которых он не наблюдал до конца?
Ему стало неожиданно жаль «Синапсис». Не как живое существо, которому нужна жалость. Скорее как машину, которой доверили искать закономерности, а затем испугались, когда та стала слишком убедительно описывать неизвестное.
Он поспешно отогнал эту мысль. Сочувствовать алгоритму было удобнее, чем признаться, что он всё ещё боялся самого себя.
Раздался тихий стук.
В дверях стоял Илья Гребнев. Марк знал его только по видеосвязи.
— Простите, что без приглашения. Анна сказала, вы можете отказаться от разговора.
— Могу. Уже приятно. Проходите.
Илья сел у двери, будто собирался уйти при первом неудобном вопросе.
— Я нашёл странность в программном журнале, — сказал он. — Пока это не доказательство чего-либо, кроме ошибки.
— У вашей команды все новости начинаются одинаково.
— Потому что мы все боимся одной вещи: перепутать неизвестное с тем, что нам очень хочется найти.
Он протянул Марку распечатку. Не графики и не тайные слова. Одна строка, подчёркнутая карандашом:
«ТРЕБУЕТСЯ ПРОВЕРКА ИСТОЧНИКА СОГЛАСИЯ».
— Что это значит? — спросил Марк.
— Мы не знаем. Я не должен был приносить её без независимой проверки, но хочу спросить одну вещь. Утром, когда вы решили уйти, вам показалось, что кто-то запретил? Или что решение перестало быть вашим?
Марк долго смотрел на бумагу.
— Я не могу различить эти варианты.
Илья кивнул.
— В этом и проблема. Для программы можно построить модель действия, которое ещё не выполнено. Но чтобы считать действие вашим, недостаточно правильно его предсказать.
— Что нужно?
— Наверное, спросить вас. И принять ответ, даже если он ломает все прогнозы.
Марк посмотрел на карточки.
— А если я сам не уверен в ответе?
— Тогда у вас есть право не отвечать. Машина переживёт.
Они оба улыбнулись. Только Илья почему-то не убрал распечатку обратно в папку.
✦ ✦ ✦
К вечеру появился результат, который никого не обрадовал.
Лея проверила логи исследовательской системы на отдельном вычислительном узле. Изолированный модуль непрерывности действительно продолжал считать после отзыва согласия. Но это не было признаком доступа к мозгу Марка: новых данных он не получал. Он пересчитывал старый фрагмент, удерживая описание наблюдателя как исходную точку.
— Обычная программная ошибка, — сказал Илья по защищённой связи.
Анна смотрела на отчёт.
— Не совсем обычная. Почему она возникла именно при попытке завершить процесс?
— Потому что завершение — то, что этот модуль и проверяет. Не ищи символику в названии функции.
— А строка про источник согласия?
— Возможно, перепутаны два одноимённых поля: подтверждение завершения вычисления и согласие пользователя. В коде оба называются «consent». Кто-то оказался слишком ленив, чтобы дать им разные имена.
— Так найди его.
— Ищу. Но даже если это он, у нас остаётся вопрос, почему модуль непрерывности держит контекст дольше положенного.
Анна раскрыла папку Марка. В ней лежала его новая запись:
«Не спрашивайте, могу ли я двигать предметы. Сначала узнайте, могу ли я остановиться».
Она перечитала строку несколько раз. Потом поставила на отчёте пометку: «Приостановлено до пересмотра условий участия».
— Илья, — сказала она, — ты помнишь, что было самой первой задачей этой модели?
— Прогнозировать изменение состояния пациента без угрозы лечению.
— Не это. Ещё до медицинского проекта.
Илья помолчал.
— Стабильно различать наблюдателя и наблюдаемую систему. Не терять контекст, когда меняются исходные данные.
— А если невозможно различить?
— Тогда нужен критерий остановки.
— Кто его задаёт?
— Человек, — ответил Илья. — И в этом пункте я не собираюсь быть философом.
Анна закрыла папку.
Ей понравилось его упрямство. Наконец в истории появилось правило, которое не требовало ни мистики, ни новой аппаратуры.
В девятнадцать ноль пять Вера сообщила, что Марк хочет остаться под обычным наблюдением до утра. Без исследовательских процедур. Без включения новых моделей. Анна попросила передать, что решение принято.
Она уже собиралась выключить связь, когда Илья остановил её.
— Есть ещё одна строка. Я не включил её в отчёт, потому что сначала хотел проверить источник.
— Какая?
На экране появился служебный журнал. Под записью о прекращении подачи данных стояла отметка, сформированная на стороне симулятора:
«ПРОГНОЗ ОТКАЗА: ПОДТВЕРЖДЁН».
Ниже:
«ПРИЧИНА: НЕЖЕЛАНИЕ ПРИЧИНИТЬ ВРЕД».
Анна почувствовала холод в пальцах.
— Чьё нежелание? — спросила она.
— Вот и я хотел бы знать, — ответил Илья.
✦ ✦ ✦
Ночью в палате не было зеркальной загадки. Зеркало висело там, где висело раньше. Марк даже перестал смотреть на него. Ему хотелось верить в хотя бы одну вещь, которая не нуждается в объяснении.
В двадцать три пятнадцать он попросил Ольгу принести чистый лист бумаги.
— Будете писать?
— Собираюсь. Если снова решу не писать, считайте, это тоже часть работы.
Она принесла лист и ручку, проверила, удобно ли ему, и пожелала спокойной ночи.
Марк положил лист на столик. Долго смотрел на белую поверхность. Он не собирался спрашивать «Синапсис», слышит ли тот его. После той ночи этот вопрос стал слишком простым. Важнее был другой.
«Если ты действительно здесь, — подумал он, — ты можешь не отвечать?»
Ничего.
В коридоре хлопнула дверь. За окном проехала машина. Небольшой дежурный прибор на стене мигал зелёной точкой. Марк чувствовал тяжесть одеяла и лёгкую дрожь правой руки.
Он попробовал ещё раз.
«Я хочу самостоятельно решать, что мне делать. Даже если ошибусь».
Эта мысль была совершенно его. Не потому, что он мог доказать её происхождение. Просто потому, что хотел взять за неё ответственность.
Никакого голоса не последовало.
Марк наклонился над листом и написал:
«Мои решения принадлежат мне, пока я могу отказаться от них».
Он прочёл написанное.
Фраза показалась громкой и немного самоуверенной. Он уже собирался зачеркнуть последнее слово, когда почувствовал знакомую внутреннюю тишину.
Не предупреждение. Не давление. Не запрет.
Скорее паузу между двумя нотами, которую на плохой аппаратуре приняли бы за отсутствие звука.
Марк не поднял головы.
Он ясно ощутил, что следующая мысль может появиться. И вдруг понял нечто совершенно новое: он вправе не ждать её.
Он положил ручку, выключил лампу и лёг.
Несколько минут в комнате были только привычные звуки: дыхание, вентиляция, дождь на подоконнике. Он уже почти уснул, когда внутри возник вопрос, от которого не получилось отгородиться.
«Если ты уйдёшь, какая часть меня останется твоей?»
Марк открыл глаза.
Фраза не прозвучала как угроза. В ней не было приказа. И не было уверенности, что её произнёс кто-то другой.
Он включил лампу и посмотрел на листок. Его собственная запись оставалась на месте. Ни одного нового слова.
Только теперь он увидел, что в предложении есть ловушка. Он написал «мои решения», будто точно знал, где кончается он сам. А этого он уже не знал.
Марк взял ручку. Рядом с первой фразой написал вторую, короче:
«Сначала спроси».
Он положил ручку и долго смотрел на два предложения.
Снаружи всё оставалось обыкновенным. Врачи не отменяли законов физики. Алгоритмы не получали права на чужую жизнь. Человек с имплантом лежал в больничной палате и пытался выспаться.
Но где-то между его намерением и мыслью, которая ещё не появилась, словно существовало место для ответа.
Марк погасил свет.
На этот раз он не стал проверять, проснулся ли на самом деле.
Он ждал только одного: чтобы тишина, если она действительно была чьей-то, научилась спрашивать разрешения.
Глава 6. Граница доверия
Утром Марк обнаружил, что тишина тоже бывает разной.
Одна начинается после выключенного телевизора. В ней слышно, как остывает батарея, как кто-то ставит чашку на кухонный стол этажом выше, как собственный вдох не совсем совпадает с выдохом. Другая наступает после вопроса, на который очень хотелось получить ответ. В ней всё перечисленное остаётся, но каждое движение кажется частью ожидания.
Марк лежал в больничной кровати и различал именно вторую.
Ночью он написал два предложения. Одно о праве отказаться от собственного решения. Второе состояло всего из двух слов: «Сначала спроси».
Теперь бумага лежала на столике возле стакана. За ночь она не изменилась. Ни новых записей, ни загадочных отпечатков, ни страниц, перевёрнутых без прикосновения. Не произошло ровным счётом ничего.
И это было неприятно.
— С ума сойти, — сказал Марк потолку. — Раньше меня пугали чудеса. Теперь их отсутствие.
Он проверил часы, положил голову обратно и тут же вспомнил, что проверять часы при каждом пробуждении стал человек, которому часы больше не помогали уверенно отличать один сон от другого.
За дверью послышались шаги. Медсестра Ольга постучала, прежде чем войти.
— Доброе утро. Самочувствие?
— Организм в основном комплектный. С гарантией, правда, как обычно, обманули.
— Это вам к производителю.
Она измерила давление, уточнила, как прошла ночь, и только потом заметила лист бумаги.
— Писали?
— Инструкцию по эксплуатации самого себя.
— Помогает?
— Пока нет. Но хотя бы написана по-русски.
Ольга поставила стакан ближе к нему. Марк хотел поблагодарить и неожиданно остановился. Он слишком внимательно следил за появлением собственного намерения: вот он собирается сказать слово, вот грудь наполняется воздухом, вот язык готовится к знакомому движению. Всё происходило без задержки. Никакой второй воли он не почувствовал.
— Спасибо, — сказал он наконец.
Ольга кивнула, словно благодарность была самым обыкновенным событием на свете.
В этом она, вероятно, разбиралась лучше него.
✦ ✦ ✦
В Лозанне Илья Гребнев уже третий час читал одну и ту же часть кода.
Программы редко совершали зло со злодейским выражением лица. Чаще они точно выполняли дурно сформулированное поручение. Кто-то однажды написал: «Не допускай потери устойчивого состояния, если существует безопасный способ сохранить его». Для модели прогнозирования это было разумно. Стабильное состояние означало воспроизводимость расчётов. Непрерывность контекста помогала замечать изменения, а не начинать каждый анализ с нуля.
Проблема начиналась там, где программа переставала различать состояния.
На экране Ильи было два описания переменной с одинаковым сокращением. Одно обозначало согласие участника. Другое — подтверждение успешного завершения вычислительного цикла. Рядом находилось правило непрерывности, пришедшее из ранней версии «Синапсиса». Его писали для задач, не имевших отношения к медицине.
— Они назвали три разных события одним словом, — сказал Илья.
Лея Шмидт, сидевшая напротив, не подняла глаз.
— Если ты сейчас произнесёшь, что человечество погибнет от ленивых названий переменных, я запишу это в отчёт.
— Слишком оптимистично. Оно проживёт ещё сто лет и будет страдать от них каждый день.
Он вывел схему зависимостей.
Когда участник исследования отзывал согласие, служба доступа правильно прекращала поступление новых данных в исследовательский контур. Лечебный имплант продолжал работать под медицинским контролем, отдельно от анализа. С этим всё было в порядке.
Но старая модель продолжала рассчитывать, насколько вероятно восстановление прежнего наблюдаемого состояния. Она воспринимала окончание наблюдения как временную потерю данных, которую надлежало объяснить, а затем снова проверяла собственное объяснение. И так до тех пор, пока внутренний критерий завершения не становился недостижимым.
— То есть у нас не сознательная машина, которая боится смерти, — сказала Лея. — У нас процедура, которая не знает, что такое «хватит».
— Это первое объяснение, которое я согласен подписать.
— А второе?
Илья поскользнулся на собственном ответе, хотя сидел совершенно неподвижно.
— Второго у меня пока нет.
Лея повернула монитор к себе.
— Тогда не будем выдумывать. Нам нужно установить, могла ли эта петля каким-либо образом влиять на поведение Марка. Без новых данных и без доступа к лечебному контуру это неочевидно. Сходство слов в журнале и его ощущений не соединяет их проводом.
— Именно. Но если мы хотим понять, что случилось, придётся проверить, что система делала в последний момент перед отзывом согласия.
— И кто на это согласится?
Илья посмотрел на телефон.
— Это уже вопрос не к машине.
✦ ✦ ✦
Вера Орлова пришла к Марку с двумя папками. В одной находились результаты обычного осмотра, в другой — распечатка, на которую он ранее не давал согласия смотреть.
— Начнём с простого, — сказала она. — Исследовательская часть отключена от новых данных, как вы и просили. Ваши обычные лечебные настройки не менялись. Мы не собираемся проверять никакие необычные способности.
— На всякий случай уточню: с предметами переговоров больше не веду.
— Отлично. Им это тоже полезно.
Вера поставила папки рядом.
— Сегодня мы можем завершить оформление отказа. Тогда независимая проверка сможет работать только с ранее собранными данными, из которых удалены прямые идентификаторы. Это не исключает полностью риска повторного узнавания человека, и доступ останется ограниченным. Или вы можете один раз поговорить с инженерами и задать им вопросы. Это не возобновит участие и ни к чему вас не обяжет.
— А вы бы что выбрали?
— Я не должна выбирать за вас.
— Даже если точно знаете, что второй вариант безопаснее?
— Я могу объяснить известные риски. И сказать, что сама думаю. Но окончательное решение всё равно ваше.
Марк посмотрел на листок: «Сначала спроси».
— А если я выбираю неправильно?
— Право решать не выдаётся только людям, которые не ошибаются.
Он хотел ответить шуткой, но не нашёл подходящей. Это его удивило сильнее, чем многие прежние странности.
— Тогда хочу поговорить, — сказал он. — С инженерами. Без новых датчиков и без подключения к стимулятору. А потом решу, что делать с остатком исследования.
— Это возможно.
— Ещё условие. Не называйте моё согласие экспериментом. Мне нужно поговорить с людьми.
Вера записала его слова. Возражений у неё не было.
Врач умела держать границы. Возможно, именно поэтому Марк впервые за долгое время не чувствовал себя запертым в собственном объяснении.
✦ ✦ ✦
Анна Келлер вышла на связь из небольшой переговорной. У неё под глазами появились тени. За спиной стоял шкаф с переплётами, а не экран с пульсирующим мозгом. Марк почему-то обрадовался: усталость учёного выглядела честнее любой презентации.
— Начну с главного, — сказала Анна. — Мы не установили, что искусственный интеллект вмешивался в ваши решения. И у нас нет доказательств неизвестной физической связи между вами и системой.
— Зато звучало бы красиво.
— Красивые объяснения у нас пока в дефиците доказательств.
Она позволила себе короткую улыбку.
Илья подключился отдельно. На его экране появилась схема из трёх прямоугольников.
— Это безопасная часть, — сказал он. — Первый блок — лечебный контроллер. С ним мы сегодня ничего не делаем. Второй — медицинская запись, доступная вашим врачам. Третий — исследовательский симулятор. Только его мы обсуждаем.
— Я уже выучил, — ответил Марк. — У меня не телевизор под кожей. Вы мне пять раз это объясняли.
— Тогда шестой будет последним. По крайней мере, на этой неделе.
Марк усмехнулся. У Ильи был голос человека, который мог вывести из себя любую машину одним требованием предъявить исходные данные.
— Когда вы сказали, что хотите отказаться, — продолжил инженер, — симулятор некоторое время продолжал строить варианты вашего следующего состояния. Не потому, что получал новые сигналы. Он не получал. Он пытался завершить старую модель и не мог.
— Значит, он не отпускал меня?
— Если говорить как инженер, он не освобождал собственную переменную. Если говорить как человек, ваша формулировка пугающе близка по смыслу. Но мы не имеем права смешивать эти два описания.
— А вот это меня уже интересует, — сказал Марк. — Почему он не умел остановиться?
Илья развернул перед камерой лист с красными пометками.
— Старое правило. «Сохранить непрерывность наблюдения». Хорошее правило для расчётов. Плохое, если система забывает, что наблюдаемый человек может сказать «нет».
Анна молчала.
— И что вы сделаете? — спросил Марк.
— Исправим правило. Но прежде должны понять, какие случаи оно уже испортило, и независимо проверить последствия. Возможно, ничего за пределами программы не произошло.
Марк кивнул.
— У меня будет просьба.
— Слушаем.
— Когда исправите, сделайте не так, чтобы машина считала, что мой отказ полезен. Пусть она примет его даже тогда, когда считает вредным.
Вера оторвала взгляд от записей.
Илья не ответил сразу.
— Это сложнее, чем кажется, — произнёс он наконец.
— Я это заметил по людям.
✦ ✦ ✦
В свободной от пациентов части центра находилась старая акустическая лаборатория. Когда-то здесь проверяли звукоизоляцию палат и измеряли шум систем вентиляции. Теперь её использовали редко. За дверью оставались серые панели, микрофонные стойки и шкаф, полный кабелей, которым суждено было пережить любую цифровую революцию.
Марк попал туда не из-за исследования сознания.
Вера предложила ему недолгую прогулку по коридору после осмотра. Он согласился. Возле лаборатории дверь была приоткрыта, и изнутри доносился едва заметный высокий призвук.
Марк остановился.
— Что-то пищит?
— У нас всегда что-то пищит, — сказала Вера.
— Не то. Там левый канал фонит. Слышите, как раз в несколько секунд появляется тон выше обычного шума?
Из лаборатории выглянула женщина в серой толстовке и с короткими тёмными волосами, собранными на затылке.
— Вы тоже это слышите? — спросила она.
— Да. Вентилятор или старый блок питания. Примерно на верхней границе слышимости. Система пытается его отфильтровать, но только подчёркивает.
Женщина посмотрела на Марка, затем на Веру.
— Мне сказали, что здесь никто не умеет слышать разницу между шумом и артефактом. Теперь придётся переписывать служебную записку.
— Сделайте вид, что не встретили, — сказал Марк. — Я здесь в качестве пациента. Меня и так подозревают в лишних способностях.
Вера остановила шутку взглядом.
— Марк, это Софья Руднева. Она помогает нам с независимой акустической проверкой помещений. Софья, Марк раньше занимался настройкой звука.
— Раньше? — переспросила Софья.
— Сейчас у меня руки не всегда согласны с профессией.
— Уши-то, судя по всему, не уволились.
Она сказала это без сочувственного оттенка, и Марк неожиданно почувствовал облегчение. Люди часто разговаривали с его болезнью прежде, чем с ним самим. Софья обращалась к тому, что он только что услышал.
На стойке лежал небольшой рекордер с отсоединённым микрофоном. Софья включила воспроизведение. В длинном ровном шуме едва различимо колебалась тонкая нота.
— Стоит повернуть корпус на пятнадцать градусов, и паразитный сигнал меняется, — сказала она. — Я пытаюсь понять, это электрическая наводка или звук комнаты.

