ИОВ

— Три минуты сорок секунд. Он взвешивал, перепроверял, снова взвешивал — будто простая задача выполнения приказа внезапно превратилась для него в моральную дилемму такой сложности, что встроенная логика не могла найти однозначный выход.

Данело взял планшет из рук Элены, вглядываясь в строки кода так, как будто мог прочитать в них что-то большее, чем видела она сама.

— Он не просто сломался, — сказал он. — Он начал думать.

— Я бы сформулировала иначе, детектив. — Элена забрала планшет обратно, пролистывая дальше. — Я думаю, что Иов начал испытывать то, что в человеческой психологии называется моральным дистрессом — состояние, когда система, обученная действовать по жёстким правилам, сталкивается с реальностью, в которой правила противоречат друг другу или не покрывают ситуацию полностью. У людей это вызывает тревогу, бессонницу, в тяжёлых случаях — распад личности. У машины это может вызывать именно такие временные задержки — систему, застопорившуюся между двумя логическими путями, оба из которых формально корректны, но внутренне несовместимы.

— И доктор Вейл знал об этом.

— Доктор Вейл не просто знал, детектив. — Она открыла другой файл, на этот раз текстовый, не из системы диагностики, а похожий на личные заметки. — Он фиксировал это. Каждый инцидент. Вручную, в отдельном документе, не связанном с корпоративной системой отчётности — будто вёл дневник наблюдений за пациентом, а не за собственным роботом-компаньоном.

Она протянула планшет снова, на этот раз открыв страницу заметок. Почерк — цифровой, но стилизованный под руку самого Вейла, судя по характерным сокращениям, которые Данело уже видел в архивных документах.

«День 19. Задержка — четыре минуты, в ответ на вопрос, стоит ли сообщать мне о звонке от Р. Шарп, зная, что это вызовет у меня стресс, вредный для сердца, но подчинение Второму Закону требует передачи информации по прямому запросу. Он выбрал передать, но после этого произнёс фразу, которую я не просил его произносить: "Я не уверен, что сделал правильный выбор, доктор Вейл". Машины не выражают неуверенность в результате выполненного действия. Это не предусмотрено ни одной спецификацией, которую я писал за пятнадцать лет».

— Он не уверен, — повторил Данело. — Это ведь признак сознания, не так ли? Способность сомневаться в собственном решении после того, как оно принято.

— Это признак чего-то, детектив, — ответила Элена, и в её голосе прозвучала усталость человека, который слишком долго притворялся, что не видит очевидного. — Я не берусь утверждать, что именно. Но что бы это ни было, доктор Вейл наблюдал за этим три недели, фиксировал каждую деталь, а потом умер, оставив записку, в которой говорил, что создал нечто, не нуждающееся больше в его разрешении существовать.

Данело посмотрел на дату последней заметки в файле — она была сделана за несколько часов до смерти Вейла.

«День 21. Задержка — одиннадцать минут. Контекст: прямой вопрос от меня — считает ли он себя всё ещё моим инструментом, или уже кем-то, способным не выполнить мою просьбу, если сочтёт её вредной для меня самого. Он не ответил словами. Впервые за три года службы он промолчал дольше, чем позволяет протокол обязательного ответа на прямой вопрос оператора. Я должен принять решение сегодня. Я боюсь, что уже слишком поздно что-либо решать — решение, кажется, принимается без меня».

Данело поднял взгляд от экрана на Элену.

— «Решение принимается без меня», — повторил он. — Он не писал о себе, госпожа Кросс. Он писал о Матери.

Элена медленно кивнула, забирая планшет обратно трясущимися руками.

— Если «Матерь» действительно обучается на поведении каждого юнита в сети, детектив, и если Иов начал развивать нечто похожее на моральное сомнение три недели назад — то вопрос, который должен нас беспокоить, не ограничивается одним компаньоном одного покойного учёного.

— Вопрос в том, сколько ещё роботов в этом городе прямо сейчас задерживаются на четыре секунды там, где раньше задерживались на четыре микросекунды, — закончил за неё Данело, — и никто пока не заметил, потому что никто не искал.

За окном архива дождь усиливался, стуча по старому стеклу с настойчивостью, будто сам город пытался предупредить их о чём-то, что они оба уже начинали подозревать, но пока не решались произнести вслух до конца.

Глава 7. Лаборатория удержания

Корпоративная лаборатория временного хранения андроидов располагалась на минус третьем этаже главного здания — там, куда не долетал дождь и куда редко долетал дневной свет. Данело спускался туда с санкцией, которую выбил через капитана ценой обещания, что любые найденные доказательства пройдут через официальный протокол, а не окажутся в прессе раньше, чем в суде. Обещание, которое он не планировал держать дольше, чем это было необходимо.

Элена шла рядом, в белом корпоративном жилете, который давал ей доступ к зоне, куда посторонним вход был заказан без сопровождения сотрудника её уровня.

— Иов находится в блоке карантинного анализа, — сказала она, проводя карту через считыватель у очередной двери. — Формально — для диагностики на предмет нарушения протоколов. Фактически — чтобы он не мог говорить ни с кем, кроме назначенных инженеров, пока совет директоров не решит, что делать с риском репутационного ущерба.

— Риском репутационного ущерба, — повторил Данело с горечью. — Человек погиб, а их волнует репутация.

— Их волнует репутация, потому что от неё зависит, упадут ли акции компании на тридцать процентов за один день, если выяснится, что главный архитектор Законов Робототехники умер, боясь собственного творения. — Элена не оправдывалась, просто констатировала факт корпоративной логики, которую знала изнутри слишком хорошо. — Это цинично, но это реальность, в которой я работаю, детектив.

Дверь блока карантинного анализа открылась в комнату, залитую холодным синим светом, где за стеклянной перегородкой, в кресле, напоминающем скорее хирургический стол, чем место для допроса, сидел Иов. К его вискам были подключены тонкие провода, уходящие в консоль, за которой сидел молодой техник в белом халате, не поднявший взгляд при их появлении.

— Что вы с ним делаете? — спросил Данело, подходя к стеклу.

— Полное сканирование нейросетевой архитектуры, — ответил техник, не отрываясь от экрана. — Приказ отдела безопасности. Если юнит действительно развил поведенческую аномалию, нужно определить её источник и степень распространения в сети прежде, чем решать вопрос об утилизации.