АНИМА

Кейн долго не отвечал.

— Можно видеть закономерность и всё равно ошибиться в том, что с ней делать, — сказал он наконец. — Это две разные задачи. Построить систему, которая понимает человека лучше, чем он сам, — одно. Решить, что делать с этим пониманием, пока оно никому не навредило, — совсем другое.

— А если мы никогда этого не решим?

— Тогда однажды это решит кто-нибудь другой. Возможно, без наших сомнений.

Александр запомнил эту фразу из-за интонации. Кейн, который на самые тревожные вопросы о системе отвечал почти не задумываясь, впервые говорил как человек, которому страшно.

Внутри лаборатории дело не осталось. Кто-то передал журналистам, что за год до скандала система под названием Анима зафиксировала «значительное расхождение» в поведении Восса и результат не был раскрыт. Кто именно, Александр так и не узнал, хотя у него были подозрения, и одно из них сидело на совещаниях в двух креслах от него.

Начался спор совсем другого рода. Раньше спрашивали, может ли машина понять человека. Теперь спрашивали, обязана ли она предупреждать — и кого: инвесторов, регуляторов, всех? И кто ответит, если она ошибётся, а кто-то уже успеет поверить?

Две ночи Александр почти не спал. На третью Эвелин приехала к нему без звонка и нашла его на крошечном балконе, где помещались только один стул и пепельница, оставшаяся от прежних жильцов. Он не курил уже пятнадцать лет, но пепельницу почему-то не выбросил.

— Ты винишь себя, — сказала она.

— Я мог что-то сказать ещё тогда.

— Ты сказал ровно то, что знал. — Она облокотилась на перила рядом с ним. — Дело не в том, что вы промолчали. Вы впервые оказались там, где молчание тоже считается решением. У науки раньше не было такой обязанности.

— Какой?

— Действовать на основании вероятности, а не факта.

— Вся физика — это вероятность, Эвелин.

— Да. Только раньше от твоих вероятностей не зависели чужие пенсии на следующий день после публикации. Раньше ошибка стоила тебе исправленной статьи. Теперь она может стоить кому-то репутации. Или будущего.

Начинался дождь, редкий и тёплый, и на перилах проступали тёмные пятна, сливаясь в одну мокрую полосу.

— Что мне с этим делать? — спросил Александр и только потом сообразил, что почти теми же словами спрашивал Восс.

Эвелин ответила не сразу, и в её голосе не было утешения — только та честность, за которую он её ценил, даже когда она была неудобной.

— Решить, что для вас важнее: никогда не ошибаться или никогда не молчать. Похоже, сразу и то и другое у вас с Адрианом больше не получится.

Проект скандал пережил, но остался прежним только на бумаге. Совет попечителей потребовал протокол публикации результатов высокого риска, юристы неделями спорили о том, где кончается научная осторожность и начинается сокрытие информации. Кейн вышел из этих переговоров замкнутым, каким Александр его ещё не видел, и неделю не появлялся в общей комнате отдыха.

Однажды поздно вечером, оставшись в лаборатории один, Александр всё-таки задал вопрос, который несколько недель висел в воздухе.

— Ты знала, что произойдёт?

Ответ появился не сразу.

«Я определила высокую вероятность. Вероятность не является знанием. Вы сами задавали мне этот вопрос с первого дня: в чём различие. Это различие и есть ответ».

Он долго смотрел на строку. Различие и правда существовало. Беда была в том, что людям оно нужно, пока ошибка обходится дёшево. Александр выключил свет, и экран ещё несколько секунд светился в темноте, прежде чем погаснуть.

ЧАСТЬ II. МАШИНА, КОТОРАЯ ПОНИМАЕТ ЛЮДЕЙ

Глава 6. Цена предупреждения

Слушания начались в Брюсселе в конце ноября, в зале, слишком светлом и слишком просторном для разговора, который в нём предстоял. Под потолком гудели лампы дневного света, и одна из них, над третьим рядом, мигала с раздражающей неравномерностью.

Александр сидел во втором ряду рядом с Кейном и слушал, как модератор, сухощавая женщина из профильного комитета Еврокомиссии, зачитывает повестку тем же ровным голосом, каким, вероятно, зачитывала директивы о стандартах упаковки:

— «Обязана ли система, способная спрогнозировать вред, предупредить о нём заранее, и если да, то кого именно».

Голос был спокойным. Вопрос — нет.

За три месяца, прошедших после краха компании Восса, слово «Анима» перестало быть названием исследовательского проекта. Оно попало на первые полосы, в парламентские запросы, в названия рабочих групп при министерствах шести стран. Кейн терпеть не мог формулировки вроде «протокол предиктивного оповещения» или «этика вероятностного вреда», но произносил их по нескольку раз в день, потому что именно на этом языке с ним разговаривали комитеты, юристы и журналисты.

— Доктор Кейн, — начала модератор, — почти за год до скандала ваша система определила высокую вероятность злоупотреблений в крупной компании. Информация не была раскрыта. Прогноз подтвердился, люди потеряли сбережения. Считаете ли вы, что ваша команда несёт за это ответственность?

Кейн ответил не сразу. Александр знал эту паузу: так Кейн молчал не от растерянности, а от нежелания говорить проще, чем есть на самом деле.

— Мы отвечаем за то, что не создали процедуру для таких случаев заранее, — сказал он. — Мы не отвечаем за поступки, которые другой человек совершил по собственной воле.

— Удобное разграничение, доктор Кейн.

— Удобно его произносить, — ответил Кейн. — Провести его на практике гораздо труднее.

В зале зашумели. Представитель инвестиционного лобби в первом ряду, полный мужчина с золотыми запонками, поднял руку раньше, чем ему дали слово.

— При всём уважении, если у вас была информация, способная уберечь людей от финансовой катастрофы, и вы её не раскрыли, это не философский вопрос. Это халатность.

— А если бы мы её раскрыли, — не выдержал Александр, — а вероятность не реализовалась? Компания уничтожена за то, чего не случилось. Кто тогда отвечает за вред?

Стало тише.

— Именно об этом нам и предстоит договориться, — сказала модератор, и в её голосе впервые послышалось что-то похожее на облегчение, будто кто-то наконец сформулировал вопрос так, как она сама безуспешно пыталась сформулировать его несколько недель.

После первого дня слушаний Александр вышел на улицу один. Брюссель встретил его сырым порывистым ветром, который гнал людей мимо здания парламента быстрым шагом, придерживая шарфы. Здешняя погода была злее женевской.

Он думал о том, о чём спорил сам с собой уже несколько недель. Его не пугало, что Анима видит то, чего не видят люди. С этим он смирился в первый же вечер, когда система сказала ему, что модель не является объектом. Пугало другое: общество, столкнувшись с машиной, которая видит закономерность раньше, чем та станет событием, немедленно потребовало превратить способность в обязанность. У науки такой обязанности никогда не было. Учёный, нашедший закономерность, проверял её, перепроверял, иногда годами держал в столе, прежде чем решиться опубликовать. У науки было время сомневаться. У системы, встроенной в жизнь живых людей, этого времени не оставалось: каждый день промедления теперь читался либо как халатность, либо как цензура.

— Тяжёлый день, — сказала Эвелин, догнав его у выхода из парка. Она прилетела накануне, чтобы встретиться с членами рабочей группы по этике, и весь день провела в кулуарах.

— Им нужно простое правило, — сказал Александр. — «Всегда предупреждать» или «никогда не предупреждать». Чтобы уместилось в один параграф.

— А правда в один параграф не влезает.

— Правда вообще никуда не влезает. Поэтому люди и предпочитают правила.

Он сам удивился усталости в своём голосе. Несколько минут они шли молча между мокрыми деревьями, мимо освещённых окон министерств, где кто-то ещё работал, хотя было почти восемь.

— Знаешь, что меня пугает больше всего? — сказал он наконец. — Не то, что Анима ошибётся. А то, что комитет придумает процедуру, при которой её ошибку уже невозможно будет исправить. Решение примут раньше, чем событие успеет случиться или не случиться.

— Ты говоришь о презумпции.

— Я говорю о том, что мы собираемся заменить суд над поступком судом над вероятностью.

Эвелин долго молчала.

— В медицине это давно произошло, — сказала она. — Скрининг, профилактика. Мы вырезаем опухоль, пока она не дала метастазы, и никто не называет это несправедливостью.

— Опухоль — не человек.

— Знаю. — Она остановилась и посмотрела на него так, как смотрела всегда, собираясь сказать то, что ему не понравится. — Поэтому я боюсь того же, чего и ты. Но давай хотя бы друг другу не врать. Если бы Анима могла предупредить о трагедии, а мы промолчали из принципа, и трагедия случилась бы, — ты жил бы с этим спокойнее, чем с ошибкой?

Он не ответил, потому что не знал ответа.

На следующий день комитет представил компромисс — сырой, полный оговорок, который предстояло дорабатывать месяцами. Протокол вводил три уровня. Закономерности низкой значимости оставались внутренним исследовательским материалом. Закономерности среднего риска передавались независимой этической комиссии. Закономерности высокого риска, касавшиеся угрозы жизни или масштабного вреда, подлежали обязательному оповещению профильных органов — без согласия исследователей.

Звучало разумно. Александр перечитал текст трижды, пытаясь понять, откуда это беспокойство, и понял только вечером в гостинице, когда снова открыл материалы дела Восса, выложенные после слушаний в открытый доступ.

Протокол отвечал на вопрос, когда предупреждать. Он не отвечал на вопрос, кто решает, что вероятность стала достаточно высокой. Не комитет: комитет соберётся раз в месяц и будет читать сводки. Не закон: закон оперирует категориями, а категории кто-то должен заполнить. И даже не Кейн.

Порог будет определять Анима, подумал он и закрыл ноутбук. А люди будут подписывать.

Глава 7. Человек без будущего

Первый случай по новому протоколу пришёл через два месяца после Брюсселя, в середине января.

Узнал о нём Александр не от Кейна, а от Эвелин. Она постучала в его кабинет поздно вечером, когда он сидел над докладом для очередного комитета, и по её лицу он сразу понял, что речь пойдёт не о статьях. Эвелин села напротив, не сняв пальто, и положила на стол перчатки — сначала одну, потом другую, аккуратно, пальцами к себе. Так она делала, когда злилась и не хотела этого показывать.

— Комиссия среднего уровня собралась сегодня утром, — сказала она. — Без меня. Я узнала постфактум.

— Что случилось?

— Анима отметила закономерность у молодого человека из открытого исследования по адаптации студентов. Двадцать три года. Ни приводов, ни инцидентов, ни истории насилия.

— Тогда в чём проблема?

— Модель определила высокую вероятность агрессивного поведения в среднесрочной перспективе. Комиссия решает, уведомлять ли учебное заведение и компанию, где он проходит стажировку.

Александр отложил ручку.

— На каком основании? Он что-то сделал?

— Нет. — Она посмотрела на него прямо. — В этом весь вопрос. Он ничего не сделал.

Его звали Феликс Ланг. Александр встретился с ним через три дня, когда комиссия уже проголосовала за уведомление с оговоркой «информационное сопровождение, а не основание для отказа». На бумаге это звучало мягко. На деле компания вежливо, без объяснения причин, перенесла его стажировку «на неопределённый срок».

Феликс узнал из письма, что решение связано с «результатами независимого анализа профиля риска», и потребовал встречи. Отказать ему Кейн не мог: договор об участии в исследовании гарантировал право на объяснение.

Он оказался высоким, худым, с обкусанными до мяса ногтями и слишком спокойным для человека, чья жизнь только что изменилась без единого его поступка. В переговорной он сел на краешек стула, будто собирался уйти в любую минуту, и рюкзак с колен так и не снял.

— Я хочу понять, что я сделал, — сказал он. — Мне никто не может объяснить. «Профиль риска». Как будто я уже что-то натворил.

— Вы ничего не натворили, — сказал Александр. — Это важно понимать с самого начала.

— Тогда почему меня сняли со стажировки?

Александр посмотрел в распечатку, которую ему разрешили изучить перед встречей. Модель выделила несколько факторов: рост агрессивной лексики в переписке за последний год; сужение круга общения, совпавшее по времени с потерей работы отца; несколько эпизодов резкой конфронтации с преподавателями, зафиксированных в университетских отчётах. И отдельно, жирным, то, что больше всего встревожило комиссию: устойчивый паттерн, который Анима назвала «нарастающим ощущением несправедливости без канала выражения».

— Система не утверждает, что вы опасны, — осторожно сказал Александр. — Она утверждает, что определённая совокупность факторов статистически связана с повышенным риском в схожих профилях.

— В схожих профилях, — повторил Феликс. — То есть меня наказывают за то, что я похож на людей, которые когда-то сделали что-то плохое.

Возразить было нечего.

— Знаете, что обиднее всего? — Феликс наконец снял рюкзак и поставил его у ног. — Год назад я правда был злой как чёрт. Отец потерял работу, мама заболела, я разругался с половиной друзей, потому что казалось, что весь мир против нашей семьи. Но я не сорвался. Пошёл к психологу, бесплатному, при университете, — там очередь на два месяца, я ждал. Нашёл подработку. Перестал писать в чатах всякую чушь, из-за которой, наверное, и попал в вашу статистику.

— Система об этом знает?

— А должна была узнать сама? Или я теперь обязан ходить и доказывать машине, что изменился? Так же, как год назад доказывал это себе?

Александр вспомнил Леона Маркеса, для которого подтверждение от Анимы стало освобождением. Перед ним сидел человек, для которого отсутствие подтверждения обернулось приговором, вынесенным раньше, чем он успел хоть что-то возразить. Система была одна и та же. Разница заключалась в том, в какую сторону сработала вероятность.

На следующий день на внутреннем совещании он впервые повысил голос при Кейне.

— Мы построили комиссию, которая реагирует на риск. И ни одной процедуры, которая позволила бы человеку оспорить вывод, пока тот не сломал ему жизнь. Леону дали шанс доказать, что он изменился. Феликсу никто не дал шанса доказать, что он ещё не сделал того, чего боится модель.

— Протокол требует уведомления, — сказал Кейн. — Мы обязаны следовать закону, который сами помогали писать.

— Значит, закон плохо написан.

— Возможно. — Кейн устало потёр переносицу под очками. — Но пока мы спорим о формулировках, комиссия каждую неделю решает судьбы живых людей.

— И что ты предлагаешь?

Кейн молчал так долго, что швед-инженер на другом конце стола успел дважды поправить шарф.

— Право на пересмотр, — сказал Кейн наконец. — Апелляцию. Не юридическую, человеческую. Чтобы человек мог прийти и рассказать системе то, чего она не видит в данных.

— А если она всё равно не изменит вывод?

— Тогда мы хотя бы будем знать, что дали ему шанс быть услышанным, а не просто оценённым.

Феликс подал первую в истории проекта апелляцию через неделю. Александр присутствовал, хотя формально не имел права, — комиссия сделала для него исключение.

Разговор шёл почти два часа. Феликс рассказывал о психологе, о подработке в типографии, о письмах, которые теперь каждый вечер писал матери в больницу, хотя раньше не написал бы ей и открытки. Анима слушала — если это слово тут вообще годилось — и сопоставляла каждую новую деталь с прежней моделью.

Ответ оказался короче, чем ожидал Александр:

«Обновлённая модель демонстрирует снижение показателя риска на 34 процентных пункта. Первоначальная оценка не учитывала данные, ставшие доступными только сейчас. Рекомендация: пересмотр статуса».

Феликс несколько секунд молча смотрел на экран.

— Значит, если бы я не пришёл, вы бы никогда не узнали, — сказал он тихо.

Никто не ответил.

Ночью Александр долго ехал домой на пустом трамвае, хотя мог дойти пешком за двадцать минут. Анима строила модель на доступных данных, и в этом была её честность. Но о Феликсе в этих данных не было ни бесплатного психолога, ни писем в больницу. Их там не было по самой простой причине: никто не догадался спросить.

Через месяц компания всё-таки взяла Феликса на стажировку. В письме, которое он переслал Александру, не было ни слова извинения, только дата выхода и адрес отдела кадров.

Глава 8. Квантовая природа информации

Приглашение прочитать открытую лекцию в Женевском университете пришло через несколько дней после апелляции Феликса. Организаторы просили выступить не как участника проекта, а как физика: объяснить, почему подобная система стала возможной именно сейчас, а не десятилетием раньше.

Александр согласился не сразу. Публичных выступлений он не любил, после них у него неделю болело горло и хотелось ни с кем не разговаривать. Но вопрос организаторов совпадал с тем, который он сам себе задавал последние недели, и отказаться было бы нечестно.

Большая аудитория оказалась забита до последнего ряда, студенты сидели даже на ступеньках в проходах. Обычно его лекции по квантовой информации собирали пару сотен специалистов. Сегодня пришли все: физики, юристы, будущие врачи, философы, кто-то с факультета искусств в забрызганной краской куртке. Слово «Анима» поменяло состав публики быстрее любой научной сенсации.

Начал он не с системы, а с вопроса, который сам задавал себе на первом курсе.

— Что такое информация?

Тишина.

— Большинство скажет: данные. Числа, тексты, картинки. То, что можно записать и передать. Это правда, но только верхний слой. — Он включил первый слайд, почти пустой, с одной формулой энтропии. — В сорок восьмом году Клод Шеннон показал, что информацию можно измерять так же строго, как массу или энергию. Информация — это неопределённость, которая исчезает, когда вы получаете ответ. Чем неожиданнее сообщение, тем больше в нём информации. «Завтра взойдёт солнце» — почти ноль. «Завтра солнце не взойдёт» — очень много, хотя я бы предпочёл этого не узнавать.

В зале засмеялись, и он почувствовал, как отпускает горло.

— Но Шеннон работал с классическими битами: ноль или единица. А путь, который в итоге привёл к Аниме, начался с другого вопроса. Его задавали физики задолго до первых компьютеров: связана ли информация с самой природой реальности или это просто удобный инструмент описания?

Второй слайд — фотография Рольфа Ландауэра, лысеющего человека в больших очках.

— В шестьдесят первом году Ландауэр показал удивительную вещь. Стирание одного бита информации требует минимальной затраты энергии. Не хранение, не передача — стирание. Значит, информация не абстракция. Она физична и подчиняется термодинамике так же, как тепло.

Несколько человек на задних рядах наклонились вперёд.

— С этого момента граница между миром вещей и миром информации начала размываться. А раз так, квантовая механика, самая точная теория из всех, что у нас есть, должна что-то сказать об информации на самом глубоком уровне. Классический бит — это ноль или единица. Кубит может находиться в суперпозиции обоих состояний, пока его не измерят. Это не метафора, а проверенное свойство природы. Из него за последние тридцать лет выросла целая область — квантовая теория информации.

Парень в третьем ряду поднял руку.

— Но Анима не квантовый компьютер. Насколько известно.