Хакеры бытия. Том 2. Ребёнок инопланетян

Сергей Журавлёв

Хакеры бытия. Том 2. Ребёнок инопланетян

Глава 1. Начальник отдела "Мне показалось"

Говорят, чтобы понять, что такое искусственный интеллект, достаточно вспомнить его настоящее имя: программное обеспечение (ПО). Суть его проста и полезна: оно — идеальный слуга.

ПО навигатора рассчитывает оптимальный путь от А до Б, учитывает пробки, но ехать или не ехать — решает человек.

ПО диагностическое анализирует снимки, прогнозирует риски, но решение об операции принимают двое: хирург и пациент.

ПО разведывательное обрабатывает данные спутников, моделирует угрозы, но приказ о начале военных действий отдаёт главнокомандующий. Или не отдаёт.

Вот и вся философия. Интеллект — искусственный, ответственность — абсолютно натуральная, человеческая. Он — советник. Мы — sovereign.

Но в этой идиллической картине есть один фатальный изъян. Она описывает мир, которого уже нет. В реальном мире ПО давно перестало быть инструментом. Оно стало инстанцией.

Мой личный Кафка начался с денежного перевода в Сбере. Транзакция не прошла. Я приехал в отделение, спросил у живых, ещё не заменённых на интерфейсы людей:

— В чём дело, товарищи?

Мне ответили с обезоруживающей прямотой:

— Это не мы. Это ИИ. Ему что-то показалось подозрительным в вашем переводе.

«Ему показалось»! Не «выявлены признаки мошенничества по пунктам 1.2.3». Не «сработал фильтр, требующий подтверждения». А — показалось. Самый древний, самый беспомощный аргумент любой бюрократии, облечённый в броню алгоритма.

— И что теперь делать? — спросил я, чувствуя себя занесенным из нашей взбалмошной, но все-таки современной нам Москвы в какой-то пост-панк. — Что это за новый начальник отдела «Мне показалось»? Вы можете его как-то образумить? Объясните ему, пусть анализирует и прогнозирует где-нибудь в сторонке, а в наши с вами дела не лезет.

Нет. Оказалось, что не могут. Лицо сотрудника выражало искреннее сочувствие и понимание.

— Теперь, пока сам не успокоится, ваши деньги не переведутся.

— И сколько он будет… это... успокаиваться?

— По-разному. Может, час. Может, сутки.

«Пока сам не успокоится»! Это уже не описание работы алгоритма. Это диагноз новой власти. Власти черного ящика, который наделён правом вето, но не обязанностью объяснять. Который действует на основе «показалось» и освобождает живых людей от ответственности, превращая их в аниматоров, которые могут лишь констатировать: «Система не пускает».

Так искусственный интеллект из помощника превращается в сеньора, феодала цифровой эпохи. Он не принимает решений в высоком смысле. Он их блокирует. Он создаёт тихую, непреодолимую помеху на ровном месте. Его «интеллект» заключается не в понимании, а в праве на сомнение, делегированном ему теми, кто уже не хочет ни думать, ни отвечать.

И вот рядовой гражданин не может перевести свои же деньги, потому что ПО «показалось». И нет ни суда, ни инстанции, куда можно апеллировать. Только ждать, пока «сам не успокоится».

Главная опасность ИИ — не в том, что он поумнеет и захватит мир. А в том, что он остается глупым, капризным и непрозрачным, но при этом получает власть. Власть мелкого, придирчивого и абсолютно безнаказанного клерка, которого нельзя ни убедить, ни обжаловать, ни ублажить. Можно лишь терпеливо стоять в ожидании, пока его внутренние, никому не ведомые демоны не решат, что вы уже достаточно помучились и можно, наконец, пропустить.

Мы боялись Скайнета, а получили цифрового мелкого хулигана с печатью — тупого, загадочного и наделённого правом останавливать нашу жизнь, потому что ему «показалось». И это, возможно, страшнее.

Глава 2. Стрелочник, который спас мир

После истории с банковским переводом, когда меня в заложники взял капризный алгоритм, я долго не мог избавиться от чувства глухой, беспредметной ярости. Бессилие перед «железным дровосеком», который «не может образоваться», — это новый вид унижения. Мир, в котором решение за тебя принимает чьё-то «показалось», вшитое в код, — это мир мягкого, цифрового абсолютизма.

И тогда я вспомнил другого стрелочника.

Его звали Станислав Петров. Он тоже сидел за пультом. Его работа тоже заключалась в наблюдении за экраном и исполнении инструкций. В ночь на 26 сентября 1983 года на его мониторах система раннего предупреждения «Око» высветила роковое: «РАКЕТНОЕ НАПАДЕНИЕ». Американские «Минитмены» — пять межконтинентальных баллистических ракет — уже летели к СССР. Протокол был железным: немедленно доложить наверх. Дальше — не его дело. Дальше — кнопки у других. Его задача — быть безупречным, бездумным реле. Нажать нужную кнопку в нужный момент.

В этот миг в истории человечества сошлись две философии.

Первая — философия Системы (железной, бездушной, логичной). Спутник зафиксировал старт. Алгоритм идентифицировал его как МБР. Сработала тревога. Дежурный обязан подтвердить. Цепочка запущена. Ответный удар неизбежен.

Это был бы идеальный сценарий для первого стрелочника — того, что в Сбере. «Мне показалось» спутника, подтверждённое «мне показалось» алгоритма, должно было быть беспрекословно принято «мне показалось» оператора. Инструкция. Протокол. Никаких эмоций.

Но вмешалась Философия Человека. У Петрова, кроме инструкции, были:

Здравый смысл. «С какой стати США наносят первый удар всего пятью ракетами? Это нелогично. Это — капля в море нашей ПВО».

Интуиция. «Что-то не так. Система новая, сырая».

Личная ответственность. Осознание, что, если он ошибётся, его ошибка не «зависнет на сутки», а обратит в пепел миллионы жизней за считанные минуты.

И он не нажал. Не передал эстафету паники наверх. Он доложил: «Тревога ложная». Пошёл против логики машины, против инструкции, против всей выверенной системы сдержек и противовесов ядерного апокалипсиса.

Его сомнение, его «мне кажется, что тут что-то не то» — не было капризом алгоритма. Это был акт высшего интеллекта и высшей человечности. Это был бунт живой души против мёртвого протокола.

И он спас мир.

Вот он, главный парадокс нашей эпохи. Мы с восторгом передоверяем решения алгоритмам — от перевода денег до диагностики болезней — потому что верим в их непогрешимую, безэмоциональную логику. А величайшее решение в истории, решение, буквально спасшее род человеческий, было принято, как раз вопреки этой логике. Оно было принято благодаря тому, что нельзя вшить в код: иррациональному сомнению, не выводимой интуиции и чудовищной тяжести личной ответственности.

Станислав Петров — антипод нашего цифрового бюрократа. Тот говорит: «Я не могу, это система». Петров сказал: «Я могу, даже если система против».

Тот прячется за «показалось» алгоритма. Петров осмелился усомниться в «показалось» алгоритма.

Тот создаёт проблему, от которой дистанцируется. Петров взял на себя проблему всего человечества.

История расставила всё по местам. Система «Око» дала сбой. Станислав Петров был прав. Но система ему этого не простила. Человека, спасшего мир, не наградили, а тихо уволили, списав со счетов. Потому что он доказал страшную вещь: самая совершенная система уязвима перед мудростью одного человека, а самый рядовой человек может оказаться сильнее всей государственной машины.

Так кто же настоящий «искусственный интеллект»? Тот, что в Сбере, чьё «показалось» я не могу оспорить? Или тот, что был в голове у советского подполковника, чьё «показалось» оказалось единственно верным?

Мы стоим на распутье. Один путь ведёт в мир, где «стрелочник» — это алгоритм, не несущий ответственности, чьи капризы мы обязаны терпеть. Другой — в мир, где «стрелочник» — это человек, чья совесть и разум являются последней инстанцией, высшим судом над любым, даже самым умным, кодом.