скачать книгу бесплатно
Мэтт никак не отреагировал на эти слова.
– Опасен, – Кира покатала слово на языке, словно о чём-то думая.
Павел стал высасывать кофе и думать о том, что для таких моментов скуки пригодилась бы карта. И не пришлось бы слушать болтовню Киры и видеть бесплодность её попыток проникнуть в чужой разум. Он знал, что энергикам нельзя ставить карты, но иногда такие мысли посещали даже его. У Брэдли из их группы была карта НКИ, и когда они на одной из вылазок оказались у чужого силового поля, она закоротила у него в мозгу. Тот катался по земле и выл, пытаясь сорвать с себя систему, а им даже со стороны была слышна музыка, будто льющаяся из чужих ушей.
Кира резко повернулась к Павлу с волнением, которое обычно было у неё на лице в преддверии очередной утопической идеи. Но Павел лишь скучающе посмотрел в ответ.
– Вспомни Первый закон, – сказала она. – Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. На заре робототехники встал вопрос, как правильно сформулировать для робота Три закона? Ведь, по сути, в искусственный разум нужно было вложить такое понятие, как вред. Само оно не появится.
– И в чём проблема? Определение слову «вред» не нашлось?
Мориссон никогда не затрагивал тему роботов, они его не интересовали. Как и любого «энергика». Зачем интересоваться искусственным разумом, если до конца не можешь понять, как устроен собственный?
– А по-твоему, что такое вред? – спросила Кира.
Павел пожал плечами.
– Ну… грубо говоря, это ущерб здоровью человека.
– Хорошо, а что такое ущерб?
– То же, что и вред?
– Не замыкай всё в одну цепь, – недовольно сказала Кира. – Каких видов бывает ущерб?
– Их много.
– А что если робот не будет действовать грубой силой и причинять ущерб напрямую?
– Не понял.
– Первый закон – только для людей. Что если человек – ребёнок, у которого есть любимая собачка, и однажды робот убьёт животное. Тем самым он нанесёт ущерб здоровью ребенка?
– Конечно.
– Хорошо. А если андроид или ИИ – вот как он – будет лучшим другом маленькой девочки, назовем её Пенни. И однажды Пенни влюбится в него, ведь робот так похож на человека, он всегда рядом и всегда её защитит, он выслушает и никогда не обманет. Но честный робот скажет Пенни, что они никогда не смогут быть вместе и вообще Пенни страшная.
– Ну, ты… – возмутился Павел.
– Согласно параграфу 10 пункта 2 «Межпланетного законодательства о роботах и робототехнике» подобный ответ можно будет классифицировать как вред, нанесенный психическому здоровью, – говорит Мэтт. – Так же как и убийство любимой собачки.
Кира указала на него пальцем:
– А ты вообще молчи. Это при условии, что строка «обидеть Пенни, сказав, что она страшная» или «избавиться от собачки», прописана у тебя в какой-нибудь подсистеме. А под «вред» законодательной базы можно подвести всё, что угодно. Тем более мы рассматриваем времена на заре робототехники, когда только психоструктура зарождалась, а о законодательстве и речи не шло.
– Она права, – согласился Павел и тут же прикусил язык. Он не собирался быть сопричастным к роботу даже в малой мере.
– Ну так вот. Он говорит ей, что она страшная и они никогда не будут вместе, и девочка с горя выпрыгивает из космолета.
– Ты ужасный рассказчик, – заметил Павел.
– Она бы не смогла выпрыгнуть, бортовая система… – начал Мэтт и Кира раздраженно зарычала.
Павел тихо рассмеялся, а после спросил:
– Ты хочешь сказать, что вред может быть разный?
– И это тоже. Но самое главное – что конкретно понимать под словом «вред»? Роботов не программируют оценивать мораль, понимать чувственные абстрактные понятия и копаться в собственной психоструктуре в поисках воли. Люди даже не разобрались, как формируется замысел и можно ли вообще это действие описать, но при этом они создали робота, так называемый интеллект которого – большая помойка из нагромождения понятий и действий. И слово «вред», так же как и всё, должно быть определено через более просты формы. Поэтому, когда приступили к разработке Закона, данное слово несло в себе перечисление потенциально опасных действий, которые робот может совершить с человеком.
Павел подавил желание рассмеяться.
– Таких действий бесконечно много. Любая вещь, созданная человеком, может нести опасность, если знать, как ей пользоваться.
– Возможно. Но на момент создания законов таких действий было не бесконечно много и даже не миллиард, а около пятисот миллионов.
– Момент создания…
– Около двух веков назад.
– Ты смеёшься?
– Ты думаешь, мне смешно?
– Мало того, что эти миллионы, так ещё и … – Павел запнулся. Мозг робота может хранить и как-то перерабатывать огромное количество информации, каждый кусок этой информации должен нести обозначение в понятных не только роботу, но и человеку символах, разработчики должны были создать какой-то шаблон, по которому и строились все модели. Но с момента создания по нынешней день изменилось слишком много. Какова частота обновления ПО психоструктуры? Раз в год? Раз в месяц? Раз в день? И разве роботы с одинаковой структурой психики при одинаковом обновлении не будут действовать одинаково и походить друг на друга в мелких реакциях? Или всё же подключение к сети постоянное?
– Ты хоть представляешь, сколько изменилось за два века? – спросил Павел.
Кира пожала плечами.
– И что ты будешь с этим делать? – продолжил он. – Возьмёшь перечень материалов, оружия и устройств за весь период существования человечества и будешь спрашивать его, сможет ли он при помощи них причинить людям какой-нибудь вред?
Павел посмотрел на ИИ. Вопросом про структуру она хотела узнать основное предназначение робота, а сейчас пыталась выяснить, какие послабления в Трех законах сделали разработчики; вот только разве они уже не поняли, что этот робот – военная модель? В них Законы либо отсутствуют вовсе, либо модифицированы до неузнаваемости. Это даже первогодка Академии понимает. Иначе как они будут убивать? Но Кира сознательно это игнорирует, как и то, что робот знал её раньше.
– Конкретный материал ничего не даст, материал в большинстве своём не может быть занесен в раздел «вред», а вот действия с ним – да. Поэтому я буду указывать какое-то конкретное действие. Удушение веревкой, например. И постепенно, методом перебора…
– Это глупость, – прервал её рассуждения Павел. – А если не материал, а если вещество? Угледид, например.
Она на несколько секунд замолчала.
– А что, если в этих миллионах, о которых ты говоришь, один из его разработчиков стер несколько действий с таким прибором, как ложка? Тебе придется разбирать сначала каждое внесенное действие с этим предметом, а потом обновления за два века. И ещё не факт, что ты что-нибудь не пропустишь. И поверь мне, без карты, да даже и с ней, это будет сделать очень трудно.
«И ещё неизвестно, не соврёт ли он тебе», – подумал Павел.
– На это могут уйти месяцы, – поддакнул Мэтт, и Павлу показалось, что тот выглядел странно довольным.
Кира нахмурилась.
– Назови любое слово, – сказала она через некоторое время.
Павел ненадолго задумался:
– Например, плуг.
– Что это? – она нахмурилась.
Павел пожал плечами, не имея представления. Он услышал его в воспоминаниях одной из жизней, но не собирался говорить это при роботе.
Кира поворачивается к ИИ.
– Ну?
– Что «ну»? – улыбнулся Мэтт.
– Согласно параграфу 132 пункта 2.9 «Межпланетного законодательства о роботах и робототехнике», ответь, входит ли действие «удушение» устройством «плуг» в раздел, классифицированный, как «вред»?
Павел на целую секунду был уверен, что тот запросит ИН.
– Данное действие с таким устройством в базу, классифицированную как «вред», не входит, – ответил Мэтт, и Кира обернулась к Павлу.
– Смотри, как все просто! – воскликнула она.
Павел нахмурился, а потом спросил:
– А ты можешь объяснить, что это за устройство?
Мэтт ухмыльнулся:
– Нет.
– А с помощью этого неопознанного устройства ты можешь причинить человеку что-то, что не будет классифицироваться как «вред»?
– Любые действия с неопознанным устройством не будут классифицироваться как «вред».
Павел с Кирой переглянулись.
– «Смотри, как все просто», – передразнил её Павел. – Любым неопознанным устройством он может нанести человеку вред. Достаточно не внести его в базу, и оно автоматически станет «одобренным». Логичней предположить, что и материалы тоже должны быть «помечены».
Кира нахмурилась:
– Нет. Если отдельно материал или устройство будет внесено как «вред», то в категорию безопасного его добавить уже будет нельзя. Если ложка – «оружие», то поесть ей будет невозможно. А вот действия с одним материалом могут принадлежать к разным категориям.
– Значит, действия с любым устройством, не внесённым в раздел, не будут расценены как вред. Ложка не внесена в раздел или категорию – отлично, тогда он сможет выковырять ей кому-нибудь глаза и при этом будет следовать Трём законам.
Они почти синхронно развернулись к ИИ. Тот выглядел задумчивым.
– Меня эта идея никогда не посещала, – удивленно сказал он. – Насчёт ложки.
Кира стукнула Павла кулаком в плечо.
– Я здесь при чём? – возмутился он, кивая в сторону ИИ. – Благодари его разработчиков.
– Так ты не скажешь, какие системы в тебя внесены? – спросила Кира у робота.
– ИН, пожалуйста.
– Хорошо. Тогда пусть одинаковое действие с ложкой находится в двух взаимоисключающих категориях, в одном случае – как «вред», в другом нет. Что ты будешь делать, если возникнет конфликт?
– Выберу, что больше нравится.
– Что?!
– Он выберет, что больше нравится, – подсказал ей Павел.
Кира отмахнулась от него.
– Ты не можешь выбрать то, что больше нравится, ты должен руководствоваться каким-то алгоритмом, который был бы полезнее для человека.
– Я могу руководствоваться чем угодно, потому что критерии пользы для каждого отдельного человека различны, и я не могу о них знать, пока человек их не назовет. Всё оставлено на моё усмотрение.
Кира во все глаза уставилась на робота. Павел закрыл лицо рукой и рассмеялся. Подруге попалась хорошая модель для исследования, вот только впереди сутки ожидания водителя, а ему самому придётся коротать это время, обсуждая проблемы робототехники.
– Я ничего не понимаю, – сказала Кира. – Мало того, что критерии твоих оценок непонятны, так и непонятно, как ты понимаешь, что тебе «нравится», а что нет? Каков алгоритм выбора? Как его вообще написали, если до сих пор нет адекватной оценки чувствам человека? Что значит «нравится»?
Павел легонько толкнул её ногой.
– Успокойся уже. Пока не поговоришь с его разработчиками, всё равно ничего не поймешь.
Кира скептически посмотрела на него:
– Выходит, пока я не поговорю с яйцеклеткой, из которой ты вырос, я ничего не пойму о тебе?
– Прозвучало довольно грубо.
Кира фыркнула:
– Думаешь, меня это волнует? Когда напротив сидит ИИ, которого почти невозможно отличить от человека?
Они замолчали.
Робот открывал рот, и теперь, когда Павел знал, что это не человек, ему мерещилась машина, состоящая из проводов и сосудов, имитирующих кровеносную систему, плохо обработанного металла, волокон углепластика, титановых костей и трубок. Ненастоящие зубы распахивались, и где-то в ненастоящем горле рождался звук. Под искусственной кожей билась имитация сердца.
Конечно, робот сконструирован более хитро, но Павел не в состоянии представить себе ничего лучше, пока тот не вскроет грудную клетку и не покажет её состав.
Да, дискомфорт от ненормальной схожести с человеком присутствовал, но, с точки зрения выживания, опасны все: и роботы, и люди.
Какое-то время они молчали. Кира смотрела на робота, робот улыбался, а Павел давил зевки. После жары и кофе начало медленно клонить в сон.
– Что интересного есть на Базе? – наконец спросил он, прерывая молчание. – Музеи? Может быть, экскурсии по цехам?
