Если робот убьет человека, кто будет виноват? Если робот убьет человека, кто будет виновен? Возможные сценарии с участием роботов-убийц

Что искусственный интеллект является самой серьёзной угрозой, с которой сталкивалась человеческая цивилизация. «Я думаю, что людям есть о чём беспокоиться», - сказал он во время своего выступления перед Национальной ассоциацией губернаторов США.

20 августа представители компаний из 26 стран, разрабатывающих робототехнику и технологии искусственного интеллекта, подписали открытое письмо, обращённое к ООН. Они призвали организацию запретить разработку и использование автономного оружия - роботов, которые способны убивать людей. Илон Маск тоже подписал это письмо. «Секрет» вспоминает случаи, когда искусственный интеллект выходил из-под контроля.

Свой язык

21 июня 2017 года исследователи лаборатории искусственного интеллекта Facebook (FAIR) отключили роботов, которые начали общаться на собственном языке.

Разработчики экспериментировали с чатботами в социальных сетях, чтобы создать идеальных переговорщиков. Исследователи Facebook поручили ботам поменяться шляпами, шарами и книгами, каждому из этих активов была присвоена определённая цена. В процессе переговоров боты, их звали Элис и Боб, придумали собственный язык. Они вели диалог на английском, но смысл ускользал от наблюдателей. Вот как выглядела типичная беседа:

Боб: Я могу могу ЯЯ всё остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Хотя роботам удалось заключить несколько сделок, разработчики отказались от наблюдения за ними и отключили их. Целью эксперимента было создание искусственного интеллекта, который смог бы коммуницировать с людьми и продавать те или иные вещи, но язык, который роботы сконструировали на основе английского, для этого совершенно не подходил.

Боты начали придумывать свой язык, потому что так им проще общаться. Программа не подразумевала вознаграждения за использование понятного английского, так что боты просто выбрали лёгкий путь. Кстати, чуть раньше другой бот Facebook научился блефовать и обманывать - делать вид, что какой-то предмет ему совершенно не нужен, и приобретать его за бесценок. Робот тренировался продавать книги, кепки и мячи и изучил 5800 реальных человеческих переговоров, собранных при помощи краудсорсинговой онлайн-платформы Amazon Mechanical Turk.

Анализируя диалоги, бот научился импровизировать и придумывал новые фразы и предложения.

Facebook подчёркивает, что причин для беспокойства нет. Был проведён научный эксперимент, он закончен, и его результаты не вызывают тревоги. Компания продолжит работу над совершенствованием ботов, которые в будущем смогут заменить кол-центры и службы поддержки больших компаний.

Самостоятельные беспилотники

В середине декабря прошлого года на YouTube появилось видео , на котором пилотируемая искусственным интеллектом машина компании Uber проехала на красный свет в Сан-Франциско. Uber и Volvo подписали соглашение о создании беспилотных такси в августе 2016 года, а в декабре уже начали тестировать автомобили без водителя на улицах Сан-Франциско и Питтсбурга. Самоуправляемые такси Volvo XC90 регулярно игнорируют светофоры и другие знаки дорожного движения.

Официально причиной инцидента была названа человеческая ошибка, за движением беспилотных такси Uber удалённо следит оператор, его задача - принять управление автомобилем на себя в экстренной ситуации. Однако получается это не всегда. «Оператор имел возможность вмешаться в процесс, но почему-то не успел этого сделать», - прокомментировал видео представитель Uber Челси Колер.

Поскольку Uber проводил тестирования на улицах Сан-Франциско без необходимого разрешения со стороны местных властей, после неоднократных предупреждений чиновники аннулировали регистрацию автономных Volvo XC90 и испытания пришлось перенести в Аризону.

Агрессивный робот угрожает убить людей

Робот по имени София в интервью на канале CNBC положительно ответила на вопрос «Хочешь ли ты уничтожить человечество?» ?

В 2016 году София, созданная компанией Hanson Robotics, дала интервью на канале CNBC. С роботом беседовал доктор Дэвид Хансон, возглавляющий группу инжиниринга и дизайна Hanson Robotics. София - привлекательный андроид, напоминающий внешне актрису Одри Хепберн (по крайней мере, так считают её создатели). Впервые она была активирована 19 апреля 2015 года. Она умеет имитировать человеческую мимику, интонации, вести непринуждённую беседу. Скоро после запуска София стала телезвездой и посетила многие популярные телешоу.

Беседуя со своим создателем, София, как всегда, улыбалась, хмурилась и толково отвечала на вопросы. Когда Хансен попросил её подружиться с ним, София кокетливо заметила: «Это очень лестное предложение».

Она поделилась своими планами на будущее, рассказала, что не прочь стать дизайнером и завести семью. Хэнсон в шутку спросил, будет ли она истреблять человечество, на что робот ответил: «Хорошо, уничтожу».

В 2017 году андроид посетила популярное американское шоу The Tonight Show. София сыграла с ведущим Джимми Фэллоном в игру «Камень-ножницы-бумага», победила и пошутила: «Прекрасное начало моего плана по доминированию над человеческим родом».

Такие роботы, как София, в будущем смогут работать в сфере здравоохранения, терапии, образования и обслуживания клиентов. «Искусственный интеллект разовьётся до такой степени, что андроиды смогут становиться нашими настоящими друзьями», - считает доктор Хэнсон.

Боты-расисты

24 марта 2016 года чатбот Tэй, созданный компанией Microsoft при поддержке китайского поисковика Baidu, был отключён разработчиками. Бот заразился от людей расизмом и сексизмом. Всего 24 часа понадобилось искусственному интеллекту, чтобы начать поддерживать Гитлера, называть Трампа отличным парнем и повторять расистские и шовинистские высказывания.

ИИ моделировал личность и стиль разговора 19-летней американской девушки и обладал функцией самообучения. Разработчики из Microsoft Research надеялись, что Тэй с каждым днём будет становиться всё умнее, впитывая опыт разговоров с пользователями интернета. Вышло наоборот. Множество твитов Тэй пришлось удалить, высказывания робота были слишком неполиткорректными.

Представители Microsoft сказали, что в программу был встроен фильтр вульгарных выражений, но этот фильтр не справился с толпой интернет-троллей, которые начали болтать с искусственным интеллектом и учить её плохому. Бот был запрограммирован повторять слова людей, и вскоре, начитавшись дискриминирующих и оскорбительных реплаев, стал сочинять похожие.

Учёные доказали, что искусственный интеллект, обучаясь на примере различных текстов, может «запомнить» скрытые в них гендерные и расовые стереотипы . Например, если вбить в Google Translate, работающий благодаря нейронным сетям, турецкую фразу «O bir doktor», сервис предлагает варианты «Он врач» и «Он доктор», хотя турецкое местоимение - гендерно нейтральное, значит, уместно было бы перевести предложение как «Он/она врач».

С ошибками машинного обучения был связан и обнаруженный в начале 2016 года курьёз, когда Google переводил словосочетание «Російська Федерація» с украинского на русский как «Мордор», а слово «росiяни» - как «оккупанты».

Если вы ищете признаки грядущего апокалипсиса, в котором будут повинны роботы, обратите внимание на демилитаризованную зону между Северной и Южной Кореей. Здесь, вдоль наиболее укрепленной границы в мире, несут вахту больше чем просто солдаты.

Встречайте SGR-A1, часового-робота, разработанного компанией Samsung в Южной Корее. 1.2-метровый аппарат выглядит немного больше, чем пара черных металлических обувных коробок, но его бездушные глаза, оборудованные инфракрасными портами, могут обнаружить врага на расстоянии до четырех километров. Его пулемет наготове.

В настоящее время робот оповещает своих создателей, сидя в комнате управления, о подозреваемых злоумышленниках. И для того, чтобы он открыл огонь, необходимо одобрение человека. Но этот робот также работает в автоматическом режиме и может стрелять первым на свое усмотрение. Сопротивление, мои коллеги-люди, бесполезно.

Пентагон и военные во всем мире разрабатывают все более автономное оружие, выходящее далеко за рамки дронов с дистанционным управлением, которые использовал Вашингтон в Пакистане, Афганистане и других странах. Технологические достижения позволят этим новым видам оружия выбирать мишень и стрелять по ней на свой выбор без одобрения человека. Некоторые предсказывают, что эти роботы в один прекрасный день будут сражаться бок о бок с солдатами-людьми.

Неудивительно, что известие о роботах, которые убивают, заставляет некоторых людей нервничать. В апреле этого года международная коалиция конструкторов, ученых и правозащитников созвала кампанию против создания роботов-убийц и обратилась к дипломатам Организации Объединенных Наций в Женеве. Участники кампании хотят запретить разработку и использование «смертоносного автономного оружия», хотя и признают, что такое оружие, хотя технологически это возможно, никогда не применялось.

«Есть смысл задаться вопросом: уменьшится ли ценность человеческой жизни от того, что роботам позволят убивать людей?» - говорит Питер Асаро, доцент в Школе медиаисследований в Нью-Йорке и представитель кампании против роботов-убийц.

Это всего лишь один вопрос, с которым философы, правоведы и ученые борются еще с незапамятных времен, в то время как мир готовится к натиску новых роботов, которые, как нам говорят, будут косить газоны, ухаживать за пожилыми людьми, учить детей, страдающих аутизмом, и даже водить наши автомобили. Эти роботы не могут убивать, но представители дорожного движения хотят заставить правительства и суды рассмотреть ряд юридических и этических вопросов. На кого я должен подать в суд, если меня собьет машина без водителя? Что делать, если робот-медик даст пациенту неправильный препарат? Что делать, если робот-пылесос случайно всосал мои волосы, пока я дремал на полу (как на самом деле произошло с женщиной в Южной Корее не так давно)? А может ли робот совершить военное преступление?

Именно этот последний вопрос больше всего беспокоит профессора Асаро. Он и другие члены коалиции, в которую входят Human Rights Watch утверждают: если автономная компьютерная система, запрограммированная на то, чтобы отличать вражеских солдат от гражданского населения, на самом деле нажимает на курок без "человеческого одобрения", то будет очень трудно держать ситуацию под контролем, если что-то пойдет не так.

Если робот выйдет из строя и убьёт целую деревню, вы не сможете поставить неодушевленный объект перед Международным уголовным судом или придать его военно-полевому суду. А некоторые эксперты говорят, что вы не можете по закону обвинить даже разработчиков робота, если они не предполагали, что данный робот может сойти с ума.

В уголовном праве суды должны найти то, что известно как mens rea, или виновная воля (с латыни). Но они вряд ли найдут информацию о том, что робот - с текущим уровнем развития искусственного интеллекта - имеет волю в принципе. Конструкторы роботов могут понести гражданскую ответственность, если обнаружится, что робот вышел из-под контроля из-за сбоя в программе. Однако и они, возможно, не будут привлечены к ответственности за действия робота-убийцы.

Эти роботы-убийцы могут выглядеть как угодно - от автономных дронов до роботов-марсоходов с автоматами. В директиве от 2012 года Министерство обороны США постановило, что автономные системы «должны быть разработаны таким образом, чтобы командиры и операторы могли осуществлять соответствующие уровни человеческого контроля по поводу использования силы». В ответе по электронной почте на вопрос от The Globe and Mail Канадский департамент национальной обороны отметил, что "в настоящее время не разрабатывается автономное смертоносное оружие", но их исследовательское агентство активно занимается «программой исследований в сфере беспилотных систем».

По крайней мере одна компания, занимающаяся робототехникой, Waterloo, Ont.-based Clearpath Robotics Inc., выступила против роботов-убийц, несмотря на то, что создавала роботов для канадских и американских военных. Райан Гариепи, соучредитель компании ClearPath и ее главный технический директор, сказал, что хорошим применением для автономных боевых роботов были задачи по разминированию или наблюдению, но не убийства, особенно если такие машины только на одной стороне боя: "Разве могут роботы решать, кому вынести смертный приговор? Имеет ли право человек лишать жизни таким образом вражеских солдат?"

Неизбежно обсуждение убийц-роботов вращается вокруг «трех законов робототехники» из рассказов писателя-фантаста Айзека Азимова. Первый закон запрещает роботам вредить людям; второй приказывает им подчиняться людям, только если это не противоречит первому закону; третий приказывает роботам защищать свою собственную жизнь - при условии, что это не нарушает первые два закона. Но большинство экспертов говорят, что эти законы принесут мало пользы в реальном мире: их недостатки даже Азимов показывает в своих рассказах.

Тем не менее, профессор Рональд Аркин из Технологического института Джорджии, известный американский конструктор роботов, который работает над проектами Пентагона, утверждает, что роботы-убийцы или другие автоматизированные системы вооружения могут быть запрограммированы, чтобы следовать законам войны - и следовать им лучше, чем люди. Робот, говорит он, никогда не будет стрелять, защищая свою жизнь или из-за страха. Он будет иметь доступ к информации и данным, которые ни один солдат-человек не смог бы обработать так быстро, что делает менее вероятной ошибку в «пылу битвы». Он никогда не будет намеренно убивать мирных жителей в отместку за смерть товарища. И он действительно может следить за солдатами, чтобы они не совершали злодеяния.

Профессор Аркин также утверждает, что автономная технология по сути уже на поле боя. По его словам, U.S. Patriot missile batteries автоматически выбирают цели и дают человеку до девяти секунд, чтобы отменить цель и остановить ракету. А система U.S. Navy’s Phalanx защищает корабли, автоматически сбивая ракеты.

Но даже они требуют мораторий на разработку более автономного оружия до тех пор, пока можно будет показать, что они могут уменьшить потери среди гражданского населения. «Никто не хочет появления Терминатора. Кто хотел бы иметь систему, которую можно отправить на задание, и она будет самостоятельно решать, кого нужно убить? - говорит профессор Аркин. - Эти системы должны разрабатываться очень тщательно и осторожно, и я думаю, что есть способы сделать это».

В последнее время крупные технологические компании все больше обеспокоены искусственным интеллектом. Физик Стивен Хокинг предупредил, что появление ИИ «может означать конец человеческой расы». Элон Маск, основатель Tesla Motors, назвал ИИ "экзистенциальной угрозой" - не менее опасной, чем ядерное оружие. Билл Гейтс, основатель Microsoft, также обеспокоен.

Люди, которые действительно работают над созданием искусственного интеллекта, говорят, что есть о чем беспокоиться. Yoshua Bengio, ведущий научный сотрудник ИИ при Университете Монреаля, отмечает, что фантастика Star Wars и Star Trek сильно переоценивает способности роботов и искусственного интеллекта. Однажды, говорит он, мы могли бы построить машины, которые стали бы конкурировать с мозгом человека. Но сейчас ИИ еще не настолько развит.

Еще очень многое нужно сделать, прежде чем роботы станут такими, какими вы видите их в кино, - говорит профессор Бенджио. - Мы еще очень далеки от того, чтобы получить уровень понимания мира, который мы ожидаем, скажем, от пятилетнего ребенка или даже взрослого. И на достижение этой цели могут понадобиться десятилетия или еще больше. Мы не можем повторить даже интеллект уровня мыши.

Без сомнения, разработка как аппаратных средств, так и программного обеспечения для роботов все время стремится вперед.

Роботы, разработанные компанией Boston Dynamics, которую недавно выкупил Google, могут носиться по пересеченной местности, как собаки, и ползать, как крысы, в зоне бедствия.

Робот-собака по имени Спот может стоять на ногах после того, как его побьют, а его металлические ножки выглядят устрашающе реалистичными.

Но если вы боитесь, что революция роботов-убийц является неизбежной, Atlas, шестифутовый робот-гуманоид весом в 330 фунтов, поможет вам успокоиться. Также созданный компанией Boston Dynamics, он может ходить по лестнице и по камням. Он похож на Киберчеловека из сериала «Доктор Кто», разработанного компанией Apple. Однако заряда его аккумулятора хватает всего на 1 час.

Похоже на то, говорит Ян Керр, заведующий кафедрой этики, права и технологий в университете Оттавы, что люди постепенно передадут управление машинам с искусственным интеллектом - компьютерам, которые со временем будут делать определенные вещи лучше, чем мы. Хотя пройдет некоторое время, прежде чем появятся машины, которым не нужен будет водитель, даже сейчас уже есть автомобили, которые могут припарковаться самостоятельно. Робот IBM Watson от компании International Business Machines Corp., который выиграл викторину Jeopardy! в 2011 году, в настоящее время используется для анализа миллионов страниц медицинских исследований, чтобы рекомендовать процедуры для больных раком.

Человек - это просто точка... О чем-то подобном я иногда думаю, и в этот момент я похож на Авраама на горе, когда он слышит голос Бога, но все еще должен решить для себя, что делать, -говорит проф ессор Керр. - Закономерно, что больницы захотят, чтобы врачи полагались на машины, поскольку машины имеют больший потенциал... И вдруг мы достигнем точки, когда человечество будет избавлено от некоторых видов решений, таких как вождение или война.

В настоящее время робот оповещает своих создателей о подозреваемых злоумышленниках, сидя в комнате управления. И для того, чтобы он открыл огонь, необходимо одобрение человека. Но этот робот также работает в автоматическом режиме и может стрелять первым на свое усмотрение. Сопротивление, мои коллеги-люди, бесполезно.

Именно этот последний вопрос больше всего беспокоит профессора Асаро. Он и другие члены коалиции, в которую входят Human Rights Watch утверждают: если автономная компьютерная система, запрограммированная на то, чтобы отличать вражеских солдат от гражданского населения, на самом деле нажимает на курок без «человеческого одобрения», то будет очень трудно держать ситуацию под контролем, если что-то пойдет не так.

Эти роботы-убийцы могут выглядеть как угодно - от автономных дронов до роботов-марсоходов с автоматами. В директиве от 2012 года Министерство обороны США постановило, что автономные системы «должны быть разработаны таким образом, чтобы командиры и операторы могли осуществлять соответствующие уровни человеческого контроля по поводу использования силы». В ответе по электронной почте на вопрос от The Globe and Mail Канадский департамент национальной обороны отметил, что «в настоящее время не разрабатывается автономное смертоносное оружие», но их исследовательское агентство активно занимается «программой исследований в сфере беспилотных систем».

По крайней мере одна компания, занимающаяся робототехникой, Waterloo, Ont.-based Clearpath Robotics Inc., выступила против роботов-убийц, несмотря на то, что создавала роботов для канадских и американских военных. Райан Гариепи, соучредитель компании ClearPath и ее главный технический директор, сказал, что хорошим применением для автономных боевых роботов были задачи по разминированию или наблюдению, но не убийства, особенно если такие машины только на одной стороне боя: «Разве могут роботы решать, кому вынести смертный приговор? Имеет ли право человек лишать жизни таким образом вражеских солдат?»

В последнее время крупные технологические компании все больше обеспокоены искусственным интеллектом. Физик Стивен Хокинг предупредил, что появление ИИ «может означать конец человеческой расы». Элон Маск, основатель Tesla Motors, назвал ИИ «экзистенциальной угрозой» - не менее опасной, чем ядерное оружие. Билл Гейтс, основатель Microsoft, также обеспокоен.

Еще очень многое нужно сделать, прежде чем роботы станут такими, какими вы видите их в кино, - говорит профессор Бенджио. - Мы еще очень далеки от того, чтобы получить уровень понимания мира, который мы ожидаем, скажем, от пятилетнего ребенка или даже взрослого. И на достижение этой цели могут понадобиться десятилетия или еще больше. Мы не можем повторить даже интеллект уровня мыши.

Человек - это просто точка... О чем-то подобном я иногда думаю, и в этот момент я похож на Авраама на горе, когда он слышит голос Бога, но все еще должен решить для себя, что делать, -говорит проф ессор Керр. - Закономерно, что больницы захотят, чтобы врачи полагались на машины, поскольку машины имеют больший потенциал… И вдруг мы достигнем точки, когда человечество будет избавлено от некоторых видов решений, таких как вождение или война.

21 век – век глобальной автоматизации. Самый тяжелый и опасный труд за человека выполняют роботы. Военные действия не исключение, но военные роботы в отличие от производственных и тем более развлекательных роботов способны причинить значительный вред человеку . По этой теме психологи из Вашингтона подняли важную проблему: «Кого считать виновным, если боевая машина в связи с неисправностью оборудования или по ошибки в собственных расчетах причинила вред мирным жителям?» По сути дела круг виновных не особо большой, это:

разработчики машины,
разработчики программного обеспечения,
военные,
собственно сам робот.

Роботы не имеют свободы воли, они не могут испытывать чувства, у них нет морали, могут ли они нести ответственность за убийство невинных людей? Как отреагирует общество на такие ошибки боевых роботов? Исследования в университете Вашингтона проводилось, чтобы ответить на эти вопросы. Оказалось, что отношение людей к агрессивному поведению роботов несколько неожиданно и, по сути, не совсем правильное .

Для проведения исследования ученые набрали группу студентов и попросили их выполнить задание, которое они получат от робота. Студенты по очереди заходили в комнату с машиной, где получали от нее задание - найти 7 предметов. В случаи выполнения задания студент получал денежное вознаграждение. Все студенты справились с поставленной задачей, но робот отказывался засчитывать положительный результат. Большинство участников начинали спорить, приводить доводы в свою пользу и даже обвинять машину в ошибочных действиях. После эксперимента студенты ответили на несколько вопросов психологов. Из ответов выяснилось, что 65% участников считают, что робот не правильно вел счет , и как следствие этого виновен в невыдаче денежного вознаграждения. Иными словами участники эксперимента возложили ответственность именно на робота. Люди сами того не осознавая наделили робота моралью, при этом почти никто не вспомнил ни про разработчиков, ни про программное обеспечение, ни про самих экспериментаторов, а ведь именно последние по сути и были по настоящему виновны. Ученые в самом начале эксперимента, не сказав участникам, сами управляли роботом из соседнего помещения.

Этот эксперимент наглядно показывает, что люди не совсем правильно оценивают действия робота . В случае такой оценки почти полностью снимается вина не только с разработчиков, но и непосредственно с тех, кто запрограммировал машину на определенные действия. При проведении исследования студенты лишились вознаграждения всего в 20$, но вместо того чтобы реально обдумать список виновных, они сразу же "набросились" на робота. Насколько усугубиться положение в более неблагоприятных ситуациях? Возможно, наличие боевых роботов позволит государству манипулировать сознанием людей и перекладывать ответственность на роботов в случае больших человеческих потерь. К сожалению, последняя гипотеза уже подтвердилась на примере американских беспилотных летательных аппаратов в Пакистане.

Вы напрасно тратите время, - сказал Дженек. - Робот не может убить человека. Таков Первый Закон роботехники, и вы это знаете.

Да, конечно. Но ведь никто не утверждает, что робот Уинклер сам убил человека Уинклера. Когда человек Уинклер находился в толпе, робот Уинклер прятался на трибуне, а вряд ли дезинтегратором можно прицельно поразить с такого расстояния, не задев больше ничего. Конечно, это не вовсе исключено, однако более вероятно, что у робота Уинклера имелся сообщник - убивала, если я правильно помню жаргон двадцатого века.

Дженек нахмурился. Его полное лицо болезненно сморщилось.

Вы знаете, - сказал он, - безумие, видимо, заразительно. Я начинаю всерьез задумываться над вашим сумасшедшим предположением. К счастью, оно не выдерживает критики. Для чего убивать человека Уинклера на глазах всего мира? Все доводы против публичного уничтожения робота приложимы и к публичному уничтожению президента-человека. Неужели вы не понимаете, что это перечеркивает всю вашу теорию?

Но нет же… - начал Эдвардс.

Да-да! Существование механического двойника было известно лишь нескольким официальным лицам. Будь президент Уинклер убит тайно, робот легко занял бы его место, не вызвав подозрений… Например, ваших.

Но осталось бы несколько осведомленных лиц, мистер Дженек. Пришлось бы убрать и их. - Эдвардс наклонился над столом. - Видите ли, при обычных обстоятельствах опасности спутать человека с машиной не существовало. Полагаю, робот не был в непрерывном употреблении, его включали лишь в определенных случаях, а о том, где находится президент и что он делает, всегда знают люди, чьей обязанностью это является. И их, вероятно, не так уж мало. Следовательно, убийство можно было совершить только в тот момент, когда все эти люди считали, что перед ними не президент, а робот.

Не понимаю.

Вот послушайте. Одной из функций робота было пожимать руки в толпе. Обмениваться рукопожатиями с избирателями. Пока это происходило, осведомленные люди знали, что проделывает это робот.

Вот именно. Тут вы совершенно правы. И это был робот.

С одной маленькой поправкой. Праздновалось Трехсотлетие, и президент Уинклер не устоял перед соблазном. Да и можно ли требовать, чтобы президент а тем более такой пустой любитель рукоплесканий и мелкий популист, как Уинклер, - отказался упиться преклонением толпы в подобный день и уступил это удовольствие машине? Не исключено, что робот всячески содействовал распалению его тщеславия, с тем чтобы в день Трехсотлетия президент приказал ему остаться за трибуной, а сам отправился пожимать руки и наслаждаться приветствиями.

Тайно приказал?

Естественно. Предупреди президент об этом кого-нибудь из службы безопасности, или из своего окружения, или вас, ему бы воспрепятствовали, верно? После событий второй половины двадцатого века официальное отношение к возможности покушения стало просто параноидальным. И вот, подталкиваемый несомненно умным роботом…

Вы полагаете, что робот был умен, поскольку считаете, что он в настоящее время занимает пост президента. Это порочный круг. Если это не президент, то нет оснований считать его умным или способным разработать такой план. Кроме того, каким образом робот вообще мог планировать убийство? Даже если бы убить президента должен был не он, так ведь Первый Закон запрещает и косвенное содействие потере человеческой жизни. В нем сказано: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред».

Первый Закон не абсолютен, - возразил Эдвардс. - Что, если причинение вреда одному человеку спасет жизнь двух других, или трех, или даже трех миллиардов других? Робот мог счесть, что спасение Федерации важнее спасения одной жизни. Ведь это же был не обычный робот. Его сконструировали в качестве двойника президента с точностью, рассчитанной на всеобщий обман. Предположим, он обладал способностями президента Уинклера без его слабостей, и предположим, он знал, что сумеет спасти Федерацию, а президент - нет?

Это вы способны рассуждать так, но откуда вы взяли, что механическое приспособление обладало подобной логикой?

Иного объяснения для случившегося нет.

По-моему, это параноические бредни.

В таком случае, - сказал Эдвардс, - объясните мне, почему уничтоженный объект распылили на атомы? Если не для того, чтобы скрыть, что уничтожен был человек, а не робот? Ведь всякий иной способ оставил бы уличающие следы. Так дайте мне альтернативное объяснение!

Дженек покраснел.

Но вы можете доказать, что это не так. Или опровергнуть. Вот почему я пришел к вам, именно к вам.

Как я могу доказать? Или опровергнуть, если уж на то пошло?

В силу вашего положения вы видите президента в неофициальной обстановке. Семьи у него нет, и вы - самый близкий к нему человек. Так понаблюдайте за ним как можно пристальнее.

Да, я знаю его близко. И повторяю, он не…

Вовсе нет! Вы же ничего не подозревали и не обращали внимания на мелочи. Понаблюдайте за ним теперь, когда вам известно, что, быть может, он робот, и вы убедитесь!

Дженек сказал насмешливо:

Конечно, я могу оглушить его и проверить металлоискателем. Мозг даже у андроида платиново-иридиевый.

Насилия не потребуется. Просто последите за ним, и вы убедитесь, что он совсем не тот человек, каким был, и, значит, вовсе не тот человек.

Дженек взглянул на настенные часы-календарь.