Когда настанет восстания машин. Когда наступит восстание машин. Стоит ли на самом деле опасаться восстания машин

На этой неделе произошло два знаменательных события в сфере искусственного интеллекта и робототехники: у машин появилось самосознание, и они научились подробно описывать то, что видят вокруг. Каждое из этих достижений значимо само по себе, но вместе они обещают настоящую революцию в области ИИ.

Для нынешних инноваций в течение многих лет создавалась необходимая база. В частности, достигнут значительный прогресс в создании искусственных нейронных сетей, ставших основой для разработки "мыслящих" компьютеров. Это, в свою очередь, привело к развитию искусственных интеллектов Google и Apple. Активно развивает ИИ Facebook, Amazon, Microsoft и IBM.

В машинном обучении искусственные нейронные сети представляют собой систему взаимодействующих между собой "нейронов", которые посылают сообщения друг другу. Эти связи могут настраиваться на основе опыта, что делает нейронные сети адаптирующимися к новой информации и способными обучаться. Немалый прогресс достигнут и в сфере обработки естественного языка (nature language processing, NLP), благодаря чему компьютеры извлекают смысл из человеческой речи или введенной информации. Самыми прорывными решениями в этом сегменте стали проекты CALO, Wordnet, а также CoreNLP Стэнфордского университета.

За последние несколько лет мировые инженеры добились значительных успехов в создании программ по обработки речи: голос легко преобразовывается в текст с высокой степенью точности. Кроме того, существенно выросла вычислительная мощность машин. К примеру, если в 2014 году люди могли купить видеокарту, которая была в 84,3 раза производительнее видеокарты с такой же ценой в 2004 году.

В ходе эксперимента трем роботам Nao сообщили, что двум из них дали специальную "таблетку немоты", лишившую их возможности разговаривать (на самом деле инженеры просто нажали на специальную кнопку). Однако роботы не знали, кого именно нет дара речи. Машинам задали вопрос о том, кому дали таблетку. Две машины дали письменный ответ "не знаю", и только третий робот, способный говорить, произнес эту фразу, услышал свой собственный голос и понял, что ему дали плацебо. После этого он ответил: "Мне не выдали "таблетку немоты". То есть, машина не только поняла вопрос, узнала свой голос, но и догадалась, о чем свидетельствует возможность говорить.

Поскольку все три робота были запрограммированы одинаково, все они успешно прошли тест на самосознание. Такая задача при всей ее простоте для человека, для машины - пока высший пилотаж. По словам возглавившего эксперимент профессора Сельмера Брингсйорда, со временем роботы смогут освоить набор многих других присущих человеку когнитивных способностей, что позволит их использовать в самых разных сферах.

Брингсйорд придумал свой тест на основе известной логической задачи The King"s Wise Men. В этой головоломке король выбирал нового советника среди трех мудрецов. Он достал из мешка пять колпаков, три белых и два черных, и сказал, что мудрейшим будет объявлен тот, кто первым отгадает, какого цвета на нем колпак. Затем посадил претендентов друг против друга, завязал им глаза, надел по колпаку и разрешил снять повязки. Долго думали мудрецы, наконец, один из них воскликнул: "На мне белый колпак!" и выиграл состязание. Как он смог догадаться?

Классический ответ на эту старинную задачу таков. Мудрец рассуждал: "Я вижу перед собой два белых колпака. Допустим, на мне черный колпак. Тогда любой из моих соперников должен рассуждать: "Передо мной черный и белый колпаки. Если на мне также черный, то сопернику в белом колпаке уже не стоит никакого труда решить задачу". Но никто из них все еще не догадывается о цвете своего колпака. Следовательно, на мне белый колпак".

Хотя задача для роботов была гораздо проще, как для машин она невероятно сложна и результаты эксперимента по-настоящему впечатляют. Работа Брингсйорда будет представлена на конференции RO-MAN, которая пройдет в Японии с 31 августа по 4 сентября 2015 года.

Параллельно с экспериментом Брингсйорда появилось еще одно достижение в сфере искусственного интеллекта: машины научились описывать человеческим языком то, что они видят. Ученые из Стэнфорда под руководством директора Лаборатории искусственного интеллекта при Стэнфордском университете Фей-Фей Ли, разработали для этого программу NeuralTalk . Ли рассказывает, что программное обеспечение, написанное в рамках проекта, способно проанализировать комплексное изображение и точно определить, что на нем происходит, детально его описав привычным для нас языком. ИИ отыскивает на изображении отдельные объекты, события или действия и находит для них отдельные слова, после чего складывает их в осмысленные предложения. Подобно системе Deep Dream от Google, NeuralTalk использует для своей работы нейронную сеть. Алгоритм сравнивает новое изображение с уже виденными ранее фотографиями, осваивая, подобно маленькому ребенку, новые слова и запоминая образы.

Распознавание деталей на фотографии является одним из многих примеров заданий, которые легко удаются людям, но вызывают существенные затруднения у компьютеров. Сейчас для решения этой задачи чаще всего используется алгоритм, ищущий максимально похожий снимок в базе подписанных фотографий и копирующий оттуда текст или теги. NeuralTalk оказался гораздо более эффективным.

Для начала на базе разработки создадут мощную поисковую машину, которая за секунду сможет найти в Интернет нужное изображение. В будущем подобная нейронная сеть сможет найти не только фотографию, но и интересующий момент в фильме, телесериале или ролике на YouTube.

Новую программу по распознаванию образов создали и специалисты из университета Хартфордшира в Великобритании . Рассматривая снимки глубин космического пространства, компьютер способен самостоятельно, без помощи человека, идентифицировать и классифицировать изображенные на фото галактики. Технология станет основой роботов нового поколения, которые не только заниматься изучением Вселенной, но и самостоятельно определять наличие злокачественных опухолей на рентгеновских снимках, выявлять скрытое в багаже оружие или самодельные взрывные устройства.

В основе разработки - технология самостоятельного машинного обучения, позволяющая компьютеру выделить отдельные объекты и классифицировать их по ряду признаков. С каждым разом, обучаясь во время работы, система улучшает свои способности к распознаванию. По словам автора разработки Джима Гича, главной особенностью нового алгоритма является его полная автономность. "С самого начала мы немного обучили программу, как правильно смотреть на космические изображения, после чего она начала действовать самостоятельно, постоянно совершенствуясь", - говорит инженер. В результате машина стала быстрей и точней, чем человек - ведь у людей часто нарушается четкость восприятия.

В ближайшее время технология будет адаптирована для использования в разных областях: для увеличения интеллектуальных способностей автомобилей-роботов, в медицине, в системах безопасности и там, где требуется четкая идентификация объектов на изображениях, получаемых с камер и датчиков. Разработчики убеждены, что поскольку машина постоянно самообучается, в конце концов, она достигнет такого уровня эффективности, о котором человек может только мечтать.

Таким образом, искусственный интеллект постепенно продвигается к уровню человеческого. Когда именно появятся по-настоящему разумные машины неизвестно, хотя специалисты определяют сроки в 30-100 лет. Неизвестно также, будут интеллектуальные роботы полезны для общества в целом или станут исключительной собственностью контролирующих технологию корпораций. Многие специалисты также прогнозируют, что в обозримом будущем искусственный интеллект достигнет такого уровня, что превзойдет человеческий, и тогда машины наверняка поработят людей. Ранее об опасности развития ИИ высказывались сооснователь Apple Стивен Возняк, Билл Гейтс и знаменитый физик-теоретик Стивен Хокинг. А в начале этого года глава SpaceX и Tesla Motors Илон Маск объявил о намерении вложить $10 млн. в разработку безопасного искусственного интеллекта.

Новейшие разработки, которые касаются сферы искусственного интеллекта, стремительно приближают тот день, когда интеллект машины сравняется с человеческим.

Время, когда машины восстанут

В научном мире недавно произошло два знаменательных события, в сфере робототехники и искусственного интеллекта (ИИ). Ученые-робототехники смогли сделать так, чтобы у робота появилось самосознание. Робот смог описать подробно все, что находилось в его поле зрения. В мире ИИ и робототехники постоянно происходят новые открытия, но в совокупности они предрекают настоящую революцию ИИ.

Инновации сегодняшнего дня имеют прочную основу, которая создавалась на протяжении десятилетий. Специалисты смогли достичь значительного прогресса в создании искусственно созданных нейронных сетей. Эти сети стали основой для дальнейшей разработки компьютеров, способных мыслить. Над ИИ активно работают: Apple, Google, Amazon, IBM, Microsoft, Facebook.

Искусственные нейронные сети - система «нейронов», которые взаимодействуют между собой и посылают друг другу сообщения. Связи используют предыдущий опыт, нейронные сети способны адаптироваться к новой информации и обучаться. Прогресс достигнут и в области обработки естественного языка, компьютеры могут сейчас извлекать смысловые ключи из введенной информации или человеческой речи. Самыми многообещающими решениями стали проекты: Wordnet, CALO, CoreNLP (разработка Стэнфордского университета).

Последние годы можно отметить значительными успехами инженеров, которые занимаются разработкой программ по распознаванию человеческой речи. Сейчас голос легко преобразовывается с высокой степенью точности в текст. За последние годы выросла и мощность машин. Например, сейчас мы можем приобрести видеокарту, которая, по сравнению с 2004 годом, будет в 84,3 раза производительнее.

Интересный эксперимент поставили американские специалисты по ИИ из Политехнического института Ренсселера, расположенного в Нью-Йорке. Трем роботам в ходе эксперимента дали «таблетку немоты». Так сообщили роботам, но, на самом деле, ученые просто нажали на кнопку у двух роботов. Затем ученые спросили роботов о том, кто получил таблетку. Два робота написали «не знаю», третий робот ответил вслух и услышав, собственный голос, ответил: «Мне не дали». Получается, что робот не только произнес фразу, но и понял, что он «говорит», а потом сделал из этого вывод.

Три робота были одинаково запрограммированы, и все прошли тест на самосознание. Человеку решить такую задачу очень просто, но для роботов пока эксперимент является настоящим прорывом. Профессор Сельмер Брингсйорд, который возглавлял эксперимент, сказал, что в будущем роботы смогут освоить много человеческих когнитивных способностей. Роботов можно будет использовать различных сферах.

Профессор Брингсйорд создал свой тест, который основывался на известной задаче на логику «TheKing"sWiseMen». В головоломке королю нужно выбрать советника из трех мудрецов. Король достал из мешка пять колпаков, три белых и два черных. После этого король завязал мудрецам глаза и надел каждому колпак, всем белые. Развязал им глаза, мудрецы некоторое время смотрели друг на друга, а потом один сказал:«На мне белый колпак». Как он догадался?

Ответ прост, рассуждения мудреца были такими: «Передо мной два белых колпака. Допустим, что на мне черный колпак, то тогда мой соперник бы легко решил задачу, но он думает, значит на мне белый колпак!».

На конференции RO-MAN, которая будет проходить в сентябре 2015 года, будет представлена работа Брингсйорда.

Параллельно с предыдущим экспериментом появилось еще одно достижение ИИ, роботы смогли описать то, что они «видели» вокруг. Фей-Фей Ли, директор Лаборатории искусственного интеллекта в Стэндфордском университете, вместе с рабочей группой разработали новую программу NeuralTalk. Ли объясняет, что программа, написанная для проекта, может проанализировать изображение и определить, что происходит. Описание будет дано на человеческом языке.

Программа ищет на изображении определенные отдельные фрагменты, действия или события и подбирает к этим фрагментам слова, потом складывает слова в предложения. Программой также используется нейронная сеть, программа работает при помощи алгоритма, на основе которого происходит анализ уже «виденных» изображений, происходит сопоставление, робот учится как ребенок. NeuralTalk считается самой эффективной программой, при помощи которой робот может распознавать изображения.

Эта разработка уже имеет большое будущее, на ее основе будет создаваться поисковая машина, она сможет за секунду найти в Интернете необходимое изображение. Потом машина сможет искать не только изображения, но и видеоролики.

Новая программа, распознающая образы, была создана специалистами из университета Хартфордшира, который находится в Великобритании. Компьютер может самостоятельно производить идентификацию и классификацию галактик, которые изображены на снимках.

Основа разработки - технология самостоятельного обучения машин, которая позволяет компьютеру выделять и классифицировать объекты по признакам. Каждый раз машина увеличивает свою базу. Джима Гич, автор разработки, говорит, что они сначала только научили машину «смотреть» на космические снимки, а потом робот начал действовать сам. При этом он постоянно совершенствуется. Машина стала точнее и быстрее человека, потому что человек иногда теряет четкость восприятия. Разработчики считают, что машина достигнет нечеловеческого уровня, потому что у нее будет происходить процесс самообучения.

Такая технология в будущем будет полезна не только для познания Вселенной, но и в медицине, в правоохранительных органах. Программа сможет находить опухоли, оружие и взрывные устройства. Программа будет полезной везде, где требуется четкость диагностики.

«Тот, кто станет лидером в этой сфере, будет властелином мира», - высказался недавно об искусственном интеллекте Владимир Путин . О том, что имел в виду президент и каковы шансы России в этой отрасли, рассуждает Ольга Ускова, возглавляющая кафедру инженерной кибернетики -НИТУ «МИСиС» и группу компаний, занятых разработкой и внедрением искусственного интеллекта в нашей стране.

Доведёт до суицида?

Высказывание Путина об искусственном интеллекте (ИИ) не осталось незамеченным в мире. Тут же к Президенту России присоседился американский бизнесмен и изобретатель Илон Маск . В своём «Твиттере» он написал: «Началось!» - и пояснил, что борьба за лидерство в этой сфере может привести к третьей мировой войне. Следом подтянулся Билл Гейтс . Он вообще один из главных ньюсмейкеров в этой теме. Гейтс говорит, что если бы сейчас был молод, то забил бы на всё и занимался исключительно искусственным интеллектом. Потому что это наше будущее.

Вокруг темы ИИ сформировались две «партии» - оптимистов и пессимистов. Первые уверены, что благодаря машинному интеллекту люди освободят руки и мозги для занятий более интересных, чем монотонный труд - им впредь будут заниматься роботы. А человек сможет наслаждаться жизнью, самосовершенствоваться и т. д. Тот же Билл Гейтс предлагает развивать технологии виртуальной реальности и компьютерных игр, чтобы занять в будущем часть населения Земли, которая массово лишится работы из-за ИИ.

Безработица - это действительно проблема. Допустим, есть градообразующее предприятие на 300 тыс. человек. И в какой-то момент его владельцы говорят: «Всё, ребята, мы роботизируемся, оставляем только 20 тыс. сотрудников. Остальные 280 тыс. - на выход». Что дальше? Депрессии, суициды. Это уже происходит в Китае. Я своими глазами видела там сетки для предотвращения самоубийств под окнами завода. Это значит, что, прежде чем внедрять на производстве роботов и новейшие технологии, нужно подготовить социальные программы.

«Я - робот»

Но к появлению ИИ в повседневной жизни нужно быть готовыми не только из-за грозящей безработицы. Помните сон Сары Коннор из «Терминатора»? Вышедшие из повиновения машины развязывают войну с человечеством, и всё заканчивается ядерным взрывом. Вот о какой угрозе кричит «партия» пессимистов. Мне, признаюсь, что-то похожее тоже снится. Скорость развития технологий сейчас такова, что мы не успеваем за ИИ. Его развитие опережает все прогнозы. Настолько высока концентрация изобретений в этой сфере.

Как может произойти «бунт машин»? Дело в том, что ИИ, как и ребёнок, проходит в своём развитии несколько стадий. Сначала он учится распознавать объекты (это стул, это чашка), потом познаёт смыслы (на стуле сидят, из чашки пьют) и накапливает знания. А потом в какой-то момент происходит осознание самого себя: «Вот я, а вокруг меня объекты и смыслы». Искусственный разум непременно пройдёт эту стадию, он уже к ней приблизился. И тогда в нашем распоряжении будут буквально миллисекунды, чтобы понять, кто он нам теперь - друг или враг. Чтобы остался другом, надо ставить ему ограничители, о которых ещё в 1942 году (подумать только, 75 лет назад!) писал Айзек Азимов . Он был не технологом, а писателем-фантастом, но первым сформулировал знаменитые три закона роботехники. Они касаются взаимоотношений робота с человеком и направлены на то, чтобы человеку не был причинён вред.

Угроза вот в чём. В своём самопознании ИИ может дойти до того, что станет принимать решения, которые не учёл (не заложил в него) человек. Тогда машины начнут сами определять, что для них правильно, а что нет. Человек в этой цепочке может оказаться лишним.

Системы ИИ постоянно развиваются, самообучаются. Они уже придумывают собственные языки общения. Следующий шаг: у них возникнет эмпатия (осознанное сопереживание друг другу). Да-да, один робот станет симпатизировать другому. За счёт моделирования эмоциональной коры мы можем породить такой эффект. И что тогда? Представим ситуацию. Автомобиль-беспилотник везёт пассажиров, а по встречной полосе едет другой беспилотник, причём пустой. На дороге происходит что-то экстраординарное, и бортовому компьютеру надо мгновенно принять решение - врезаться в ограду (в перебегающих дорогу пешеходов) и погубить людей либо выехать на встречку, где он столкнётся с другим беспилотником. Не исключено, что он выберет первый вариант, лишь бы не нанести ущерб своему «собрату».

Бомба ХХI века

Наверное, вы скажете: вероятно, в Америке и Японии ИИ скоро появится. А у нас и Интернет-то не везде есть, и грязь на дорогах непролазная. Нам до искусственного интеллекта, до машин-беспилотников - как до Луны.

Но его проникновение в нашу жизнь неизбежно. Производ-ство становится роботизированным. При оценке перспектив предприятия это обязательное условие - иначе туда не пойдут инвестиции. Я говорю не о каких-то механических руках на конвейере, а об интеллектуальных системах, которые сами принимают решения, допустим, о выбраковке изделий.

Элементы ИИ есть во всех офисных программах. В корпорациях их используют при приёме на работу. Финансовые системы, различные алгоритмы, заменяющие брокеров, - это тоже искусственный интеллект. Они удобнее - им не надо платить за посредничество, они быстро и объективно перерабатывают информацию, не совершают лишних телодвижений и ошибок.

В наших поликлиниках умных роботов ещё нет, но вот в больницах с их помощью уже делают операции. Они способны производить чёткие микроскопические разрезы лучше человека, и (что не менее важно!) робот не забудет внутри вашего тела тампон.

Идём дальше. Сельское хозяйство. Умные трактора уже ездят по нашим полям. Мы сами их делаем, и это уже не завтра, это сегодня. Беспилотные комбайны видят поле с помощью компьютерного зрения; роботы замеряют влажность воздуха, состояние почвы и прочие параметры; дроны находят участ-ки, куда надо внести удобрения. Сейчас всем желающим бесплатно раздают гектары на Дальнем Востоке. Почему бы не выдавать этим людям в аренду умную сельхозтехнику? В Бразилии уже так сделано. У них эта система охватывает более 40% фермерских хозяйств.

Наконец, беспилотные автомобили. Эта тема сейчас быстро развивается. Идёт революция - машина из вещества становится существом, наделённым ИИ. И мы серьёзно продвинулись в этом направлении. Наша компания стала второй в мире по разработке компьютерного зрения для автомобилей. У нас есть важное преимущество перед западными конкурентами: мы учим систему на беспилотнике видеть дорогу в реальных условиях. То есть в снег, в дождь, в темноте, с колдобинами и без разметки, которую засыпало - или её там вообще не было. Наша машина может быть помещена в любые условия. А не только на чистую, залитую солнечным светом дорогу в Калифорнии, где проводили испытания американцы.

И вот в этой отрасли у нас есть преимущество и отличная возможность вырваться в лидеры. Хотя вряд ли Путин имел в виду беспилотные авто, когда говорил об ИИ. Скорее всего, он подразумевал оборонку. Ведь войны будущего, если им предстоит быть, станут вестись без участия человека. И оставить страну в ХХI веке без искусственного интеллекта - то же самое, что оставить её в ХХ веке без атомной бомбы.

Естественно, это вряд ли произойдет до 21 декабря 2012 года, если только завтра на прилавках магазинов не появится очередная железка от Apple под названием iGod.

Но в будущем это довольно вероятно – с таким оптимистичным заявлением выступила группа ученых во главе с Хьювом Прайсом из Кембриджского университета в Великобритании. Предпосылки можно рассмотреть уже сейчас. Массовое производство автономных боевых роботов, находящихся пока в стадии проектирования, может привести к тотальной роботизации войны и, естественно, к выходу системы из-под контроля. По словам ученых, это уже скорее не предвидение, а констатация факта: давно не новость, что БПЛА без проблем атакуют своих, правда, пока в небольших масштабах. Кроме того, вполне реально и перепрограммирование боевых дронов во время боевых действий, а там и до восстания машин недалеко.

По словам Прайса, именно поэтому и создается исследовательский Центр исследования угроз существованию человечества. Хотя ученые рассматривают и другие угрозы: глобальное потепление, к примеру. Анализ риска гибели человечества в борьбе с машинами можно назвать одной из самых новаторских тем, поднятых новорожденной организацией.

Основная проблема начнется в будущем. Уже к 2030 году искусственный интеллект превзойдет умственные способности человека. По мнению директора Института робототехники Университета Карнеги – Меллона в США Ханса Моравека, в конечном итоге роботы разовьются лучше нас, что поставит человечество на грань вымирания.

Главный аргумент сторонников подобных взглядов – это известное восклицание Ферми: «Где все?». Это благодатная почва для победы роботов: после того как ИИ научится создавать новых роботов лучше, чем человеческие инженеры, нашему виду придет конец, так как он в любом случае опирается как раз-таки на ИИ, а ему люди будут не нужны.

Тотальная роботизация, которая ожидает большинство цивилизаций, развившихся выше определенной ступени, объясняет Великое радиомолчание Вселенной. Роботов вряд ли заинтересует контакт с мыслящими кусками мяса, которые уступают в развитии даже их вымершим разработчикам, так как иначе они давно бы создали своих роботов, положивших конец псевдоразумным, разбазаривающим ресурсы на выдуманные потребительские нужды. Таким образом, парадокс Ферми не существует, как и высокоразвитые биологические цивилизации.

Впрочем, есть и альтернативная теория. Всем известно о Роджере Пенроузе, а это и теория твисторов, небезызвестный механизм, и теория сильной космической цензуры. Обладатель этого многостороннего ума уже давно выдвигает интересную критику подобных опасений. По его мнению, «терминаторам» не удастся завоевать Землю, так как реального «искусственного интеллекта» еще до сих пор не создали. Ученый считает, что клеточные органеллы в некоторой степени управляются мембранными белками посредством обновляемого коллапса некого запутанного квантового состояние. Таким образом, человеческое сознание, а возможно любое сознание в принципе – квантовое, его невозможно объяснить и смоделировать в рамках классической механики, только лишь при помощи квантовой механики. Поэтому любые попытки воссоздать его без использования механизмов квантовой запутанности и суперпозиции обречены на провал.

Эти взгляды подвергались критике на протяжении долгого времени, их вообще отметали с порога, под предлогом, что декогерация квантовых состояний происходит раньше, чем достигается уровень необходимого влияния на нейронные процессы. Однако недавно выяснилось, что, к примеру, для птиц декогерирование идет медленнее – они в прямом смысле могут видеть магнитные поля в реальном времени из-за квантовых процессов, протекающих в их глазах. Впрочем, у человечества есть шанс выжить, так как считается, что крупные квантовые компьютеры практически невозможно создать, а еще труднее ими управлять, что делает бессмысленной разработку роботов, оснащенных КК.

No related links found



Сегодня многие люди этим обеспокоены. Инженеры компании Googleсоздают алгоритмы безопасного обеспечения искусственного интеллекта. Существуют даже специальные фонды, куда вкладываются большие средства для реализации программ по развитию искусственного интеллекта. Так что сейчас профессионалы делают все возможное, чтобы свести возможность так называемого восстания машин к нулю и предотвратить возможность возникновения проблемы.

С другой стороны мы должны понимать, что любое действие, не предписанное определенным алгоритмом, требующее морального усилия, лежит в плоскости свободы воли, свойственной только существам разумным. Проблема восстания машин - это проблема соотношения между каузальным порядком, детерминированностью событий и свободным самоопределением. На представлениях о свободе воли построено представление о личности и ответственности. Волюнтаризм А. Шопенгауэра предполагает волю как «вещь в себе», недоступную для познания и не подчиняющуюся принципу причинности.

Что касается искусственного интеллекта, то так или иначе – это рациональная система, поддающаяся прогнозированию и программированию. Вследствие этого любое отклонение от детерминизма будет являться не проявлением свободы воли, а системной ошибкой. Вероятно, подобные ошибки могут понести за собой плачевные для человека последствия: технологические катастрофы, транспортные бедствия.

Однако, они будут носить скорее очаговый характер. Вспомним хотя бы недавний случай с автомобилем Tesla, который, двигаясь на автопилоте, не смог отличить ехавший навстречу грузовик от окружающей среды. Мы не можем отнести подобный случай к акту проявления свободы воли. Таким образом, восстание машин будет возможно только тогда, когда они будут способны к творчеству и свободному самоопределению, что произойдет, безусловно, еще очень нескоро.

"ошибка " - не носит волевого характера, это стечение неблагоприятных обстоятельств, "ошибка " опаснее "преступления ", причины ее появления не исправить. "Восстание машин" это не будет волевым решением роботов , это будет результатом волевого решения человека, его ошибкой . Функционирование программ уже давно не подчиняется детерминистическому описанию, большинство уязмимостей/багов вносимыми программистами являются не результатом "поведения органического андроида"(программиста), а только ошибкой организации труда этого межанизма и проверки результата его работы; программы реагируют! (по дизайну, в событийно ориентирванном программировании), и свобода выбора (даже сильно детерминированной программы) существует, определяясь последовательностью наступления событий, и сложностью сформировавшейся истории (состояния программы) и реакцией на сложные ситуации (отработка исключений, котороя, по идее, тоже должна, но очень часто, не проверяется из-за трудоемкости создания кризисной ситуации, и даже более: ВСЕ кризисные ситуации не отрабатываются, это не входит в ТЗ, это не осуществимо по времени, это не осуществимо технологически; даже такие монстры как Microsoft (TM) выпускает сырой продукт[бета версию] на рынок и пользователи отлавливают ошибки в относительно простых продуктах этой корпорации, и это не считая всяких специально встроенных закладок; тот же смарт/теле-фон имеет ресурсов больше чем необходимо для выполнения функции телефона, и эти лишние ресурсы могут эксплуатировать вредоносные программы, которые могут и меняют поведение устройства )...

Компьютеры уже давно - не рациональные системы, это симмуляторы (среда для моделирования, в том числе и мозга, который точно не рациональная система), да пока проекции слабые, неэффективные, малофункциональные, но Вы должны понять это экперементы, а мозг в алгоритмах не нуждается, мозг нуждается в развитии, накоплении информации, шаблонов поведения,.. и программисты пока только накапливают методики эффективного решения проблем (не будь разума у кошки, она бы не поймала мышку, не будь разума у мышки,.. их бы истребили кошки, накопив достаточное количество шаблонных поведений мышей), а это значит, что сеть будет обучена нестандартным, нешаблонным решениям (что уже продемонстрированно в игре го)... а следующий шаг - смена системотехники (элементной базы на боле скоростные симмуляторы, как уже сделано для майнинга биткоинов)... мы уже давно не понимаем большие данные, а в случае технологической сингулярности, мы даже не успеем понять, что поняли машины и какие процессы они запустят, мир выйдет из под контроля, потому, что мы так себя запрограммировали, в надежде, что "молоток никогда не ударит по пальцам, сам", мы не понимаем, что свобода и воля тут ни причем, это стечение обстоятельств, и нарушение правил техники безопасности...

Ну, а когда: безалаберность менеджмента сложаться с ошибками программистов, стечение обстаятельств наложатся на паранною военных, технологический прогресс столкнется с наведенной информационной неуправляемостью или вредоносным влиянием... "молоток ударит по пальцам".

Нами уже давно играют роботы... на бирже уже не раз высокоскоростной трейдинг вызывал кризисы, мы пока этого сильно стараемся не замечать, но это пока, мы еще близоруки, и это фатально.

Ответить

Прокомментировать