Книга - Роботы-убийцы против человечества. Киберапокалипсис сегодня

Роботы-убийцы против человечества. Киберапокалипсис сегодня
Елена Сергеевна Ларина

Владимир Семенович Овчинский


Коллекция Изборского клуба
Четвертая производственная революция открывает нам дверь в новый прекрасный мир, где нас ждут чудеса науки и техники: новые источники энергии, столь совершенная медицина, что человека, вполне возможно, ожидает почти бессмертие, искусственный интеллект и услужливые роботы: роботы-слуги, роботы-врачи, роботы-шоферы… Роботы-солдаты, которым безответственные политики и военные выдают лицензию на убийство человека! – уверены Елена Ларина и Владимир Овчинский. США, ЕС и другие западные страны уже вовсю готовятся выпустить на поле боя настоящих терминаторов, не имеющих эмоций, не знающих милосердия. ООН и другие международные организации бьют тревогу, пытаются остановить грядущую бойню между людьми и машинами – но генералы непреклонно ведут мир к кибернетическому апокалипсису. Как обстоят дела с разработками боевых роботов на Западе и в России? Можно ли предотвратить создание роботов-убийц? Откуда боевые роботы появились у террористов в ИГ? Эта книга покажет читателю самые мрачные варианты грядущего.





Владимир Овчинский, Елена Ларина

Роботы-убийцы против человечества. Киберапокалипсис сегодня



© Е. С. Ларина, 2016

© В. С. Овчинский, 2016

© Книжный мир, 2016




Введение


Как только человечество стало говорить и писать о роботах, возникло две тенденции. Одна описывала светлое будущее, где роботы заменяют человека на самых тяжелых работах и являются другом человека. Другая – рисовала мрачные картины роботов-убийц и автоматизированных систем вооружения. Иными словами, роботов как врагов человека. И та, и другая тенденции благодаря Четвертой производственной революции реализованы в XXI веке. Мы наблюдаем невиданный взлет роботизации. Роботы уже способны заменять врачей, космонавтов, геологов. Но роботы одновременно в разных концах света убивают людей, участвуют в совершении преступлений. Выдающиеся умы человечества рисуют апокалиптические картины власти роботов над людьми как высшей стадии развития искусственного интеллекта.

Не удивительно, что при упоминании о роботах первым делом вспоминается не трудяга Бакстер, вкалывающий на окрасочной или сборочной линиях, а грозный Терминатор и всемогущий Скайнет. Одной из самых больших страшилок начавшегося XXI века стал искусственный интеллект.

Самыми покупаемыми и читаемыми в Америке книгами нехудожественной тематики стали книги об угрозах искусственного интеллекта. Они издаются на бумаге и в электронном формате. Им посвящены многочисленные электронные ресурсы в интернете. О них говорят на ток-шоу и специальных программах телевидения. Подавляющее большинство американцев и европейцев прочли такие книги, как «Superintelligence: Paths, Dangers, Strategies» Н. Бострома, «Smarter Than Us: The Rise of Machine Intelligence» С. Армстронга, «Rise of the Robots: Technology and the Threat of a Jobless Future» М. Форда. Чего стоят одни названия этих книг. «Последнее изобретение человечества», «Умнее, чем мы», «Опасности суперинтеллекта» и т. п.

Все эти и им подобные книги и статьи, число которых множится не по дням, а по часам, объединяет один, достаточно простой посыл: вот-вот будет создан искусственный интеллект, который сделает машины умнее, а значит и могущественнее людей. Соответственно, не машины будут прислуживать людям, а люди, в лучшем случае, будут служить машинам или превратятся в них. Именно о последнем говорит одно из самых популярных движений на Западе, под названием – «трансгуманизм».

Суть трансгуманизма в том, что скоро люди смогут переселиться из белковых тел в компьютерные программы, размещенные на сменяемых носителях, для начала железных, а потом любых иных. Сегодня это уже не маргинальное течение мысли интеллектуалов-извращенцев, а вполне себе авторитетное международное движение, во главе которого стоит вице-президент корпорации Google Рей Курцвейл. Не отстают и россияне. Они палят как всегда непонятно как заработанные деньги на трансгуманистический проект «Россия 2045». Этот проект предусматривает создание в России к 2045 году полностью искусственного существа, в которое может быть пересажен разум обычного человека.

Уверенность в грядущем могуществе искусственного интеллекта, который видится как более мощный, бессмертный и умный, по сравнению с человеческим, охватила не только обывателей, политиков и айтишников, но и отдельных биологов, специалистов в области когнитивных наук, психологии и т. п. Они все чаще и чаще в своих научных работах начинают уподоблять человека компьютеру, софт – сознанию, а хард – мозгу.

Понемногу эта точка зрения становится, что называется, господствующей, общепринятой и даже не подлежащей обсуждению. Между тем, прежде чем написать несколько слов о роботах, пора посмотреть, а действительно ли грядущее торжество искусственного интеллекта столь уж гарантировано?

Есть основания полагать, что, сравнивая человеческий и машинный интеллекты, мы затушевываем реальную проблему, делаем ее для нас более привычной, а соответственно и воспринимаемой. Если уж писать совсем на чистоту, то подобный взгляд на искусственный интеллект, как это ни удивительно, не преувеличивает опасность, а преуменьшает ее. Ведь господствующая точка зрения состоит в том, что искусственный интеллект и обладающие им роботы будут в основном такими же, как люди, только прочнее, мощнее и умнее.

Однако мы предлагаем читателям поразмышлять над парадоксом, который забывают все авторы книг об искусственном интеллекте. В них предполагается, что искусственный интеллект будет создан на основе нейросетей. А нейросети – это копия нейронов и прочих компонентов человеческого мозга. Т. е. искусственный интеллект – это своего рода кремниевый мозг и загруженные в него программы. Однако, вся проблема в том, что хотя для психики мозг и необходим, более того, сознание без мозга невозможно, в мозге само по себе сознание не содержится. Более того, мозг изначально не содержит человеческого интеллекта.

Доказать это очень просто. В истории зафиксировано более 100 задокументированных случаев, когда удавалось найти детей, подростков или молодых людей, которые были лишены человеческого общения и воспитывались животными или вообще находились в изоляции. Так вот, ни в одном из этих случаев, совершенно нормальные по своим физиологическим характеристикам люди, имеющие целостный, неповрежденный мозг, не мыслили по-людски. В лучшем случае, они были способны к звериному мышлению. Более того, в последние годы всплыли документы о экспериментах с подобного рода детьми и подростками, проведенными в 20-40-е годы прошлого века в нескольких странах мира. Суть этих экспериментов состояла в следующем. Параллельно основам человеческого языка и навыкам общения с человеком обучались своеобразные «Маугли» и представители тех животных, среди которых эти «Маугли» были воспитаны. Как ни парадоксально, лучше дело шло у обезьян и волков, чем у детей, попавших в группы обезьян и волков, и воспитанных ими.

Таким образом, вопрос о взаимосвязи мозга и мышления не так прост, как может показаться на первый взгляд. Также не прост вопрос о взаимосвязи уровня интеллекта и здоровья мозга, и человека в целом. Как уже отмечалось, дети с совершенно здоровым мозгом, но воспитанные животными, не то что не могли овладеть логикой, но их крайне сложно было обучить человеческому языку и навыкам социальной коммуникации. Между тем, в 60-70-е годы прошлого века в СССР под руководством великого философа Э. Ильенкова был проведен выдающийся по любым меркам эксперимент. В Загорской школе-интернате психологам – профессору И.А. Соколянскому и доктору наук А.И. Мещерякову – удалось вернуть к полноценной жизни слепо-глухо-немых детей. Все они, лишенные природных рецепторов, были обучены человеческому языку и мышлению. Пятеро из этой группы не просто окончили школу, а поступили в МГУ, а один – защитил докторскую диссертацию и стал профессором ЮНЕСКО.

Другая российская научная школа великих советских психологов С.П. Рубинштейна и А.Е. Буршлинского в результате длившихся десятилетия экспериментов неопровержимо установила, что человек одновременно использует два типа мышления. Один – применяемый человеком в привычной, стабильной обстановке – это так называемое алгоритмическое мышление, т. е. мышление по правилам. Второй тип мышления, используемый человеком, когда он сталкивается с неизвестным, это – неалгоритмическое мышление. Его называют по-разному – творчество, интуиция, мышление ассоциациями, метафорами и т. п. Если алгоритмическое мышление имеет много общего с вычислительным интеллектом, то творческое мышление пока никому в программно-аппаратном виде воспроизвести не удалось. Оно базируется на принципиально иных основаниях, нежели «да-нет» логика и двузначная система счисления, лежащая в основе любой современной компьютерной программы.

Мозг, конечно, важен, но человеческий мозг и психика – это не хард и софт, а нечто иное, наукой до конца не понятое. Как ни стараются специалисты в области нейрофизиологии, когнитивной психологии и т. п., непосредственно свести психику к мозгу, идеальное к материальному, информацию к материи – им это не удается. Остается что-то, что наука пока объяснить и разгадать не может.

Более того, в процессе обучения компьютеров играм удалось выявить еще одно весьма принципиальное отличие человеческого мышления от машинного интеллекта. Человек, это уже установлено неопровержимо, думает, что называется, мыслео-бразами. Он как бы мыслит глазами. Первичным является образ, а вторичным – слово или цифра. Тому есть множество подтверждений. Машина же всегда является вычислительной. Любая, самая сложная программа, включая знаменитого Watson, это, в конечном счете, огромный вычислитель. Он определенным образом преобразует двоичный код, или «да-нет» в определенные числовые программы. Вычисления и представляют собой, если можно так выразиться, компьютерное мышление или более точно – вычислительный интеллект.

Соответственно там, где действуют строгие правила, вычисления оказываются гораздо более эффективными, чем образы. Это в частности доказала история соперничества человека и компьютера в шахматах. После проигрыша в 90-е годы прошлого века чемпиона мира по шахматам Гарри Каспарова компьютеру IBM, машинный интеллект в шахматах навсегда доказал свое первенство перед человеческим. Но шахматы – это счетная игра, игра по правилам. Соответственно там, где устанавливаются четкие правила, и решается задача выбора наилучшего решения в рамках этих жестких правил, компьютеры уже стали или в ближайшее время станут принимать решения лучше, чем человек.

Люди тоже во многих случаях принимают решения по правилам. Просто у нас правила называются привычками, стереотипами, навыками и т. п. Каждый может вспомнить, как те или иные действия он выполнял машинально, или говорил, принимая то или иное решение: «Я действовал на автомате». Однако человеческое поведение не исчерпывается автоматизмом. Отличительной особенностью человека является способность менять правила, выходить за них, действовать за пределами привычек, стереотипов и навыков.

Вспоминая о шахматах, нужно держать в голове не только итог поединка Гарри Каспарова с Deep Blue, но и сеанс одновременной игры, который дал Остап Бендер в Васюках или боксера из песенки Высоцкого о поединке на звание чемпиона мира.

В человеческом мышлении, безусловно, присутствует, более того, занимает значительное место вычислительная компонента. Иначе бы люди не создали никакой математики, а соответственно не появились бы ни программирование, ни компьютеры, ни интеллектуальные роботы. Но вычислительная компонента у человека является не единственной. Как минимум не менее, а вероятно и более важным является не вычислительная, а образная, базирующаяся не на анализе, а на синтезе. Не зря поэты, которые зачастую видят проблему раньше и лучше ученых, написали строки типа: «мысль изреченная есть ложь». А ведь слово и цифра – это одно и то же, просто в разных языках.

К чему эти, казалось бы, далекие от темы роботов размышления? Все очень просто. Мышление, интеллект, подавляющее большинство современных исследователей из самых различных отраслей знаний – от математики до психологии, от военной стратегии до практики продаж – понимают как процесс принятия решений, т. е. выбор из различных альтернатив единственной в условиях неопределенности. Последнее означает, что по условиям, ни одно из имеющихся решений не является однозначно лучшим и очевидным.

Теперь мы подходим к главной цели нашего вступления, без которого невозможно понять ни текстов, напечатанных в книге, не послесловия к ним. Если понимать интеллект так, как изложено выше (а именно такое понимание соответствует и повседневному опыту и здравому смыслу и современной науке), искусственный интеллект – это не будущее. Он уже существует. Но слово «искусственный» затемняет суть дела, По сути это – иной интеллект. Это – вычислительный интеллект. Соответственно по-английски его правильно обозначать не привычной аббревиатурой IA, a QI (вычислительный интеллект), или OI (иной интеллект).

Главным является слово «вычислительный». Именно здесь содержатся огромные возможности и возможно еще большие угрозы для человеческого рода. QI может либо дополнить человеческий интеллект и соответственно породить принципиально новый, гибридный интеллект, либо помочь людям уничтожить себя и вместе с собой цивилизацию.

Проблема здесь вот в чем. Современные, а тем более будущие роботы, уже наделены зачатками, а в отдельных случаях и полноценным QI. При этом великий провидец, мыслитель и фантаст, кстати, имеющий российские корни, Айзек Азимов еще в 1942 году сформулировал три знаменитых закона робототехники. «Законы гласят:

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам».

Хитрость состоит в следующем. Поскольку роботы обладают не просто интеллектом, тем более не человеческим интеллектом, а именно QI, то в их программах должны быть прописаны жесткие правила. В них должно быть четко и главное однозначно определено, кем является человек. Если в программе под человеком понимаются все люди, без исключения, то тогда никакие военные, криминальные или разведывательные роботы невозможны в принципе.

Они не были возможны и раньше. Но сегодня в эпоху прокси-, гибридных, асимметричных, городских войн, использование роботов в военных и иных целях становится в соответствии с законами А. Азимова совершенно немыслимым.

Одной из главных особенностей вооруженных конфликтов является то, что в них теперь сложно определить, когда они начинаются и когда заканчиваются. Противники и союзники постоянно меняются местами. Фронт и тыл больше не существуют. В рамках одного города может идти мирная, повседневная жизнь и происходить вооруженные столкновения. Мирные граждане днем, могут становиться повстанцами ночью и т. п. Не зря наиболее точным названием вооруженных конфликтов современности является термин «нечеткие войны» или «войны без правил», «войны всех против всех».

Это войны, где контекст зачастую важнее того, что непосредственно видно и распознается. Это войны, где зачастую важно не считать, а понимать, где чутье и интуиция на малейшие признаки перевешивает сложные расчеты и многомерные модели. Оно и понятно. Это войны, где решения надо принимать не просто в условиях неопределенности, а по постоянно меняющимся правилам.

Теперь, мы надеемся, понятно, почему роботы, обладающие не искусственным, а вычислительным интеллектом, становятся чрезвычайно опасными, почему в этих условиях не роботы становятся угрозой для людей, а люди, взявшие на вооружение роботов с вычислительным интеллектом, создают невообразимые риски и огромные угрозы всему человечеству.

Не просто с каждым годом, а с каждым месяцем роботы и автономные автоматизированные системы все шире применяются в военном деле, в экономике, в быту. Однако, сама по себе концепция роботов и более того, ее программно-аппаратное воплощение – это не достижение сегодняшнего дня. Первые роботы современного типа появились еще в США, в Советском Союзе. Мало кто помнит, но в последние годы существования СССР робототехникой и полностью автоматизированными линиями, соответствующим лучшим мировым образцам, оснащались предприятия многих отраслей народного хозяйства. Советские беспилотники на рубеже 70-80 гг. прошлого века превосходили по оценкам западным экспертов, своих собратьев-роботов на Западе.

В то же время нельзя не признать, что как бы ни были совершенны роботы XX века, это были роботы прошлого в полном смысле этого слова. Информационная революция, появление интернета, прорывы в области электронных схем и процессоров, микроминиатюризации и производства новых материалов создали все предпосылки для появления роботов, способных реализовать возможности вычислительного интеллекта.

При этом запрещать что-то уже поздно. Джин выпущен из бутылки. Бывший министр обороны США Ч. Хейгел на презентации Третьей стратегической инициативы инвестиций и инноваций, нацеленной на перевооружение армии США, и активно реализуемой Пентагоном, сказал: «Любая высокая технология имеет тройное – гражданское, военное и криминальное – применение».

Роботы – не исключение. Более того, они – самое яркое и опасное правило. Смертоносные роботы с вычислительным интеллектом – это уже не персонажи фантастических книг и блокбастеров. Они берутся на вооружение армиями, террористическими группировками и транснациональными преступными формированиями. Это реальность, в которой нам предстоит жить и от которой не уклониться. Поэтому лучше не погружаться в сладкий дурман пропагандистских опусов и публицистических агиток, а узнать информацию о реальном положении дел, что называется, из первоисточников.

В книге собраны тексты, опубликованные во второй половине 2014-го и в 2015 г. ведущей американской «фабрикой мысли» – Центром новой американской безопасности. В нем работает много бывших руководителей Пентагона, военачальников, высших чинов американской разведки, всемирно известных исследователей. Также в книге представлен доклад межуниверситетского коллектива в составе лучших специалистов из ведущих американских учебных заведений и научных центров, подготовленный по заданию властей США. Также в книге представлены и другие актуальные тексты о боевых роботах и о применении роботов террористическими и преступными группировками.

Материалы, которые приводятся в данной книге, показывают, насколько реальность уже превзошла все фантазии. Это касается и боевых дро-нов, и новых автоматизированных систем ведения войны, и роботов в компьютерных сетях. Уже сейчас роботы массово убивают людей. Еще одна опасная тенденция – применение роботов в преступных целях террористами, мафиозными организациями. Звучащие призывы правозащитников и парламентариев разного уровня о внесении запретов на производство и применение роботов в боевых целях тонут в вале сообщений о разработке все новых и новых автоматизированных систем вооружения. К сожалению, каскад военных конфликтов, охвативших все континенты, не даст возможности сдержать разработку и применение боевых роботов. Надо быть реалистами в оценке ситуации. Перефразируя одного известного исторического деятеля: если мы не хотим оказаться жертвами чужих роботов, необходимо научиться конструировать и производить свои, лучшие и эффективные.




Введение в военные автономные системы. Центр Новой Американской Безопасности 2015 г. Извлечения из доклада



За последние несколько лет мы стали свидетелями подлинного взрыва в исследованиях, разработках и практическом применении автономных военных систем. Наряду с исследователями, конструкторами и технологами, программистами и разработчиками, кадровыми военными и экспертами в области национальной безопасности, эту тему активно обсуждают гражданские активисты, юристы, политологи, философы и специалисты по этике.

На фоне дискуссий важно понимать, что многие уже стоящие на вооружении боевые системы включают в себя элементы автономии. Часто встречающиеся в дискуссиях аргументы о том, что автономия – дело будущего, и можно предписывать разработчикам, конструкторам и технологам различного рода, в том числе этические, ограничения при развитии вооружений, не выдерживают столкновения с практикой. Уже существующие виды вооружений и методы ведения военных действий включают в себя фактор автономии. Уже поздно рассуждать на тему, хороша или плоха автономность боевых систем по отношению к человеку, допустима ли она по этическим и моральным критериям или нет. Автономность уже состоялась.

Автономность широко используется при решении военных задач, в том числе связанных с использованием боевого, латентного оружия. К числу военных задач, где наиболее широко используются автономные системы, относятся разведка, навигация, автоматические системы огня, системы маневрирования и самонаведения на цели, системы отложенного удаленного применения неподвижного (мины) или подвижного оружия и т. п.

По имеющимся сведениям в настоящее время автономные робототехнические системы (АРС) в военном деле используются в той или иной мере 30 государствами и несколькими негосударственными акторами. В подавляющем большинстве случаев АРС используются в качестве средств разведки, логистики, транспорта, автоматизированной доставки вооружений (самонаводящиеся ракеты) и т. п. Менее распространены Боевые Автономные Роботизированные Системы (БАРС), которые предусматривают автономное принятие решений об использовании огневой мощи или других типов поражающего оружия.

В настоящее время не существует согласованного на международном уровне, а тем более юридически обязывающего определения Автономного Оружия (АО), АРС и БАРС. Министерство обороны США, Международный Комитет Красного Креста, ООН и ее специализированные структуры используют достаточно близкие определения. Однако они далеки не только от юридически обязывающей формы, но даже и от терминологической стандартизации и четкости.

Еще более неопределенное значение АО придают различного рода активисты, выступающие за запрет «роботов-убийц». Этот термин они используют для обозначения АО. Причем под данную терминологию попадают у активистов практически все виды роботов, включая гражданских. Эти люди, как их предки несколько веков назад – луддиты, пытаются остановить технический прогресс, не допустить появления каких-либо роботов, которые могут быть использованы на производстве, в быту или в военных целях.

Отсутствие ясности и четкости в терминологии и общественном восприятии усугубляется тем, что некоторые политические и общественные силы призывают к юридически обязывающему внутреннему и международному регулированию или запрещению не только АО, но и АРС, не говоря уже о БАРС, еще до того, как будут приняты стандартные определения этих систем. Поэтому, прежде чем продвигаться вперед по юридическим и регулятивным тропам, необходимо на старте договориться, по крайней мере, о единой базовой терминологии.

Это достаточно сложная задача. Сегодня имеется не слишком много очевидных, бесспорных, ясных даже неспециалисту примеров АО, АРС и БАРС. Различного рода активисты и многие политические силы в своих предложениях опираются не на фактическое положение дел, а на свои прогнозы относительно будущего автономного оружия. Именно в будущем они черпают аргументы для запрета АО. Это требование проистекает из основной тенденции развития техники вообще, и робототехники в частности, предусматривающей постоянное увеличение автоматизации и все большее исключение человека из всех процессов функционирования техники, включая и принятие решений.

Предлагается, вместо того, чтобы оперировать примерами из фантастических романов и фильмов, тщательно проанализировать природу автономности и уже имеющиеся образцы АО, АРС, и на этой основе попытаться выработать стандартные определения.

Начать надо с ответа на три ключевых вопроса:

• Что такое автономия?

• Как автономия используется в оружии сегодня?

• Что такое АО?

Представленный материал не рассматривает подробно правовые, этические и политические вопросы, возникающие относительно оружия будущего. Цель материала иная – сформировать общепринятое понимание АО, АРС и БАРС, проанализировать, как автономность используется в уже имеющихся типах вооружений и в тех разработках, которые проводятся в настоящее время и в ближайшем будущем превратятся в оружие, включенное в арсенал вооруженных сил Соединенных Штатов.

Данный материал является итогом первого этапа работ в рамках проекта Американского Центра Новой Безопасности «Этика автономии». Мы надеемся, что он поможет всем размышляющим и пишущим на тему АО, АРС и БАРС использовать общую терминологию и видение. Мы также особо хотели подчеркнуть, что, хотя подавляющая часть автономных систем имеет отношение к робототехнике, строго говоря, автономные системы могут быть реализованы и помимо робототехники в электромагнитной среде при помощи программных средств, в том числе боевых компьютерных программ, вирусов и других форм небиологических активных систем.




Что такое автономность?


В настоящее время термин «автономность» разные исследователи используют по-разному. Его применение различается не только по странам, но и по дисциплинам, и даже отдельным исследователям. Особое разнообразие наблюдается при рассмотрении АО. Это характерно не только для науки. Не меньшее разнообразие содержится в фантастике. Там под одним и тем же термином «автономного робота» фигурируют разнообразные железные персонажи, начиная от дружелюбного домашнего робота-слуги Айзека Азимова, подчиняющегося трем законам робототехники, до грозного Терминатора и гибельного Скайнета. Нет согласия в применении термина «автономности» даже в государственных документах. В одних из них термин «автономность» имеет собственное содержание. В других – используется исключительно как характеристика уровня автоматизации.

Однако, несмотря на то, что нет терминологического согласия, словосочетание уже прочно вошло в лексикон военных руководителей и официальных документов. Так, осенью 2014 года заместитель министра обороны США по закупкам, технологиям и логистике Фрэнк Кендалл в своем официальном выступлении, посвященном Третьей оборонной инициативе, сказал, что она будет сосредоточена в том числе на «обеспечении широкого использования автономности на всех полях боевых действий, включая воздух, землю, воду, космос и киберпро-странство». НАТО в своих официальных документах конца 2014 года отметило «необходимость максимально полного использования потенциала АРС в боевых действиях». Южная Корея в бюджете на 2015 год предусмотрела графу по финансированию разработки автономных роботизированных средств наблюдения и контроля над демилитаризованной зоной с Северной Кореей. Министр обороны России С. Шойгу в конце 2014 года заявил о необходимости «разработки и принятия на вооружение армии автономных роботизированных систем, обеспечивающих охрану ключевых военных объектов, разведку и транспортировку грузов и боевых систем».

В своей простейшей форме автономность представляет собой способность машины выполнить задачу без вмешательства человека. Таким образом, автономная система является машиной, а точнее алгоритмизированным средством. Автономными системами могут быть как аппаратные средства, так и программное обеспечение или программно-аппаратные комплексы самого различного типа. Главное, чтобы они могли после своей активации функционировать и выполнять поставленные перед ними задачи самостоятельно, без вмешательства и участия человека, за исключением в некоторых случаев контроля и управления в условиях форс-мажора.

Автономные системы (АС) не ограничиваются роботами или автоматическими транспортными средствами, типа Гуглмобиля. На самом деле, автономностью обладают многие типы промышленного, складского и транспортного оборудования и систем. Большинство автомобилей включает в себя автоматическую антиблокировочную систему тормозов, тяги и контроля безопасности, аварийную автоматическую систему ремней и подушек безопасности, круиз-контроль и т. п. Для военных самолетов уже долгое время применяются не только автопилоты, но и автоматические системы маневра в воздухе при обнаружении других воздушных судов или объектов, угрожающих столкновением. Автоматизация и роботизация производства, транспорта и быта стали не фантастикой, а повседневностью. Они обеспечили значительный рост производительности, экономию средств, возможность решения задач в сложных, вредных и деградировавших средах и т. п.




Три размерности автономности


Различное понимание автономности и терминологическая путаница в немалой степени обязаны историческому использованию слова «автономия», для обозначения трех различных явлений и процессов:

• контроля и управления в человеко-машинных системах, где автономия является характеристикой разделения функций между человеком и машиной;

• сложности машины;

• уровня автоматизации решений.

Эти три подхода различаются между собой и отражают совершенно не связанные между собой концептуальные схемы. Однако, люди, как правило, смешивают их вместе и пытаются создать термин, пригодный на все случаи жизни. Для того, чтобы выработать с одной стороны устраивающее всех определение автономии, а с другой – не превратить его в пустую абстракцию и наделить собственным, понятным содержанием, внимательно рассмотрим все три понимания автономии.




Управление и контроль в человеко-машинных системах


Первый способ употребления термина «автономия» относится к взаимоотношениям между человеком и машиной в рамках гибридных человеко-машинных систем. В тех случаях, когда машины лишь частично выполняют функции управления, а частично это делает человек, их называют полуавтономными машинами. Еще используется термин «машина с человеком в петле» (имеется в виду петля прямой и обратной связей в системах управления).

Машины, которые полностью выполняют все функции, но включают человека как контролера, и предусматривают возможность вмешательства его в управление при форс-мажорной или какой-либо иной ситуации называют автономными машинами под человеческим контролем.

Те машины, которые выполняют все функции самостоятельно и не предусматривают вмешательство людей в выполнение функций, называют полностью автономными машинами, или машинами «без человека в петле». Подчеркнем, что данное понимание автономии, строго говоря, не предъявляет никаких требований к способностям машин и тем более не говорит о наличии у них искусственного интеллекта. Оно только фиксирует распределение между человеком и машиной управляющих и контрольных функций.




Автономность как сложность


Термин «автономия» часто используется применительно к машинам как синоним сложности. Часто, независимо от распределения командно-контрольных функций, автоматические и автоматизированные системы характеризуются как автономные, если они способны выполнять сложные и/или разнообразные задачи и функции.

Исторически получилось так, что автоматические системы выполняли и выполняют очень простые, элементарные функции. Например, автоматическими являются тостеры и механические термостаты. С другой стороны, автоматическими являются и Гугломобили, и роботы-сборщики на конвейерах электромобилей «Тесла». Поскольку не только специалисты, но и далекие от производства люди понимают, что это принципиально разные устройства, для обозначения вторых стал использоваться термин «автономные». Кроме того, в последние годы термин «автономные» все чаще применяют для обозначения систем, предполагающих использование программ машинного обучения, в том числе так называемых систем «обучения без учителя».

Некоторые исследователи и практики предлагают использовать термин «автономные» только для машин, наделенных интеллектом. Однако такой подход лишь запутывает дело. Сегодня никому не понятно, что такое не только искусственный, но и естественный разум.

Термин «искусственный интеллект» вовсю применяется для выделения из общего ряда таких суперкомпьютеров, как Deep Blue, Watson и т. п. Однако, поскольку никому не понятно, что такое человеческий разум, а тем более психика, сознание, подсознание, то эти категории не могут использоваться не только для выработки юридически обязывающих соглашений, но и для образования стандартных общепринятых терминов. Нельзя что-то неизвестное определить через другое неизвестное. В этом плане мы считаем совершенно бесперспективной дискуссию на тему: когда компьютеры или роботы обретут разум. Поскольку мы не знаем, что такое разум в строгом смысле этого слова, то мы не можем с уверенностью сказать, когда его обретут или уже обрели компьютеры и роботы. К тому же мы не можем сказать, является ли вообще разум свойством отдельного индивидуума, либо он может быть реализован, сформирован и функционировать только в определенной общности. Пример детей, воспитывавшихся у животных, заставляет сомневаться в том, что единичный разум существует вообще. Тогда вполне может оказаться, что каждый отдельный компьютер и робот никаким разумом и сознанием не обладали и не обладают, а в системе, вполне вероятно, уже являются сознательными и разумными. Другое дело, мы должны понимать: это будут не человеческие сознание и разум, которые не вполне сможет распознать человек, если на это не будет желания иного разума. Кстати говоря, как это ни парадоксально, по этому же критерию и сетевой машинный разум и психика могут не распознать человеческий разум и психику, и считать их в этом смысле неразумными, со всеми вытекающими последствиями.

Возвращаясь к рассматриваемому подходу, подчеркнем лишь, что при использовании автономии, как синонима сложности, мы не имеем сколько-нибудь внятного не только количественного, но и фактографически определяемого разграничения автономных и неавтономных систем. Это разграничение в данном подходе становится полем произвола и выбора самостоятельно для каждого исследователя или просто человека.




Тип автоматизированных функций


В конечном счете, бессмысленно использовать термины «автономный», «полуавтономный» и «неавтономный» без указания на задачи и функции, которые автоматизируются. Каждая из функций имеет не только свой уровень сложности, но и свой уровень риска и последствий. Понятно, что совершенно различные риски возникают, если мы используем полностью автономный тостер, и боевого робота, оснащенного мощным электромагнитным оружием.

По крайней мере, на сегодняшний день любая поддающаяся автоматизации функция, так или иначе, может быть выполнена человеком или зависит от него. Поэтому в строгом формальном смысле, полностью автономных систем пока не существует. Даже автоматизированный Гугломобиль, не требующий от пассажиров навыков вождения, и сам выбирающий маршрут, тем не менее, требует от человека задания исходной и конечной точек маршрута. Правда, необходимо помнить известную поговорку «никогда не говори никогда». Нет гарантий, что в итоге не появится в той или иной сфере, причем возможно и в военной, полностью автономная система, в формальном смысле, где единственной функцией человека окажется отключение системы или ее уничтожение.




Разбор термина «автономия»


На наших глазах происходит вторжение коллективного бессознательного в научную и инженерную культурную среду. Одним из свидетельств подобного стала практика рассмотрения автономии в рамках научно-фантастического мема «человек против машины». Между тем, всем профессионалам понятно, что следует говорить не о подобном противопоставлении, а о том, какие задачи и функции в рамках системы выполняет человек, а какие – машина. В недавнем политическом документе НАТО сделан близкий вывод. В нем рекомендуется главное внимание обратить не на создание «полностью автономных систем, а на автоно-мизацию определенных функций в транспортных и боевых системах».

На наш взгляд, это наиболее перспективный подход. Изучая вопрос автономии мы, прежде всего, должны выделить конкретные функции и задачи, применительно к которым мы и определяем, что выполняется машиной, а что делается человеком. Кроме того, важно посмотреть, а что происходит в военной сфере уже сегодня. При этом мы должны помнить, что в строгом формальном плане полностью автономных систем в настоящее время на вооружении армии США и ее союзников не стоит. Зато по большей части с точки зрения функций контроля и управления распространены частично автономные роботизированные системы.

В той или иной форме автономность в военных системах используется более 70 лет. Первые самонаводящиеся боевые системы применялись во Второй мировой войне. Примером тому Фау-1 и Фау-2. После Второй мировой войны автономные системы, в основном связанные с функциями самонаведения, наблюдения, разведки и т. п. использовались многими странами мира, и прежде всего, Соединенными Штатами Америки и Советским Союзом.

Анализ практики автономизации в военной сфере позволяет выделить три типа вооружений:

1. Человек «присутствует в цикле управления или принятия решения». Это, как правило, различного рода ракетные вооружения, где человек выполняет функцию коррекции курса и окончательного принятия решения о поражении того или иного объекта. В военном деле гораздо более известны самонаводящиеся ракетные системы с разделяемыми боеголовками.

2. «Человек в петле» – контролер за транспортировкой боезаряда. В этом случае человек контролировал полет ракет или иных автономных средств, и на протяжении всего полета мог принять решение о ликвидации ракеты. Эти системы были наиболее распространены в Соединенных Штатах Америки.

3. Полностью автономные системы вооружений, где человек исключен из цикла управления, за исключением момента приведения в действие системы. Такие автономные системы в основном применялись в ракетных войсках стратегического назначения США и СССР. В отличие от Соединенных Штатов Советский Союз в начале 80-х годов завершил создание первой и единственной в мире до сегодняшнего момента полной автономной боевой роботизированной системы в строгом формальном смысле слова. В этом плане система, слабо известная на Западе, может выступать в качестве эталона полной автономной системы. Речь идет о комплексной боевой автономной роботизированной системе «Мертвая рука». Система включала в себя баллистические стратегические ракеты в особо глубоких шахтах. Ракеты имели автоматизированную, исключающую человека, систему запуска. Ракеты обладали самонаводящимися блоками и системами подавления помех ПВО и ПРО стран НАТО. Каждая баллистическая ракета с разделяющейся боеголовкой стартовала вместе с несколькими, сопровождающими ее противоракетами, которые на рискованных участках баллистической траектории – на старте и на выходе на цель, были способны автоматически распознавать и поражать противоракетные системы США и их союзников. Подземная система автоматического управления стартом ракет была соединена с полностью защищенной системой датчиков, расположенных на поверхности территории Советского Союза.

Свое название система «Мертвая рука» получила, поскольку в случае нанесения поражающего удара и уничтожения политического и военного командования Советского Союза, а также основных его городов и промышленных центров и большей части населения, датчики уже после гибели командования, большей части вооруженных сил и населения, сигнализировали о нанесенном ударе и по сигналу отдавалась команда на автоматический старт ракет, чья мощность – от 6 до 12 раз превосходила количество потребных боезарядов для уничтожения всего военного и гражданского потенциала США.

Впервые массовое использование боевых систем, имеющих автономные функции, имело место во время Второй мировой войной. Первой такой системой стала немецкая самоуправляющаяся торпеда. После пуска с подводной лодки, либо корабля она быстро шла прямым курсом примерно полкилометра, затем активизировалась головка ее самонаведения, соединенная с расположенными на торпеде миниатюрными гидроакустическими датчиками. Эти датчики распознавали шум винта судна или подводной лодки на значительном удалении и направляли торпеду к распознанному объекту для его уничтожения. Союзники такого класса оружия в течение Второй мировой войны не имели.





Конец ознакомительного фрагмента. Получить полную версию книги.


Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию (https://www.litres.ru/vladimir-ovchinskiy/roboty-ubiycy-protiv-chelovechestva-kiberapokalipsis-segodnya/) на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.