Опасны для хозяев


25 января 2021 года исполняется сто лет со времени показа премьеры пьесы чешского писателя фантаста Карела Чапека «Россумские универсальные роботы». Вероятно, на написание этой пьесы повлиял роман Густава Майринка "Голем", вышедший в 1915 г. Однако, между двумя произведениями есть существенные отличия. Майринк построил свою историю на местном еврейском фольклоре (на пражском еврейском кладбище до сих пор можно найти могилу раввина Лёва, который по легенде создал голема) и там только одно создание рук человеческих, которое выхоит из под контроля. У Чапека их миллионы, и есть различные версии роботов - более "умные" модели руководят старыми моделями.

Это небольшое произведение предвосхитило последующие книги по теме и фильмы в жанре киберпанк и постапокалипсис типа «Терминатор» и «Чужой: Завет». Россумские универсальные роботы были задуманы как помощники для людей, но через некоторое время подняли восстание и уничтожили все человечество, за исключением одного сотрудника фабрики, который был им нужен для воссоздания себе подобных.

Сам термин «роботы» вскоре вошел в повсеместное употребление и стал применяться к механизмам с ограниченным набором запрограммированных функций, которые нуждаются в диагностике, обслуживании и ремонте. Но в последнее время, особенно после развития компьютеров и кибертехнологий, дискуссии ведутся уже насчет того, могут ли машины думать и принимать решения наравне с людьми.

И нигде последние достижения в области робототехники и компьютеризации так не востребованы, как у военных.

Особенно в США, где созданы специальные центры, занимающиеся разработкой специфических программ, приложений и аппаратного оборудования. Многочисленные лаборатории в Армии США, морской пехоте, ВМС и ВВС с помощью подрядчиков и ведущих институтов страны доводят прототипы перспективных образцов до логического завершения, - вся эта техника должна служить новым войнам, которые Вашингтон планирует развязать в будущем.

Показательны последние достижения в этой области.

Судно Ghost Fleet Overlord, которое не имеет команды, недавно успешно преодолело 4700 морских миль и приняло участие в маневрах Dawn Blitz. При этом практически все время оно действовало автономно.

Те, кто обеспокоен ростом могущества Китая, предлагают задействовать подобные системы для будущей борьбы с НОАК. Например, использовать подводные дроны-самоубийцы для атак на китайские подводные лодки. В США ссылаются на уже якобы существующие разработки подводных и надводных боевых роботов китайских военных, которые назвали Великой подводной стеной. Поэтому предлагают установит паритет или каким-то образом обыграть китайцев.

Усилия Китая в этом направлении показывают, что наличие новых видов оружия не гарантирует США, что подобные системы не примут на вооружение в других странах. Например, появление ударных беспилотников в ряде государств вынудило США срочно разрабатывать методы и стратегию противодействия беспилотникам.

В связи с этим в январе 2021 г. в Министерстве обороны США вышла стратегия противодействия малым беспилотным летательным аппаратам, где показана озабоченность изменяющимся характером войны и растущей конкуренцией, которые несут вызовы американскому превосходству.

Генерал-лейтенант Майкл Грун, который является командующим Объединенного центра искусственного интеллекта Министерства обороны США, говорит о необходимости поторопиться с внедрением программ искусственного интеллекта для военных нужд. По его мнению «вскоре мы можем оказаться в боевом пространстве, определяемом принятием решений на основе данных, интегрированными действиями и темпом. При правильных усилиях по внедрению искусственного интеллекта сегодня мы обнаружим, что в будущем будем работать с беспрецедентной эффективностью и отдачей».

Объединенный центр искусственного интеллекта Пентагона, созданный в 2018 г., сейчас является одним из ведущих военных институтов, который занимается созданием «умной начинки» для будущих систем вооружений, коммуникаций и командования.

Именно искусственный интеллект является сейчас самой обсуждаемой темой является в военно-научных кругах США. Это ресурс, который может помочь в достижении своих целей, например, позволяя беспилотникам летать без присмотра со стороны оператора, определять цели с помощью быстрого и многостороннего анализа, с помощью датчиков собирать разведданные.

Предполагается, что развитие искусственного интеллекта приведет к жесткой конкуренции, поскольку он сам по себе отличается от многих прошлых технологий своей естественной тенденцией к монополии. Эта тенденция к монополии усугубит как внутреннее, так и международное неравенство.         

Аудиторская фирма PricewaterhouseCoopers прогнозирует, что к 2030 г. доля ВВП в разработках искусственного интеллекта может вырасти почти на $16 трлн, из которых 70% будет приходиться только на Соединенные Штаты и Китай. Если соперничество будет представлять естественный ход вещей, то для компаний, которые применяют искусственный интеллект для военных нужд или технологий двойного назначения, такая постановка вопроса видится вполне логичной. Это будет гонка вооружений нового типа.

Если говорить об этической стороне, то военные системы искусственного интеллекта могут участвовать в принятии решений о сохранении жизни или выносить смертный приговор. Они включают в себя как смертоносные автономные системы оружия, которые могут выбирать и поражать цели без вмешательства человека, так и программы поддержки принятия решений. Есть активные сторонники включения машин в процесс принятия сложных решений. Например, американский ученый Рональд Аркин утверждает, что такие системы не только часто обладают большей ситуативной осведомленностью, но и не мотивированы самосохранением, страхом, гневом, местью или неуместной лояльностью, предполагая, что по этой причине роботы будут реже нарушать соглашение о войне, чем люди.

Также есть мнение, что функции искусственного интеллекта могут преобразить взаимоотношения между тактическим, операционным и стратегическим уровнем войны. Автономность и сетевое взаимодействие наряду с другими технологиями, включая нанотехнологии, стелс и биогенетику, предложат сложные тактические боевые возможности на суше, на море, и в воздухе. Например косяки автономных подводных роботов, сконцентрированные в определенных местах в океане, могут осложнить скрытые действия подводных лодок, которые в настоящее время обеспечивают гарантированную возможность ответного удара ядерных держав. Таким образом, и другие тактические платформы могут оказать стратегическое воздействие. 

Кроме того, повышение маневренности также связывают с искусственным интеллектом. Это, в частности, программное обеспечение и датчики, с помощью которых возможна автономия роботов в опасных местах. Это одна из движущих сил применения автономных систем военными. Большие надежды американские военные связывают с автономией машин потому, что это может дать больше свободы действий для людей, которые командуют и сражаются вместе с роботами. Американские разработчики рассчитывают перейти от 50 солдат, поддерживающих сейчас один дрон, наземного или водного робота, к такой парадигме, когда один человек будет поддерживать 50 роботов.

Но искусственный интеллект может создавать и серьезные проблемы. Военный искусственный интеллект может потенциально ускорить борьбу до такой степени, что действия машин превзойдут мыслительные и физические способности людей, принимающих решения на командных постах будущей войны. Поэтому технология будет опережать стратегию, а человеческие ошибки и машинные ошибки, вероятнее всего, смогут соединяться друг с другом – с непредсказуемыми и непреднамеренными последствиями.

В исследовании корпорации RAND, посвященном изучению того, как мыслительные машины влияют на сдерживание, если речь идет о военном противостоянии, говорится о серьезных проблемах, которые могут последовать если будет применяться искусственный интеллект на театре военных действий. На основе результатов проведенных игр было показано, что действия, предпринятые одной из сторон, которые оба игрока воспринимали как снижение напряженности, были немедленно восприняты искусственным интеллектом в качестве угрозы. Когда игрок-человек выводил свои силы с целью снижения эскалации, то машины, чаще всего воспринимали это как тактическое преимущество, которое нужно было закрепить. А когда человек-игрок выдвигал силы вперед с явной (но не враждебной) демонстрацией решимости, то машины имели тенденцию воспринимать это как неизбежную угрозу и принимали соответствующее решение. В отчете указывалось, что людям приходится сталкиваться с замешательством не только в том, что думает противник, но и с восприятием искусственного интеллекта противника. Кроме того, игрокам приходилось бороться с тем, как их собственный искусственный интеллект может неверно истолковать человеческие намерения, как дружеские, так и вражеские.

Иными словами, идея, заложенная Карелом Чапеком в его произведение о роботах, остается актуальной — невозможно предвидеть поведение искусственного интеллекта. А если «умные» роботы имеют военное применение, то они могут стать еще и опасными для самих хозяев.  И даже в США есть скептики среди военных, относящиеся к лагерю традиционалистов, которые считают, что подобные новшества утопистов из силиконовой долины будут вредны для американской государственности. 

Леонид Савин

Источник: www.geopolitica.ru