Неизбежность новой гонки
6–7 сентября 2018 года в Пекине состоялась совместная конференция Стокгольмского института исследования проблем мира (SIPRI) и Китайского института современных международных отношений (CICIR), посвященная влиянию технологий искусственного интеллекта и автономных систем на ядерную безопасность и стратегическую стабильность. Это уже второе мероприятие, которое прошло в рамках двухлетнего исследовательского проекта SIPRI, направленного на изучение влияния автономных систем и технологий искусственного интеллекта на международные отношения.
В фокусе конференции в Пекине были проблемы безопасности в Восточной Азии. Мероприятие объединило экспертов из России, Китая, США, Франции, Великобритании, Японии, Южной Кореи, Индии и Пакистана, которые обозначили позиции своих стран по вопросу использования новых технологий в вопросах стратегической стабильности.
Интересной особенностью мероприятия стал консенсус участников относительно того, что новые технологии (в первую очередь, машинное обучение) уже в самом ближайшем будущем будут применяться ядерными державами для модернизации их стратегического вооружения. Применение «слабого» искусственного интеллекта (заточенного на решение конкретной задачи) для раннего оповещения о пуске ракет противника, а также для оценки вероятности подобного пуска способно дать военному командованию ядерной державы дополнительное время на принятие решения об ответном ударе и его масштабе. Новые технологии также способны повысить точность ядерного оружия и эффективность противоракетной обороны, улучшить защиту ядерных объектов, предоставить более качественные разведывательные данные.
В то же время ускорение процесса принятия решений одной из сторон неизбежно подтолкнет ее потенциальных противников к поиску возможностей более быстрой доставки ядерного оружия. Подобная гонка между ядерными державами потенциально несет в себе значительную угрозу мировой стабильности, поскольку она будет оставлять все меньше времени на оценку угрозы ракетной атаки и целесообразности ответных действий. В конечном итоге нельзя исключать вероятности того, что страны будут вынуждены автоматизировать принятие решений об ответном ударе, что может привести к непредсказуемым последствиям. При этом более слабые ядерные державы, которые чувствуют себя уязвимыми, могут уже в ближайшем будущем поддаться соблазну внедрить систему автоматического ответного ядерного удара (по аналогии с советской системой «Периметр» и американской «Operation Looking Glass»).
В рамках дискуссии отмечалось, что даже специалисты по машинному обучению не всегда до конца понимают его работу. Несмотря на стремительное развитие технологий ИИ, проблема «черного ящика», когда алгоритмы принятия решений остаются скрытыми от разработчиков, сохраняет свою актуальность. Таким образом, прежде чем доверять искусственному интеллекту решения, связанные с применением летального оружия, необходимо значительно повысить его транспарентность. Однако, здесь неизбежно возникает противоречие, связанное с необходимостью сочетать прозрачность механизмов машинного обучения с их защищенностью от врага, поскольку данные, используемые нейросетями, могут быть «отравлены» умышленными манипуляциями (data poisoning). Важно также отметить, что военные в силу специфики их работы обладают принципиально меньшим объемом данных для машинного обучения, нежели гражданские компании, занимающиеся ИИ.
Также на конференции была затронута тема разработок КНДР в сфере искусственного интеллекта. Участники отметили, что, несмотря на значительные усилия, приложенные Пхеньяном в этой сфере, северокорейские разработки в сфере машинного обучения на сегодняшний день находятся в зачаточном состоянии и вряд ли будут представлять какую-либо угрозу в обозримом будущем.
Автономные, смертоносные, твои
Значительное внимание на конференции было уделено боевым автономным системам (Lethal Autonomous Weapon Systems, LAWS), поскольку они уже активно применяются отдельными странами, в первую очередь США и Китаем. Большинство участников конференции сошлось во мнении, что инциденты с автономными устройствами могут спровоцировать конфликты между великими державами в Восточной Азии. Среди вариантов подобных инцидентов можно перечислить столкновение необитаемых аппаратов, потеря контроля над ними, и даже похищение дрона противника одной из сторон.
Вероятность возникновения подобных эпизодов выше всего в Южно-Китайском море, в котором находится ряд спорных территорий, на которые претендует Пекин — Парасельские острова и острова Спратли. США, в свою очередь, связаны союзническими обязательствами с Филиппинами, на которых размещено 5 американских военных баз, и традиционно поддерживается масштабное американское присутствие в регионе.
Сценарий возникновения инцидентов с дронами в Южно-Китайском море нельзя назвать чисто теоретическим, подобного рода прецеденты уже случались в недавнем прошлом. В частности, в декабре 2016 г. Китай захватил в нейтральных водах недалеко от Филиппин подводный дрон американских ВМС, который занимался сбором научных данных. Пекин тогда вернул Вашингтону дрон, но обвинил американскую сторону в создании угрозы суверенитету страны. При этом, комментируя ситуацию с захватов аппарата, эксперты отмечали, что, скорее всего, он был тщательно изучен китайской стороной перед возвращением.
Среди других зон, где потенциально может произойти столкновение автономных аппаратов можно отметить Тайваньский пролив, воды вокруг Южных Курил, островов Сенкаку (их принадлежность оспаривают у Токио Пекин и Тайбэй) и островов Лианкур (контролируются Южной Кореей, оспаривается Японией).
В ближайшем будущем частота инцидентов с дронами как в Восточной Азии, так и в других регионах мира может существенно возрасти, поскольку одним из наиболее перспективных направлений использования автономных беспилотных аппаратов (летательных и подводных) является контроль над границами. В частности, система автономного патрулирования наземных границ уже активно разрабатывается Европейским Союзом.
Даже не вооруженные летальным оружием, дроны могут стать причиной конфликта, если над ними потерян контроль, и они непреднамеренно пересекли границу другого государства. Они также могут столкнуться с автономными аппаратами другого государства. Кроме того, не до конца известно, как дроны разных систем будут взаимодействовать при сближении друг с другом.
Отдельно усложняет ситуацию и тот факт, что автономное оружие и искусственный интеллект до сих пор находится в «серой зоне» международного права. Рекомендации по решению данной проблемы в рамках Конвенции о «негуманном» оружии недавно выработала группа правительственных экспертов ООН. 31 августа 2018 г. она опубликовала отчет о возможных принципах регулирования боевых автономных систем. В частности, эксперты предлагают возложить ответственность на человека за действия автономных аппаратов на любом этапе.
Гнев Посейдона
Отдельную обеспокоенность у иностранных участников конференции вызвала российская беспилотная атомная субмарина о разработке которой сообщил Владимир Путин в послании Федеральному Собранию 1 марта 2018 г.:
«Могу сказать, что в России разработаны беспилотные подводные аппараты, способные двигаться на большой глубине (знаете, я бы сказал, на очень большой глубине) и на межконтинентальную дальность со скоростью, кратно превышающей скорость подводных лодок, самых современных торпед и всех видов, даже самых скоростных, надводных кораблей. <...>
Беспилотные подводные аппараты могут быть оснащены как обычными, так и ядерными боеприпасами. Это позволит им поражать широкий спектр целей, в том числе авианосные группировки, береговые укрепления и инфраструктуру».
Позже в июле 2018 г. Министерство обороны России сообщило о начале испытаний беспилотного подводного аппарата, получившего название «Посейдон» (также известен как «Статус-6»). Система включена в госпрограмму вооружения до 2027 года, ожидается, что до этого срока она будет включена в состав ВМФ России. Согласно информации в СМИ, «Посейдон» будет способен нести ядерную боевую часть мощностью до двух мегатонн.
По мнению ряда участников конференции, использование дронов с ядерными боеприпасами способно радикальным образом изменить стратегический баланс сил и спровоцировать новую гонку вооружений. Кроме того, в случае если автономное устройство будет запущено по ошибке, из-за специфики подводной среды с ним нельзя будет связаться, чтобы отменить его смертоносную миссию. Впрочем, новой это проблему назвать нельзя — долгое время в аналогичном положении находились атомные подводные лодки, которые при погружении уже не могли получить приказ об отмене пуска.
Рецепты разрядки
В рамках конференции также состоялись дискуссии в рабочих группах, целью которых была выработка предложений по смягчению рисков и негативных эффектов от внедрения новых технологий на стратегическую стабильность.
Среди предложенных участниками мер можно отметить следующие:
- Использование новых технологий для взаимного мониторинга ядерных объектов.
- Снижение боеготовности ядерного оружия (de-alerting).
- Двусторонний и многосторонний диалог между ядерными державами по вопросам применения ИИ в военной сфере.
- Принятие странами обязательств (например, в форме декларации) о сохранении человеческого контроля над ядерным оружием.
- Обмен между странами информацией о национальных разработках в сфере ИИ.
- Продолжение дискуссии о параметрах человеческого контроля автономных систем (поддержка деятельности специализированной группы правительственных экспертов ООН).
- Выработка кодекса поведения относительно возможных инцидентов с боевыми автономными системами и беспилотными аппаратами.
- Создание «горячих линий» между странами относительно инцидентов с автономными системами.
- Разделение систем раннего оповещения и принятия решения об ударе.
- Выработка требований безопасности к автономным системам, в том числе возможность отмены их миссии.
- Интенсификация обмена технологиями в сфере ИИ. Большая открытость инноваций.
В целом же необходимо отметить, что реальное ограничение военного использования автономных систем и искусственного интеллекта, в том числе для повышения эффективности стратегического вооружения, уже не представляется реалистичным сценарием. Если судить по докладам участников конференции, гонка вооружений в этой сфере уже началась, и соблазн получить преимущество в сфере новых вооружений слишком велик, чтобы страны могли всерьез, а не декларативно учитывать соображения общегуманитарного характера.
Сложившаяся ситуация подчеркивает необходимость скорейшей выработки юридической основы использования автономных систем и искусственного интеллекта. Крайне желательно также зафиксировать на межгосударственном уровне, хотя бы в формате декларации, запрет на автоматизацию решения о применении ядерного оружия. В противном случае «выигранные» минуты могут оказаться слишком дорогими для всего человечества.
