ТЕСТ! СМЕРТОНОСНЫЕ АВТОНОМНЫЕ СИСТЕМЫ ВООРУЖЕНИЙ: ПРОБЛЕМЫ МЕЖДУНАРОДНО-ПРАВОВОГО РЕГУЛИРОВАНИЯ

В рамках выполнения Конвенции 1980 г. о запрещении или ограничении применения конкретных видов обычного оружия, которые могут считаться наносящими чрезмерные повреждения или имеющими неизбирательное действие (далее – Конвенция о «негуманном» оружии) с 2014 г. обсуждается перспектива регулирования использования смертоносных автономных систем вооружения[1]. В процессе переговоров экспертами Организации Объединенных Наций (ООН), Международного комитета Красного Креста (МККК) применяется термин «lethal autonomous weapons systems» (LAWS), или «смертоносные автономные системы вооружений». Аналогичный термин фигурирует в документах Министерства иностранных дел Российской Федерации. В научной литературе подобные технологии обозначаются по-разному: «боевые роботы», «смертоносные автономные вооруженные системы», «боевые автономные системы». Далее в статье с учетом его широкой распространенности, в том числе на уровне Министерства иностранных дел, ООН, будет использоваться термин «смертоносные автономные системы вооружений» (далее – САС).

Военные технологии искусственного интеллекта стоят на вооружении ряда стран достаточно давно. В современных вооруженных конфликтах активно используются ракеты с коррекцией траектории. Эти системы вооружений не полностью автономны, так как дистанционно управляются человеком (оператором). Оператор находится в контуре управления этой системы («man in the loop»)[2]. Подобные технологии существовали уже во времена Второй мировой войны[3] и не являются предметом исследования в рамках настоящей статьи.

С развитием искусственного интеллекта появились беспилотные летательные аппараты (далее – БПЛА), которые широко применяются в вооруженных конфликтах. Такая система вооружений наделена относительной автономностью от действий человека, который обладает возможностью внесения корректировок в ее работу. Однако эффективность взаимодействия человека и полуавтономной системы вооружений зависит от качества и дальности канала связи между ними, возможности оператора быстро отреагировать на представленные системой параметры для принятия решения. С целью повышения эффективности функционирования полуавтономных систем вооружений разработчиками предлагается обособить их от человека, сделав автономными. Таким образом, человек будет исключен из контура управления системой («man out of the loop»)[4]. Создание и применение таких систем вооружений вызвало озабоченность мирового сообщества. ООН, Международный комитет Красного Креста и другие международные организации изучают проблематику использования данных систем вооружений.

Технически это системы, способные самостоятельно, без вмешательства человека, выбирать и поражать цели. Автономная система состоит из системы управления движением и системы управления летальным оружием[5]. Учитывая автономность управления оружием, эксперты при разработке понятийного аппарата предложили использовать определение «смертоносный» («lethal») для обозначения такой системы[6]. Свойство автономности также стало предметом дискуссии: идентична ли автономность указанных систем автономности других устройств[7]? Будет ли система признаваться автономной, если не зависит от внешних источников энергии; обучается благодаря предыдущему опыту? Некоторые ученые настаивают: автономность машины предполагает такое техническое состояние, в которое человек уже не сможет вмешаться[8]. Благодаря заложенным алгоритмам машина самостоятельно распознает, отслеживает и классифицирует объекты. Сенсоры позволяют идентифицировать цели, сопоставляя их с имеющейся базой данных[9].

Основываясь на технических характеристиках и инженерных расчетах, государства высказали свои мнения о САС, которые могут быть использованы для применения поражающей силы в вооруженном конфликте (см. таблицу).

Позиция отдельных государств по вопросу о содержании понятия САС

Как видно из таблицы, при формулировке позиции по САС акцент делается в основном на свойстве автономности системы, т. е. способности действовать без участия человека.

Очевидна востребованность взвешенного подхода к формулированию ключевых понятий, чтобы избежать возможного смешения терминов «автономные» и «автоматизированные» системы (последние обладают лишь отдельными элементами «роботизированности» и состоят на вооружении многих стран). Для примера: бомбы, срабатывающие автоматически через определенный промежуток времени после установки, не будут считаться САС ввиду отсутствия искусственного интеллекта.

Автономность не предполагает наличие свободной воли как у людей, она реализуется благодаря заложенным алгоритмам. Принимая во внимание участие человека в производстве САС, некоторые ученые не видят проблемы в их использовании, так как считают, что контроль за применением силы останется у человека, который создает и программирует машину.

Российские военные эксперты предлагают делить САС на три поколения:

боевые роботы 1‑го поколения с программным и дистанционным управлением, способные функционировать только в организованной среде;

боевые роботы 2‑го поколения – адаптивные, имеющие своего рода «органы чувств» и способные функционировать в заранее неизвестных условиях, т. е. приспосабливаться к изменениям обстановки;

боевые роботы 3‑го поколения – интеллектуальные, имеют систему управления с элементами искусственного интеллекта (созданы пока лишь в виде лабораторных макетов)»[10].

Экспертами МККК под САС предложено понимать «любые системы вооружений, обладающие автономностью при осуществлении критически важных функций по выбору и поражению целей»[11]. Определение достаточно широкое, однако главный акцент сделан: принятие решения о непосредственном применении силы исходит не от человека, но напрямую от машины. Для сохранения контроля на этапе разработки целесообразно заложить специальный алгоритм, согласно которому машина исполнит действие, запрограммированное человеком. Однако на вопрос о перспективах решения этой проблемы нет однозначного ответа из-за технических характеристик.

На международных форумах обсуждаются следующие варианты правового регулирования:

ограничить разработку и применение таких систем вооружения;

наложить запрет на их разработку и использование.

Позиция МККК по рассматриваемой проблеме неоднозначна. Эксперты не призывают полностью запретить развитие таких технологий ввиду отсутствия полной и достоверной информации об их возможностях[12].

Создание такого вида вооружения не только приведет к появлению нового оружия, но и внесет изменения в саму парадигму ведения военных действий и применения военных технологий. Одна из ключевых проблем применения САС состоит в установлении того, как и кем будут соблюдаться нормы международного права, в частности МГП. Сможет ли робот провести должное различие между комбатантом и некомбатантом (например, гражданским лицом)? Для соблюдения норм МГП необходимо, чтобы машины могли адекватно «оценивать» обстановку, оперативно реагировать на ее изменения, действовать в соответствии с конкретными обстоятельствами.

Возрастающая автономность САС несет в себе угрозу постепенного ослабления (возможно утраты) контроля человека за применением силы, что недопустимо. Использование САС в вооруженных конфликтах может быть разрешено, только если они будут способны соблюдать принципы МГП. Для этого требуется, чтобы в соответствующие механизмы были в обязательном порядке заложены информация о нормах МГП и алгоритм их неукоснительного соблюдения.

Оружие, обладающее неизбирательным действием, согласно международному праву, запрещено. Следовательно, если САС квалифицировать в качестве такового, то их использование подпадает под данный запрет. Однако проблема не настолько односложна. Допустим, что робота можно технически обучить способности отличать гражданское лицо от комбатанта по внешним признакам, но остается вопрос о возможности запрограммировать распознавание более сложных случаев, например, когда комбатант сложил оружие и не способен принимать участие в военных действиях, либо когда гражданское лицо принимает непосредственное участие в военных действиях. Проблема программирования состоит в том, что машину нужно обучить не способности видеть знаки отличия и эмблемы, а способности оценить поведение и поступки человека в конкретной ситуации. Экспертами с целью соблюдения данного принципа предлагается описать алгоритм, согласно которому в случае возникновения сомнения сила не будет применяться.

Одним из основных вопросов выступает целесообразность делегирования процесса принятия решений о применении силы искусственному интеллекту. Совет ООН по правам человека изучает перспективы регулирования этой деятельности. Эксперт ООН К. Хайнс выразил мнение о необходимости ввести мораторий на «производство, сборку, передачу, приобретение, внедрение и использование автономных боевых роботов»[13] до принятия специального механизма правового регулирования на международном уровне. В своем докладе он говорит о сомнительности использования автономных боевых роботов в вооруженных конфликтах ввиду отсутствия достоверных данных об их способности действовать в соответствии с нормами МГП[14]. Сегодня это проблема технического характера, однако ее решение напрямую будет влиять на законность присутствия САС в зоне ведения военных действий.

Обеспокоенность мирового сообщества заключается в том, чтобы сохранить за людьми право применения силы даже в случае последующей эксплуатации САС. Для решения этой проблемы некоторые инженеры предлагают оставить оператора в контуре управления САС, чтобы в случае необходимости он смог их деактивировать либо преобразовать дальнейшие задачи на расстоянии[15]. Другие специалисты подвергают сомнению возможность реализации этого варианта, так как скорость принятия решения искусственным интеллектом значительно превышает скорость человеческой реакции, которой к тому же могут препятствовать проблемы связи. Также не исключаются случаи самопроизвольного срабатывания САС, что может привести к эскалации вооруженного конфликта. Эта проблема актуальна и в мирное время при использовании роботов, размещенных вдоль международных границ (например, между Северной и Южной Кореей).

В международном праве отсутствует специальный договор об использовании САС в вооруженном конфликте. Отчасти к таким ситуациям могут быть применены положения Женевских конвенций 1949 г. и оговорка Мартенса, которая запрещает использовать оружие, если это противоречит принципам гуманности и требованиям общественного сознания. Актуальность оговорки отмечал Международный суд ООН в консультативном заключении об угрозе использования ядерного оружия, называя ее эффективным средством реагирования на стремительно меняющиеся военные технологии[16]. Согласно ч. 2 ст. 35 Дополнительного протокола I к Женевским конвенциям 1949 г. сторонам вооруженного конфликта запрещено применять оружие, способное причинить излишние повреждения или излишние страдания[17]. Государства-участники Дополнительного протокола I при разработке САС, принятии их на вооружение в соответствии со ст. 36 должны «определить, подпадает ли их применение, при некоторых или при всех обстоятельствах, под запрещения, содержащиеся в настоящем Протоколе или в каких-либо других нормах международного права, применяемых к Высокой Договаривающейся Стороне».

Учитывая технологическую неопределенность в вопросе способности людей контролировать стремительно растущие возможности искусственного интеллекта и перспективы его применения в военной сфере, требуется разработка специального международного договора с целью предупредить возникновение новых угроз безопасности. Создание и использование САС может быть запрещено так же, как сегодня запрещено производство и применение химического оружия[18].

Альтернативным вариантом правового регулирования может стать не разработка нового международного договора, а принятие дополнительного протокола к Конвенции о «негуманном» оружии 1980 г.[19] Использование САС может быть запрещено или ограничено по аналогии с минами. Так, в дополнительном протоколе под САС могут пониматься системы, обладающие искусственным интеллектом и способные убивать, наносить повреждения или ущерб без вмешательства человека при непосредственном принятии указанных решений и непосредственном их осуществлении. Необходимо полностью запретить их применение в отношении гражданских лиц и объектов. Гражданское население должно иметь возможность быть оповещенным о месте расположения САС. Боевой робот должен иметь отличительные знаки, позволяющие идентифицировать его как военный объект. При проектировании их внешнего вида не должны применяться какие-либо вероломные способы их маскировки под безопасные объекты. Стороны вооруженного конфликта должны будут уведомлять друг друга о намерении использовать САС в конкретной военной операции.

Применение подобных технологий поднимает принципиальный вопрос: кто будет нести ответственность в случае совершения неправомерных действий САС? В научной литературе предлагаются различные варианты ответа[20]. Среди наиболее популярных: привлечение к юридической ответственности (уголовной и гражданской) оператора, программиста либо самой корпорации-изготовителя машин, а также привлечение к международно-правовой ответственности государства, которое направило их для участия в вооруженном конфликте.

Согласно проекту статей о международно-правовой ответственности государств, подготовленному и принятому Комиссией международного права ООН в 2001 г., «международно-противоправное деяние государства имеет место, когда какое-либо поведение, состоящее в действии или бездействии: присваивается государству по международному праву; и представляет собой нарушение международно-правового обязательства этого государства»[21]. В деле «Аль-Скейни против Великобритании» Европейский Суд по правам человека определил, что Великобритания осуществляла власть и контроль за людьми, убитыми в ходе секретной операции, имевшей место в районе, контролируемом Великобританией[22]. Аналогично в деле «Джалуд против Нидерландов» ЕСПЧ постановил, что смерть, случившаяся на пункте досмотра транспортных средств на юго-востоке Ирака, считается наступившей в пределах юрисдикции Нидерландов, так как именно власти Нидерландов несли ответственность за обеспечение безопасности этого региона[23]. Однако в отсутствие специальных международных договоров по САС привлечение государств к международно-правовой ответственности в случае совершения неправомерного действия машиной маловероятно.

При разработке механизма привлечения к ответственности за действия САС следует иметь в виду, что контроль человека может быть установлен на различных стадиях: при создании и тестировании системы; в процессе принятия командующим или оператором решения об активации системы; в процессе операции, направленной на выбор и нападение на цель. Исходя из этого, в юридической литературе называется несколько возможных субъектов преступлений: инженеры, участвующие в их разработке; программисты, закладывающие определенный алгоритм действий; изготовитель, осуществляющий сборку роботов; оператор (командующий), который привел оружие в действие (отдал приказ о приведении в действие)[24]. Уголовная ответственность за преступления указанных лиц должна наступать только при наличии прямой причинно-следственной связи между совершенным преступлением и действиями этих лиц, направленными на совершение преступления. Уголовная ответственность может наступить также для тех лиц, которые приняли решение о развертывании САС в конкретном месте в зоне вооруженного конфликта. Потерпевшим должно быть предоставлено право на получение компенсации за причиненный ущерб.

Подводя итог, отметим, что развитие технологий, задействующих искусственный интеллект, в целях последующего использования в вооруженных конфликтах имеет немало сторонников. К преимуществам САС относят: способность качественно и быстро получать и обрабатывать информацию, принимать на ее основе решения. Замещение военнослужащих машинами позволит сократить число жертв среди них. Некоторые специалисты полагают, что роботов от людей будет отличать бо́льшая гуманность.

Условия вооруженного конфликта деструктивно воздействуют на психику любого человека; достаточно вспомнить нередко диагностируемые у военнослужащих посттравматические расстройства. Война порождает хаос, в том числе в сознании конкретного человека, который может вследствие этого испытывать широкий спектр ярких негативных эмоций. Роботам не свойственны эмоциональные переживания людей, у них отсутствует инстинкт самосохранения, а наличие сенсорных датчиков позволит им лучше оценивать окружающую обстановку, в отличие от человека. Среди ученых, выступающих за разработку и применение САС, высказывается идея о ликвидации с их помощью элемента смертоносности в вооруженных конфликтах. Предполагается, что система вооружений будет владеть способами нейтрализации или обезоруживания целей без применения силы.

Однако описанные преимущества могут рассматриваться и как недостатки. Отсутствие у машин эмоциональных реакций ставит под сомнение способность принимать решения и действовать гуманно и в соответствии с принципами международного права. В случае наделения роботов полной автономией отсутствие необходимого контроля со стороны человека может привести к чрезмерному применению силы и чрезмерной жестокости, что запрещено нормами МГП. Существует техническая проблема написания алгоритмов, позволяющих роботам распознавать участников вооруженных конфликтов, например отличать комбатанта, непосредственно участвующего в военных действиях, от комбатанта, который сложил оружие[25].

Ведущие страны, участвующие в разработке САС (США, Китай, Россия и другие), не намерены отказываться от них, апеллируя к возможности ограничения применения. Как отмечает эксперт ПИР-Центра В. Б. Козюлин, «запретить боевых роботов будет нелегко – хотя бы потому, что пока в мире нет принятого на международном уровне термина не только „смертоносные автономные системы“ или „роботы-убийцы“, но даже простого термина „оружие“»[26]. Большинство международных договоров в области разоружения направлены на ограничение, но не полное запрещение САС. При этом ограничение устанавливается в отношении как случаев приобретения, хранения, накопления этих машин, так и их исследования, испытаний и последующих передачи и применения.

Пробелы правового регулирования в данной области при весьма интенсивном развитии военных технологий искусственного интеллекта ставят под угрозу возможность обеспечения международного мира и безопасности, а также могут повлечь потерю человеком контроля за применением силы. Легкость в использовании подобных технологий может стать одним из факторов, который позволит поддерживать заинтересованным сторонам состояние войны на отдельных территориях. Указанные обстоятельства подтверждают востребованность четкого международно-правового регулирования данных систем вооружений.