Искусственный интеллект и ядерная угроза. Исправление «сломанных стрел» по линии их стыковки

Аварии случаются.

Были сотни аварий с ядерным оружием, которые военные называют инцидентами «Broken Arrow» («сломанной стрелы»).

В 1981 году Министерство обороны США опубликовало официальный «всеобъемлющий» список из 32 таких инцидентов, а после окончания холодной войны были опубликованы подробности еще сотен таких инцидентов.

Тем не менее, несмотря на все эти инциденты и аварии, на ядерное оружие по-прежнему рассчитывают для сдерживания эскалации между державами, обладающими ядерным оружием. Учитывая последствия любой ядерной аварии и угрозу, связанную с нарушением сдерживания, даже к событиям с низким уровнем риска необходимо относиться серьезно.

Эти ставки возросли в последние месяцы на фоне войны в Украине и угроз президента России Владимира Путина применить ядерное оружие в случае прямого вмешательства третьих держав.

Хотя человечество пережило самые близкие столкновения холодной войны, и даже если большинство экспертов считают, что Путин не применит ядерное оружие в Украине, нельзя допускать самоуспокоенности, когда речь идет о ядерной опасности. И того хуже, когда могут таиться новые опасности.

Достижения в области искусственного интеллекта (ИИ), робототехники, кибернетики, квантовых вычислений и других технологий создают новые возможности для стран пересмотреть свои системы управления и контроля, раннего предупреждения и даже платформы, которые они будут использовать в случае войны.

Существует прецедент использования автоматизированных систем или автоматизированных средств принятия решений в ядерном контексте, однако эти системы не обладали такой же степенью автономности, как современные системы обычных вооружений. В них также всегда присутствовал прямой контроль со стороны человека.

Однако, если государства и вооруженные силы амбициозно попытаются интегрировать эти новые возможности без достаточной осторожности, они могут оказаться плохо подготовленными к фактическим изменениям, вызванным технологическими переменами, и эти изменения могут оказаться дестабилизирующими и разрушительными, особенно когда речь идет о стратегической стабильности.

Снижение риска ядерных аварий или просчетов с участием ИИ отвечает коллективным интересам всех стран. Эти общие интересы могут сделать сотрудничество более правдоподобным даже во времена межгосударственных войн и геополитической напряженности.

Чтобы снизить риск ядерного конфликта, ядерные державы должны совместно разработать новые меры укрепления доверия для обеспечения позитивного человеческого контроля над применением ядерного оружия.

Такой неформальный документ, как совместная декларация пяти крупнейших ядерных держав, может снизить политические ставки в мире геополитической конкуренции, даже если этот документ не будет иметь обязательной юридической силы.

Совместная декларация может стать строительным блоком для сотрудничества между ядерными державами, не требуя от стран жертвовать потенциалом и сохраняя возможность обновления и пересмотра текста по мере создания технологий и обновления практики.

Хотя искусственный интеллект в этой области показывает неплохие перспективы, технология еще не достигла того уровня зрелости, когда государства будут вполне уверены в том, чтобы интегрировать искусственный интеллект в процессы ядерного командования и управления.

Поэтому ядерные державы должны уже сейчас прийти к соглашению и установить четкие нормы, которые не позволят государствам использовать ИИ таким образом, чтобы дестабилизировать ядерный баланс и повысить вероятность применения ядерного оружия в будущем.

Риск и вознаграждение на стыке ИИ и ядерного оружия

Внедрение автономных систем с поддержкой ИИ в ядерные операции может создать существенные риски из-за алгоритмических ограничений. Эти системы могут опираться на неадекватные или необъективные данные обучения или усугублять когнитивные предубеждения людей, которые их используют.

Аварии могут возникать даже из-за проблем совместимости, которые возникают при внедрении все более сложных функций в существующие системы командования и управления.

В совокупности эти факторы приводят к потере позитивного человеческого контроля над ядерным оружием, тем самым открывая дверь для потенциальных аварий, непреднамеренных конфликтов и непреднамеренной эскалации.

Искусственный интеллект и другие новые технологии, будучи внедренными в военный и ядерный контекст, могут нарушить стратегическую стабильность и повысить риск аварий, непреднамеренной эскалации или даже конфликта. Риск тем выше, поскольку алгоритмы обеспечивают эффективность и ускоряют процесс принятия решений за счет быстрой обработки огромных массивов данных.

Одним словом, алгоритмы могут обрабатывать данные быстрее, чем человек, и избавляют человека от необходимости выполнять повторяющиеся, монотонные задачи. Эти преимущества создают стимул для исключения человека из командно-контрольного контура, чтобы повысить эффективность, а также снизить нагрузку, которую эти данные, безусловно, будут оказывать на операторов.

Неудивительно, что военные по всему миру наращивают свой ИИ и более широкий технологический потенциал, чтобы воспользоваться потенциальными конкурентными преимуществами, которые сулит искусственный интеллект.

Соединенные Штаты перестраивают свои центры данных и ИИ в Министерстве обороны, чтобы лучше подготовить американских военных к использованию данной технологии для решения самых разных задач — от управления персоналом до ведения боевых действий.

Китай работает над «интеллектуализацией» своих вооруженных сил.

ИИ уже используется по-новому в российско-украинском конфликте: от идентификации погибших до анализа радиопередач и спутниковых снимков, создания дипфейков и более эффективного наведения артиллерии.

Естественным продолжением этой тенденции стало бы внедрение искусственного интеллекта в процедуры управления ядерными силами, системы раннего предупреждения и беспилотные системы доставки ядерного оружия. Интеграция более продвинутого искусственного интеллекта и автономных программ в эти области позволит снизить вероятность человеческих ошибок или неверных суждений в сценариях с высокой степенью риска.

В теории, такие алгоритмы сделают инциденты типа «сломаная стрела» гораздо менее вероятными и повысят безопасность ядерных систем и процессов запуска.

Человеческий фактор

Риск неудачи не является чем-то непонятным. Автоматизированные системы отказывали и в прошлом, но всегда при наличии человека, способного принять решение и остановить каскад ошибок и потенциальную ядерную катастрофу.

Например, в 1983 году подполковник Станислав Петров, оператор советского радара, отвечавший за регистрацию пусков вражеских ракет, получил ложный сигнал раннего предупреждения о ядерном нападении США. Это предупреждение должно было послужить толчком к процедурам возможного российского возмездия. Однако Петров доложил об этом предупреждении по цепочке командования как об ошибке, вместо того чтобы слепо довериться системе, которая в конечном итоге служила последней линией обороны.

Опасность, конечно, заключается в том, что с развитием искусственного интеллекта люди, подобные Станиславу Петрову, не смогут действовать в качестве запасного варианта, когда технология даст сбой.

По мере развития искусственного интеллекта алгоритмы могут значительно улучшить возможности раннего предупреждения.

Например, компьютерное зрение может выявлять и обрабатывать огромный спектр данных и ситуаций, таких как:

• необычные перемещения войск или техники;
• быстрее сортировать большие объемы разведданных;
• и даже может быть использовано для прогнозирования событий, связанных с ядерным оружием.

Данные, в этом смысле, могут нарисовать картину эскалации, но алгоритм может допустить ошибку в интерпретации действий человека, что приведет к принятию на основе данных решения о повышении уровня тревоги или даже применении ядерного оружия.

В идеальном мире ИИ устранил бы некоторые риски и непредсказуемость, связанные с тем, что человеку приходится определять намерения противника, тем самым делая сдерживание более стабильным.

Однако, в условиях несовершенства данных и сложных систем ИИ вполне может сделать ядерную динамику более нестабильной и тем самым повысить риск применения ядерного оружия.

Системы командования и управления уже полагаются на определенную степень автоматизации, и алгоритмы могут давать рекомендации командирам относительно вариантов изменения позиции в условиях кризиса. Эти изменения также повлияют на новое оружие с искусственным интеллектом, которое было разработано, чтобы преодолеть человеческие опасения по поводу обеспечения возможностей ответного удара по технологически превосходящему противнику.

Привлекательность беспилотных систем заключается в том, что они отстраняют человека от управления оружием. Разработчик оружия может создавать системы с большей выносливостью и дальностью действия. Для динамики сдерживания, беспилотная система с ядерным оружием может быть спроектирована как более живучая, особенно против специально созданных систем, предназначенных для защиты от ядерного нападения.

Выгода для лидеров заключается в том, что более мощное оружие может помочь уменьшить опасения стать жертвой первого удара по ядерным арсеналам. Эти необитаемые платформы доставки также могут быть быстро отозваны, перенаправлены или запущены. Преимущества такого типа платформ для нанесения второго удара очевидны, и можно утверждать, что они могут усилить сдерживание.

Однако, искусственный интеллект также способен создавать «каскады» отказов, когда все более сложные системы могут привести к тому, что мелкие аварии превратятся в крупные, поскольку люди-операторы все больше и больше теряют контроль над системами.

Это создает уникальные проблемы для обнародования информации о возможностях и вооружениях, которыми обладают вооруженные силы, и для исправления ошибок в конфликте.

Когда что-то идет не так, может быть трудно определить, было ли действие запланировано или нет, особенно если автоматизированные системы, принявшие решение, плохо понятны самим государствам, использующим их.

Кроме того, ИИ все еще является относительно новой областью для военных и еще не успел завоевать доверие как исследователей ИИ, так и потенциальных операторов и военных лидеров, что необходимо для его успешной интеграции в эти институты.

Поэтому преждевременное внедрение возможностей ИИ в ядерный контекст может привести к прямо противоположному результату, которого надеются добиться политики, и скорее подорвать стратегическую стабильность, чем укрепить ее.

Меры по укреплению доверия помогут снизить ядерный риск от использования ИИ

Одним из способов снижения риска ядерной аварии или просчета в эпоху искусственного интеллекта было бы согласие ядерных держав всегда держать человека в цепи ядерного командования и управления, а для ядерного запуска требовалось бы окончательное подтверждение человека. Это стандартная практика на протяжении десятилетий, поэтому ее кодификация не потребует от государств идти на какие-либо уступки противнику.

Ближайшим аналогом системы управления без участия человека была система «Периметр» или «мертвая рука» Советского Союза. Эта система была разработана как последнее средство для взаимного уничтожения путем автоматического запуска ракет дальнего радиуса действия в случае ядерного нападения на Советский Союз.

Однако, эта система просто автоматически делегировала полномочия по применению ядерного оружия от советского руководства младшим офицерам, если она не получала сигналов от датчиков советского руководства. Решение о применении ядерного оружия по-прежнему оставалось за младшими офицерами.

Особенно учитывая дополнительную сложность и возможность ложных срабатываний из-за машинного обучения, обязательство сохранить человека в командовании и управлении могло бы снизить риск аварий и просчетов. Это не будет отклонением от существующей практики ядерного командования и управления, поскольку во всех ядерных государствах люди работают в тандеме с автоматизированными средствами принятия решений при запуске ядерного оружия. Среди государств, обладающих ядерным оружием, также существует консенсус, что именно люди должны контролировать, когда и как должно применяться ядерное оружие.

Еще одним важным элементом меры укрепления ядерного доверия было бы соглашение ядерных государств избегать размещения ядерного оружия на беспилотных платформах, особенно на автономных платформах.

Основными средствами доставки американских и российских ядерных сил являются баллистические ракеты большой дальности. Эти средства доставки, конечно же, являются беспилотными. Однако, полномочия на их запуск требуют человекоцентричной командной цепочки, начиная с лидера каждой страны и заканчивая офицерами, осуществляющими запуск.

Для оружия, доставляемого самолетами и подводными лодками, среди всех ядерных держав существуют программы и планы по дальнейшему использованию беспилотных систем. Мы уже видим некоторые ранние разработки систем, которые размывают границы, например, российский подводный беспилотник «Посейдон» с ядерным потенциалом. Хотя эта система еще не развернута, она показывает, как границы могут быть размыты новыми системами с потенциалом автономного функционирования.

Что касается США, то ВВС заявили, что их будущий бомбардировщик B-21 с возможностью экипажа будет вооружен ядерным оружием только в том случае, если им будет управлять человек.

Кроме того, в 2019 году генерал-лейтенант Шанахан, руководитель Объединенного центра искусственного интеллекта Министерства обороны, утверждал, что Соединенные Штаты не должны и не будут передавать алгоритмам контроль над американским ядерным командованием и управлением.

Великобритания также подчеркнула приоритет «человеко-машинной команды» в своей оборонной стратегии искусственного интеллекта, а Франция подчеркнула аналогичное обязательство подчинить все системы вооружений человеческому командованию независимо от степени их автономности.

Как двигаться дальше

Война в Украине показывает, что как бы там ни было, ядерные угрозы останутся частью международной политики.

В той степени, в которой полная автоматизация систем раннего предупреждения или управления, или размещение ядерного оружия на необитаемых платформах может увеличить риск применения ядерного оружия, все государства, особенно все государства, обладающие ядерным оружием, имеют стимул снизить этот риск.

Более того, поскольку сегодня ни одна страна еще не интегрировала машинное обучение в свои платформы раннего предупреждения, командования и управления или ядерного оружия, эти меры укрепления доверия не подорвут стратегическую стабильность за счет снижения существующих возможностей. Напротив, они помогут обеспечить более безопасную и ответственную интеграцию ИИ в ядерные операции.

Меры по укреплению доверия, направленные на достижение согласия о позитивном человеческом контроле над ядерным оружием, уменьшат ядерную опасность. Потребовав участия человека в раннем предупреждении, командовании и управлении, а также на платформах, вооруженных ядерным оружием, мир мог бы гарантировать, что следующее поколение ядерных операций не увеличит риск аварий или просчетов по техническим причинам.

В идеале это должно быть зафиксировано в многостороннем договоре. Однако перспективы такого соглашения невелики, учитывая напряженность в отношениях между державами, обладающими ядерным оружием. Кроме того, мы все еще находимся на заре применения машинного обучения военными, и установление более жестких ориентиров сейчас может создать ограничения, снижающие стабильность, или может оказаться нецелесообразным в дальнейшем, поэтому любое соглашение должно быть гибким.

Меры укрепления доверия, такие как совместная декларация, могут помочь установить стремление к ИИ в ядерной сфере и начать сужать сферу возможностей (что особенно важно, учитывая широкий характер ИИ) и поэтому являются наиболее реалистичным и действенным путем вперед.

Они позволяют установить руководящие принципы с возможностью их расширения по мере развития технологий, потребностей и обстоятельств, связанных с милитаризованным ИИ. Кроме того, такие меры укрепления доверия позволяют избежать преждевременных ограничений со стороны государств, что крайне важно, учитывая ранние стадии исследований и разработок в области военного искусственного интеллекта.

Холодная война демонстрирует, что даже стойкие противники могут договориться о снижении ядерной опасности, если у них есть общие интересы. В свете войны между Россией и Украиной эти общие интересы представляются как никогда ясными.

04/11/2022

Автор: Лорен Кан

Источник: War On The Rocks

Лорен Кан является научным сотрудником Совета по международным отношениям, где ее работа сосредоточена на оборонных инновациях и влиянии новых технологий на международную безопасность, с особым акцентом на искусственный интеллект.

Last Updated on 04.11.2022 by iskova