Война в цифровую эпоху

 

На протяжении всей истории человечества политическое влияние нации, как правило, примерно соотносилось с ее военной мощью и стратегическими возможностями — ее потенциальной способностью наносить ущерб другим странам. Проблема, однако, в том, что равновесие, основанное на расчете силы, непостоянно и не поддерживает само себя — оно опирается прежде всего на общее понимание того, что считать силой и каковы законные границы ее применения. Соответственно, поддержание этого равновесия требует общего для всех участников системы международных отношений — особенно противников — понимания относительных возможностей и намерений государств, а также последствий агрессии. Наконец, сохранение равновесия требует фактического и признанного паритета. Когда один из участников системы непропорционально усиливает свою мощь, система попытается приспособиться — либо организуя противоборствующую силу, либо подстраиваясь к новой реальности. Если равновесие неустойчиво или не признается участниками международных отношений, риск конфликта резко возрастает.

 

В наше время расчет равновесия стал еще более абстрактным. Причина тому — кибероружие, класс оружия с неясным статусом. В некоторых случаях кибероружие усиливает военную мощь страны тем, что эта страна не признает его использования и даже существования. Раньше, если начиналась война, сразу становилось известно, что произошло столкновение и какие стороны воюют. Противники оценивали силы участников и темп, в котором эти силы могли быть развернуты. С кибероружием все это не работает.

 

Даже ядерное оружие существует в обычном мире, где его развертывание может быть замечено, а его возможности определены — хотя бы приблизительно. Напротив, одно из главных свойств кибероружия — его непрозрачность, раскрытие информации о нем может в той или иной степени препятствовать его применению. Например, так называемые атаки нулевого дня используют ранее неизвестные недостатки в программном обеспечении, получая доступ к сети или системе без разрешения или ведома авторизованного пользователя. В случае распределенных DDoS-атак делается множество информационных запросов, блокирующих системы. Истинные источники атак маскируются, что затрудняет или делает невозможной идентификацию атакующего. Один из самых известных случаев промышленного саботажа с использованием кибернетических технологий — атака вируса Stuxnet, которая вывела из строя компьютеры, управлявшие иранскими ядерными разработками, — не обсуждался публично странами, которые, как считается, его осуществили.

 

Моральные и правовые нормы предписывают использовать обычное и ядерное оружие только против военных сил и объектов. В отличие от этого, кибероружие широко воздействует на вычислительные и коммуникационные сети, часто поражая гражданские системы. Кроме того, кибероружие могут взять на вооружение другие стороны для других целей, включая использование против напавшей стороны. В некоторых отношениях это делает кибероружие похожим на биологическое или химическое оружие, которое может распространяться непреднамеренными и неизвестными способами. Во многих случаях оно воздействует на широкий срез общества, а не только на боевые цели.

 

Таким образом, те самые свойства кибероружия, которые обеспечивают его эффективность, делают практически невозможным контроль над кибервооружениями. Когда участники переговоров по контролю над ядерным оружием раскрывали или описывали классы боеголовок, они не отрицали возможностей этого оружия. Переговорщикам по кибервооружениям предстоит столкнуться с интересным парадоксом — само обсуждение возможностей кибероружия может означать как его сокращение (если противник устранит уязвимости, против которых оно направлено), так и более широкое распространение (если противник скопирует его код или использует тот же принцип действия).

 

Эти проблемы усложняются неоднозначностью ключевых терминов и концепций. Различные формы кибервторжений, онлайн-пропаганды и информационной войны разные наблюдатели могут в тех или иных случаях назвать «кибервойной», «кибератакой» и даже «военными действиями», но этот словарь необщепринят и иногда используется непоследовательно. Одни действия, такие как вторжение в сеть для сбора информации, могут быть аналогичны традиционному шпионажу, хотя и в новых масштабах. Другие атаки, такие как цифровые кампании по вмешательству в выборы в социальных сетях, скорее относятся к пропаганде, дезинформации и политическому воздействию — но благодаря вездесущей цифровизации и сетевым платформам это возможно в более широких масштабах и с более высокой эффективностью, чем в предыдущие эпохи. Существуют также формы кибернетического воздействия, которые способны нанести физические потери, сходные с традиционными боевыми потерями. Но как выяснить, началась ли кибервойна, какова ее природа и как далеко она может зайти? Очевидно, что крупнейшие страны в настоящее время вовлечены в некий киберконфликт, природу или масштаб которого невозможно однозначно определить.

 

Главное противоречие цифрового века заключается в том, что чем больше цифровой потенциал общества, тем более уязвимым оно становится. Компьютеры, системы связи, финансовые рынки, электросети (и цифровые системы командования и управления, от которых они зависят), даже механизмы демократической политики — все эти системы в той или иной степени уязвимы для манипуляций или атак. По мере того как страны с развитой экономикой интегрируют цифровые системы управления и контроля в электростанции и электросети, переносят все больше правительственных программ на большие серверы и в облачные системы, передают все больше данных в электронные реестры, их уязвимость к кибератакам возрастает, в то время как государства со слаборазвитыми технологиями и террористические организации теряют сравнительно меньше.

 

Сравнительно низкая стоимость киберопераций и их относительная скрытность побуждает некоторые государства использовать для кибервойны полуавтономные группы. В отличие от отрядов, наводнявших Балканы накануне Первой мировой войны, эти группы трудно контролировать, они могут заниматься диверсионной деятельностью без официальной санкции. Поскольку утечки данных и кибердиверсии могут нейтрализовать значительную часть кибернетического потенциала государства или изменить его внутриполитический ландшафт, скорость и непредсказуемость этой области и разнообразие субъектов, которые в ней присутствуют, могут заставить политиков быстро перейти к наступательным действиям, чтобы нанести удар возмездия. Не являясь традиционной войной, такие действия могут оказаться разрушительными для целых стран и отношений между ними.

 

Быстрота и неоднозначность киберпространства благоприятствуют как наступлению, так и контрнаступлению. При этом возможности киберсдерживания частично зависят от того, что именно планируется сдерживать и как измеряется успех, — но ни одна крупная сторона киберконфликтов, правительственная или неправительственная, не раскрыла всего спектра своих возможностей даже для того, чтобы сдержать действия других сторон. Новые стратегии и доктрины развиваются неопределенно, в теневой сфере. Для обеспечения реальной безопасности современная ситуация требует системного изучения, тесного сотрудничества между правительством и индустриями и — со временем и в соответствующих пределах — обсуждения ограничений с противниками.

 

 

Коллекция военных парадоксов, загадок и двусмысленностей ядерного оружия и кибероружия сегодня пополняется благодаря возможностям ИИ. Страны, которые создают и внедряют ИИ с перспективой военного применения, не афишируют свои разработки, которые тем не менее могут оказать революционное воздействие на политику обороны и безопасности.

 

Внедрение нечеловеческого мышления в военные системы и процессы изменит стратегию. Вооруженные силы и службы безопасности, использующие ИИ, добьются поразительных, даже ошеломляющих преимуществ. Сотрудничество с ИИ в военном деле может как свести на нет, так и невероятно усилить различные стороны традиционных стратегий и тактик. Если ИИ получит определенную степень контроля над кибернетическими (наступательными или оборонительными) или физическими (такими как авиация) системами вооружений, он сможет успешно выполнять функции, которые сложно реализовывать людям. Такие ИИ, как μZero ВВС США, уже летали на реальных самолетах и управляли радарными системами во время испытательных полетов. ИИ μZero спроектирован так, чтобы он мог самостоятельно применять оружие, но эта возможность отключена. Нет гарантии, что другие страны и команды разработчиков не дадут военным ИИ больше свободы.

 

Способность ИИ к автономии и логике создает не только потенциальную пользу, но и колоссальную неопределенность. Большинство традиционных военных стратегий и тактик основаны на предположении о существовании противника-человека, который будет вести себя узнаваемым образом, в соответствии с человеческим опытом и здравым смыслом. Однако ИИ, управляющий самолетом в поисках цели, будет следовать своей собственной логике, неизвестной противнику, невосприимчивой к традиционным сигналам и уловкам и при этом работающей очень быстро — гораздо быстрее, чем человеческое мышление.

 

В войне всегда много неопределенности и случайностей, но ИИ выводит их на новый уровень. Поскольку ИИ динамичен и эмерджентен, даже сами разработчики ИИ и пользователи оружия, основанного на ИИ, не могут точно знать, насколько оно мощное и что оно будет делать в той или иной ситуации. Как разработать наступательную или оборонительную стратегию для ИИ, который видит мир не так, как человек, обучаясь и изменяясь намного быстрее человека? Если результат применения некоторых видов оружия будет зависеть от восприятия ИИ и от выводов, которые он сделает (на основе расчетов, иногда непостижимых для человеческого разума), — не значит ли это, что выяснить стратегическое назначение этого оружия можно будет только в процессе его применения? Если потенциальный противник обучает свой ИИ в режиме секретности, как вообще узнать, кто побеждает и кто отстает в гонке вооружений?

 

Критическая точка традиционной войны — психология противника, именно против нее направлены стратегические действия. Но у алгоритма нет психологии, морали или сомнений, у него есть только его инструкции и цели. Поскольку ИИ может развиваться и меняться в процессе использования, ни одна из сторон не сможет точно предвидеть, каковы будут результаты (и сопутствующий ущерб) от применения ИИ, — в лучшем случае у них будет приблизительное представление об этом. И тогда стратеги и инженеры будут стремиться создать оружие, рассчитанное на скорость, широту воздействия и степень поражения — параметры, которые могут сделать такие конфликты более обширными и интенсивными.

 

Мы не призываем к разоружению или стратегии одностороннего отказа от вооружений — такое крайне редко возможно на практике. Как и в других стратегических областях, гарантия безопасности в случае с ИИ — сильная защита. Но, вооружаясь, потенциальные противники обязаны тщательно разобраться в том, что произойдет с внедрением ИИ в военное дело. Какой станет война — более гуманной и точной или более жестокой?
 

ИИ и машинное обучение меняют стратегические и тактические возможности сторон, расширяя действие существующих классов оружия. ИИ делает обычное оружие не просто более точным — теоретически он может нацелить оружие на конкретного человека или объект. Если военные или террористические группы будут использовать такие возможности для нападения на отдельных военных, политических, деловых или общественных лидеров, характер войны существенно изменится. Наступательный ИИ может научиться проникать в систему защиты без традиционной кибератаки, путем изучения огромных массивов информации. Оборонительный ИИ может находить и устранять уязвимости защиты до того, как ими воспользуется противник.

 

Темп военных действий, проходящих под управлением ИИ, неминуемо вырастет. Это может привести к появлению полностью или почти полностью автоматизированных систем обороны и контратаки (считается, что советская сторона занималась разработкой таких систем еще во время холодной войны). Результат автоматической отработки функций таких систем может выглядеть аналогично выполнению взаимосвязанных мобилизационных планов и обязательств, которые привели к катастрофе Первой мировой войны, — но без участия или почти без участия человека.

 

Если страна столкнется в бою с противником, который внедрил ИИ, обученный управлять самолетами и принимать самостоятельные решения о применении оружия, — какие изменения в тактике, стратегии или готовности прибегнуть к эскалации (возможно, ядерной) это вызовет? Какую реакцию вызовет отказ державы подтвердить или опровергнуть применение боевого ИИ?

 

Если говорить не только о классических боевых действиях, ИИ открывает новые горизонты возможностей в информационном пространстве — как в области мониторинга, так и в области дезинформации и подрывной деятельности. Генеративный ИИ может создавать огромные объемы ложной, но правдоподобной информации — включая искусственно созданных личностей, изображения, видео и речь, что особенно критично для свободных обществ. В общем доступе могут оказаться выглядящие реалистичными фотографии и видеозаписи, на которых общественные деятели говорят то, чего они никогда не говорили. Теоретически ИИ можно использовать для определения наиболее эффективных способов доставки дезинформации и ее адаптации к предубеждениям и ожиданиям общественности. Если противник использует фальсифицированные видео и изображения национального лидера для разжигания розни или распространения ложной информации, сможет ли общественность, включая правительства и официальных лиц, вовремя распознать обман?

 

В отличие от ядерной сферы, для такого использования ИИ не существует четкой концепции сдерживания (или степени эскалации при применении). Оружие с поддержкой ИИ (как физическое, так и кибернетическое) активно разрабатывается и, возможно, уже применяется. Державы, обладающие ИИ (как государства, так и негосударственные субъекты), будут развертывать машины и системы, использующие быструю логику, эмерджентное и эволюционирующее поведение для нападения, защиты, наблюдения, распространения дезинформации, а также выявления и уничтожения ИИ противников. Некоторые достижения будут засекречены или использованы неожиданно, другие, напротив, будут широко пропагандироваться в качестве меры сдерживания. И когда ИИ столкнутся друг с другом во время военных действий, это приведет к результатам, которые трудно предсказать.

 

По мере развития и распространения трансформационных возможностей ИИ ведущие страны будут стремиться к достижению и сохранению превосходства. Следует ожидать, что противники будут стремиться к тому же, не ограничиваясь полумерами. Важно понимать, что распространение ИИ, как во благо, так и во вред, обязательно произойдет: любые новые функции ИИ будут распространяться быстро и неподконтрольно правительствам.
 

Поскольку ИИ имеет двойное (гражданское и военное) назначение и может легко копироваться, распространение этих технологий будет крайне сложно контролировать. Попытки контроля будут подавляться наступательным оружием, кроме того, средства контроля будут естественным образом устаревать по мере технологического прогресса. Кроме того, новые пользователи ИИ будут адаптировать базовые алгоритмы к совершенно новым целям. Коммерческий ИИ можно легко перепрофилировать с гражданского использования на военное — например, для целей безопасности или информационной войны. Поскольку разработчиками ИИ по большей части будут негосударственные субъекты, обладающие специальными навыками и знаниями, — университеты, исследовательские лаборатории, операторы сетевых платформ, правительства не всегда смогут определять стратегически важные аспекты развития передовых ИИ в соответствии с их концепциями национальных интересов.

 

Определить «кибербаланс сил» или осуществить «сдерживание ИИ» сейчас очень трудно, если вообще возможно, — хотя бы потому, что эти понятия пока не определены, а планирование будет носить абстрактный характер. Это значит, что стороны будут стремиться сдержать противника угрозой оружия, последствия применения которого не очень хорошо известны. В таком случае менее технологически развитые страны, столкнувшись с державой, обладающей оружием с поддержкой ИИ, о возможностях которого, по сути, ничего не известно, могут не выдержать психологического воздействия такой ситуации и либо постараются вооружиться аналогичными средствами, либо применят непредусмотренные виды оружия и тактики.

 

Самый революционный и непредсказуемый эффект может вызвать взаимодействие ИИ и человеческого интеллекта. Раньше военные, планируя боевые действия, всегда могли в той или иной степени понять доктрину, тактику и стратегию своего противника. Основываясь на общих для всех людей возможностях и подходах, военные разрабатывали стратегию и тактику противодействия, а также символический язык демонстративных военных действий, таких как перехват самолета, приближающегося к государственной границе, или ввод кораблей в спорные воды. Но если военные будут использовать для планирования или ведения военных действий ИИ — даже как вспомогательное средство во время патрулирования или военного конфликта, — знакомые концепции и символы потеряют смысл, поскольку речь идет о взаимодействии с интеллектом, методы и тактика которого неизвестны. В тех случаях, когда военные будут передавать ИИ определенные функции, очень важно будет уметь прогнозировать и описывать ожидаемые последствия.

 

Переход к ИИ и системам вооружений с поддержкой ИИ означает как минимум частичную зависимость от интеллекта с огромным аналитическим потенциалом и принципиально иной парадигмой опыта, а в крайних случаях — передачу ему полномочий. В самом мягком случае ИИ будет способствовать обучению военнослужащих, помогая им оттачивать навыки и обнаруживать закономерности, которых люди ранее не замечали. Но даже такой способ использования ИИ может быть рискованным. Программное обеспечение для распознавания лиц на базе ИИ уже приводило к ошибочным арестам — подобные сбои военного ИИ могут привести к тому, что обычные действия сил противника будут идентифицированы как признаки готовящегося вторжения. Это значит, что операторы-люди обязательно должны отслеживать и контролировать действия ИИ, которые могут привести к непоправимым последствиям. Даже если это не позволит избежать всех ошибок, то, по крайней мере, у человека останутся моральная ответственность и подотчетность — те самые ограничения, которые предотвращают беспричинный ущерб и позволяют наказывать злоумышленников.

 

Однако самый глубокий вызов может быть философским. Чем больше ИИ будет задействован в концептуальных и аналитических аспектах стратегии, недоступных человеческому разуму, тем менее понятными для человека будут его процессы, влияние и результаты деятельности. Если политики придут к выводу, что помощь ИИ необходима для выяснения возможностей и намерений противника (который может иметь собственный ИИ) и своевременного реагирования на них, может оказаться неизбежным делегирование машинам критически важных решений и функций. Скорее всего, каждая страна самостоятельно нащупает свой предел подобного делегирования и соответствующих рисков и последствий. Ведущие державы не должны ждать войны, чтобы начать диалог о последствиях — стратегических, доктринальных и моральных — всех этих перемен.

 

 

Эти практические и философские вопросы необходимо рассмотреть и понять до того, как ИИ отправится на войну. Их актуальность растет, поскольку военные действия с участием кибернетики и ИИ уже не ограничены полями сражений, они в некотором смысле возможны везде, где есть цифровая сеть. Сегодня программное обеспечение управляет весьма обширной сферой физических систем, многие из которых — иногда вплоть до дверных замков и холодильников — объединены в сеть. Благодаря элементарной возможности цифровых схем передавать информацию и команды другим схемам возникла система потрясающей сложности и масштаба.

 

Военным силам, вооруженным ИИ, очень важно научиться находить некое взаимопонимание и сдерживать друг друга. Поскольку цифровые системы легко и относительно незаметно изменяются путем доработки компьютерного кода, крупные державы имеют право предполагать, что их противники могли продвинуть стратегически важные разработки и внедрение ИИ несколько дальше, чем они признали публично или пообещали конфиденциально. В чисто техническом смысле ИИ не так сложно переключить с разведки и поиска целей на активные военные действия, поэтому задачу создания систем взаимного сдерживания и контроля нужно решить во что бы то ни стало.
 

В процессе поиска решения этой проблемы придется учитывать динамичную природу ИИ. Допустим, кибероружие, созданное ИИ, сможет самостоятельно адаптироваться и обучаться. Это означает, что по мере того, как ИИ реагирует на окружающую обстановку, будут меняться возможности оружия, включая выбор цели. Если вид оружия или сфера его применения окажутся иными, чем предполагали или предупреждали его создатели, будет бессмысленно пытаться просчитывать меры сдерживания или эскалации. Вот почему люди должны сохранять контроль над диапазоном действий, которые способен предпринять ИИ, — как на начальном этапе проектирования, так и путем сохранения контроля над системой, которая стала отклоняться в сторону нежелательных действий. Такие ограничения должны быть взаимными.

 

Ограничения на возможности ИИ и кибернетического потенциала будет сложно определить, а распространение оружия на базе ИИ — сложно остановить. Потенциал, созданный и используемый крупными державами, может попасть в руки террористов. Малые государства, не обладающие ядерным оружием, могут многократно усилить свое влияние, инвестируя в передовые арсеналы ИИ и кибероружия. Будут задействованы также оборонительные возможности кибер- и информационного пространства, такие как выявление вредоносного контента в цифровых медиа или кибернетическое управление оборонительными системами на базе ИИ. 

 

Государства неизбежно будут делегировать алгоритмам ИИ (в том числе управляемым частными организациями) малые, не ведущие к человеческим жертвам задачи, включая обнаружение и предотвращение кибератак. Так называемая поверхность атаки цифрового общества, активно использующего компьютерные сети, слишком обширна, чтобы операторы-люди могли защищать ее вручную. С переходом многих аспектов человеческой жизни в онлайн и продолжением цифровизации экономики растет вероятность того, что ИИ-диверсии смогут нарушать работу целых секторов экономики. Чтобы уйти от такой опасности, странам, компаниям и даже отдельным людям придется вооружаться средствами кибербезопасности. Наиболее экстремальной (хотя все равно потенциально несовершенной) формой такой защиты будет разрыв сетевых соединений и отключение систем от сети, особенно для государств. Если не прибегать к таким крайним мерам, то некоторые жизненно важные функции киберзащиты будет способен выполнять только ИИ, отчасти из-за огромных размеров киберпространства и почти бесконечного множества возможных действий в нем. В подобной гонке вооружений противникам потребуются огромные объемы данных и вычислительные мощности, поэтому лидировать в этой области смогут лишь несколько стран.

 

За системами обороны с поддержкой ИИ скрывается самая сложная категория — смертоносные автономные системы вооружений. Обычно под ними понимают системы, которые после активации могут выбирать и поражать цели без дальнейшего вмешательства человека — в том числе со смертельным исходом. Ключевой вопрос в этой области — человеческий надзор и возможность своевременного вмешательства человека.

 

Обычно системы, оснащенные ИИ, контролируются человеком, задача которого — предоставлять разрешение на определенные действия. Но если это не будет ограничено контролируемыми межгосударственными соглашениями, новейшие формы систем вооружений смогут выполнять самые широкие боевые задачи — такие как защита границ, уничтожение материальных или кибернетических объектов и т.п. — и без существенного участия человека. Обеспечить человеческий контроль применения силы в этих сферах крайне важно, но такие ограничения не будут иметь смысла, если они будут приняты в одностороннем порядке — одной страной или небольшой группой стран. Такие меры должны быть взаимными и подкрепленными принудительным контролем, в противном случае риск кризиса или внезапной эскалации, вызванных применением автономного оружия, будет расти.

 

Поскольку эти технологии не просто изучаются, а реально используются, существует риск преждевременного применения основанного на них оружия, за которым последует война. Например, страна, которая пытается упредить своего противника, может атаковать его — но чем оправдать такую атаку? Действительно ли противник создал потенциал, о котором подозревал нападающий, и был ли он использован? Соответственно, возможны две группы доктрин: одна — ориентированная на ограничение и сдерживание, другая — на соперничество и превосходство. Это неразрешимый спор. Обе стороны могут быть правы в том смысле, что технология должна развиваться (становясь более эффективной и более угрожающей), чтобы противостоять ожидаемым угрозам. В этом смысле и распространение, и сдерживание являются вполне логичными целями и в некоторых случаях могут быть совместимы — но только если крупные державы будут наращивать свои вооружения в рамках проверяемых ограничений. Переговоры должны быть направлены на ограничение этой гонки, при этом важно, чтобы обе стороны в общих чертах знали, что делает противник, и ни одна сторона не скрывала свои самые важные для безопасности секреты. Полного доверия не будет никогда — но, как показали переговоры по ядерному оружию времен холодной войны, нужно пытаться достичь определенного взаимного доверия.

 

Раньше военные и гражданские области было легко разделить по признакам технологической дифференциации, сосредоточения контроля и степени поражения. Технологическая дифференциация означает, что технология имеет либо исключительно военное, либо исключительно гражданское применение (в отличие от технологий двойного назначения). Сосредоточение контроля означает, что правительство может легко управлять технологией, которую оно контролирует, в отличие от технологий, распространение которых происходит вне контроля правительства. Наконец, степень поражения говорит о разрушительном потенциале технологии.

 

Многие технологии в истории человечества имели двойное назначение, или легко распространялись, или обладали огромным разрушительным потенциалом. Однако до сих пор ни одна из них не обладала всеми тремя качествами: двойным применением, легкостью распространения и значительным разрушительным потенциалом. Железные дороги имеют двойное назначение, они обеспечивают перевозки как промышленных товаров, так и военной силы — но не имеют разрушительного потенциала. Ядерные технологии часто имеют двойное назначение и могут создавать огромный разрушительный потенциал, но их инфраструктура слишком сложна, поэтому они подконтрольны правительству. Огнестрельное оружие легко распространяется и имеет двойное назначение, но не является оружием массового поражения.

 

ИИ ломает эту парадигму: он имеет двойное назначение, легко распространяется (это всего лишь код) и, как правило (за некоторыми примечательными исключениями), может работать на отдельных компьютерах или в небольших сетях, что означает неподконтрольность правительствам, и обладает значительным разрушительным потенциалом. Эта уникальная комбинация качеств в сочетании с широким кругом заинтересованных сторон порождает стратегические проблемы нового уровня сложности.

 

Благодаря оружию с поддержкой ИИ станут возможными исключительно быстрые цифровые атаки с использованием цифровых уязвимостей. У государств может фактически не остаться времени на оценку признаков готовящейся атаки, им придется реагировать немедленно, чтобы не потерпеть поражение, поэтому они будут создавать системы на базе ИИ, отслеживающие признаки атак и способные контратаковать до того, как произошла атака. Как и в начале XX в., информация о существовании такой системы может послужить толчком к разработкам параллельной технологии или технологии, основанной на других алгоритмах. Стороны, вынужденные напасть первыми, могут сознательно пренебречь необходимостью действовать разумно — если человек вообще будет участвовать в принятии таких решений.

 

Известно, что новейшие «квантовые» алгоритмы ИИ, используемые на фондовом рынке, могут выявлять рыночные закономерности и реагировать на них со скоростью, превосходящей возможности самых искусных трейдеров. Компании, использующие такие алгоритмы, передали им контроль некоторых аспектов торговли ценными бумагами. Во многих случаях эти системы обеспечивают весьма значительные прибыли, но иногда они допускают грубые ошибки в расчетах — потенциально более серьезные, чем самая грубая человеческая ошибка.

 

Такие ошибки, происходящие в финансовом мире, все же относительно безопасны для жизни. Но аналогичный сбой в военной сфере может стать катастрофой. Если для защиты от цифровой атаки ИИ перейдет в наступление и проникнет в сеть противника, чтобы пресечь нападение на его территории, может быть непреднамеренно запущена эскалация.

 

Попытки использовать новые технические возможности в рамках некой стратегии и с сохранением международного равновесия осложняются тем, что знания, необходимые для технологического превосходства, больше не сосредоточены исключительно в правительственных или академических учреждениях. У новых стратегических технологий широкий круг создателей — от традиционных государственных подрядчиков до индивидуальных разработчиков, предпринимателей, стартапов и частных исследовательских лабораторий. Не все они будут считать себя обязанными работать исключительно ради поддержки национальных интересов, определенных федеральным правительством. Открытое взаимодействие промышленности, научных кругов и правительства может помочь преодолеть этот разрыв и обеспечить понимание стратегического влияния ИИ. Сегодняшние стратегические и технологические вызовы беспрецедентны — ведь у нас нет единого мнения ни о характере этих вызовов, ни даже о словаре для их обсуждения.

 

Нерешенной проблемой ядерной эпохи было то, что человечество разработало технологию, для которой стратеги не могли найти жизнеспособной оперативной доктрины. Дилемма эпохи ИИ будет противоположной — ее определяющая технология будет повсеместно приобретаться, осваиваться и применяться. В этих условиях сдерживание — или даже достижение коллективного определения сдерживания — будет сложнее, чем когда-либо прежде.
 

Человек владеет ядерными технологиями совсем недавно и не решил всех проблем управления ядерным оружием. Тем не менее задача оценки ядерного баланса была сравнительно простой — боеголовки можно было подсчитать, их мощность была известна. В отличие от этого, возможности ИИ динамичны, а обнаружить его присутствие или проверить его отсутствие при нынешних технологиях сложно или невозможно. Сдерживание в новую эпоху, скорее всего, будет основано не на таких простых инструментах, как подсчет боеголовок, а на существенно более сложных, таких как оценка скорости реакции ИИ и множества векторов, по которым может пойти атака.
 

Чтобы управлять ИИ, стратегам придется решить, как интегрировать ИИ в ответственную модель международных отношений. Если оружие будет применено хоть раз, то можно не сомневаться в том, что оно будет применяться и дальше, поэтому еще до первого применения стратеги должны разобраться в том, какие последствия будет иметь неоднократное применение, к чему может привести эскалация и как обеспечить деэскалацию. Политики будут вынуждены решать целый комплекс вопросов — вооружений, оборонительных технологий и стратегий, а также контроля над вооружениями. И поскольку по мере интеграции ИИ в новые виды оружия, стратегии и тактики контроль вооружений будет становиться пропорционально сложнее, доктрины должны быть сформулированы заранее, и решения должны приниматься до применения оружия.

 

Каковы будут требования к сдерживанию? Очевидной отправной точкой будет наложение ограничений — во времена холодной войны этот подход был успешным. Некоторые возможности были ограничены (например, пусковые установки ракет не имели боеголовок), другие (например, ракеты средней дальности) были полностью запрещены. Но ни ограничение существующих возможностей ИИ, ни ограничение их количества не повлияют на их гражданское использование и непрерывное развитие. Дополнительные ограничения придется наложить на возможности ИИ по обучению и поиску целей.

 

США уже провели различие между оружием с поддержкой ИИ, которое позволяет человеку более успешно вести войну, и оружием с ИИ, которое принимает смертоносные решения независимо от человека. Цель США — ограничить использование ИИ первой категорией, чтобы никто в мире не обладал оружием второй категории. Это ограничение разумно. Решающее значение в этом случае будет иметь определение характера и способа ограничения оружия с поддержкой ИИ, чтобы ограничения не устарели сразу после их принятия из-за способности технологии к обучению и развитию.

 

В XIX–XX вв. государства выработали ограничения на определенные формы ведения войны, например с использованием химического оружия или с массовыми жертвами среди гражданского населения. Поскольку оружие на базе ИИ делает возможными новые виды военных действий или значительно меняет существовавшие ранее способы ведения войны, страны мира должны срочно выработать новые ограничения. Эти соглашения должны быть достигнуты до того, как ИИ окажется способным их нарушить. Если конечной целью является баланс, переговоры должны быть многосторонними, а не двусторонними, чтобы учесть широкое распространение ИИ и его постоянное обучение и развитие. Простого реагирования на то, что уже существует, недостаточно.

 

 

Каждая крупная технологически развитая страна должна признать, что она стоит на пороге стратегической трансформации, которая вызовет еще более разнообразные и непредсказуемые последствия, чем появление ядерного оружия. Каждая страна, которая совершенствует технологии ИИ, должна создать национальный орган для изучения аспектов обороны и безопасности в условиях существования оружия на базе ИИ, а также общих перспектив различных секторов, определяющих создание и развертывание ИИ. На этот орган должны быть возложены две функции: обеспечение конкурентоспособности по отношению к остальному миру, координация действий с аналогичными органами в других странах, включая противников, и оценка того, как избежать эскалации или кризиса.

 

Если мы будем двигаться в этом направлении, то в конечном итоге эта стратегия может быть признана двумя основными мировыми ИИ-державами — США и Китаем, которые считают друг друга главными стратегическими конкурентами. Стратеги с обеих сторон должны ясно оценить уроки предыдущих соперничеств крупных держав и признать существование отличительных аспектов эпохи, в которой армии используют ядерный, кибернетический и ИИ-потенциал в дополнение к обычным арсеналам. Вероятно, они придут к выводу, что США и Китай (а также, возможно, Россия) должны договориться о том, что эти страны не будут вступать друг с другом в войну с применением кибероружия и ИИ. Отдельной специализированной группе чиновников в каждом правительстве можно поручить следить за выполнением этого обязательства и отчитываться об этом непосредственно перед руководителями стран. На данный момент общественные настроения в этих странах не способствуют такому начинанию, однако чем дольше эти державы будут относиться друг к другу как к противникам, не вступая в такой диалог, тем больше шансов, что произойдет кризис, который не нужен ни одной из сторон и о котором все будут сожалеть.

 

Парадокс международной системы заключается в том, что каждая держава вынуждена действовать — более того, должна действовать — в интересах собственной безопасности. Но при этом, чтобы избежать постоянной череды войн, каждая страна должна признать, хотя бы неявно, ответственность за поддержание всеобщего мира — а это невозможно без ограничений. И если военный обязан мыслить и планировать дальнейшие действия в терминах наихудших сценариев, то государственный деятель (а это может быть одно и то же лицо) обязан думать о том, как именно будут реализованы эти возможности и как будет выглядеть мир после этого.
 

Какой бы витиеватой ни была военная доктрина и какой бы сложной нибыла система вооружений, стратегию исполняют люди, и она должна служить человеческим интересам. В наше время, когда возможности ИИ и кибернетических технологий растут огромными темпами, а вопросы, связанные с ядерным оружием, все еще не решены, лидеры государств не должны повторить ошибки, которые привели Европу к Первой мировой войне. Если в войну вступит ИИ с его нечеловеческими скоростями, нас ждет ущерб, который будет очень сложно компенсировать.

 

Унаследованная стратегическая логика должна быть адаптирована к эпохе ИИ (а не вытеснена) — но теперь нам придется быстрее преодолевать наши худшие инстинкты. ИИ будет действовать быстрее, чем люди, принимающие решения. Защиту придется автоматизировать, но при этом нельзя упразднять основные элементы человеческого контроля. Неоднозначность ИИ в сочетании с его динамичностью, эмерджентностью и легкостью распространения усложнит принятие решений. В прежние эпохи лишь несколько великих держав или сверхдержав несли ответственность за предотвращение военной катастрофы, но вскоре может оказаться, что эта задача стоит уже перед сотнями стран.

 

Лидеры наступающей эпохи могут стремиться к решению шести основных задач по контролю над своими арсеналами обычного, ядерного, кибернетического и ИИ-оружия.

 

Во-первых, начиная с самых высоких уровней в каждой крупной стране и регионе необходимо стремиться к тому, чтобы увидеть опасность и не дать ей реализоваться. Лидеры стран-соперников, как и их предшественники времен холодной войны, должны быть готовы к переговорам о тех формах войны, которые они не должны вести друг против друга. Чтобы добиться этого, США и их союзники должны объединиться вокруг интересов и ценностей, которые они считают общими, неотъемлемыми и нерушимыми и которые отражают опыт поколений, выросших в конце холодной войны или после нее.

 

Во-вторых, необходимо вернуться к проблемам ядерной стратегии и признать их одним из величайших стратегических, технических и моральных вызовов человечества. В течение многих десятилетий ядерную политику определяли и стимулировали воспоминания о тлеющих Хиросиме и Нагасаки и страх, порожденный Карибским кризисом. Ядерные вопросы признавались уникальными и серьезными на широкой культурной и политической арене, но, как сказал бывший госсекретарь Джордж Шульц в интервью Конгрессу три года назад: «Я боюсь, что люди забыли об этом состоянии ужаса». Лидеры ядерных держав должны вернуться к совместной работе по предотвращению ядерной катастрофы.

 

В-третьих, ведущие кибер- и ИИ-державы должны попытаться определить свои доктрины и ограничения в терминах, отражающих отличительные аспекты кибероружия и оружия на базе ИИ, и выявить соответствие между своими доктринами и доктринами противников. В этих областях очень много нового и непонятного в свете традиционных стратегических концепций, но это необходимо для того, чтобы добиться сдерживания, сохранить мир и не допустить новой мировой войны.

 

В-четвертых, государства, обладающие ядерным оружием, должны обязаться проводить собственные внутренние проверки своих ядерных систем управления, контроля и раннего предупреждения. Это позволит создать систему безопасности для защиты от киберугроз и несанкционированного, непреднамеренного или случайного применения ядерного оружия, а также предотвращения кибератак на системы ядерного управления, контроля и раннего предупреждения.

 

В-пятых, военные и дипломатические ведомства должны выработать общие методы для увеличения времени принятия решений на случай повышенной напряженности и экстремальных ситуаций — особенно когда лидеры опасаются, что их страны могут оказаться под угрозой нападения. Это может стать общей важнейшей целью, особенно для противников, которые заинтересованы в создании системы взаимной безопасности, которая будет работать как в краткосрочной перспективе, так и в дальнейшем. Передовые системы, которые разрабатываются и внедряются правительствами, должны служить людям, и в условиях кризиса именно люди должны нести окончательную ответственность за дальнейшие действия. Даже противники должны попытаться договориться о том, как предотвратить необратимые решения или хотя бы сделать так, чтобы они принимались в темпе, присущем человеку.

 

Наконец, как только будет сформирована группа крупных ИИ-держав, им следует подумать о системных усилиях по нераспространению ИИ-оружия, подкрепленных дипломатией и угрозой применения силы. Если существуют силы, которым ни в коем случае, даже ценой войны, нельзя позволить получить эту технологию, их нужно назвать и решить, кто будет обеспечивать соблюдение ограничений. Ядерные державы исследовали подобную концепцию в отношении распространения ядерного оружия, но с переменным успехом. Если не помешать самым агрессивным и непримиримым правительствам мира поставить себе на вооружение эту новую разрушительную технологию, это может опрокинуть существующее стратегическое равновесие.

 

Все это наводит на мысль о главных особенностях ИИ-оружия, которые необходимо учитывать для сохранения мира.

 

Первая особенность: скорость. Кибератаки происходят слишком быстро для того, чтобы человек мог на них среагировать, поэтому оборонительные системы будут стремиться к автоматизму. Но поскольку нет эффективного способа выявить и устранить все возможные уязвимости, сети должны иметь уровни защиты (во избежание нарушений) и возможность полного отключения.

 

Вторая особенность: неточная интерпретация. В настоящее время отсутствует глубокое понимание типов кибернетических и ИИ-атак, как и соответствующих ответных мер. Допустим, атака является очень целенаправленной и поражает только военные системы — но будет ли этот факт очевиден до начала ответных действий? Что представляет собой соразмерный ответ и сможет ли ИИ точно оценить его? Военная доктрина США о реагировании на нападение «теми способами и в те сроки, которые мы посчитаем нужными» подразумевает соразмерность ответа, этого требует и международное право.

 

Третья особенность: принятие решений, в особенности автоматическое. Фактор скорости означает, что системы должны реагировать быстрее, чем способен отреагировать человек. Использование ИИ для целеуказания или анализа — не то же самое, что использование ИИ для автоматического принятия решений. И если ИИ рекомендует ответные действия, на человека будет оказано огромное давление.

 

Четвертая особенность: эмерджентное поведение. ИИ может генерировать результаты, которых люди не ожидают и не могут смоделировать с помощью существующих систем. ИИ, которому поставлена цель, может использовать непредвиденную тактику для ее достижения, нанося непредвиденный сопутствующий ущерб или вызывая непредвиденную эскалацию со стороны противника. Это значит, что перед развертыванием ИИ он должен быть проверен на предмет точности выполнения отданных команд.

 

Пятая особенность: невидимость и непрозрачность. Новое оружие, созданное на компьютере, может быть невидимым, его легко хранить в полном секрете. Когда же о нем станет известно, возникнет опасность упреждающей атаки. Современная военная доктрина требует предотвращать применение оружия противником. Целью программы, которая работает по этому принципу, может быть уничтожение кибер- или ИИ-возможностей противника до их использования. Но как это будет работать, если ИИ невозможно идентифицировать? Где проходит грань между допустимым упреждением и неоправданной агрессией и как страны будут преодолевать эти трудности?
 

И над всем этим, как дамоклов меч, нависает ядерная угроза. Страна, которой угрожает полное поражение в киберконфликте, может пойти на ядерную эскалацию. Как возможности кибернетики и ИИ соотносятся с существующими военными силами? Какие категории кибератак могут вызвать ответ обычным или ядерным оружием? Какие категории атак потребуют такого ответа?

 

Мы задаем эти вопросы, пытаясь обозначить проблемы разработки стратегии, создаваемые ИИ. Договоренности (и сопутствующие им механизмы коммуникации, принуждения и контроля), достигнутые в ядерную эпоху, могли и не быть заключены — но они появились благодаря человеческим усилиям, изобретательности и взаимному признанию опасности.

 

Когда наступит кризис, будет слишком поздно начинать обсуждение этих вопросов. Если в военном конфликте будет применен ИИ, это практически гарантирует, что дипломатия не успеет принять никаких мер. Ведущие державы должны пойти на обсуждение кибернетического оружия и оружия на основе ИИ хотя бы для того, чтобы выработать общий набор стратегических концепций и некоторое представление об ограничениях. Ограничения нужно устанавливать сейчас, когда человечество начинает создавать новые интеллектуальные средства уничтожения, способные к эволюции. Если случится трагедия, слишком поздно будет обсуждать ограничительные меры. Стремление к национальному превосходству в эпоху ИИ должно идти рука об руку со стремлением сохранения человечества.