Искусственный интеллект на войне: что предсказал Толстой

Капитан армии США Тео Липский в статье для Института современной войны (Военная академия США, Вест-Пойнт) объяснил, почему военное командование нельзя полностью передавать искусственному интеллекту: он может ошибаться, "галлюцинировать" и подменять живое суждение автоматикой. Толстой предупреждал об этом еще 150 лет назад.

Публикуем перевод этой статьи, подготовленный Центром анализа стратегий и технологий (ЦАСТ).

***

Как будет выглядеть военное командование будущего? Этот вопрос лежит в основе проводимых реформ вооруженных сил США - процесса, который осуществляется достаточно редко. Сухопутные войска США ищут ответ на этот вопрос, изучая украинский конфликт, события которого указывают, по крайней мере, на два важных урока. Во-первых, "децентрализованное командование" (или, как его принято называть в вооруженных силах США, "командование миссией") будет становиться все более распространенным. Во-вторых, для информирования каждого решения будет применяться искусственный интеллект. Недавно объявленная "Инициатива по преобразованию армии" включает в себя реформы в обоих направлениях.

Однако, возникает дилемма: как армия сможет одновременно сохранить и децентрализованное управление, и интегрировать искусственный интеллект в каждую свою задачу? Иными словами, если полагаться на искусственный интеллект во всех решениях, не рискует ли военное командование создать всего лишь другую форму централизации? Чтобы лучше понять эту дилемму и в конечном итоге разрешить ее, армии США не мешало бы еще раз рассмотреть ситуацию на Украине через уроки событий почти двухвековой давности, чтобы приглядеться к опыту молодого участника Крымской войны - Льва Толстого.

Заметки Толстого

До того, как стать литературным гигантом, Лев Толстой служил артиллерийским офицером. В 1854 г. он оказался в осажденном порту Севастополя, попал под жестокий огонь французских и британских осадных орудий и стал участником кульминации Крымской войны. Толстой, батарея которого находилась в Четвертом бастионе Севастополя, писал репортажи о жизни под огнем для своего любимого журнала "Современник". Его наблюдения, снискавшие популярность благодаря их искренности и мастерству, прославили автора. С тех пор они издаются как "Севастопольские рассказы" и многие считают их первым репортажем о современной войне. Успех книги убедил Толстого, что литература является призванием его жизни, и по окончании Крымской войны, он подал в отставку. Однако Толстой так и не забыл про войну как про предмет обсуждения в художественной литературе.

По описаниям Аустерлицкого и Бородинского сражений в романе "Война и мир"можно легко определить мнение автора о военном руководстве. Толстой утверждает, что сама идея командования практически является выдумкой, настолько непрочна связь между тем, что докладывают офицеры, и тем, что на самом деле происходит на полях сражений. Наиболее известные персонажи рассказов Толстого - офицеры - напрасно полагают, что понимают суть происходящих сражений, и большинство из них бродят по полю боя, ослепленные орудийным и ружейным дымом, не имея ни малейшего представления о происходящем, а затем сочиняют истории, объясняющие случившееся неудачи. Некоторые ошибочно принимают эти истории за заслуживающие доверия свидетельства очевидцев.

Галлюцинации военного командования?

При изучении военной стратегии возникает вопрос: не сказал ли Толстой чего-либо, что Карл фон Клаузевиц не отметил в своем трактате 1832 г."О войне"? В конце концов, Клаузевиц сделал знаменитую поправку на то, как внезапность и незначительность влияют на исход боя, описав их эффект как "трение" - термин, который широко используется военными стратегами США и по сей день. Но сама метафора трения уже намекает на одно существенное различие между пониманием битвы Клаузевицем и Толстым. Для Клаузевица все неудачи в войнах сводятся к трению, препятствующему бесперебойной работе машины - армии, состоящей из взаимосвязанных частей - которая выходит из строя в исключительных случаях. По мнению Толстого, такая машина существует разве что в воображении большинства (весьма неподготовленных) офицеров, которые, как бы ни старались, не могут реализовать свои замыслы в ходе сражений. Толстой утверждал, что военное командование не только не в состоянии предвидеть трения, но и имеет весьма ошибочное представление о действительности.

Тем самым идеи Толстого отличаются от положений Клаузевица, утверждая, что офицеры видят закономерности в сражениях там, где их в сущности нет, а есть лишь совпадения. В книге "Война и мир" Багратион просит разрешения начать битву при Аустерлице, когда она уже проиграна. В 1814 г. Москва горит не потому, что так приказал Кутузов, а потому, что пожарные бежали из города; точно так же удача под Тарутино улыбнулась Российской армии не в соответствии с заранее разработанным планом, а благодаря случайности. И все же историки и современники в равной степени приписывают исход этих событий гениальности Багратиона и Кутузова. Тоже самое можно сказать и о Наполеоне, которого Толстой изображает как обманутого эгоиста, называя его ребенком "который, держась за пару веревок внутри кареты, думает, что управляет ею".

Почему тогда Толстой считал что, и полководцы и историки связывают такие удачи с несуществующими, по сути, планами? Он отвечает на этот вопрос в типичном философском пассаже: "Человеческий разум не может постичь причины событий во всей их полноте", однако "желание найти их заложено в человеческой душе". Таким образом, люди стремятся к объективности, но неспособны разглядеть множество мелких причин и событий, видя вместо этого великие поступки, которых на самом деле не было. Здесь Толстой делает важный вывод - дело не в том, что у некоторых событий нет причин, просто эти причины слишком многочисленны и малопонятны для того, чтобы одновременно учесть их. Такие причины Толстой называл "бесконечно малыми", и чтобы найти их, нужно "оставить в стороне королей, министров и генералов" и вместо этого изучать "мелкие частицы, с помощью которых перемещаются массы".

Такова суть довода Толстого. Он указывает на ошибку влиятельных в те времена теоретиков и известных историков, которые полагали, что лишь несколько великих людей управляют судьбой всего человечества. Соответственно, идею Толстого можно рассматривать как веский довод в пользу децентрализованного командования, поскольку он предполагает, что именно оно является лучшим, если не единственным видом управления вооруженными силами, тогда как все остальное - иллюзия.

Дистанцированность офицеров высокого ранга от солдат на поле боя позволяет их "галлюцинациям" оставаться не измененными действительностью гораздо дольше, чем тех, кто ниже их по званию. Таким образом, присутствие на поле боя помогает командующим обрести целостное понимание ситуации. Как писал Исайя Берлин в своем эссе "Еж и лиса", умение увидеть все детали сразу - это в большей степени "художественно-психологическая" работа, чем что-либо другое. А что еще представляют собой "взаимное доверие" и "общее понимание", результаты сложного психологического процесса, которые в военной доктрине считаются необходимыми в децентрализованном командовании?

От "теории великого человека" к "теории великих моделей"

Возможно, и не нужно читать Толстого, чтобы оценить преимущества децентрализации военного командования. Сегодня американские сторонники подтверждения этой теории на Украине указывают на способность ВСУ противостоять численному, техническому и финансового превосходству вооруженных сил России за счет использования более динамичного, децентрализованного управления и контроля, который они сравнивают с организацией армии США. Украинская армия также активно применяет искусственный интеллект для различных задач, во многом опережая США. Поэтому в США и раздается все больше призывов наверстать упущенное путем интеграции искусственного интеллекта в инструменты командования, разработку задач и военную доктрину.

Однако гораздо меньше внимания уделяется взаимосвязи внедрения ИИ и сохранения децентрализованного командования. На первый взгляд, искусственный интеллект кажется убедительным ответом на жалобу Толстого. В своей работе Исайя Берлин резюмировал эту жалобу следующим образом: "Наше невежество столько обусловлено не какой-то врожденной недоступностью первопричин, сколько их множественностью, малостью конечных элементов и нашей собственной неспособностью видеть, слышать, запоминать, записывать и сопоставлять достаточное количество доступной информации. Всезнание в принципе возможно даже для эмпирических существ, но, конечно, на практике недостижимо".

Можно ли поставить искусственному интеллекту более важную задачу, чем эта? Разве предполагаемая ценность выводов ИИ не заключается в его способности учитывать совокупность всех бесконечно малых факторов, которые Толстой называл "конечными единицами", и затем, возможно, в кратчайших временных рамках спроецировать выводы на экран компьютера, например, при наступлении противника? Другими словами, не может ли правильно разработанная ИИ модель дать более объективную оценку ситуации на поле боя, чем человек, каким бы гениальным он не был?

Данный вопрос имеет три стороны. Во-первых: мультимодальная система, которую мы называем "искусственным интеллектом" представляет собой нечто вроде единого разума, но не множество разумов, поэтому каждый случай, когда искусственный интеллект проводит анализ ситуации, является еще одним примером централизации принятия решений. Во-вторых, имеющиеся у нас модели предрасположены к шаблонам, поэтому скорее еще раз подтверждают ошибки командования, которые так высмеивал Толстой вместо того, чтобы устранить их. Наконец, командующие подразделениями могут пренебречь своими наблюдениями, больше доверяя выводам искусственного интеллекта, основанными на беспристрастных вычислениях, тем самым отказываясь именно от наиболее важных исходных данных о том, что происходит в той или иной ситуации, и повторяя ошибку офицерского состава, находящегося далеко от военных действий - о чем и говорил Толстой.

Рассмотрим проблему централизации. Можно разработать множество моделей для применения вооруженными силами в различных ситуациях, но широкое внедрение любой системы управления и контроля с поддержкой искусственного интеллекта чревато распространением одной и той же модели по всей действующей армии. Если бы цель децентрализации командования состояла исключительно в том, чтобы ускорить принятие решений на поле боя путем точного копирования взглядов вышестоящего командования среди младших офицеров, то угроза централизации потеряла бы актуальность, поскольку искусственный интеллект сделал бы децентрализованное "командование миссиями" устаревшей практикой. В разделе Mission Command полевого устава FM 6-0 указано использование "изобретательности подчиненных" - что несовместимо с централизацией. Таким образом, появляется риск дать одинаковый совет или даже одинакового командующего всем пользователям ИИ, вне зависимости от их ситуации.

Если этот "универсальный командующий", сколь бы блестящим он ни был, не имел склонность к "галлюцинациям" - необъективной оценке ситуации, то он был бы вполне полезен. Также не ново то, что большие языковые модели уверенно выдают предоставляемую ими информацию (даже если та ошибочна) за действительность, а также то, что их основная функция заключается в поиске шаблонов и последующем их расширении. Видение ситуации, которое предлагает компьютер, создает лишь "иллюзию мышления". Недавние исследования выявили серьезные ограничения в способности искусственного интеллекта решать новые проблемы или обрабатывать новые ситуации. Толстой отмечает, что во время нападения Наполеона на Россию "началась война, которая не соответствовала никаким прежним военным традициям", и Наполеон "не переставал жаловаться... на то, что война велась вопреки всем правилам - как будто существовали какие-то правила для убийства людей". Таким образом, Толстой связывает катастрофическое поражение Наполеона в Бородинском сражении именно с той ошибкой, к которой склонен искусственный интеллект, - неверному предположению, что правила и шаблоны, которые некогда были актуальны, автоматически распространяются дальше. Таким образом, существует небольшая разница между типом прогнозирования, для которого обучаются модели ИИ, и изображением Наполеона в "Войне и мире". Он вообразил себе победу, к которой он готовился, основываясь на предыдущих опыте и знаниях, но ситуация приняла иной характер, и победа ускользнула от него.

Такие ошибки или галлюцинации усугубляются системной самоуверенностью моделей. Исследования предполагают, что, подобно неопытным офицерам, модели ИИ предпочитают дать уверенный ответ, чем признаваться, что они чего-то не знают. Тогда нетрудно представить модель искусственного интеллекта, обрабатывающую неполные отчеты о поведении противника, и решившую, что его действия все же соответствует шаблону; модель, которая сама заполняет пробелы в предоставленной ей информации, а затем уверенно дает описания дальнейшего курса действий противника, которое может и не соответствовать тому, что видят военнослужащие непосредственно на поле боя. Точно так же нетрудно представить офицера, действующего по указаниям модели ИИ, который создает зоны боевых действий, привязанной к выдуманной местности или к несуществующему вражескому патрулю. Таким образом искусственный интеллект способен эффективно представить себе целые сценарии, подобные тем, по которым он был обучен, однако в реальной ситуации конфликта он может предвидеть немногим больше, чем взрыв БЛА где-то вдали.

Справедливости ради отметим утверждение сторонников искусственного интеллекта, что никто не хочет заменить им человеческое суждение, говоря о нем как об инструменте, дающем возможность сделать решения командования более информированными и эффективными. Кроме того, любой молодой солдат укажет на то, что командиры совершают все одни и те же ошибки. Офицерам не нужна помощь компьютера, чтобы напугать несуществующего противника или спроектировать ненужные зоны сражения. Так что же такого особенного в использовании искусственного интеллекта?

Проблема в том, что мы воспринимаем искусственный интеллект как нечто умнее человека, создавая тем самым "предвзятость автоматизации". Сегодня было бы смешно сказать, что тот или иной человек обладает способностью охватывать всю целостность ситуации на войне до мельчайших деталей, как раньше теоретики говорили про Наполеона. Однако, несмотря на это, они верят, что такими способностями обладает искусственный интеллект. Сэм Альтман из OpenAI называет свой проект созданием "сверхразума", но чем отличается концепция сверхразума от теории "великого человека"? Таким образом, мы рискуем относиться к искусственному интеллекту как к Наполеону, которым Наполеон мог вовсе и не быть, как к гениальному интегратору бесконечно малых деталей, главному герою историй, которые Толстой так наглядно опровергал в "Войне и мире". И если мы считаем искусственный интеллект тем самым "великим человеком", можем ли мы ожидать, что молодой офицер будет пренебрегать его рекомендациями?

Как быть дальше?

Искусственный интеллект в различных его проявлениях никуда не денется. В нынешний межвоенный период армия должна интегрировать искусственный интеллект в свои действия. Любой, кто пытался спрогнозировать, когда бригада будет готова к войне, или когда батальону потребуется пополнение запасов топлива, или когда солдату потребуется медицинский осмотр, знает, сколь многого можно добиться от искусственного интеллекта, который обещает достичь огромной эффективности в задачах с высоким уровнем координации и структуризации деталей, не зависящих от контекста. Такие инициативы, как управление и контроль следующего поколения обещают то же самое. Однако риски, связанные с искусственным интеллектом, остаются значительными для перспективы децентрализованного командования. Именно поэтому армии полезно было бы учесть доводы Толстого, поскольку она стремится выявить подобные риски и снизить их.

Первый способ снизить риск, который искусственный интеллект представляет для децентрализации командования - это ограничить его использование в распространенных простых задачах. Искусственный интеллект плохо подходит для быстро меняющихся ситуаций, действия в которых в значительной степени зависят от контекста и нуждаются в человеческом суждении - так можно описать любую войну. Следовательно, роль ИИ в планировании кампании, тактических решениях и анализе действий противника должна оставаться небольшой. Использование ИИ ограничено в подобных ситуациях ускорением расчетов небольших входных данных, необходимых для человеческого суждения, но недостаточных для искусственного интеллекта. Принцип объединения человека и машины в войнах не нов (и был хорошо изучен другими, включая майора Аманду Коллацо из Института современной войны). Но ввиду заинтересованности во внедрении ИИ, армия рискует забыть важность сохранения границы между человеком и машиной, не только из этических соображений, но и потому что, как показал Толстой, в бою командир, будь то человек или машина, не может подчиняться алгоритмам и шаблонам. Как сказал Берлин, командование остается "художественно-психологической" работой, и даже сейчас эта работа остается работой человека. Такая осторожность не предполагает запрета на машинное обучение и искусственный интеллект в симуляциях или военных играх (это было бы саморазрушением), но требует, чтобы сотрудники сдерживали искушение передать авторство кампаний или модели на аутсорсинг ИИ. Сейчас это видится очевидным, но важно сохранять подобную осторожность и в дальнейшем.

Второй способ заключается в том, чтобы заложить в инструкции армейского руководства здоровый скептицизм по отношению к искусственному интеллекту. Сначала это можно было бы сделать, разделив обучение студентов на сегменты с человеческим управлением и поддержкой искусственного интеллекта, что мало чем отличается от обучения минометчиков планированию огневых задач с помощью чертежной доски или баллистического компьютера. Военные должны сначала научиться составлять планы и руководить их исполнением без посторонней помощи, прежде чем включать искусственный интеллект в этот процесс, и они должны регулярно проходить повторную сертификацию в этой теме на протяжении всей военной карьеры. Занятия по машинному обучению подчеркивают зависимость моделей от качества данных, и, таким образом, должны дополняться занятиями по разведывательной подготовке на поле боя. Разработчики учебных программ скажут, что программы и так перегружены, но если управление и контроль с поддержкой искусственного интеллекта настолько важны, как предполагают их сторонники, то эта тема требует соответствующих изменений в обучении.

Третий способ снизить возникающие риски - запрограммировать тот же скептицизм по отношению к искусственному интеллекту в обучении. Когда Джордж Маршалл возглавлял пехотную школу в межвоенные годы, он и его коллега - инструктор Джозеф Стилуэлл -снабжал студентов неполными картами, чтобы имитировать непредсказуемость боя. Следуя их примеру, рекомендуется предоставлять офицерам ошибочные модели ИИ во время учений, и оценивать их способность распознать, когда и насколько отличаются данные ИИ и их личные наблюдения и выводы. Таким образом подразделение должно быть полностью сертифицировано для выполнения задачи только после подготовки в условиях, "ухудшенных" ошибочным или неработоспособным искусственным интеллектом.

И даже тогда военное командование никогда не должно забывать о том, чему учит Толстой: командование - это исключительно человеческая деятельность. Часто сражения представляют собой полностью уникальные ситуации, способные противоречить стереотипам, и хорошая подготовка молодых кадров к этим проблемам является скорее преимуществом. Благодаря такой подготовке они могут замечать на поле боя бесконечно маленькие детали, мелочи, которые не могут уловить большие объемы данных. Философия децентрализованного командования, какой бы непостоянной и порой разочаровывающей задачей она не являлась, должна учитывать эти детали. Только тогда вооруженные силы смогут увидеть бесконечно "малые величины" войны, о которых говорил Толстой, сквозь пороховой дым и иметь хоть какую-то надежду объединить их в целостное понимание ситуации.

Lipsky T. Tolstoy"s Complaint: Mission Command in the Age of AI // Modern War Institute, 07.01.2025, https://mwi.westpoint.edu/tolstoys-complaint-mission-command-in-the-age-of-artificial-intelligence/

Перевод ЦАСТ