簡介
2023年3月,美國智庫安全和新興技術(shù)局(CSET)發(fā)布《聚焦軍事決策優(yōu)勢降低人工智能風(fēng)險》報告,分析了機器學(xué)習(xí)(ML)在實現(xiàn)決策優(yōu)勢中的應(yīng)用前景以及人工智能(AI)在美軍現(xiàn)代化中的應(yīng)用情況,指出了構(gòu)建機器學(xué)習(xí)系統(tǒng)穩(wěn)健性面臨的困境,剖析了大國競爭中導(dǎo)致人工智能風(fēng)險的原因,探討了人工智能系統(tǒng)對未來沖突升級的影響。最后,報告提出了在開發(fā)和部署機器學(xué)習(xí)系統(tǒng)過程中減輕風(fēng)險的可行措施。本文編譯了報告核心觀點。
1
機器學(xué)習(xí)在軍事決策中的應(yīng)用前景
過去十年,機器學(xué)習(xí)的持續(xù)進步讓人工智能的軍事應(yīng)用更接近現(xiàn)實。機器學(xué)習(xí)在近期和中期對支撐實現(xiàn)決策優(yōu)勢具有可行性,原因有三:一是這些應(yīng)用在技術(shù)上是可行的,即使部分應(yīng)用未達到實際部署所需的成熟度;二是機器學(xué)習(xí)系統(tǒng)面對的政策、法律、道德或倫理阻力遠小于致命自主武器系統(tǒng),因此,軍方的開發(fā)和部署意愿更強;三是國防界從戰(zhàn)略角度普遍認(rèn)為機器學(xué)習(xí)是獲取決策優(yōu)勢的必需能力。
機器學(xué)習(xí)在以下四個軍事領(lǐng)域的應(yīng)用有助于實現(xiàn)決策優(yōu)勢:一是在情報、監(jiān)視與偵察(ISR)領(lǐng)域,機器學(xué)習(xí)可以實現(xiàn)采集和處理方面的自動化,融合多源數(shù)據(jù),大大減少從收集到傳播的時間;二是在決策支持領(lǐng)域,通過實時創(chuàng)建和更新多域多傳感器的通用作戰(zhàn)圖,機器學(xué)習(xí)能夠增強態(tài)勢感知和決策支持,包括武器系統(tǒng)與目標(biāo)匹配、行動方案生成、方案評估等能力;三是在電子戰(zhàn)領(lǐng)域,機器學(xué)習(xí)適用于分析、解析和過濾信號等任務(wù),促進自動適應(yīng)對手戰(zhàn)術(shù)并實時合成對抗措施,以實現(xiàn)認(rèn)知電子戰(zhàn);四是在網(wǎng)絡(luò)戰(zhàn)領(lǐng)域,啟用機器學(xué)習(xí)的入侵檢測能夠發(fā)現(xiàn)異常行為,而啟用機器學(xué)習(xí)的反病毒系統(tǒng)可以識別惡意軟件模式。
2
人工智能在美國軍事戰(zhàn)略及現(xiàn)代化中的應(yīng)用
美軍通過聯(lián)合人工智能中心(JAIC)指導(dǎo)人工智能系統(tǒng)融入整個軍隊的決策和作戰(zhàn)。2021年聯(lián)合人工智能中心的國防部人工智能項目與合同高達685個。與決策優(yōu)勢相關(guān)的項目雖然只占一小部分,但卻屬于國防部現(xiàn)代化工作的優(yōu)先事項,主要涵蓋以下工作:
情報、監(jiān)視與偵察:基于人工智能收集多域數(shù)據(jù)并融合為通用作戰(zhàn)圖是美國防部聯(lián)合全域指揮控制(JADC2)愿景的核心。典型項目包括美陸軍的戰(zhàn)術(shù)情報瞄準(zhǔn)接入節(jié)點(TITAN)和空軍先進戰(zhàn)斗管理系統(tǒng)(ABMS)。
決策支持:聯(lián)合全域指揮控制將利用人工智能和機器學(xué)習(xí)來加快指揮官的決策周期。2021年3月,北方司令部測試了基于人工智能的“決策輔助”工具,旨在實現(xiàn)域感知、信息優(yōu)勢和跨司令部指揮協(xié)作。
電子戰(zhàn):美國防部2020年《指揮控制與通信現(xiàn)代化戰(zhàn)略》要求應(yīng)用人工智能實現(xiàn)“敏捷電磁頻譜作戰(zhàn)”,以支持指揮控制與通信。美軍已經(jīng)在整合加速電磁頻譜信號分析的能力。
網(wǎng)絡(luò)戰(zhàn):目前利用機器學(xué)習(xí)對抗網(wǎng)絡(luò)攻擊的典型項目包括美國防高級研究計劃局(DARPA)的“利用自主性對抗網(wǎng)絡(luò)對手系統(tǒng)”(HACCS)項目和國防部的IKE項目。
3
機器學(xué)習(xí)的風(fēng)險和穩(wěn)健性
機器學(xué)習(xí)的風(fēng)險分為兩大類:一是由于訓(xùn)練過程中的缺陷或部署環(huán)境中的條件變化而導(dǎo)致機器學(xué)習(xí)系統(tǒng)失效;二是由于惡意行為者故意干擾而導(dǎo)致機器學(xué)習(xí)系統(tǒng)失效。
隨著對風(fēng)險意識的不斷增強,軍事人工智能戰(zhàn)略越來越強調(diào)機器學(xué)習(xí)在承受風(fēng)險時的穩(wěn)健性(Robustness),即機器學(xué)習(xí)在觸發(fā)故障的條件下能夠正確和可靠地執(zhí)行操作的能力。
報告認(rèn)為,在可預(yù)見的未來,構(gòu)建機器學(xué)習(xí)系統(tǒng)穩(wěn)健性的前景并不樂觀,主要依據(jù)包括:一是目前的各類研究與應(yīng)用中,防守方持續(xù)處于劣勢,原因包括對防御措施評估不足,機器學(xué)習(xí)系統(tǒng)易受欺騙的問題短期內(nèi)無法解決等;二是測試和評估機器學(xué)習(xí)系統(tǒng)以查找漏洞十分困難;三是由于機器學(xué)習(xí)依賴于數(shù)據(jù)的相關(guān)性而非對因果關(guān)系的理解,修復(fù)機器學(xué)習(xí)漏洞通常會產(chǎn)生其他問題。例如為了解決漏洞,開發(fā)人員必須重新訓(xùn)練系統(tǒng),不僅成本高昂而且對解決其他漏洞的用處不大。如果僅針對某種攻擊增強系統(tǒng)的穩(wěn)健性,會使其在面臨其他類型的攻擊時更加脆弱。
4
人工智能系統(tǒng)對沖突升級的影響
只要人類依然處于戰(zhàn)爭的主導(dǎo)地位,沖突升級就是政治、戰(zhàn)略和心理這些非技術(shù)因素相互作用的結(jié)果。沖突升級可以分為意外升級、無意升級和故意升級。
(一)意外升級
意外升級是指一方的行動產(chǎn)生了不可預(yù)見、意想不到的影響,促使另一方做出更強烈的反應(yīng)。
針對機器學(xué)習(xí)系統(tǒng)的攻擊行動可能會產(chǎn)生不可預(yù)測的影響,造成沖突的意外升級。由于機器學(xué)習(xí)系統(tǒng)對輸入數(shù)據(jù)的細(xì)微變化十分敏感性,攻擊者無法預(yù)料攻擊行動將對系統(tǒng)產(chǎn)生的具體影響,本來只是試圖降低系統(tǒng)的性能,卻可能會徹底摧毀系統(tǒng)。此外,系統(tǒng)沒有針對目標(biāo)環(huán)境進行充分的訓(xùn)練,或者系統(tǒng)以與操作員意圖相反的方式實現(xiàn)目標(biāo),都有可能導(dǎo)致意外升級。
(二)無意升級
無意升級是指一方的無意識行動引發(fā)了對方預(yù)料之外的升級反應(yīng)。
不安全的、未經(jīng)充分訓(xùn)練的機器學(xué)習(xí)系統(tǒng),或應(yīng)用于錯誤類型問題的機器學(xué)習(xí)系統(tǒng)可能會向決策中注入錯誤信息,導(dǎo)致沖突的無意升級。此外,基于和平時期歷史數(shù)據(jù)訓(xùn)練的系統(tǒng),其假設(shè)和預(yù)期可能會因戰(zhàn)略格局的突然變化而被顛覆,進而誤判對手行動或意圖。
(三)故意升級
故意升級是指一方認(rèn)為,針對另一方的行動,將沖突升級是合理或必要的,盡管這種認(rèn)識不一定基于完全理性或充分的考量之上。
由于擔(dān)心對手針對己方的機器學(xué)習(xí)系統(tǒng)先行發(fā)起攻擊,決策者可能會采取過激行動,導(dǎo)致沖突的故意升級。主要有兩種常見情況:一是針對機器學(xué)習(xí)系統(tǒng)的網(wǎng)絡(luò)入侵可能迫使決策者采取過激行動。由于對手試圖探測機器學(xué)習(xí)系統(tǒng)的意圖難以解釋,無法判斷對手是否獲得了能夠摧毀系統(tǒng)的足夠信息,決策者有可能采取過激行動來升級沖突;二是如果機器學(xué)習(xí)系統(tǒng)被破壞,并且沒有快速補救的可行方案,決策者可能選擇發(fā)動攻擊,導(dǎo)致沖突升級。
5
風(fēng)險降低措施
報告提出了三步走的解決方案來降低人工智能應(yīng)用的風(fēng)險,以獲得決策優(yōu)勢:
首先,為用于決策優(yōu)勢的機器學(xué)習(xí)系統(tǒng)定義一套針對任務(wù)的屬性、標(biāo)準(zhǔn)和要求。開發(fā)人員應(yīng)該與終端用戶及決策者合作,為關(guān)鍵應(yīng)用領(lǐng)域的機器學(xué)習(xí)系統(tǒng)定義必要的特征,包括納入系統(tǒng)的指標(biāo);可驗證的穩(wěn)健性;在部署期間檢測分布偏移、異常數(shù)據(jù)或?qū)剐愿蓴_的措施,從而增強機器學(xué)習(xí)系統(tǒng)的可靠性、可預(yù)測性和可用性。
其次,設(shè)計決策過程以限制機器學(xué)習(xí)故障可能引發(fā)的后果,即限定機器學(xué)習(xí)能力在何處以及如何集成到?jīng)Q策和作戰(zhàn)中:一是避免在某些高風(fēng)險的決策環(huán)境中使用機器學(xué)習(xí)能力,如核指揮控制自動化;二是減少對基于推理類型的機器學(xué)習(xí)評估的依賴;三是使用基于不同數(shù)據(jù)源的多個模型來提供冗余;四是限制機器學(xué)習(xí)系統(tǒng)可能采取的行動或輸出的范圍。
最后,讓高層決策者成為熟悉人工智能系統(tǒng)的用戶。一是盡早讓決策者參與機器學(xué)習(xí)系統(tǒng)的開發(fā)以及“測試與評估、驗證與確認(rèn)”(TEVV)流程,以避免由于工程師、開發(fā)人員、數(shù)據(jù)科學(xué)家和最終用戶之間缺乏溝通而導(dǎo)致的問題;二是訓(xùn)練決策者解釋和判斷機器學(xué)習(xí)輸出的可靠性,以避免偏向自動化輸出而導(dǎo)致的失誤。
本文來源:防務(wù)快訊
聯(lián)系客服