版權(quán)歸原作者所有，如有侵權(quán)，請聯(lián)系我們

在俄羅斯和烏克蘭的沖突中，最近爆出的一段視頻引人關(guān)注：烏克蘭無人機(jī)深入到距離邊境1000多公里的俄羅斯境內(nèi)，摧毀了俄方石油和天然氣基礎(chǔ)設(shè)施。專家分析稱，這很可能是人工智能在指揮無人機(jī)攻擊目標(biāo)。烏方軍事指揮官也表示，烏克蘭“已經(jīng)在沒有人工干預(yù)的情況下，開展完全機(jī)器人化的行動”。

也就是說，這類人工智能武器系統(tǒng)可以在沒有人類干預(yù)的情況下，自主選擇和攻擊目標(biāo)。事實上，人工智能在戰(zhàn)爭中的應(yīng)用遠(yuǎn)比我們想象中簡單得多：現(xiàn)有的人工智能和機(jī)器人技術(shù)完全可以提供合適的物理平臺，這類系統(tǒng)找到人類目標(biāo)并殺死他們的技術(shù)難度，甚至比開發(fā)自動駕駛汽車要容易得多，是研究生就能搞定項目。

因此一些觀察家擔(dān)心，未來任何派別都可能派遣成群的廉價人工智能無人機(jī)，利用面部識別技術(shù)消滅特定的人。更要命的是，如果我們把殺戮按鈕交給機(jī)器，將徹底改變戰(zhàn)爭的性質(zhì)。也因此，致命性自主武器系統(tǒng)被認(rèn)為是繼火藥和核武器之后的第三次戰(zhàn)爭革命。

4月29日，在維也納舉行的關(guān)于自主武器系統(tǒng)的首次國際會議上，奧地利聯(lián)邦歐洲和國際事務(wù)部長亞歷山大·沙倫貝格（Alexander Schallenberg）強(qiáng)調(diào)，“我相信，這是我們這代人的奧本海默時刻。”

撰文 | Ren

戰(zhàn)爭，就像人類文明永遠(yuǎn)無法擺脫的陰影。如今，這場一直由人類當(dāng)主角的血腥游戲，正在被人工智能（AI）所接管。

無論是俄烏沖突，還是以巴以沖突為首的中東地區(qū)戰(zhàn)亂，AI的影子都依稀可見：它（在人類的監(jiān)督下）操控著無人機(jī)、導(dǎo)彈、槍械、地雷等武器，識別打擊目標(biāo)并發(fā)動攻擊。

這是我們第一次深刻地體會到AI的兩面性，它既能造福人類，也能在瞬息之間奪走人類的生命。很遺憾，我們來不及為逝者哀哭，在軍事領(lǐng)域，這種規(guī)模的AI應(yīng)用只是一個開始。

我們即將看到的是，一場AI軍備大賽正緩緩拉開大幕，武器將變得越來越智能和自主，人類將慢慢退出它們的決策過程，直到致命自主武器系統(tǒng)（Lethal Autonomous Weapons systems，LAWs）出現(xiàn)并被部署到戰(zhàn)場上。

我們并未準(zhǔn)備好面對這一切。當(dāng)有一天AI武器能夠自主出擊，當(dāng)無數(shù)人的生死僅憑一行代碼就能決定，你是否能接受自己的命運(yùn)被交由冰冷的算法做出判決？

所有人都應(yīng)該明白，讓算法決定一個人的生死是一個糟糕透頂?shù)闹饕?。幸運(yùn)的是，我們還有時間來阻止這一切變成現(xiàn)實；不幸的是，時間不多了。

遠(yuǎn)程操作VS自主決策

按照美國國防部的定義，根據(jù)人類所發(fā)揮作用的不同，武器的自主級別可以分為“人在環(huán)中”“人在環(huán)上”“人在環(huán)外”三種：

人在環(huán)中，武器的行動完全由人來決策和控制；

人在環(huán)上，武器激活后可以按照指令自主決策和行動，人可以監(jiān)督并按需隨時介入接管決策權(quán)和控制權(quán)；

人在環(huán)外，武器激活后會被指定行動目標(biāo)，之后完全自主決策和實施行動。

好消息是，就目前已知的情況來看，還沒有真正意義上的“（人在環(huán)外的）致命自主武器系統(tǒng)”被投入使用。根據(jù)聯(lián)合國的說法，它們是“在沒有人類監(jiān)督的情況下定位、選擇和攻擊人類目標(biāo)的武器”。

這里所討論的不是由人類遠(yuǎn)程操控的武器，比如大名鼎鼎的美國“捕食者”無人機(jī)，或者烏克蘭前線士兵自制的投彈無人機(jī)，可以在人類的操控下遠(yuǎn)程投擲手榴彈。

隨著人們對這些武器的認(rèn)知逐漸加深，加上電子干擾技術(shù)的進(jìn)步，它們的打擊效果將變得越來越弱。因此，一些國家和企業(yè)將目光投向了無人機(jī)等自主武器的研發(fā)。

美國國防部高級研究計劃局（DARPA）曾經(jīng)公布過兩項計劃，透露了其自主武器系統(tǒng)的計劃用途：快速輕量級自主（FLA）和干擾環(huán)境中的協(xié)同操作（CODE）。前者將對微型旋翼機(jī)進(jìn)行編程，使其能夠在無人輔助的情況下在城市地區(qū)和建筑物內(nèi)高速飛行。后者的目標(biāo)是開發(fā)自主飛行器小組，在敵方信號干擾導(dǎo)致無法與人類指揮官通信的情況下，執(zhí)行打擊任務(wù)的所有步驟——發(fā)現(xiàn)、確定、跟蹤、瞄準(zhǔn)、交戰(zhàn)、評估。

其他國家也有相關(guān)的武器研發(fā)。自2017年以來，土耳其一家名為STM的公司一直在銷售Kargu無人機(jī)，該無人機(jī)只有餐盤大小，可攜帶1公斤炸藥。根據(jù)該公司 2019 年的網(wǎng)站描述，該無人機(jī)能夠“自主且精確”地打擊車輛和人員，“在圖像上選擇目標(biāo)”并“跟蹤移動目標(biāo)”。

以色列的Harpy 無人機(jī)可以在一個地區(qū)上空飛行數(shù)小時，尋找與視覺或雷達(dá)信號相匹配的目標(biāo)，然后用爆炸物摧毀它們。美國海軍和國防部高級研究計劃局也研發(fā)了“海上獵手”號無人駕駛軍艦，可以從事反潛跟蹤等任務(wù)。

放眼全球，實驗性的潛艇、坦克和艦船也已經(jīng)制造出來，全都可以利用AI進(jìn)行自動駕駛和射擊。根據(jù)目前披露的信息，這些武器既可以遠(yuǎn)程操控，也可以在激活后自主執(zhí)行任務(wù)。很難分辨人類究竟在多大程度上介入了其決策過程。

AI申請出戰(zhàn)

某種自主武器至少已經(jīng)存在了幾十年，包括熱尋導(dǎo)彈，甚至可追溯到美國內(nèi)戰(zhàn)時的壓力觸發(fā)地雷（如果將自主性的定義放寬）。然而現(xiàn)在，AI算法的開發(fā)和使用正在擴(kuò)展它們的能力。

事實上，AI在戰(zhàn)爭中的應(yīng)用遠(yuǎn)比我們想象中簡單得多。

加州大學(xué)伯克利分校的計算機(jī)科學(xué)家、反對AI武器的著名活動家斯圖爾特·拉塞爾（Stuart Russell）表示，“系統(tǒng)找到人類并殺死他們的技術(shù)能力比開發(fā)自動駕駛汽車要容易得多。這是一個研究生項目?！?/p>

現(xiàn)有的AI和機(jī)器人技術(shù)完全可以提供合適的物理平臺、感知、電機(jī)控制、導(dǎo)航、地圖、戰(zhàn)術(shù)決策和長期規(guī)劃。武器制造商要做的就是將它們按需結(jié)合起來。例如，使用DeepMind 的 DQN 算法學(xué)習(xí)人類的戰(zhàn)術(shù)策略，再加上已有的自動駕駛技術(shù)，一套自主武器系統(tǒng)完全可以完成城市搜索和摧毀任務(wù)。

我們很難知道AI武器在戰(zhàn)場上的表現(xiàn)如何，很大程度上是因為軍方不輕易發(fā)布此類數(shù)據(jù)。

2023年，英國戰(zhàn)略司令部副司令湯姆·科平格·賽姆斯（Tom Copinger-Symes）在英國議會調(diào)查中，曾被直接問及AI武器系統(tǒng)，他表示不方便透露太多信息，只是說英國軍方正在開展基準(zhǔn)研究，以比較自主武器系統(tǒng)與非自主系統(tǒng)。

盡管現(xiàn)實世界的戰(zhàn)場數(shù)據(jù)很少，但研究人員指出，AI具有卓越的處理和決策能力，理論上可以提供巨大優(yōu)勢。例如，在快速圖像識別領(lǐng)域，近十年來算法的表現(xiàn)一直優(yōu)于人類。這為它精準(zhǔn)識別圖像中的打擊目標(biāo)做好了鋪墊。

早在2020 年，AI模型就在一系列模擬空戰(zhàn)中擊敗了經(jīng)驗豐富的 F-16 戰(zhàn)斗機(jī)飛行員，這主要歸功于其“咄咄逼人的精確操縱，人類飛行員無法匹敵”。要知道，AI可以在極短時間內(nèi)，圍繞如何執(zhí)行特定動作、與對手的飛行距離和攻擊角度做出非常復(fù)雜的決定。

今年4月，美國軍方宣布完成了一次開創(chuàng)性試驗，讓一架AI控制的F-16戰(zhàn)機(jī)與人類駕駛的戰(zhàn)機(jī)完成了真實的空中格斗。AI操控的飛機(jī)實現(xiàn)了進(jìn)攻和防御演練，距離人類駕駛的戰(zhàn)機(jī)最近只有610多米。

這架經(jīng)過改裝的F-16戰(zhàn)斗機(jī)，被稱為X-62A，由人工智能駕駛。

來源：資料

這標(biāo)志著美國軍方在AI控制飛機(jī)自主作戰(zhàn)領(lǐng)域的一次突破。如果這項技術(shù)未來在戰(zhàn)場上出現(xiàn)，空戰(zhàn)的瞬息萬變難以遠(yuǎn)程操控，因此它必然屬于致命自主武器的范疇。

理論上，AI還可以用于戰(zhàn)爭的其他方面，包括制定潛在打擊目標(biāo)清單。此前有媒體報道稱，以色列使用AI創(chuàng)建了一個包含數(shù)萬名可疑武裝分子姓名的數(shù)據(jù)庫。但以軍方予以否認(rèn)。

管控AI武器，做起來難

AI的強(qiáng)大讓人們不得不思考如何更好地管控它的使用，無論是從實際應(yīng)用層面，還是從道德層面。

人類控制和規(guī)范武器使用的努力可以追溯到數(shù)百年前。例如，遵守紀(jì)律的中世紀(jì)騎士同意不用長矛瞄準(zhǔn)對方的馬。1675年，法國和神圣羅馬帝國同意禁止使用毒彈。

如今，國際上對武器的主要限制是通過《聯(lián)合國特定常規(guī)武器公約》（CCW），該公約于 1983 年簽署，用于禁止致盲激光武器等。

研究人員多年來一直致力于控制致命自主武器系統(tǒng)帶來的新威脅。聯(lián)合國秘書長安東尼奧·古特雷斯去年7月表示，他希望在2026年之前禁止在無人監(jiān)督的情況下使用武器。

阻止殺手機(jī)器人運(yùn)動。來源：網(wǎng)絡(luò)

2023年12月，聯(lián)合國通過了一項關(guān)鍵決議，將AI武器的問題納入了2024年9月聯(lián)合國大會議程中。

專家表示，此舉為各國對AI武器采取行動提供了首個現(xiàn)實途徑。但這說起來容易，做起來難。

一些人認(rèn)為，AI輔助武器可能比人類制導(dǎo)武器更準(zhǔn)確，有可能減少所謂的附帶損害（Collateral damage），例如平民傷亡和住宅區(qū)破壞，以及士兵死亡和致殘的數(shù)量，同時幫助弱小的國家和群體保護(hù)自己。

但這種想法的漏洞在于敵對國家也會擁有此類武器，而且軍事實力更強(qiáng)的國家很可能擁有更強(qiáng)大的自主武器，它們只會造成更大的傷害，而非更少。

至于依靠自主武器來減少附帶損害，這要建立在兩個前提的基礎(chǔ)上，而這兩個前提很難實現(xiàn)。

一是，AI不會犯錯，或者說AI比人類犯錯概率更低。但現(xiàn)在沒人能打包票說AI就不會犯下跟人類一樣的錯誤，比如將平民識別成打擊目標(biāo)。

二是，自主武器的使用場景與人類控制的武器（例如步槍、坦克和“捕食者”無人機(jī)）基本相同。這也未必站得住腳，因為一旦新武器出現(xiàn)，作戰(zhàn)方法和打擊目標(biāo)也會隨之變化，其使用場景難以預(yù)測，也無法控制。

因此，大多數(shù)AI專家認(rèn)為，在自主武器的道路上猛踩油門可能會犯下災(zāi)難性錯誤。讓AI自主選擇打擊目標(biāo)并做出決策，許多人對該行為背后的道德問題深感擔(dān)憂。

2007年，英國軍方曾被迫匆忙重新設(shè)計了用于阿富汗的自主硫磺導(dǎo)彈，因為擔(dān)心它可能會將一輛載著兒童的巴士誤認(rèn)為是一卡車叛亂分子。

這是因為雖然AI擅長識別圖像，但它并不是萬無一失的。我們都聽說過圖像識別的荒謬錯誤，比如把貓和狗搞混，但在戰(zhàn)爭中，把兒童和恐怖分子搞混就會導(dǎo)致災(zāi)難性的后果。

此外，AI系統(tǒng)可能會被黑客攻擊，做出違背指令的行動，或者出現(xiàn)誤判等意外事件，導(dǎo)致沖突升級或降低戰(zhàn)爭門檻。

研究人員和軍方普遍提出的一項原則是，自主武器必須考慮 “人在環(huán)”。但人應(yīng)該或必須在哪里以及如何介入仍有爭議：人是否應(yīng)當(dāng)在授權(quán)打擊之前目視驗證目標(biāo)？是否必須能夠在戰(zhàn)場條件發(fā)生變化（例如平民進(jìn)入戰(zhàn)區(qū)）時取消打擊？

同時，AI自主武器也讓問責(zé)機(jī)制變得復(fù)雜而混亂。一旦出現(xiàn)問題，承擔(dān)責(zé)任的顯然不是武器本身，那是授權(quán)打擊的人？還是武器制造商？抑或是AI系統(tǒng)的開發(fā)者？

鑒于AI自主武器的復(fù)雜性和破壞力，許多人（很可能是地球上的絕大多數(shù)人）認(rèn)為最好的解決方案就是禁止致命的自主武器。但所有這些問題都要在國際層面（聯(lián)合國）認(rèn)可、討論、爭吵、談判和妥協(xié)。如此有爭議的話題和龐大的工作量，決定了我們還要花上數(shù)年的時間才能邁出實質(zhì)性的第一步。

但民間組織可以現(xiàn)在行動，AI和機(jī)器人領(lǐng)域的專業(yè)協(xié)會應(yīng)制定并執(zhí)行禁止致命自主武器工作的行為準(zhǔn)則。在這方面有很多先例，例如美國化學(xué)會制定了嚴(yán)格的化學(xué)武器政策，美國物理學(xué)會要求美國批準(zhǔn)《全面禁止核試驗條約》，反對對無核國家使用核武器，以促進(jìn)和平與安全。

總而言之，AI驅(qū)動的自主武器注定會出現(xiàn)，無論致命與否，它都將重塑未來戰(zhàn)爭的形態(tài)。

人類不應(yīng)讓這項“利器”失控，必須正視它帶來的風(fēng)險和挑戰(zhàn)，抓緊一切時間和機(jī)會，確保我們能夠及時地控制住它的發(fā)展。只有如此，它才不會從“終結(jié)者”變?yōu)椤叭祟惤K結(jié)者”。

參考資料：

[1] https://www.nature.com/articles/d41586-024-01029-0

[2] https://www.nature.com/articles/d41586-023-00511-5

[3] https://www.nature.com/articles/521415a

[4] https://san.com/cc/experts-warn-world-is-running-out-of-time-to-regulate-ai-in-warfare/

本文受科普中國·星空計劃項目扶持

出品：中國科協(xié)科普部

監(jiān)制：中國科學(xué)技術(shù)出版社有限公司、北京中科星河文化傳媒有限公司

特 別 提 示

1. 進(jìn)入『返樸』微信公眾號底部菜單“精品專欄“，可查閱不同主題系列科普文章。

2. 『返樸』提供按月檢索文章功能。關(guān)注公眾號，回復(fù)四位數(shù)組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。

版權(quán)說明：歡迎個人轉(zhuǎn)發(fā)，任何形式的媒體或機(jī)構(gòu)未經(jīng)授權(quán)，不得轉(zhuǎn)載和摘編。轉(zhuǎn)載授權(quán)請在「返樸」微信公眾號內(nèi)聯(lián)系后臺。

歡迎掃碼關(guān)注深i科普！

我們將定期推出

公益、免費、優(yōu)惠的科普活動和科普好物！