導語：牛津大學人類未來研究所、劍橋大學現存風險研究中心、人工智能組織Open AI等14個機構的26位專家聯合撰寫，于2018年2月20日發布了人工智能的惡意應用：預測，預防和緩解報告。

　　本報告研究了惡意使用AI技術可能帶來的安全威脅，并提出了預測、預防和緩解這些威脅的建議。

　　人工智能（AI）和機器學習能力正在以前所未有的速度增長。這些技術有許多廣泛的應用，從機器翻譯到醫學圖像分析，更多的此類應用正在開發之中。AI技術是一柄雙刃劍，惡意使用AI技術也將帶來安全威脅。

　　引發安全格局的變化

　　隨著AI的功能日益強大，應用日益廣泛，AI系統的使用預計將導致安全格局的變化：

　?。?）擴大現有的安全威脅。原來需要人力、智力和專業知識的任務，現如今可利用AI系統來完成，攻擊成本將大大降低。其結果是攻擊者數量更多，攻擊速度更快，能攻擊更多的潛在目標。

　?。?）引入新的安全威脅。使用AI系統可以完成人類攻擊者做不到的攻擊任務。并且，AI系統的安全漏洞也會被惡意攻擊者所利用。

　?。?）改變安全威脅的典型特征?？梢灶A見，隨著AI應用越來越多，安全攻擊將效率更高，針對性更強，難以歸因，針對AI系統漏洞的攻擊也會成為典型安全威脅。

　　對不同場景安全威脅的影響

　　從數字安全、物理安全和政治安全三個方面來看，AI的發展將對安全威脅產生以下影響：

　?。?）數字安全：傳統網絡攻擊中，攻擊規模和攻擊效率難以兼顧，而使用AI自動執行網絡攻擊在很大程度上可以兼顧這兩個方面，這將使勞動密集型網絡攻擊（如魚叉式網絡釣魚）帶來更大的威脅。另外還會出現新型攻擊方式，如利用人類弱點（如利用語音合成冒充本人），利用現有軟件漏洞（如自動黑客攻擊），或利用AI系統漏洞（如對抗樣本和數據投毒）。

　?。?）物理安全：利用AI自動操作無人機和其他物理系統（如自主武器系統）進行攻擊，由此帶來更大的威脅。另外還會出現新型攻擊方式，如破壞網絡物理系統（如導致自動駕駛車輛崩潰）或利用無法遠程控制的物理系統（如使用成千上萬的微型無人駕駛飛機）進行攻擊。

　?。?）政治安全：使用AI來進行自動監測（如分析大量收集到的數據）、說服（如開展有針對性的宣傳）和欺騙（如篡改視頻），可使涉及隱私入侵和社交操縱的威脅增大。另外還會出現新型攻擊方式，如利用AI分析人類的行為、情緒和信仰等。

　　應對安全威脅的建議

　　面對不斷變化的威脅環境，報告提出了4項頂層建議：

　?。?）決策者應與技術研究人員密切合作，對AI潛在的惡意用途進行調查，并尋求措施預防和減輕其帶來的損失。

　?。?）AI領域的研究人員和工程師要意識到其工作成果有遭到濫用的可能性，要在確定研究重點和規范時將技術濫用問題納入考慮，并在預見到可能發生有害應用時找到相關行為者。

　?。?）借鑒計算機安全等較為成熟領域的經驗，更好地解決雙刃劍問題。

　?。?）讓更多的利益相關者和領域專家參與到對安全挑戰的討論之中。

　　優先探索領域

　　報告建議優先在四個領域進行探索研究，尋求潛在干預措施：

　?。?）向網絡安全社區學習。在網絡安全和AI攻擊的交叉領域進行探索，組建網絡紅隊（read teaming），開展形式驗證，負責任的披露AI漏洞，開發安全工具及安全硬件。

　?。?）探索不同的開放模式。AI和機器學習的雙刃劍作用越來越明顯，有必要針對研究工作的開放性重新設計規范和制度，首先是在重要技術領域成果發布前進行風險評估，建立中央許可訪問模式，與其他雙刃劍技術交流借鑒有利于安全和保障的制度和做法。

　?。?）促進責任文化。AI研究人員和其所屬機構對于塑造AI世界安全格局具有獨特意義，需要重視教育、道德聲明，以及標準、框架設計、規范和預期。

　?。?）制定技術和政策解決方案。報告對一系列有前景的技術以及政策干預措施進行了分析，這些技術可以幫助AI建立更安全的未來。進一步研究的領域包括保護隱私，協調使用用于公共安全的AI，AI相關資源的監測，以及其他立法和監管措施。

　　應對安全威脅不僅需要AI研究人員和企業的關注和行動，還需要立法機構、政府部門、監管機構、安全研究人員和教育工作者的關注和行動。這將是一個艱巨的挑戰。

責任編輯：韓希宇