當下，以ChatGPT為代表的人工智能技術橫空出世，引爆了線上和線下的眾多熱情，人們對于技術改變抱有期待。前段時間AI歌手大火，出現了最熱門的歌手AI孫燕姿。相關人士在接受記者訪問時，表達了技術被用于“惡”的擔憂。

現在看來，這種擔憂已經成真，潘多拉魔盒中的“惡”逐漸開始顯現。近日，平安包頭通報了一起通過AI技術從而被騙取430萬元的消息。作為事件當事人的郭先生，在通過社交媒體與好友視頻確認的情況下，仍被騙走大額資金430萬元，所幸336.84萬元被騙資金已經被攔截。

在人工智能迅猛發展的背景之下，技術被用于詐騙等“惡”的行為如何防范？又該如何治理？相關專家在接受21世紀經濟報道記者采訪時表示，用于AI詐騙的深度合成技術顛覆了公眾眼見為實的認知，而這往往使得詐騙能夠成功。而在相關治理方面，則可以通過“能力+場景”完善分級分類治理標準，以應對技術帶來的伴生風險。

10分鐘與被騙走的430萬

據平安包頭消息，4月20日11時40分左右，福州市某科技公司法人代表郭先生的好友突然通過微信視頻聯系到他，兩人經過短暫聊天后，好友告訴郭先生，自己的朋友在外地投標，需要430萬元保證金，且需要公對公賬戶過賬，所以想要借用郭先生公司的賬戶走一下賬。

好友向郭先生要了銀行卡號，聲稱已經把錢打到郭先生的賬戶上，還把銀行轉賬底單的截圖通過微信發給了郭先生?；谝曨l聊天信任的前提下，郭先生沒有核實錢是否到賬，于11時49分先后分兩筆把430萬元給對方打了過去。錢款轉賬后，郭先生給好友微信發了一條消息，稱事情已經辦妥。但讓他沒想到的是，好友回過來的消息竟然是一個問號。郭先生撥打好友電話，對方說沒有這回事，他這才意識到竟然遇上了“高端”騙局，對方通過智能AI換臉技術，佯裝成好友對他實施了詐騙。

“從頭到尾都沒有和我提借錢的事情，就說會先把錢給我打過來，再讓我給他朋友賬戶轉過去，而且當時是給我打了視頻的，我在視頻中也確認了面孔和聲音，所以才放松了戒備?！惫壬硎?。

此事一出，AI詐騙、AI換臉等話題迅速引爆網絡。

而對于長期從事技術工作的廈門市美亞柏科副總經理江漢祥來說，這種AI換臉、語音合成其實沒有任何新意，很早之前他就認為這種必然會出現?！半S著AI技術的發展，必定有犯罪分子利用這種技術用于行騙等，因為超出大眾認知，所以成功率就會很高?！?/p>

在整個過程中，值得慶幸的是，當天也就是4月20日12時21分，包頭市電信網絡犯罪偵查局接到福建省福州市公安局刑偵支隊的外協請求，稱福建省一知名民營企業負責人被騙走430萬元，而涉案的銀行卡為包頭市蒙商銀行對公賬戶，希望包頭警方能夠幫忙進行緊急止付。

據了解，包頭市公安局電信網絡犯罪偵查局啟動“包頭市警銀聯動綠色查詢機制”，聯合蒙商銀行相關部門，用時10分鐘，成功攔截該詐騙賬戶內的336.84萬元被騙資金。同時，向福州市公安局警方提供了剩余款項93.16萬元資金流出信息。目前，相關資金正在追繳當中。

被顛覆的“眼見為實”

深度合成技術能否被合法應用，是關系互聯網信息內容安全的大事。虛假信息一直是互聯網治理的痛點與難點，深度合成技術的廣泛應用則對虛假信息的治理提出了更高的要求。

AI的負面影響正在逐漸凸顯出來。相關人員是如何通過AI技術完成電信詐騙的？

江漢祥在接受21世紀經濟報道記者采訪時解釋稱，完成AI電信詐騙，是有前提的：一是相關社交媒體被盜號，二是尋找借口重新添加社交媒體成為好友。在這樣的背景之下，中間可能有個過渡期。

在完成上述步驟后，通過采集受害者的照片或者語音，通過深度偽造技術可以實時合成視頻?！澳阋詾槲以诟銣贤?，其實還有一個第三方也就是詐騙分子的存在。詐騙分子在和你視頻的時候，通過采集受害者的一兩張照片、一小段聲音等內容，利用生成式人工智能技術，實時生成好友視頻。在虛擬攝像頭的幫助之下，便可以看到你的親朋好友在和你對話，在得到你的信任之后，便繼續進行詐騙?！?/p>

在他看來，電信詐騙鏈條相關主體沒有發生太大變化，主要是會多一個技術環節。AI詐騙其實只是利用了作為中間環節的技術。

那么，AI詐騙能夠成功的主要原因是什么？被消解的“眼見為實”超出了日常認知。

江漢祥表示，AI詐騙之所以能夠詐騙成功，關鍵在于出于普通人的日常認知之外。電信詐騙處于時刻的動態變化之中，比如技術的變化、劇本的變化也會引起相關變動。在他看來，不貪圖小便宜就不會被騙的觀點已經過時，“因為總有一種詐騙方式在你的認知之外，這種情況下和貪欲心理是沒有關系的，所以每個人都應該提高警惕?！?/p>

“俗語說‘耳聽為虛，眼見為實’‘有圖有真相’，可見照片、視頻在公眾潛意識中的真實性遠勝文字。而深度合成技術則恰恰顛覆了這一公眾認知，可以偽造音頻、圖片、視頻，捏造人物的行為與語言。作為人工智能深度學習領域的一個分支，深度合成技術在近幾年迅速興起，為政治、軍事、經濟犯罪甚至恐怖活動等提供了新工具，帶來嚴峻安全挑戰?！敝袊ù髮W數據法治研究院教授張凌寒對21世紀經濟報道記者說道。

面對AI詐騙，公眾、平臺并非無法反擊。

江漢祥提示，預防有多個方面，其中最關鍵的就是只要跟你談到錢的問題，你一定要通過多種方式確認對方的身份，比如給對方打一個電話，這里要特別注意的是，必須用你所熟知的電話號碼撥出進行確認，因為對方來電顯示的號碼也可能是偽造的。同時也要關注個人的信息安全，平時養成好的習慣，如不隨便點擊不明的短信鏈接、郵件鏈接等，不隨意掃描不明來源二維碼、下載APP，另外還要特別注意不輕易提供人臉等個人生物信息給他人等。

“從平臺的角度來看，也需要嚴格規范技術的開發和應用，完善相關授權機制，對于社交媒體賬號被詐騙分子盜用從而進行網絡詐騙的情況，是可以根據IP地址空間變化及賬號活動規律來對用戶進行提醒和提示的，甚至考慮強制退出賬號，從而減少一部分的詐騙發生?！?/p>

陜西恒達律師事務所高級合伙人、知名公益律師趙良善提醒，公眾平時注意以下事項，以避免AI換臉詐騙。首先，AI換臉并非無任何破綻，可以要求對方用手指在其面部來回晃動，或者用手掌來擋住一部分臉，若面部出現扭曲，則斷定是AI換臉。其次，要時刻保持警惕，尤其是在通話或微信視頻中對方聲稱是親戚朋友，可以適當詢問一些私人信息來驗證對方的身份。在確認身份之前，最好先與家人親友核實一下。最后，要定期更新密碼和軟件防護措施。為了防止個人信息被盜用，建議定期更改各類賬號的密碼，并且使用強密碼。同時，要安裝殺毒軟件和防火墻等軟件保護電腦與手機的安全，以防止惡意程序入侵致使信息泄露。

以“能力+場景”完善分級分類治理標準

《互聯網信息服務深度合成管理規定》對于深度合成服務提供者的安全管理義務提出了一系列規定。若別有用心之人利用深度合成技術、AI技術“作惡”，深度合成服務提供者是否需要承擔相應的法律責任？如何理解其中的責任分配？

“目前管理規定有一些防范措施，比如要求實名制注冊，要求服務者盡到提示義務，但是如果用戶使用AI技術侵權仍是按照事后追責的路徑，當前還尚未落地一個事前有效、具體的確保用戶合法使用的機制?！睆埩韬硎?，深度合成技術合成的信息內容一旦傳播，其損害仍然難以彌補，這就對辟謠機制和澄清機制的建設提出了要求。

趙良善對21世紀經濟報道記者表示，用AI換臉技術偽造他人的臉, 違反了《民法典》相關規定，侵犯了他人的肖像權。與此同時，不法分子以AI換臉方式騙取他人的錢財，不僅侵犯了被換臉的人的肖像權，還侵害了被騙人的財產權，觸犯了《刑法》，可追究不法分子涉嫌詐騙罪的刑事責任。

趙良善指出，無論個人還是平臺、AI換臉技術提供方，未經肖像權人同意，通過技術手段提取肖像，并擅自使用或上傳至換臉App中供用戶選擇使用的行為都侵害了他人肖像權。在民事責任方面，AI換臉技術提供方需承擔連帶民事責任，被侵權人可以通過提起民事訴訟方式要求AI換臉技術提供方承擔停止侵權、賠禮道歉并賠償損失等民事責任。

“《互聯網信息服務深度合成管理規定》，為深度合成服務劃定了‘底線’和‘紅線’,強調不得利用深度合成服務從事法律、行政法規禁止的活動，要求深度合成服務提供者落實信息安全主體責任。該規定的出臺，對規范‘AI換臉’具有里程碑意義。如果AI換臉技術提供方明知不法分子利用AI換臉實施詐騙仍提供技術服務的，AI換臉技術提供方則構成詐騙的共犯，被害人可選擇向警方報案，由警方立案調查?！壁w良善說。

深度合成、人工智能技術爆火的“B面”是不可忽視的伴生風險。面對新技術、新應用，監管治理如何應對？

趙良善介紹，新技術、新應用帶來了發展機遇，同時也給網絡安全帶來了風險和挑戰。國家網信辦作為管理部門，曾會同有關部門制定出臺了《具有輿論屬性或社會動員能力的互聯網信息服務安全評估規定》、《個人信息安全規范》等法規，國家網信辦需利用這些法規，指導督促互聯網企業開展安全評估，監管上線的新技術、新應用。與此同時，國家網信辦還需開展App違法違規收集使用個人信息專項治理，保護用戶個人信息和個人隱私，維護用戶合法權益。

“一般認為，深度合成可能被用于‘無中生有’或篡改信息內容因而具有較高的輿論屬性或者社會動員能力，屬于高敏感高風險的算法服務技術?！?張凌寒說。

張凌寒進一步解釋道，風險分級分類是治理的關鍵一步?！皻W盟《人工智能法案》就采取了風險分級的辦法，相比于歐盟、美國，我們需要走出中國特色的人工智能立法之路，適應中國的本土制度?！?/p>

張凌寒介紹，目前我國存在多種分級分類標準，主要包括數據、算法、主體、場景等維度。四類分級分類標準，職責互相交叉，邊界不盡清晰。以算法分級分類為例，一是我國以部門職能作為分類標準，“具有輿論屬性或者社會動員能力”的算法均需履行事前安全評估、備案等程序，算法種類繁多，基本涵蓋了現有的算法服務；二是《算法推薦管理規定》中的算法分級分類安全管理制度，結合數據維度（如數據重要程度）和主體維度（如用戶規模）進行制度設計，但不同分級分類標準如何厘清各自職能和邊界，以及各標準之間如何銜接，需要進一步出臺規范予以調整。

張凌寒表示，人工智能模型訓練的目的是為了獲得“能力”，這與既有法律制度中的信息內容監管、以風險為導向的分級分類治理的監管目標有所不同。未來的分級分類應該以“能力+場景”作為標準。

責任編輯：韓希宇