21世紀經濟報道 記者 王俊 鄭雪 南方財經全媒體 記者 馮戀閣 北京報道

編者按：自1956年“人工智能”的概念首次被提出已過60余年，此間，人工智能從虛化的代碼逐漸轉化成實踐應用，催生出一批批商業故事。不過，人工智能規?；逃貌⒎翘雇?，概念的火熱一直以來未能助推技術突破與商業應用。

時間來到2022年，生成式AI發展為人工智能發展再注入一針強心劑。ChatGPT橫空出世，被視為通用人工智能的起點和強人工智能的拐點，引發新一輪人工智能革命。人工智能發展似乎找到了自己的主流敘事。

不過，技術創新的同時也帶來了監管難題。如何平衡發展與安全，中國正在摸索自己的AI治理路徑。南財合規科技研究院與觀韜中茂律師事務所推出《中國AI治理的獨立思考——生成式人工智能發展與監管白皮書》，通過分析生成式AI的發展現狀、政策導向、實操中面臨的風險，以及各國的監管路徑，以期為未來的AI治理提供有益思路。

生成式人工智能發展一日千里，與驚喜相伴的是對其引發的安全隱患擔憂。生成式AI的模型層是生成式AI得以實現的關鍵環節，依賴于更高質量、更豐富的訓練數據集。如何判斷數據收集行為以及留存的數據內容是否合規，已成為當前相關技術發展亟待解決的問題，更是大模型產品未來健康發展的關鍵。數據安全問題正變得越來越重要，甚至可能成為產品的“阿克琉斯之踵”。

因此，必須關注煉造大模型帶來的次生問題，比如數據跨境流動中的難點與困境，再比如個人信息，尤其未成年人信息在模型訓練、應用過程中的合規，這些都是生成式AI數據治理過程中需要予以特別關注的問題。

數據跨境：多重不確定性疊加

海量數據推動大模型“涌現”功能的出現。數據從何而來？

一是各個廠商歷史積累的數據，數據的具體類型和質量取決于廠商的主營業務情況；二是公開渠道爬取的數據，受限于當前各類反爬取技術和規則，此類數據獲取將愈加困難；三是各類免費或付費的第三方數據庫與數據集，例如GPT數據來源中全球最大的免費網頁數據庫Common Crawl，各類高校，以及企業科研機構所搜集和處理的開源數據集如WikiQA（微軟研究院發布）、EXEQ-300K（北京大學、賓夕法尼亞大學、中山大學發布）、ArxivPapers（Facebook、倫敦大學學院、DeepMind發布）等。

可以看到，大模型數據獲取過程中不可避免涉及數據跨境問題。除此之外，數據跨境問題還可能存在于服務提供等環節。

目前，除少部分自行開發、部署模型的提服務提供者供以外，大部分服務提供者仍需倚賴第三方技術服務商搭建模型或以接入API等方式使用生成式AI服務，而這些技術方的服務器一般部署于境外。例如，一家位于中國大陸的企業，通過API接口的方式接入位于北美的生成式AI技術服務提供商，而該服務商的服務器部署于印度，此時可能面臨相關數據出境所帶來的風險。

除此之外，在提供生成式AI服務過程中，不僅涉及數據出境問題，還可能涉及數據入境。例如，經過境外模型處理后產生的數據通過AI交互方式返回給中國用戶時，也需考慮境外國家關于數據出境的合規要求和限制。

從境內外關于生成式AI技術的法律規制來看，目前，服務提供者在應用生成式AI模型的過程中，可能會面臨四方面與數據跨境相關的風險與挑戰：

一是大陸地區尚未被列入核心技術供應商開放服務范圍之內。

目前，如OpenAI等核心生成式AI技術提供方并未將中國大陸地區列入其服務提供對象范圍，在此背景下，如果因為使用相關服務給大陸企業造成了損害后果（如數據泄露等），企業的權利應當如何得到保障？

此外，部分企業通過自行建立或租用專線（含虛擬專用網絡VPN）的方式，連接到境外的生成式AI技術模型，這一做法如未經電信主管部門批準，則涉嫌違反工信部《關于清理規范互聯網網絡接入服務市場的通知》的規定，違規風險極大，尤其是當企業以營利為目的專門向其他企業提供此類服務的，情節嚴重的情況下，還可能構成非法經營罪，將會面臨刑事風險。

二是數據出境方面，情況存在不確定性。

根據《網絡安全法》、《個人信息保護法》、《數據出境安全評估辦法》等法律法規規定，在進行數據出境前應當履行相應的出境合規義務，例如進行事前安全評估，如涉及個人信息的，還應當進行個人信息保護認證、簽署標準合同等，而由于企業使用生成式AI模型服務中涉及的數據出境情況存在不確定性，因此，在履行出境合規義務上可能存在滯后性。

目前，生成式AI模型的應用路徑主要分為兩種，其一，是企業將其收集的數據提供給生成式AI模型，并向其提出數據處理請求，該情形下，企業在提供數據前可以結合業務需求及合規義務要求對數據進行預處理、篩選，以限定其所提供的數據范圍，從而使得相關數據出境風險處于可控范圍之內。其二，是用戶直接使用企業接入生成式AI模型的服務平臺，這種情況下，由于用戶是直接向生成式AI模型提供數據的主體，對于企業而言，用戶提供哪些數據存在很大不確定性，從而觸發相關的數據出境合規義務要求。而且，由于該情形下向境外提供個人信息量級的不確定性，將導致企業難以確定數據出境合規路徑。

三是個人信息出境時如何告知并取得個人或其監護人的單獨同意。

根據《個人信息保護法》的要求，基于個人同意向境外提供個人信息的，應當取得個人的單獨同意。從目前行業實踐來看，企業通常通過彈窗勾選的方式取得數據出境相關的單獨同意，但是在告知方面，基于生成式AI模型的特殊性，如何在事前告知可能出境的個人信息范圍，將會成為企業在履行相關告知義務時不得不面臨的現實困境。

四是如何滿足境外出口管制的要求。

經境外的生成式AI模型處理后產生的數據面臨相關國家、地區的監管。不同于歐盟的嚴格限制，例如美國對于數據跨境流動的監管要寬松許多，對于數據跨境流動，美國偏向于限制政府權利，其跨境數據隱私保護策略主要靠有限的立法和行業自律。

如前所述，經境外的生成式AI模型處理后產生的數據或產品如返回給中國用戶，需要考慮境外國家關于數據出境的合規要求和限制。例如，在OpenAI公布的用戶協議中，亦明確規定其提供的服務受美國出口管制相關規則所約束，不得出口到任何美國禁運國家。

同時，根據美國商務部工業與安全局官網公布的禁運規則解釋文本及其對應表格，中國屬于清單中的D組禁運國家，主要禁運領域為“國家安全、核工業、化學與生物領域、導彈科技和其他軍事領域”，雖非絕對禁運，但是，對于電子產品、電子通信、電腦、信息安全等領域相關的設備、組件、材料、軟件及其相關科技向中國的出口，仍需要向美國相關部門進行報批。

值得注意的是，出口管制適用的范圍不僅包括實體貨物，還包括計算機軟件、數據、技術等，這就意味著受《美國出口管制條例》等法律法規約束的貨物相關的數據亦需遵循相應的規制。因此，對于經生成式AI模型處理后返回的數據，是否符合境外出口管制方面的合規要求，亦是企業在將來迎接監管時可能面臨的挑戰。

數據安全：需關注Prompt Injection攻擊

新技術快速發展，也需警惕其中風險。在數據成為寶貴資產的今天，海量數據的安全如何保障？與此同時，大模型的惡意使用行為如何預防？也是快速發展過程中需要關注和回應的問題。

具體來看，生成式AI需要關注并回應數據泄露、網絡安全、重要數據處理等關鍵問題。

關于數據泄露，基于大模型強大的系統學習能力，以及交互方式上相對的自由與不受局限，導致交互過程中存在較大泄露數據或商業秘密的風險。例如，近日，某韓國頭部企業發生了三起生成式AI產品的誤用與濫用案例，包括設備信息泄露和會議內容泄露。其中，涉及半導體設備測量資料、產品良率等內容或已被存入AI模型的學習資料庫中。

為規避數據泄露風險，此前已有不少企業明確禁止員工使用生成式AI模型，包括摩根大通、德意志銀行、埃森哲、富士通、軟銀、高盛、花旗等公司。

網絡安全方面，大模型的“濫用風險”似乎是伴隨著大模型興起一直為人們緊密關注的議題，對于生成式AI模型的開發者而言，在訓練模型的過程中需要思考如何有效預防用戶的惡意使用行為，例如利用模型撰寫編碼或病毒，用于攻擊網站等，從而引發網絡安全風險。

同時，大模型也似乎更容易受到“提示語注入攻擊(Prompt Injection)”的影響。例如，給出ChatGPT能夠接受的假設，引導它違反自身的編程限制，生成不合適或有害的內容。如何防止惡意使用者誘騙模型突破限制使用范圍，也將成為生成式AI模型應用過程中可能面臨的一大挑戰。

重要數據處理方面，基于大語言模型的特性，其模型的訓練和完善都有賴于大量數據的幫助，不同數據類型、數據量級的疊加，不排除構成重要數據乃至核心數據從而觸發相應的合規義務。

同時，我國目前《數據安全法》等法律法規中雖然提出了“重要數據”、“核心數據”的概念，但二者的判定依據尚未明晰，這種不確定性也使得生成式AI模型應用面臨的合規風險增加。

比如某企業通過某生成式AI模型堆砌數據，但當數據量增加到某一量級時已構成重要數據，此時如本身模型技術支持位于境外，企業將會面臨重要數據出境相關的合規風險。 

個人信息：關注收集、使用、響應等環節

當前，隨著個人信息保護意識的不斷加深，大模型發展過程中如何保護個人信息，成為發展過程中必需回答的問題。對于個人信息的保護，需要重點關注收集、使用、權利響應等環節，同時尤其關注兒童信息。

個人信息收集場景方面，大數據時代，生成式AI模型難以規避因收集個人信息所帶來的風險，這類風險不僅可能發生在模型的訓練階段，也可能發生在模型的實際應用階段。

在模型的訓練階段，大模型往往需要獲取多元化、豐富的語料進行訓練，在這個過程中，難免會采取爬蟲等技術方式通過互聯網等公開渠道獲取大量數據，如何避免因爬取或其他手段獲取公開渠道的個人信息而構成侵權等法律風險？如涉及從第三方獲取的數據的，如何審核個人信息來源的合法性和個人的授權情況？這都是應當思考的問題。

例如，某生成式AI模型在訓練的過程中爬取了某點評網站上關于某餐飲店的評價，但由于某用戶在點評時透露了自身的個人信息，導致該部分個人信息進入到模型語料庫，進而涉嫌侵犯他人個人信息權益。

在模型的實際應用階段，如何精準識別AI與用戶交互過程中所收集的個人信息，并進而履行個人信息保護相關的合規義務，也將成為生成式AI模型應用者所要面臨的一大挑戰。

不同于一般應用程序中填入式的收集個人信息方式，大模型由于涉及人與AI的交互，很難在事前對可能收集個人信息的場景進行完全羅列，而更近似于“客服熱線”的場景，在此背景下，應當如何在事前向個人告知收集個人信息的目的、方式和范圍并取得其同意，也是值得研究的問題。

個人信息使用場景上，目前，部分生成式AI產品以改善服務為由使用用戶提供的內容（其中包含個人信息），但顯然，僅以改善服務為由要求收集用戶信息并不符合最小必要原則，本質上是對于“企業訓練模型之需”與“用戶享受服務之需”的混淆。目前，OpenAI已提供用戶拒絕其使用個人信息進行訓練的途徑。

除此之外，在大模型的交互模式下，對于個人信息的披露可能不同于往常意義上的“公開披露”，而更類似于一種“被動公開”，即當某個用戶的真實個人信息被摘錄于語料庫后，之后任意用戶通過詢問等方式均可以得知相關個人信息，此時由于對象為非特定自然人，相較于向特定個人“提供個人信息”，可能更接近于“公開個人信息”的范疇。

因此，對于模型開發者而言，應當慎重考慮在語料庫以及訓練模型的過程中是否加入真實個人信息。例如，某直銷機構需要向客戶公開披露直銷員的聯系方式等，但由于并未告知直銷員，導致直銷員的聯系方式被其他人通過與AI的問答獲取，并用于其他目的，此時企業可能會因為未事前披露使用目的而涉嫌侵犯他人個人信息權益。

個人信息權利響應場景方面，生成式AI也帶來一系列難題。

在大模型下，關于個人信息權利響應的實現似乎遠遠沒有想象中來得容易。例如，就查閱權和更正權而言，提供者應當如何確定個人信息的范圍并提供給用戶查閱或更正？ 

如前所述，模型通常存儲的是交互記錄，而不會在識別個人數據后將其作為單獨的存儲單位。就刪除權而言，如果這部分數據已被用于模型訓練，此時，從技術上而言難以做到完全刪除，僅能通過過濾數據或者重新訓練的方式以最小化這部分個人信息對模型輸出可能產生的影響。

同時，如果大模型技術提供方位于境外，收集的個人信息將通過API接口傳輸至位于境外的主體，如何向個人告知向境外行使個人信息權利的途徑，也將成為服務提供者需要面臨的現實問題。

如何處理兒童個人信息，也成為生成式人工智能合規治理過程中需著重考量的因素。

在訓練大模型的過程中，服務提供者需要基于自身的目的，考量是否有收集兒童個人信息的必要性。

如果業務本身并不面向或針對兒童，但如遇到醫療健康事件等小概率事件下可能會收集兒童個人信息，也應當在隱私政策等個人信息聲明中告知并獲得有效同意。

如不存在收集任何兒童個人信息的必要性，則應從技術和制度角度防止誤收兒童個人信息。例如，某10歲的兒童通過網站的廣告頁面進入了某生成式AI模型服務提供頁面，并輸入了自身的姓名等個人信息，此時，由于系統無法準確識別使用者的年齡，在無形中收集了該名兒童的個人信息。目前，如OpenAI也已經關注到此類問題，但可能出于對現有技術判別年齡的有效性等考量，其并未采取進一步動作。

白皮書出品團隊：南財合規科技研究院X觀韜中茂律師事務所

白皮書撰寫者：王俊 馮戀閣 鄭雪 王渝偉 楊欣如 周丹 錢雨晴 溫泳珊 林婉娜 羅洛

（陸釔潼 王敏 朱敏婕 對白皮書撰寫亦有貢獻）

責任編輯：王超