11月1日，“ChatGPT 可能已經有了意識”的話題登上了熱搜話題榜。這一言論來自OpenAI首席科學家Ilya Sutskeve近期的表態，他認為，ChatGPT 背后的神經網絡已經產生了意識，未來超級人工智能（AI）將會成為一種潛在風險。

更早之前，10月30日，美國總統拜登簽署行政令，將對AI研發和應用制定全面的監管標準，這也是白宮首次發布針對AI的行政令。11月1日，首屆全球人工智能安全峰會在英國布萊奇利園召開，中國、美國、英國、歐盟等多方代表簽署了一項具有里程碑意義的《布萊切利宣言》，警告了最先進的前沿AI系統所帶來的危險。

隨著監管層面的加強，業內關于AI風險的大討論被再次推向高潮。在社交媒體上，許多業內專家對AI構成的生存威脅發出警告，認為開源AI可能會被不良行為者操縱，（例如）更容易制造化學武器，而另一方面，反駁觀點則認為這種危言聳聽只是為了幫助將控制權集中在少數保護主義公司手中。

辯論不斷升級，OpenAI首席執行官Sam Altman最近在劍橋參加活動時，甚至遭到了激進分子的強烈抵制。

面對如此激烈的爭辯，開源AI到底危險嗎？AI監管和開放，到底如何平衡？

“毀滅派”大戰“開源派”

有關AI風險和監管的討論在本周又一次被推向高潮。

OpenAI首席科學家Ilya Sutskeve近期接受《麻省理工科技評論》采訪時認為，ChatGPT 背后的神經網絡已經產生了意識，未來超級AI將會成為一種潛在風險。此外，拜登首次簽署AI行政令，以及首屆全球人工智能安全峰會簽署《布萊切利宣言》，也預示著AI監管正在逐步收緊。

根據白宮最近新頒布的AI法規規定，對美國國家安全、經濟、公共衛生或安全構成風險的AI系統開發商在向公眾發布前，需要與美國政府分享安全測試結果，甚至還細致到規定了需要受到監管的AI模型參數。

此舉立刻引發了AI業界大佬的論戰，主張AI發展應該更加開放的“開源派”認為這會讓算法效率的提高陷入困境，而認為AI可能對人類造成巨大風險的“毀滅派”則對此表示認同。

“開源派”以Meta首席AI科學家Yann LeCun和斯坦福大學計算機科學系和電氣工程系的副教授Andrew Ng為代表，他們認為， AI強監管所帶來的巨頭壟斷是從業者和政策制定者該真正關心的問題。

“毀滅派”以“AI教父”Geoffrey Hinton、蒙特利爾大學計算機科學教授Yoshua Bengio、紐約大學教授Gary Marcus為代表。Hinton在X平臺上稱，“我離開谷歌，就是為了自由地談論（AI帶來的）生存威脅?！?/p>

對此，Andrew Ng反擊道，如果頒布“毀滅派”所希望的監管規定，將阻礙開源開發，并大大減慢創新速度。

Yann LeCun也認為，“毀滅派”正無意中幫助那些想通過禁止開放研究、開放源代碼以及開放模型來保護自己業務的人，而這將不可避免地導致不良后果。

兩個派系的辯論不斷升級，繼今年3月馬斯克帶頭簽署千人聯名信，緊急呼吁 AI 實驗室立即暫停研究后，兩封新的聯名信又出現了。

“毀滅派”牽頭簽署了一封聯名信，呼吁針對人工智能制定一項國際性的條約，從而應對其潛在的災難性風險。信中提到，“有半數AI研究人員估計，AI可能導致人類滅絕，或人類潛力受到類似災難性限制的可能性超過10%”。截至發稿，該聯名信已有322人簽署。

“開源派”則簽署了一份呼吁AI研發更加開放的聯名信，截至發稿，377名專家都簽下了名字。

辯論升級，開源大模型到底危險嗎？

值得注意的是，關于AI發展應該堅持開放還是得到更多嚴監管的辯論不僅在業界大佬層面，就連民眾也開始紛紛站隊。

在X平臺上，“毀滅派”發起了“BelieveHinton”的話題，并舉著標示牌走上了大街。

還有人發起了關于兩個派系的投票。

隨著全球討論持續升級，就連OpenAI的首席執行官Sam Altman最近在劍橋參加活動時，也遭到了激進分子的強烈抵制，在大禮堂里當面被砸場子。Sam Altman后來在演講中表示，即便未來AI模型足夠強大，但也需要巨大的算力才能運行。如果提高了算力門檻，能夠降低蓄意犯罪風險，也能提高問責性。

面對如此激烈的爭辯，一個問題是，開源AI到底危險嗎？

10月20日，來自麻省理工學院和劍橋大學的專家們發表了一篇論文，他們通過實驗研究了持續模型權重的擴散是否會幫助惡意者利用更強大的未來模型來造成大規模傷害，結果發現，開源大模型的確可能存在風險。

研究人員安排了一場黑客馬拉松，17名參與者扮演生物恐怖分子，試圖成功獲得1918年導致大流行的流感病毒樣本。參與者使用兩個版本的開源模型，一個是具有內置保護措施的版本，一個是刪除了保護措施的版本Spicy。

結果顯示，Spicy模型提供了幾乎所有需要的關鍵信息來獲取病毒。釋放未來能力更強的基礎模型的權重，無論有多可靠的保護措施，都可能將引發風險。

站在對立面，Andrew NG認為，“當討論這些論點的現實性時，我發現它們模糊且不具體，令人沮喪，因為他們歸結為‘這可能會發生’”。

紐約大學教授Julian Togelius在一篇文章中討論了以AI安全的名義監管AI發展到底意味著什么。

他的觀點是，“構成最近的生成式AI熱潮的神經網絡實際上是幾年前發明的，符號規劃、強化學習和本體論都曾經是‘未來’?？萍及l展很快，我們不可能知道哪種特定的技術將帶來下一個進步。而監管底層技術，對科技進步來說是一種深淵?！?/p>

責任編輯：方杰