毫無疑問,ChatGPT的橫空出世是2022年人工智能領域最大的事件,沒有之一。通用對話機器人第一次走出科研圈之外,接受社會面的廣泛檢驗,獲得意想不到的好評和成功。它的出現,第一次讓人們感受到:原來人工智能真的有一點智能!
筆者自第一版GPT3就已是OpenAI的粉絲,現在更只能用“狂熱”來形容自己對ChatGPT的感覺。只是每當筆者意識到自己的“狂熱”時,筆者總會強迫自己站在相反的立場冷靜一下,于是本文中筆者假設自己是不看好,甚至反對ChatGPT的人來探討:如果ChatGPT這類大模型不是未來,那可能是什么?
1、“投人所好”:ChatGPT成功在于“投人所好”。RLHF、Instruct等技術都是為了讓機器輸出更符合人類喜好,依賴人類的打分評價,這可能決定了它無法超出平均人類水平。這恐怕也是ChatGPT在通用問答表現良好,但在專業領域很容易露餡的原因。因為我們不太可能匯集各個領域的頂尖專家去專門給它提問打標簽,更不可能找一堆牛頓、愛因斯坦那樣的超人類去教他,這種技術路徑的上限可能不是未來。
2、數據枯竭:GPT3的訓練已經用了人類絕大部分書籍、論文、嚴肅報道、專業問答等高質量語言數據,人類每年新產生的高質量數據和幾千年積攢的數據相比極少。即使不考慮版權,全世界通力合作,高質量數據集的規模也不會有太大擴充了,GPT3的相關論文表明增大模型規模必須同步增加訓練數據。未來的GPT4還能增加一些,但GPT5哪里還有增量數據?這意味著研究人員只能寄希望于訓練機制、損失函數、網絡結構等其他方面的突破了,然而這些大的突破可遇不可求。
3、算力增長減緩:GPT3比GPT2多100倍參數,訓練一次成本估計為1200萬美元,直接把所有大中小企業踢出玩家隊伍,全球也就少數幾個巨頭有財力和人力繼續研究,然而時隔兩年,算力代表Nvidia剛發布的40系列顯卡算力只提升80%左右,按照這個速度提升100倍算力需要16年,這還沒有考慮卡體積、功耗問題。未來的GPT系列很難在規模上有快速突破了。更重要的是,如上所說,假如科研人員找到新的訓練方法,比如RLHF這條路繼續強化學習的方法有可能對算力有千倍萬倍的需求。
4、可靠性仍不足:ChatGPT寫一首詩、一段小說、甚至一份演講稿都可能獲得驚艷的結果,但這些任務的特點是可以反復重試,你會自動忽略那些糟糕的結果,工業界系統使用ChatGPT時可能要增加人類審核員,過濾掉糟糕的輸出,無法發揮自動化的高效率優勢。筆者根據自己的體驗認為,ChatGPT有10%~20%的概率會胡言亂語或者一本正經地胡說八道,和圖像一樣,ChatGPT暫時只能給一些容錯率高,可解釋性要求低的領域帶來大幅提升。
5、智能仍不足:雖然ChatGPT看起來遠比之前的系統智能,但距離真正的通用智能還很遠很遠。涉及到計算推理的問題表現就很糟糕,如雞兔同籠問題看似回答很好,但只要將題目中改為不常見的數量,或者換成3條腿的青蛙,2個頭的蛇就能讓它混亂。你也基本不能教會ChatGPT應用新的復雜規則,如雜體詩、棋牌游戲。我們可以從這些它不擅長的事情上看出,ChatGPT的輸出仍然更偏向于統計學規律,而不是真正的智能。
當然,上面說的都只是可能,也許RLHF類方法沒有上限,也許在現有數據下,我們把模型再增大100倍持續訓練還會出現能力質變,也許芯片算力還會爆發,讓我們很快可以用強化學習訓練高級推理任務,也許10~20年后,我們就能看到超過人類的智能體出現,我很希望上面“可能”不會發生,而“也許”都會實現,OpenAI可以的!
(李闖系中國金融認證中心(CFCA)技術專家、中國電子銀行網專欄專家。)
文章為個人投稿,不代表所在公司的觀點和立場。
責任編輯:王超
免責聲明:
中國電子銀行網發布的專欄、投稿以及征文相關文章,其文字、圖片、視頻均來源于作者投稿或轉載自相關作品方;如涉及未經許可使用作品的問題,請您優先聯系我們(聯系郵箱:cebnet@cfca.com.cn,電話:400-880-9888),我們會第一時間核實,謝謝配合。