<listing id="lnlbz"></listing>

      <address id="lnlbz"></address>
      <form id="lnlbz"><th id="lnlbz"><listing id="lnlbz"></listing></th></form>

          <form id="lnlbz"></form>

          <progress id="lnlbz"><nobr id="lnlbz"></nobr></progress>

          <address id="lnlbz"><sub id="lnlbz"><menuitem id="lnlbz"></menuitem></sub></address><listing id="lnlbz"><font id="lnlbz"><cite id="lnlbz"></cite></font></listing><thead id="lnlbz"></thead><rp id="lnlbz"></rp>

          1. 移動端
            訪問手機端
            官微
            訪問官微

            搜索
            取消
            溫馨提示:
            敬愛的用戶,您的瀏覽器版本過低,會導致頁面瀏覽異常,建議您升級瀏覽器版本或更換其他瀏覽器打開。

            假如我給ChatGPT潑冷水

            李闖 來源:中國電子銀行網 2023-02-09 10:04:22 ChatGPT 李闖
            李闖     來源:中國電子銀行網     2023-02-09 10:04:22
            李闖

            核心提示ChatGPT的輸出仍然更偏向于統計學規律,而不是真正的智能。

            毫無疑問,ChatGPT的橫空出世是2022年人工智能領域最大的事件,沒有之一。通用對話機器人第一次走出科研圈之外,接受社會面的廣泛檢驗,獲得意想不到的好評和成功。它的出現,第一次讓人們感受到:原來人工智能真的有一點智能!

            筆者自第一版GPT3就已是OpenAI的粉絲,現在更只能用“狂熱”來形容自己對ChatGPT的感覺。只是每當筆者意識到自己的“狂熱”時,筆者總會強迫自己站在相反的立場冷靜一下,于是本文中筆者假設自己是不看好,甚至反對ChatGPT的人來探討:如果ChatGPT這類大模型不是未來,那可能是什么?

            1、“投人所好”:ChatGPT成功在于“投人所好”。RLHF、Instruct等技術都是為了讓機器輸出更符合人類喜好,依賴人類的打分評價,這可能決定了它無法超出平均人類水平。這恐怕也是ChatGPT在通用問答表現良好,但在專業領域很容易露餡的原因。因為我們不太可能匯集各個領域的頂尖專家去專門給它提問打標簽,更不可能找一堆牛頓、愛因斯坦那樣的超人類去教他,這種技術路徑的上限可能不是未來。

            2、數據枯竭:GPT3的訓練已經用了人類絕大部分書籍、論文、嚴肅報道、專業問答等高質量語言數據,人類每年新產生的高質量數據和幾千年積攢的數據相比極少。即使不考慮版權,全世界通力合作,高質量數據集的規模也不會有太大擴充了,GPT3的相關論文表明增大模型規模必須同步增加訓練數據。未來的GPT4還能增加一些,但GPT5哪里還有增量數據?這意味著研究人員只能寄希望于訓練機制、損失函數、網絡結構等其他方面的突破了,然而這些大的突破可遇不可求。

            3、算力增長減緩:GPT3比GPT2多100倍參數,訓練一次成本估計為1200萬美元,直接把所有大中小企業踢出玩家隊伍,全球也就少數幾個巨頭有財力和人力繼續研究,然而時隔兩年,算力代表Nvidia剛發布的40系列顯卡算力只提升80%左右,按照這個速度提升100倍算力需要16年,這還沒有考慮卡體積、功耗問題。未來的GPT系列很難在規模上有快速突破了。更重要的是,如上所說,假如科研人員找到新的訓練方法,比如RLHF這條路繼續強化學習的方法有可能對算力有千倍萬倍的需求。

            4、可靠性仍不足:ChatGPT寫一首詩、一段小說、甚至一份演講稿都可能獲得驚艷的結果,但這些任務的特點是可以反復重試,你會自動忽略那些糟糕的結果,工業界系統使用ChatGPT時可能要增加人類審核員,過濾掉糟糕的輸出,無法發揮自動化的高效率優勢。筆者根據自己的體驗認為,ChatGPT有10%~20%的概率會胡言亂語或者一本正經地胡說八道,和圖像一樣,ChatGPT暫時只能給一些容錯率高,可解釋性要求低的領域帶來大幅提升。

            5、智能仍不足:雖然ChatGPT看起來遠比之前的系統智能,但距離真正的通用智能還很遠很遠。涉及到計算推理的問題表現就很糟糕,如雞兔同籠問題看似回答很好,但只要將題目中改為不常見的數量,或者換成3條腿的青蛙,2個頭的蛇就能讓它混亂。你也基本不能教會ChatGPT應用新的復雜規則,如雜體詩、棋牌游戲。我們可以從這些它不擅長的事情上看出,ChatGPT的輸出仍然更偏向于統計學規律,而不是真正的智能。

            當然,上面說的都只是可能,也許RLHF類方法沒有上限,也許在現有數據下,我們把模型再增大100倍持續訓練還會出現能力質變,也許芯片算力還會爆發,讓我們很快可以用強化學習訓練高級推理任務,也許10~20年后,我們就能看到超過人類的智能體出現,我很希望上面“可能”不會發生,而“也許”都會實現,OpenAI可以的!

            (李闖系中國金融認證中心(CFCA)技術專家、中國電子銀行網專欄專家。)

            文章為個人投稿,不代表所在公司的觀點和立場。

            責任編輯:王超

            免責聲明:

            中國電子銀行網發布的專欄、投稿以及征文相關文章,其文字、圖片、視頻均來源于作者投稿或轉載自相關作品方;如涉及未經許可使用作品的問題,請您優先聯系我們(聯系郵箱:cebnet@cfca.com.cn,電話:400-880-9888),我們會第一時間核實,謝謝配合。

            為你推薦

            猜你喜歡

            收藏成功

            確定
            1024你懂的国产日韩欧美_亚洲欧美色一区二区三区_久久五月丁香合缴情网_99爱之精品网站

            <listing id="lnlbz"></listing>

                <address id="lnlbz"></address>
                <form id="lnlbz"><th id="lnlbz"><listing id="lnlbz"></listing></th></form>

                    <form id="lnlbz"></form>

                    <progress id="lnlbz"><nobr id="lnlbz"></nobr></progress>

                    <address id="lnlbz"><sub id="lnlbz"><menuitem id="lnlbz"></menuitem></sub></address><listing id="lnlbz"><font id="lnlbz"><cite id="lnlbz"></cite></font></listing><thead id="lnlbz"></thead><rp id="lnlbz"></rp>