每當談及某項新興技術在金融場景的落地應用時,CIO們都會告訴記者,投入是其面對的最首要問題。
所謂“投入”,并不僅僅是采購系統、服務的金額,還包括運維成本、人力成本、對已有資源的占用成本、業務系統升級改造帶來的隱形成本,以及現有業務人員為學習適應新技術付出的成本等等。
在AIGC時代,提升資源利用效率更是成為金融行業大模型技術落地應用的必答題。有行業專家曾給記者算過一筆賬,如果在金融垂直領域把所有公開數據都訓練完,一次達標的預訓練,以彭博旗下BloombergGPT的500億參數計算,需要花費200張以上的英偉達A100顯卡,僅一次訓練支出在200萬以上,低于這一體量的訓練可能效果會不及預期。
顯然不是所有金融機構都有財力和人力來支持這樣大規模的訓練,但即使是基于廠商已有大模型,金融機構在自有環境下進行精調,依然需要一定的資源支持。此前記者曾報道金融機構通過建立AI中臺,將大模型作為所有應用的入口,有采訪對象向記者直言精調時依然存在算力不夠的問題。
在高昂的投入下,如何優化系統架構,降低業務人員使用門檻、提升資源利用率,實現降本增效?
算力瓶頸待解
在支撐大模型技術落地的“三駕馬車”中,算力是不得不突破的基礎設施,然而算力緊縮已是全球AI市場必須面對的現實。
與以往的AI訓練模型方式不同,大模型的訓練任務是“多機多卡”式的,在分布式任務訓練下需要消耗大量的資源。微軟在近期的財報中首次將GPU的可用性確定為風險因素,微軟表示將繼續尋找和評估擴大數據中心位置和增加服務器容量的機會,以滿足客戶不斷變化的需求,特別是考慮到對人工智能服務不斷增長的需求。
通用大模型訓練對算力的要求驚人。據GPU Utils在今年8月公布的一組數據顯示,OpenAI的GPT-4可能需要1萬-2.5萬張英偉達A100顯卡。
而金融機構訓練自己的大模型一般以二次訓練精調(普遍指Fine-tune)為主,在已有預訓練模型的基礎上,在整個神經網絡的最后一層進行修改,其他參數不變,盡管所需的算力要求相較預訓練小很多,但一次訓練也依然需要數十張A100顯卡。
“巧婦難為無米之炊,底層算力是客戶要解決的第一個問題?!彬v訊云智能金融行業負責人汪凱峰告訴記者,特別是算力資源流通不暢的情況下,金融客戶一般有兩種選擇,一是頭部金融機構基于過去囤積的GPU進行探索,二是嘗試將少量訓練和精調挪到公有云上,解決一部分算力問題。
梳理AI資產迫在眉睫
有限的算力迫使金融機構降本增效,其中梳理AI資產就成為必經之路。
去年12月,財政部提出企業數據資源可作為資產列入財務報表,數據資產化探索進程已加速。在AIGC浪潮下的AI資產不僅包括可用數據集,還有AI模型、AI能力等等。
“在大模型出現之前,我們探索AI應用研發是煙囪式的,很多業務部門來找我要卡,一個系統兩張卡,每次都買一堆卡,非常被動,使用效率也不高?!蹦郴鸸究萍疾块T負責人坦言。
在封閉的金融業務系統中,破解數據孤島已經是行業老生常談的話題,在不同的部門間,數據、算法、業務系統的隔離都將導致資源的重復利用與浪費。一方面,金融機構需要整合歷史遺留的重復AI能力,另一方面,AI資產的管理與治理迫在眉睫。
“金融行業是數字化轉型走得最快的行業,AI產品形態五花八門,從算法、業務系統到平臺型產品,累積了大量煙囪式的AI資產?!蓖魟P峰提到,在幫助金融客戶進行系統架構部署時發現,底層算力使用也較為混亂,對數據的可用程度、機器的利用率、業務側調動算法的次數等等都沒有充分了解。
對這一問題,汪凱峰表示,騰訊云TI平臺在基礎設施架構方面提供的解法是“上下統一、中間異構”,在上層做AI資產門戶展示,在中間層沉淀AI通用能力整合進入中臺。
由于大模型的分布式訓練任務,以“多機多卡”形式推進,更需要對算力資源進行充分的感知與適配。記者了解到,用于大模型訓練的機群下的算力節點在同一時間分配了不同程度的運行任務,提升AI中臺的感知能力以靈活選擇資源調度器更為重要。
“金融機構需要在厘清AI資產的基礎上,沉淀通用數據能力與AI能力,對算法調用量等信息進行監控維護?!蓖魟P峰認為,AI資產梳理不僅僅是中臺的建設,而是從數據、算力、算法、應用自下而上的治理。
譬如在助力中國金融期貨交易所的數字化轉型中,中金所技術公司通過騰訊云TI平臺的能力,每天處理超過2000萬條輿情數據、數億次的調用次數,平臺成功率超過99%。如果使用傳統的方式處理這些數據量,需要構建統一的代碼框架,通用的代碼運行環境,部署維護反向代理工具等工作,將花費大量的人力和時間成本。
另外,模型開發速度提升方面,TI平臺里面有150多種通用算法和算子能力,用戶可以在工作流中直接訓練模型,并將其放入模型倉庫,形成從模型訓練到發布再到服務的閉環,能夠有效降低搭建成本和人力投入。之前需要花費一個月的工作,如今只需要2-3天就能完成。
降低模型開發門檻
“代碼普惠”成為AIGC時代的另一個關鍵詞。
據恒生研究院院長、首席科學家白碩介紹,基于Transformer架構,大模型目前分為兩條技術路線,其中GPT的單向預測模型可以理解為“接龍”,而另一條路線類似于“填空”,前者通過一條示意可以容納包括知識、推理、引導、詳細說明,甚至代碼的預測,后者需要兩邊文本的信息指示。
“GPT對AI行業的沖擊非常大?!卑状T告訴記者,在此之前機構部署的AI系統都是“煙囪式”的單個系統,“諸多小模型的訓練使堂堂分析師淪為數據標注員,而模型的可用性也難以得到保障?!?/p>
事實上,在算力采購、算法優化、模型建立的背后,是大量的人力成本消耗。
在各金融機構的人員構成中,科技研發人員占比已在逐年增加。在2022年財報中公布相關數據的上市銀行中,工商銀行、農業銀行、建設銀行、招商銀行科技人員數量都已破萬,興業銀行與浦發銀行兩家銀行科技人員占總員工的比重都超過10%。
對于金融機構而言,既期待大模型引領“低代碼”時代的到來降低人力成本,又對大模型訓練需要的人力成本保持謹慎觀望。
獵聘數據顯示,今年一季度AI大模型相關新發職位同比增長10.16%,算法工程師、機器學習相關職位的招聘年薪中位數均達到40萬以上。
“我們曾經統計過建模過程中的時間消耗分布,”騰訊云智能-中金所項目技術負責人梁晨向記者提到,機器學習結構化數據的建模過程中,有50%的時間消耗在結構化數據的特征提取,即數據分析師根據建模目標對數據進行分析,再對特征進行提取,而這樣的數據分析師必須熟悉原始數據表,對龐大的數據體量進行分析,并在金融機構跨部門協調獲取數據,在提取特征后再使用這一特征進行建模?!斑@對數據分析師的要求非常高,既要熟悉原有的數據報表,又要理解業務模型構建?!绷撼扛嬖V記者,通過平臺沉淀相關能力后,可以將特征提取人員與建模人員分開,降低模型開發門檻,提升建模效率。
責任編輯:王超
免責聲明:
中國電子銀行網發布的專欄、投稿以及征文相關文章,其文字、圖片、視頻均來源于作者投稿或轉載自相關作品方;如涉及未經許可使用作品的問題,請您優先聯系我們(聯系郵箱:cebnet@cfca.com.cn,電話:400-880-9888),我們會第一時間核實,謝謝配合。