案例名稱

桂林銀行大模型中臺

案例簡介

人工智能大模型技術發展日新月異，大模型能力正逐步滲透至各行各業，催生新一輪創新浪潮和行業變革。桂林銀行勇立科創潮頭，于2023年第三季度啟動了“大語言模型中臺”項目，旨在探索人工智能大模型技術在銀行業務中的深度應用，以期通過技術革新推動金融服務智慧化轉型。經過精心規劃與建設，該項目于2024年第二季度成功上線，標志著桂林銀行在金融科技領域邁出了堅實的一步。大模型中臺不僅整合了先進的AI技術資源，更構建了一套高效、靈活的服務體系，為銀行內外部用戶提供智能化、個性化的服務體驗，成為驅動桂林銀行業務升級的新引擎，為數字化和智慧化轉型發展新質生產力。

創新技術/模式應用

大模型中臺秉承中臺化的設計和服務理念，集中統一管理大模型資源，為全行各業務系統提供智能客服、內容創作、代碼編寫、產品設計、文檔編寫、智能辦公、數據分析和邏輯推理等方面的AI能力。

1. 集成資源管理，優化成本效益

集中統一管理：大模型中臺對外集中統一提供服務接口，內部采用分布式架構，統一調配大模型軟硬件資源，顯著提升了資源利用率，有效控制了高昂的硬件成本，使大模型成為行內新型高端的基礎設施。

適配國產生態：系統全面適配國產大模型及GPU硬件，強化了技術自主可控能力，保障了數據安全與合規性，為信息化創新添磚加瓦。

圖1 大模型中臺 節點列表

2. 接口化接入的業務融合

通過標準化API接口，大模型中臺無縫對接行內各業務系統，如云上鄉村數智平臺、桂銀數字人、桂銀MO等，實現了業務流程的智能化嵌入，簡化了技術對接復雜度，加速了智能服務的部署與迭代。大模型技術發展非?？?，甚至每月都有新的模型發布，中臺可屏蔽軟硬件差異，可在不影響業務系統的情況下對大模型升級迭代或模型更換。

3. 應用化管理靈活配置

大模型中臺通過應用配置的形式對外提供服務，實現了靈活的服務配置和管理。這種應用化管理方式使得銀行各業務部門能夠根據實際需求靈活調用大模型中臺的服務，進一步提升了工作效率。

圖2 大模型中臺 應用列表

4. 智能化數據應用

大模型中臺通過集成自然語言處理（NLP）能力，能夠自動從多源異構數據中提取關鍵信息，包括但不限于社交媒體、新聞報道、政策文件等公開非結構化數據，以及銀行內部的的結構化數據。這種智能化的數據收集方式不僅拓寬了數據來源，還顯著提高了數據收集的實時性和準確性，盤活非結構化數據資產。

5. Langchain技術支持的知識管理

利用Langchain技術，大模型中臺不僅實現了高質量的智能問答服務，中臺還負責維護和優化知識庫與向量庫，確保了信息的準確性和時效性，為決策支持、客戶服務提供了強大的知識支撐。

圖3 大模型中臺 知識庫列表

項目效果評估

1. 業務效率與質量雙提升

自大模型中臺上線以來，桂林銀行在信息處理、客戶服務、產品創新等多維度實現了效率的顯著提升，智能辦公與數據分析的自動化水平大幅增強，直接帶動了業務處理速度與服務質量的雙重增長。

2. 成本控制與資源優化

統一的硬件資源管理策略顯著降低了大模型運行成本，硬件資源的高利用率使得銀行能夠以更經濟的方式享受大模型帶來的技術紅利，為長期的數字化轉型戰略節約了寶貴的資金。

3. 智能化服務覆蓋廣度與深度增加

從城市到鄉村，從企業客戶到個人用戶，大模型中臺的應用場景不斷拓展，特別是在農村金融服務領域，大模型中臺為云上鄉村數智平臺提供服務，用戶包括行內管理人員和6000多個服務站站長，智能問答服務的普及極大地改善了鄉村金融服務的可達性與滿意度，展現了科技助力普惠金融的實踐成果。

4. 盤活數據資產與應用多樣性

知識庫問答的方式盤活了非結構化數據資產，用來存儲知識庫的向量數據庫中已經收錄各業務條線3000多份文檔，構建了10多個不同類型應用以滿足業務需求。

5. 促進創新文化與人才培養

項目的成功實施激發了銀行內部的創新氛圍，促進了跨部門協作，培育了一批大模型“提示詞工程師”為大模型應用推廣使用奠定了堅實基礎。

綜上，大模型中臺是銀行業數字化、智能化轉型的有力證明，體現了桂林銀行在科技金融、普惠金融、數字金融、信息技術創新和加快發展新質生產力方面的工作成果。

項目牽頭人

劉清萌 桂林銀行信息技術部總經理

項目團隊成員

桂林銀行信息技術部：何潛航、覃海濱、黃楚婷、李戈、閉奇川

責任編輯：陳愛