近日，工商銀行軟件開發中心（以下簡稱“工行軟開”）透露，該行完成金融業首個大規模專家并行推理技術突破。

據悉，從2025年初以來，不少機構對DeepSeek大模型進行了部署。雖然DeepSeek等MoE架構大模型在各行業應用效果良好，但在國內算力設施上的推理并發能力、吞吐低延時等技術指標，相對國外先進算力的推理方案仍有較大提升空間，較高的大模型推理成本也不利于各機構通過AI進行轉型與發展。

因此，工行與華為合作，完成金融業國內首個大規模專家并行推理集群的技術突破和驗證。

據介紹，該技術方案中利用MoE模型的架構特點，通過研發路由專家負載均衡算法、優化集群通訊協議和算子重構融合等技術手段實現了分布式并行推理，可以在算力投入不變的情況下，服務能力翻倍。

測試結果顯示，在2k輸入/2k輸出場景下，該方案可實現滿血DeepSeek單卡推理并發、單卡每秒tokens吞吐能力較當前業界方案（數十tokens/秒）提升3至4倍，端到端時延降低50%，使得推理成本可以等比例下降。

在可控的成本之下，AI或將加速賦能金融等各行業發展。

據《銀行科技研究社》了解，工行早在2024上半年就開始在行內部署并試點應用DeepSeek系列開源大模型；2025年2月則完成了DeepSeek開源大模型的私有化部署，并將其接入行內“工銀智涌”大模型矩陣體系。

而前不久，工行軟開基于DeepSeek大模型建設了“面向移動端的智能研發助手”，對接DeepSeek R1深度思考模型及DeepSeek通用模型，支持安卓、iOS、鴻蒙系統、倉頡語言移動端全部技術棧進行研發，支持代碼續寫、知識問答功能。

該助手已在工行個人手機銀行、工銀e生活、企業手機銀行、海外個人手機銀行、海外企業手機銀行、興農通等移動端應用推廣使用。

值得一提的是，工行完成DeepSeek開源大模型的私有化部署，接入“工銀智涌”后1個月時間內，實現了行內50余個場景的模型升級。

責任編輯：王煊