aiStream悄然誕生

　　百信銀行的開業是 “2017年中國銀行業十件大事”之一，作為人工智能時代下互聯網銀行的代表，百信銀行堅持智能普惠的定位，利用人工智能等技術，開啟了“金融+互聯網+人工智能”的新金融發展模式。在新時代下，“直面客戶+快速響應”的互聯網特征，“分布式+去IOE”的全新系統架構對銀行IT建設提出了極大的挑戰：如何準確感知客戶當前需求？如何解決風控授信等業務場景實時性不足的困難？如何快速解決分布式賬務異常，定位問題？如何解決傳統銀行批量方式數據實時性差……

　　這一系列問題對數據提出很高的數量、速度要求，還要兼顧金融交易的復雜性和實時性要求，而解決這些問題的答案正是流式大數據處理技術。

　　百信銀行積極探索人工智能和大數據技術在金融場景的應用，百信銀行信息技術部順勢而為，自主研發，創新推出了基于開源JStorm技術的百信銀行流式計算平臺aiStream，并在消費信貸風險監控項目快速落地，為全行第一款產品保駕護航。由此，流式計算平臺項目成功入選了百信銀行業務創新管理委員會“蒲公英計劃”，后續將在不同的領域進行深度應用，助力全行業務加速。

　　什么是流式計算

　　數據連續產生，并被實時采集和計算

　　數據往往隨著時間推進連續產生，比如客戶用手機APP用戶購買理財，從開戶綁卡-理財產品選購-付款確認等一系列點擊操作，會產生一連串的后臺數據，這背后生成的數據都是連續產生的。連續產生的業務數據，又被實時采集起來，就形成了數據流。流式數據一經采集，就可以立即參與計算，同時將計算結果投入到業務分析應用中，這就是實時計算。

　　分布式實時流式計算面臨很多挑戰：數據從“采集-計算-輸出”全過程需要保證低延遲，除計算節點本身可采用“增量計算”模型，上游數據傳輸模塊也應具有高吞吐能力和數據緩存能力，以便在大流量場景下起緩沖作用，下游輸出模塊也需要做數據壓縮、批量輸出等優化，確保輸出結果的實時性；此外分布式系統單點故障時有發生，實時流計算系統必須有強故障恢復能力，當故障發生時，系統快速恢復，避免出現系統輸出更新停滯，無法保障實時性。

　　百信銀行流式計算平臺aiStream完全自主開發，設計中充分考慮了分布式實時流式計算的難點，采用了主流的計算框架，基于分布式內存并行計算，解決離線大數據和近線大數據實時融合處理等技術難題。支持海量數據高性能分析，同時引入了一系列創新技術，在可靠性、一致性、可用性、可擴展性等多層面提升了開源流處理平臺的處理能力。

　　流式計算平臺的應用領域

　　百搭的應用加速器，廣泛適用性

　　百信銀行流式計算平臺aiStream以解決行業痛點為出發點，從銀行當前迫切需要解決的實時風控、去批量等問題出發，通過靈活的架構設計與規劃， 構建安全、穩定、可靠的基礎平臺，滿足SaaS層差異化和多樣性的定制化需求。流式計算平臺提供如下兩項核心服務：

　　01　　實時數據總線

　　實時處理增量數據，提供不同數據源到目標存儲介質的數據管道，支持源與目標之間單對單，單對多，多對單，多對多的關聯，支持數據管道的擴展與合并。整個系統具有功能擴展性和銀行級要求的容錯性。

　　百信銀行流式計算平臺aiStream目前已將18種數據源，23種目標輸出列入支持計劃，包括常見的關系/非關系數據庫、消息中間件、多種文件存儲及各類系統間接口等，未來還會不斷增加支持的內容。

　　02　　實時數據計算

　　利用流計算引擎的實時計算特性，對數據管道中流轉的數據進行實時加工與計算，并將結果返回到預先規劃目標介質（如數據庫、內存、文件或者其他存儲介質）中。

　　百信銀行流式計算平臺aiStream支持拆分、合并、缺失值填充、類型轉換等15種預處理模式及特征過濾、特征離散、特征尺度變換等15種特征工程處理能力，平臺將這些能力封裝成基礎組件，提供通用接口，支持業務模塊低成本快速接入，根據業務需求靈活組合使用和業務集成，實現“數據驅動業務”。

　　作為通用基礎平臺，百信銀行流式計算平臺aiStream能夠對海量數據進行實時計算處理，廣泛適用于金融銀行、互聯網領域，能夠為個性化數據需求，提供“海量、精準、實時”的個性化數據服務。系統服務領域涵蓋覆蓋客戶營銷、風險管理、營運管理、運維管理等。

　　流式計算平臺的未來展望

　　打造實時數據服務生態

　　流式計算作為百搭數據加速器，具有加快數據流轉、提高數據價值的普適性。未來將會有越來越多的實時計算場景，除了文本計算實時化，圖像、語音計算也可以實時化，在線機器學習等。實時數據以及實時流計算場景的類型都是指數增長的，實時計算引擎要求也會越來越高。

　　同時，作為源自百信銀行的技術平臺，aiStream首先應用的領域就是對數據準確性和數據價值有著最高敏感性的金融領域尤其是銀行業，對于系統的高可用和容錯性在一開始就是以最高標準來要求的。同時整個系統的建設規劃也必須建立在對于金融領域交易場景和數據分析需求的深入理解上，才能保證系統對百信內部以及未來對外部業務需求的高效接入。誕生于百信銀行的aiStream平臺，在技術和業務結合上，有著先天的優勢。

　　百信銀行流式計算平臺aiStream將繼續加大技術研發投入，并與開源社區更加密切的合作，突進流式計算的發展，致力于打造一流的流式計算平臺。一方面，內部創新，支持消費信貸、理財等各事業部的主航道業務，利用實時數據服務能力，提升業務的核心競爭力：繼續擴大計算規模，推出內部統一實時計算服務框架，針對實時處理海量數據，提供在線統計、學習和預測能力；另一方面通過云服務向外界輸出實時計算能力，讓更多中小金融企業和用戶享受到百信銀行實時計算的技術成果。

　　原載微信公眾號：百信銀行aiBank

責任編輯：王超