本文節選自《金融電子化》2018年11月刊

　　作者：中國人民銀行鄭州中心支行 吳彩霞

　　編者按

　　本文從初期挑戰、技術實現到最終成果，逐步展現了人民銀行鄭州中心支行的金融業大數據綜合統計信息平臺的建設過程。

　　當前問題：隨著金融創新的加快，以跨市場、跨機構資管產品為代表的交叉性金融產品規?？焖贁U張，但現有統計指標體系難以有效監測。

　　應對措施：大數據時代的到來為解決這一問題提供了技術條件和可能性。2018年金融工作會議上提出，要加強金融基礎設施的統籌監管和互聯互通，推進金融業綜合統計和監管信息共享。作為重要的金融基礎設施，目前各業務系統仍多為指標采集型，缺少有效整合和穿透處理，碎片化問題較為嚴重，傳統技術架構已不能適應新形勢下在大數據應用需求，亟需架構轉型并及時將大數據理念運用到具體工作中。中國人民銀行鄭州中心支行在2015年底提出了金融業大數據建設工作思路，充分利用大數據的理念和技術，構建融合統一數據采集、數據資源整合、數據服務共享三大功能的金融業大數據綜合統計信息平臺。

　　初期面臨挑戰

　　隨著金融科技的發展，金融行業的業務形態和業務模式呈現“數字化、網絡化、智能化”等業務特點。面對金融業數據量更大、業務系統多樣、報表和明析數據關系更加復雜等情況，基層央行在履行過程中，主要面臨以下幾個問題。

　　1.IT應用系統落后。需要建設可實時承載法人金融機構的業務數據，并進行逐筆業務數據的處理流程。傳統的IT架構在數據接入、數據存儲、數據處理和數據展現維度方面顯示出響應不及時或無法實現的情況?，F有IT設備與應用系統落后，阻礙了大數據和人工智能的實現。

　　2.數據無法實現關聯穿透分析?；鶎友胄性趯嶋H工作中，現行統計架構下使用的數據大多來源于加工過的數據，是收集和整理的大量統計指標數據，但由于采集口徑和數據標準不一，缺少數據規劃。尚未形成行之有效的數據治理體系。各金融機構之間、金融機構內部各業務條線的數據和規范無統一標準，數據采集、治理和標準化接入過程耗時費力見效慢。央行部門之間收集的數據存在重復和不一致的現象，無法做到一次采集、多次加工，只能對金融活動表面情況進行展現，關聯性、穿透性較差。無法縱深層層穿透，更無法通過關聯關系對隱藏在指標數據背后的原因進行深入分析。同時由于在統計過程中會抹殺和掩蓋一些關鍵特征細節，從而形成大量信息缺失現象，造成應用成本較高，分支機構想高效獲取和利用本轄區的數據非常困難。

　　3.數據安全體系建設難。由于需要對上述各類金融機構的多業務條線數據進行統一整合和分析，除了保證數據存儲的安全性，數據傳輸過程中的安全性保障也是技術實現上面臨的難題之一。在傳輸、存儲、加工和使用過程中，既要保證數據不外泄、又要保證不同機構間的傳輸加密差異性，以及在整體流程中保證敏感數據不泄露，是一個比較大的技術挑戰。

　　技術實現

　　1.技術架構與選型。針對上述要求，依托大數據平臺，科學規劃構建了一套完整的技術架構（如下圖所示）。該技術架構充分利用Hadoop體系中比較成熟的開源技術，滿足從數據采集到數據整合到數據計算到數據展示的需要。

圖 技術架構

　　在技術選型上，通過多次試驗，最終對各關鍵技術架構進行了選型。在數據加密部分，采取RSA實現的公鑰、私鑰加密技術以保證數據文件的安全性。針對數據報送頻度、數據報送方式、數據報送內容等屬性，結合網絡安全方面的要求，選定FTP作為接收數據報送服務的技術方案。任務調度選型，選擇了Hadoop生態圈里比較成熟的Oozie。數據存儲，利用Hive實現統一的數據元信息管理，使用Parquet作為Hive表存儲格式，以提升查詢性能；利用分區技術，提升查詢性能；利用Kylin，生成多維Cube，在HBase中可滿足多維分析需求。數據查詢方面，選用了Impala實現快速OLAP分析的性能要求，并使用了Kylin自帶的JDBC實現多維Cube的快速查詢和分析。

　　2.技術實現。整個平臺分為底層基礎平臺和上層業務展現平臺兩部分，底層基礎平臺采用Hadoop技術體系，上層業務展現平臺分為報送平臺和大數據分析平臺兩部分。報送平臺用來接收商業銀行上報數據、反饋報送質量；大數據分析平臺提供供業務人員使用的報表、統計、查詢等服務和可視化展現業務全景等功能。

　　3.數據采集與治理。由于數據的復雜性，在數據采集階段鑒于兼容性、靈活性和完備性上的技術考量，選擇大數據Hadoop作為數據報送與采集的主要技術，并以“逐筆、全覆蓋、無遺漏”的要求采集商業銀行全量明細數據。同時將人民銀行內部系統、轄區內金融機構、各級政府單位、互聯網數據的多渠道數據按照報文報送、Excel模板報送、數據庫等多重數據格式進行報送。

　　數據治理是整個項目的重點技術。平臺構建了完備的數據質量控制體系，建設了數據校驗規則庫，分別進行入庫前的格式效驗和入庫后的表內校驗、表間校驗、跨系統校驗，以及規則庫、錯誤信息實現字段級定位提示。方便了業務和技術人員進行修改，實現了流程化、自動化的數據清洗處理了。治理結果完全符合已有的數據規范和標準，形成完善的數據治理質量控制體系，為實現業務的關聯和穿透提供保障。

　　4.數據安全體系建設。平臺數據包含比較敏感的金融數據，數據安全性的保障尤為重要。既要保證數據安全，又要保證數據不會丟失，也要保證敏感數據不會為外部所得，更要保證不同程度的敏感信息由不同管理權限的人可見?；谶@些考慮，架構上做了以下設計以保證數據的安全性。

　　服務安全性：在平臺服務模式上建立雙活支撐，保證企業級服務的正常運轉。

　　網絡安全性：報送機構和業務網絡之間通過DMZ網絡進行跳轉，并設置嚴謹的防火墻隔離，保證報送機構所在的網絡無法訪問人行內部的業務網絡。

　　數據傳輸安全性：利用公鑰、私鑰加密機制，保證每個報送機構擁有獨立加密管理機制，保證數據傳輸不外泄。

　　數據使用安全性：建立了嚴謹的賬號權限管理體制，對每個賬號的全線功能進行嚴格控制，在系統中對敏感信息進行處理，全方位保證平臺數據的安全性。

　　項目成果展現

　　1.構建了一套完整的服務大數據時代的監管數據治理體系。編制了河南省人民銀行系統數據的標準規范；打造了完善的數據質量控制體系；目前有近6000條業務數據校驗規則保證數據質量；構建逐筆統計業務加工處理流程；設立可靠的安全保密機制；從數據安全、傳輸安全、使用安全等方面，保證敏感數據的安全性。

　　2.初步建設了以大數據支撐平臺。按照“逐筆、全覆蓋、無遺漏”的思路建設監管信息平臺，全方位采集金融機構表內和表外逐筆信息。

　　3.形成切實可行的數據報送渠道。各商業銀行采用貼源方式報送數據，按自身業務實際進行報送，不再對名稱、層級等業務細節進行進一步加工，不再要求歸并業務邏輯，極大減少了商業銀行報送的工作量。貼源報送的方式也能準確反映商業銀行的業務實際。貼源報送既符合大數據的特征規律，也便于推廣到證券業、保險業及新興金融業態。

　　4.初步實現央行履職平臺。利用數據深度挖掘技術和數據的關聯優勢，形成快、準、動態、全面的數據特點，提供地方法人金融機構、重點企業風險監測；加強貧困地區精準扶貧狀況監測，服務于精準脫貧攻堅戰；加強綠色信貸、綠色債券融資監測，服務于污染防治攻堅戰，快速全面服務于業務工作需要、提供全方面的數據服務，形成新形勢下的人民銀行履職技術和數據支撐平臺。

責任編輯：韓希宇