從IT時代到DT時代，本文將從金融行業大數據發展現狀、市場規模及前景、數據類型分析、應用場景、實際案例等方面簡要分析大數據在金融行業應用發展。

　　IT時代是以自我控制、自我管理為主，而DT(Datatechnology)時代，它是以服務大眾、激發生產力為主的技術。這兩者之間看起來似乎是一種技術的差異，但實際上是思想觀念層面的差異。未來，包括數據處理、綜合處理、語音識別、商業智能軟件等在內的大數據服務，將成為企業的下一步發展重點。

　　金融行業數據資源豐富，數據應用由來已久。從發展特點和趨勢來看，金融數據與其他跨領域數據的融合應用正不斷強化，金融行業數據的整合、共享和開放正在成為趨勢。對于大數據的應用分析能力，正在成為金融機構未來發展的核心競爭要素。而針對金融機構轉型，目前移動互聯網化及大數據技術的迅速普及則為其提供了更多的利好可能。

　　金融大數據發展現狀

　　數據容量大，涵蓋范圍廣

　　在大數據時代，金融業數據迅速膨脹并呈現出幾何級數的增長態勢。由于行業特性，銀行業在長期業務開展過程中積累了海量數據。從數據涵蓋范圍來看，數據類型包括以工資、公積金、消費貸款等為代表的結構化數據和以文檔、圖片、音像和地理位置信息等種類繁多的非結構化和半結構化數據。以銀行業為例，每創收100萬美元，會平均產生820GB的數據，數據強度高踞各行業之首，而在相同創收條件下，電信、保險和能源行業數據強度分別為490GB、150GB和20GB，由此可知金融業在大數據應用方面具備天然優勢。

　　數據處理復雜，充分挖掘困難

　　商業銀行數據體量龐大，在數據處理過程中存在很多問題，主要包括：

　?。?）數據治理體系化建設匱乏?，F階段商業銀行尚未形成系統的數據治理方法和體系，缺乏有效的數據分類、整理和加工。

　?。?）數據資源管理整合度不高，內部可用信息使用率低下。當前商業銀行的數據在組織內部處于割裂狀態，缺乏順暢的共享機制，難以實現數據的有效整合和使用。

　?。?）數據內容復雜多樣，難以充分挖掘數據資源潛在價值。造成這一現狀的原因在于商業銀行非結構化數據占比不斷上升，數據構造方法重復率高，且關系復雜。

　　數據資產化，應用場景豐富

　　國內商業銀行現處于數據資產化、產業化的起步階段，且銀行運用大數據技術以描述性數據分析為主，預測性數據建模為輔，以自身交易和客戶數據為主，外部數據為輔。數據資產目前最主要的作用是趨勢預測和決策支持，典型的應用場景集中在營銷分析、內部運營和風險管控等方面，具體應用案例包括交叉銷售、客戶群體劃分、信用評分及違約監測等。當前我國商業銀行大數據應用深度、廣度和頻度都與國際先進銀行存在著巨大差距，迫切需要拓寬數據應用層面，實現數據資產增值。

　　數據應用難度大，制約因素多

　　1.大數據技術框架

　　大數據技術框架的組成部分包括處理系統、平臺基礎和計算模型。首先，處理系統必須穩定可靠，同時支持實時處理和離線處理多種應用，支持多源異構數據的統一存儲和處理等功能。其次，平臺基礎要解決硬件資源的抽象和調度管理問題，以提高硬件資源的利用效率，充分發揮設備的性能。最后，計算模型需要解決三個基本問題：模型的三要素（機器參數、執行行為、成本函數）、擴展性與容錯性、性能優化。這些要求對構建大數據技術框架提出了非常高的要求。

　　2.大數據應用推進和落地

　　商業銀行大數據應用雖然在風控、反欺詐、征信等領域初見成效，但在其他層面暫時還處于探索階段。究其原因，一方面只有當數據分析轉變為企業業務方式后才產生價值；另一方面商業銀行在新建應用系統的過程中缺乏數據思維，沒有充分了解大數據分析的價值、戰略和流程。同時大數據應用投資效果難以衡量，領域建模未得到充分重視。

　　3.數據安全與個人隱私

　　現階段用戶數據的收集、存儲、管理和使用缺乏規范，主要依靠商業銀行自律，用戶無法確定自己隱私信息的用途。此外，鑒于國內商業銀行體制機制限制以及尚未健全的金融法律法規體系，許多金融機構擔心擅自使用數據會觸犯監管和法律底線，同時數據處理不當可能會給自身帶來聲譽風險和業務風險，因而在駕馭大數據層面難以付諸實際行動。

　　金融大數據市場規模

　　金融行業競爭日益激烈，基于數據的精細化運營需求日益迫切是金融大數據發展的內在需求。金融企業經過多年的信息積累沉淀了大量高價值的數據，發展金融大數據成為必然方向。

　　據愛分析《中國大數據行業報告》中指出，2017年大數據行業整體市場規模1000億，其中行業應用細分市場規模為700億，是大數據行業最大細分領域，大數據在金融、政務、互聯網成熟度最高?；A平臺整體市場規模在100億元左右，通用技術整體市場規模在200億元左右。行業應用層，大數據在各個行業應用差異較大，應用相對成熟的金融、政府領域市場規模為200億元。

　　金融、政務、互聯網這三個行業的IT投入位列各行業前列，隨著“互聯網+政務”的普及、政務云和政務大數據的落地，政府2017年IT投入超過800億元，占中國IT總投入的5-10%。金融一直是重IT投入的行業，以銀行為例，2017年中國銀行業整體IT投資為800億元，整個金融行業的IT投資突破千億元大關。

　　金融大數據發展前景

　　互聯網的出現讓海量的企業、個人行為數據的獲取、存儲、管理成為可能。大數據的發展已經在多個層面推進金融機構的業務模式不斷發生改變。比如，在金融產品的營銷設計、風險控制、擴展服務半徑等方面，大數據都深刻改變了金融機構的經營模式，有效降低了成本、提高了效率。

　　從金融領域的視角來看，大數據在金融領域是一枝獨秀，加上人工智能的興起，規模急速地增長。在政策層面，國家多層面推進金融大數據發展提供了政策支持，金融行業經過一二十年的信息化的積累，從數據到技術，人才的儲備等方面，都具有非常好的優勢。

　　金融機構是大數據天生的合作者，一方面自身有著利用技術紅利帶來收益沖動，另一方面又有國內較好的信息化基礎。因此金融大數據發展也促進了金融行業從多方面實現管理的轉型和業務產品的創新，其中包括信用風險、客戶服務、智能運營以及金融本身的產品。而金融行業在大數據領域里有著較好的場景應用，例如銀行、保險、證券等，同時互聯網公司在大數據基礎上開展金融業務，這些業務跨過銀行傳統的信貸領域，開始向轉賬匯款、現金管理、資產管理、供應鏈金融、支付等領域蔓延。

　　金融跟互聯網的融合是一個大勢所趨，金融向互聯網發展，互聯網向金融轉型，已經成為整個科技和互聯網金融發展的焦點。中國是全球第二大經濟國，金融業向實體經濟、創新驅動的轉型中，利用大數據技術，必將成為中國金融業的新增長點和新亮點。

　　金融大數據類型

　　金融數據從數據類型上進行劃分，大致可以分為結構化數據、半結構化數據與非結構化數據三大類。

　　結構化數據

　　結構化的數據來源自金融企業運營數據倉儲(ODS)和數據倉庫(EDW)。EDW為企業提供分析決策服務，ODS主要實現企業數據整合、共享和準實時運營監控等功能。而通過Hadoop等組件的應用可以將數月前甚至幾年前的歷史數據進行遷移保存。在分布式存儲結構下，結構化數據的存儲計算可以得到巨大的改善，可對海量離線數據進行離線分析，將離線數據優勢最大化，為金融企業用戶打造立體用戶畫像提供最全面的數據支撐。

　　半結構化數據

　　半結構化數據的整合在數據整合中是最為復雜的。金融企業可對接來源于外部單位所提供的不同類型數據庫或Excel等的數據?！按蛲ā倍嘣串悩嫷臄祿琼椖恐杏龅降淖罾щy的部分，數據整合完畢可快速進行建模分析。

　　非結構化數據

　　金融行業對于非結構化的處理的方法還是比較原始的。非結構化數據涵蓋的范圍比較廣泛，有新聞，視頻，圖片以及社交網絡等數據。

　　金融大數據應用場景

　　從技術角度來看，金融大數據主要分為數據接入、數據存儲、數據計算、數據分析四層。目前金融大數據典型的應用場景包括精準營銷、輿情監控與股價預測、智能投顧、智能投研、監管科技、信貸風險評估、信息可視化、消費信貸、供應鏈金融、風險定價、黑產防范等。特別是在監管科技方面，大數據勘稱市場風險、非法集資、異常交易等監測利器。

　　金融信貸

　　以前借款需要很長時間的審核，尤其是線下取證、財務報表、抵押擔保、審批流程、領導簽批、最后借款等環節，根據內在的大數據信用評估和內控技術，能夠實現實時計算借款人的信用額度，在信用額度內實現即時放款。這是傳統金融領域是難以想象的。而這種快速借款模式，將成為未來互聯網金融時代的標準配置。

　　信息可視化

　　幫助雙方站在同一個平臺上相互模擬、相互評估與相互決策。金融信息可視化已經成為經濟分析、管理決策、績效評價等工作的必備工具，它將始終貫穿于金融活動的全過程。在技術變革的推動下，金融可視化成為未來發展趨勢。數據可視化的最大價值并不僅在于直接將數據呈現出來，讓人直觀地感受到數據，而更在于思維模式和決策方式的轉變?？梢岳脭祿目梢暬匦露x金融領域的數據模型，判斷金融價值模型中的爆發點與增長的關聯。

　　管理決策

　　在數據集成的基礎上，運用大數據、云計算技術，將數據清洗，處理，然后輸入模型，就能還原真實世界，得出精準信息，以此作為決策依據。未來的決策中人主觀因素會弱化，大數據提供的信息使得決策更加科學智能化，動態實時化。

　　供應鏈金融

　　供應鏈金融的風險控制從授信主體向整個鏈條轉變。供應鏈核心企業擁有良好的資產、充足的資金和高額的授信額度。而依附于核心企業的上下游企業可能需要資金，但是貸不到款。供應鏈金融可以由核心企業做擔保，以產品或應收賬款做質押，幫助上下游企業獲得資金。

　　風險控制

　　應用大數據技術，可以統一管理金融企業內部多源異構數據與外部征信數據，可以更好的完善風控體系。內部可保障數據的完整性與安全性，外部可控制用戶風險。

　　智能投顧

　　智能投顧業務提供線上的投資顧問服務，能夠基于客戶的風險偏好、交易行為等個性化數據，采用量化模型，為客戶提供低門檻、低費率的個性化財富管理方案。智能投顧在客戶資料收集分析、投資方案的制定、執行以及后續的維護等步驟上均采用智能系統自動化完成，且具有低門檻、低費率等特點，因此能夠為更多的零售客戶提供定制化服務。

　　金融大數據解決方案

　　微構科技的大數據和人工智能技術在金融行業已經全面服務了多家大型金融機構、保險、證券、互聯網金融客戶。在金融行業，積累了大數據基礎平臺、風控、智能營銷、用卡欺詐行為識別、交易風險預判、客戶畫像、實時風險管控、用戶信用體系等多個從平臺到應用的產品和解決方案的案例，助力金融機構未來基于大數據和人工智能的創新發展。

　　針對金融行業大數據分析的特點，引入大數據平臺架構，實現對海量的銀行數據、證券數據、保險數據的自動化、高能效、虛擬化和標準化的存儲和管理，保證金融行業海量交易數據的安全性、可靠性和高效的運營。

　　金融行業大數據總體系統架構分為五層,分別是數據層，存儲層，計算層，模型層,應用層。模型層是整個大數據的核心部分，為上層應用提供數據支撐。

　　微構科技金融行業大數據解決方案能全面整合金融數據，具備全面的安全保障、強大的數據計算性能、先進的智能分析、便捷的協作分享等特性，充分發揮出金融大數據的價值。在客戶深度分析，市場新業務開發，傳統業務運營方面，具有高性價比，易于管理和擴展等特性，效果顯著，為金融機構理解客戶金融需求，把金融需求轉化成金融產品，促建業務快速穩健的發展。

　　金融大數據案例分析

　　中信銀行信用卡中心始終堅持"以客戶為中心，為客戶創造價值"的經營理念，在金融行業的持續化深入經營，在2017年發卡量已達4100萬余張，日均產出4億條消費數據標簽。中信銀行信用卡中心在客群分析、偏好預測、交易預測、客群推薦等大數據方面需求大幅度增加，同時也對數據分析處理時效與精準度有了更高的要求。

　　微構大數據基于具有超強計算能力的云計算中心平臺，針對金融行業大數據分析特點同時結合信用卡業務場景，引用大數據平臺架構為中信信用卡中心搭建“智慧分析挖掘平臺”。實現對海量的銀行數據、證券數據、保險數據的自動化、高能效、虛擬化和標準化的存儲和管理，保證金融行業海量交易數據的安全性、可靠性和高效的運營。

　　平臺基于卡中心云計算平臺，集成了Spark、Python、R、XCBoost等機器學習框架、搭建支持深度學習的自助式數據挖掘分析平臺，實現了一鍵建模和業務自助式挖掘分析，提升了大數據建模時效。智慧分析挖掘平臺沉淀和固化了大數據中心歷史豐富的客群分析、經營分析經驗，打造客戶畫像智慧分析模塊，實現智能化、自動化、可視化分析、提升了分析深度與時效。

　　微構大數據在當前中信銀行信用卡中心大數據環境下，通過數據實時采集項目提供統一的數據實時及批量采集、數據存儲分發、數據實時消費等功能：

　　實時采集業務數據庫數據到消息中間件，批量采集批處理產生的文件到文件系統，為后端的實時計算和批處理提供數據源；

　　統一數據接入方式，數據消費方式，權限控制方式，任務管理方式；

　　通過提供統一的數據采集，數據存儲分發功能，對數據庫數據，業務日志，后臺計算產生的中間數據進行收集，以實現異構數據庫實時同步，流計算，數據快速批處理等功能。將業務端產生的數據準實時/批量同步到消息中間件/文件系統，并提供給其它系統進行消費。

　　整個系統架構分為以下幾個部分：

　　1.數據采集層，用不同種類的的agent對接不同數據源實現數據采集，主要包括：Mariadb-binlog采集，直接sql抽取數據采集，對文件直接采集；

　　2.消息中間件和文件系統，將采集的數據存用消息的方式進行存儲，用于實現消息存儲/訂閱/消費，同時也支持將采集的數據存儲到文件系統上（Ceph/Ftp等），用于塊式文件的中轉；

　　3.管理模塊，進行元數據管理，用戶/權限管理，任務管理，數據質量管理監控；

　　整體性能：

　　1.支持每日10T/500億條記錄同步，支持節點水平擴展；

　　2.批量采集：實時方式數據采集-同步到消息中間件，對單條記錄，時間控制在5s內；整個批次的延遲不高于文件dump+scp的2倍；

　　客戶智慧分析挖掘平臺全面服務于新客戶獲取、客戶深度經營、全流程風險防控等領域，極大提升獲客精準營銷及經營管理效能。

　　金融大數據的挑戰與未來

　　金融服務的方式和工具在隨著技術的成熟發生變化，但金融的本質不會改變，即解決信息不對稱的問題。而大數據恰恰提供了一個解決信息不對稱問題的有效渠道。目前金融大數據的應用挑戰至少包括三方面。

　　一是金融行業的數據資產管理應用水平仍待提高；

　　二是金融大數據應用技術與業務探索仍需突破；

　　三是金融大數據的行業標準與安全規范仍待完善。

　　相關機構應及時出臺促進金融大數據發展的產業規劃和扶持政策，并分階段推動金融數據開放、共享和統一平臺建設，強化金融大數據行業標準和安全規范建設。

　　現階段，“大數據+”產業發展呈現兩方面的深度應用，表現在于為用戶“畫像”，讓企業對用戶進行細分，提升業務精準度成為熱門。未來，除消費產業大數據之外，大數據應用還在向產業互聯網方向延伸。大數據應用技術不斷開發、完善，越來越多的“數據信息孤島”被打破，呈現跨行業、跨領域的數據交流與融合。

責任編輯：韓希宇