作者：海南銀行 燕鵬飚 陳亞楠 符啟杰 許小艷
編者按
海南銀行在對當前國內銀行業IT 智能運維體系建設現狀調研后，結合本行實際，構建了自身基于大數據的IT 智能運維體系，本文對其實踐過程進行了介紹。
隨著銀行業信息化程度的不斷深化，銀行的業務品種和IT架構日趨復雜，客戶對服務體驗的要求越來越高，對突發事件的處置時間要求縮短到了分鐘級?？焖俚墓收隙ㄎ荒芰?、處置能力和根因分析能力已成為銀行科技部門不可或缺的核心競爭力。在智能化運維探索中，國內中小銀行普遍存在人才隊伍薄弱、經驗積淀不夠、經費投入不足等現實問題。如何在有限資源的約束下，做好IT運維管理標準化、自動化和智能化落地，有效提高運維水平和效率，亟待研究解決。
海南銀行充分調研了當前國內銀行業IT智能運維體系建設現狀，學習并掌握了業界先進成熟的理論和方法，結合本行實際，將ISO 20000、ISO 27001等管理體系要求落地到IT系統，將流式計算、圖數據庫、機器學習、鏈路追蹤、持續交付等多種新興技術綜合運用到商業銀行智能運維管理中，構建了基于大數據的IT智能運維體系（見圖1）。
圖1 海南銀行 IT 運維服務管理體系
落實監管要求、對標國際標準，構建安全運維制度體系 制度是規范運維管理工作的準繩，也是流程建立的基礎。為保障運行維護工作的質量和效率，海南銀行緊扣國內監管要求、對標國際標準、參考行業實踐，完成了IT運維管理制度體系建設，并于2018年底順利通過ISO 20000和ISO 27001認證。 一是以服務對象為視角，梳理服務目錄，明確服務內容。梳理業務服務19項、技術服務25項，服務內容覆蓋終端服務、業務應用服務、系統開發服務、測試服務、網絡服務、備份服務、日志服務、安全服務等。 二是以服務過程為抓手，通過建立配置管理、變更與發布管理、事件管理、問題管理等制度，明確運維服務控制與解決的工作流程。 三是以服務質量為目標，通過容量管理、連續性與可用性管理、服務級別、信息安全管理等制度，明確運維服務交付管理要求，通過細化非功能標準，管控內外部交付質量。 通過自頂向下、逐步推進的方式，海南銀行構建了相對完善、覆蓋全面、切實可行的運行維護管理制度體系。最終以先進、成熟的IT智能化運維平臺為工具，固化配置管理、發布與部署、變更等標準化流程，積累和管理運維知識并開展主動與自動運維工作。 基于運維大數據，運用新技術，構建IT智能運維平臺 1.動態自動更新的CMDB（配置管理數據庫）是基石。海南銀行智能化運維平臺實現了CMDB中90%CI項的動態自動更新。在設計思路上，參考測試四象限模型方法，按照自頂向下的設計思路，從模型總體要求出發，自頂向下逐步細化，依次是CDM（概念數據模型）、LDM（邏輯數據模型）、PDM（物理數據模型），最后完成模型設計。 具體實現中，基于NoSql和圖數據庫技術實現CMDB模型。MongoDB（基于分布式文件存儲的數據庫）存儲數據模型，圖數據庫（OrientDB）存儲各模型之間的關系及實際數據，可快速便捷地對各CI模型，以及各CI之間的關聯關系進行維護。 2.基于CMDB的快速故障定位。CI之間的關系是故障定位和影響分析的基礎?；贑MDB規則推理技術，利用CMDB存儲的CI關聯關系，構建CI關系模型。CI本身或關聯CI出現故障時，通過遍歷CI樹型結構，找出故障影響范圍。同理，也可從受影響的交易或服務找到故障源頭的CI項。 3.告警的聚合分析。IT運維監控管理中，當底層基礎設施出現異常時，相關聯的主機、中間件、數據庫、消息隊列、緩存、應用程序、業務服務都會受到影響。監控探測發現異常問題時，將瞬間產生大量事件，且這些事件隨著時間的推移不斷發生，這種情況下會導致郵件、短信告警瞬間爆發。 海南銀行從以下幾個方面進行探索，嘗試解決上述問題：一是降噪。消除不重要的事件，識別重要關鍵信息，避免告警疲勞。二是聚類。將相關的事件分門別類聚合起來，抑制告警風暴。三是根因識別。在數千事件中識別出可能的問題根因。四是決策支持。推薦相似問題解決方案，實現知識復用。 4.基于大數據機器學習的日志故障模式發現。在故障發生時，傳統運維方式需要登錄多臺設備、排查大量日志，耗時費力。海南銀行智能化運維平臺采用多種技術將日志統一管理，并通過無監督機器學習算法，將大量日志轉換為少量日志模式，故障日志定位由原來的小時級縮短為分鐘級。平臺部署了多個Elastic Search節點，收集了操作系統日志、網絡設備日志、應用日志等各類日志，日志處理能力在1TB/日左右，日志檢索時間在毫秒級。 如圖2所示，在故障定位時，首先將TB級數據通過時間、關鍵字進行過濾、篩選，根據日志條數采取全量或抽樣進行K-Means聚類分析，最后通過系統分析展現故障模式。 圖2 日志故障模式發現的工作流程
5.基于流式數據的復雜事件處理（CEP）。CEP可以在流式數據中發現符合某種特征的模式，進而觸發對應的后續動作，支持單條事件的簡單無狀態的模式匹配,也支持基于關聯、聚合、時間窗口等跨事件的復雜有狀態的模式匹配。直接作用于流式數據，無需查詢底層數據庫，不會對底層數據庫產生壓力。
在IT運維管理中，CEP與流處理引擎的結合可以大幅提高告警的時效性和準確率。平臺設置了關于網絡安全、攻擊事件歸并、Web入侵分析、Linux主機安全的相關規則，通過對實時流入的日志進行安全事件的判斷與分析，可實現異常事件的事中分析。通過EPL語言（類自然語言）定制規則，即可生成相關的事件預警。
6.自動化作業及故障自愈。對于固化的告警規則，可設置故障自愈能力。當異常和故障產生時，可以依賴故障自愈能力進行自動處理。把運維人員從重復性、機械化的工作中解放出來，提升故障恢復速度，縮減故障時間。
7.分布式鏈路追蹤。平臺參考了Google的Dapper論文，基于開源項目Zipkin研發了一套分布式追蹤的解決方案。目標是通過追蹤，及時發現生產環境故障，縮短故障排查時間。調用鏈追蹤可以使用基于Open Tracing規范的Zipkin SDK集成來實現，提供Java、C#、Go、Python、JavaScript、Ruby、Scala、C、C++等十多種語言的SDK，集成SDK即可查看對應調用鏈追蹤的數據，生成調用拓撲及瀑布流監控數據，展示接口之間的調用關系、調用耗時、調用異常等（如圖3所示）。
圖3 分布式追蹤示例
小結
海南銀行基于國內監管要求、對標國際標準，建立了覆蓋較為全面的IT運維管理制度體系，并利用銀行自身的運維大數據，創新性地綜合運用多種智能數據分析方法和技術，積極探索如何以業務目標實現為核心，充分挖掘IT運維的服務潛力，從傳統的基礎運維逐步走向標準化、自動化、智能化運維，乃至走向數字化運營之路。此體系運行前后，運維工作效率提升50倍，初步估算每年可減少1600人月的工作量。
責任編輯：韓希宇
免責聲明：
中國電子銀行網發布的專欄、投稿以及征文相關文章，其文字、圖片、視頻均來源于作者投稿或轉載自相關作品方；如涉及未經許可使用作品的問題，請您優先聯系我們（聯系郵箱：cebnet@cfca.com.cn，電話：400-880-9888），我們會第一時間核實，謝謝配合。
