中國建設銀行北京數據中心

　　副主任 王立新

　　建設銀行數據中心在“新一代”核心系統、“兩地三中心”基礎設施建設中，進行了一系列技術架構創新，提高了系統吞吐能力和資源供給效率，提升了系統可靠性，大大增強了數據中心風險防范水平。

　　以電子渠道為例，業務量從2012 年每月21 億筆增加到2016年179 億筆， 年均增長72%。2016 年“雙十一”的核心業務系統交易峰值接近8000 筆/ 秒，較2015 年增長81%，所有系統均順利應對業務高峰，充分驗證了建行新一代系統架構的健壯性。

　　1、融合架構：主機平臺+分布式開放平臺

　　核心賬務系統，部署在主機平臺上

　　主機平臺可用性高，運行穩定，適合作為銀行核心系統運行平臺，但也存在風險集中、處理能力瓶頸、敏捷性不夠、價格昂貴等不足。

　　主機資源用于核心賬務系統，利用開放平臺處理查詢業務或者普通維護性交易，采用削峰填谷的方法優化主機資源使用，確保賬務交易的資源。

　　為了更好地利用主機資源，建設銀行提出“主機+ 開放”的融合架構，確?！昂娩撚迷诘度猩稀?。

　　查詢系統，部署在分布式平臺上

　　查詢系統包括：個人客戶綜合積分、貸記卡管理、客戶信息查詢、對公/ 對私存款查詢、客戶渠道。

　　目前各類查詢交易總計下移日均交易量1.4 億筆，節省主機資源2.6 萬MIPS，相當于8.22 億元。

　　查詢系統與賬務系統分離，既分散了系統風險，又提高了并發處理能力。

　　最近三年在實際業務量年均增長32% 的情況下，主機MIPS資源零增長，取得了節省投資的良好效果。

　　在分布式開放平臺上，X86服務器替代小型機

　　在開放平臺的選擇上，由于同等計算能力的X86服務器價格只有小型機的1/20，所以首先在新一代架構的應用（AP）層中大量采用X86服務器替代小型機，隨著替代技術逐步成熟，繼續提高在數據庫（DB）層使用X86服務器的比例，進一步減少小型機的數量。

　　自新一代實施以來，應用層和數據庫層部署的X86服務器替代小型機已累計節省12.2億元。新一代實施前后，小型機占開放計算資源比例已從1/3逐步下降到1/12，計算資源的總體可靠性和可用性保持不降。

圖1 基礎設施云部署架構

　　2、私有云，能提供1000臺以上的虛擬機

　　建設銀行自2013 年起采用云計算技術來構建基礎設施環境，將計算資源、存儲資源、網絡資源統一打包成共享資源池。

　　根據每種資源池的特點，采用不同的云部署單元（CDP）模型，構建了X86 虛擬化資源池、Power 虛擬化資源池、HP 資源池以及大數據資源池等。

　　以云部署單元為基本單位進行部署、更新和替換，統一了標準，提高了通用性，降低了成本。

　　目前已經在私有云環境中部署了1000臺以上物理機，提供10000 臺以上虛擬機，有力地支撐了“ 新一代”核心系統上線。

　　3、網絡架構：一網雙平面，可靠性達到99.999%

　　新一代核心網絡平臺采用“一網雙平面”的網絡架構，用多協議標簽交換技術，采用層次化、模塊化的網絡結構，將網絡局部可靠性逐步提高到99.999% 水平，支持無中斷維護。

　　新一代局域網通過推廣柜頂接入架構，以虛擬端口聚合技術為基礎，采用插入式服務架構來提高網絡綜合服務能力，接入層交換機使用板卡延伸技術，大規模標準化網絡交換機配置。

圖2 新一代局域網柜頂接入架構

　　通過采用“雙平面”冗余設計避免邏輯單點，采用分散部署模式來分散整體性風險，逐步采用自動化變更手段杜絕操作失誤。

　　采用松耦合的理念，模塊化、層次化，網絡服務資源池化，將二三層網絡與四七層網絡服務解除耦合關系，減少管理復雜度，有利于橫向擴展，大幅提高數據中心網絡平臺的可靠性、健壯性。

　　4、安全：“多層水閘式”防范體系

　　原安全架構的安全功能與應用系統集成實現，嵌入到應用系統中，與應用系統緊密耦合，導致安全策略與安全功能固化。

　　“新一代安全架構”的應用系統只集成通用、標準化的安全代理，所有安全功能通過安全代理為應用系統提供，后臺的安全服務可以統一調度、靈活組合，安全服務的調整不會導致業務系統的改造。

　　5、標準池化存儲結構

　　NAS、SAN 存儲

　　SAN 存儲從應用（AP）層、數據庫（DB）層混合部署轉變為全數據庫層部署，大面積在應用層使用NAS 存儲替代SAN 存儲。

　　打造“存儲標準化”

　　實行存儲配置標準化、資源池化，屏蔽了不同產品帶來的差異化，減少了維護成本，同時實現了存儲資源快速、靈活的供給。

　　采用龐大的“邊緣—核心—邊緣”三層SAN 存儲網絡

　　實現了樓宇內任意地點的存儲網絡接入。

圖3 新一代標準化資源池化存儲架構

　　6、自主研發云管理平臺

　　自主開發了全面自動化的云管理平臺，先后實施了IT 基礎設施的服務器安裝、版本部署、服務啟停、日常巡檢、配置比對等一系列自動化工具，極大提升了數據中心運營管理的自動化水平，形成全生命周期的自動化管理模式，完美支持了應用項目以及相關IT 框架、平臺、技術和安全組件的投產上線。

圖4 云管理平臺架構

　　創造了5 個工作日內交付上千臺虛擬化服務器的行業紀錄，在簡化流程、提高效率的同時，有效控制了操作風險?！　?/p>

　　中國工商銀行

　　中國工商銀行數據中心（上海）

　　總經理 錢斌

　　從2014 年開始，工商銀行就開始布局集中式和分布式架構體系，結合云計算、大數據等新技術手段，以架構優化為核心?！　?/p>

　　1、IT架構改變，來源于銀行壓力越來越大

　　一是，客戶群體多樣化增大

　　面對多樣化、個性化、國際化的客戶群體，銀行信息系統需要支撐更加差異化、綜合化的產品和服務，并滿足國際化帶來的監管要求。

　　二是，互聯網類營銷壓力變大

　　客戶服務不再依賴網點柜員，一些營銷，特殊時點秒殺搶購等互聯網營銷帶來的負載沖擊，對銀行信息系統架構提出了高并發、易擴展、抗沖擊的高要求。

　　三是，網絡安全壓力變大

　　以APT 為代表的有針對性、持續性的網絡攻擊日益突出，銀行信息系統需要實現從“被動防護”轉向“主動防御”，提高對安全態勢的感知能力，建設全方位的安全防護體系。

　　四是，出了故障，輿論壓力變大

　　在依托移動互聯網快速傳播的“自媒體時代”，銀行信息系統運行的任何故障都會被大眾資訊無限放大，并直接影響銀行服務的經營和品牌價值。

　　工商銀行信息科技以建設云數據中心為目標，以“兩地三中心”為核心，持續提升業務連續性運作管理水平。

　　2、“兩地三中心”，讓業務切換只需2分鐘

　　工行于2014年初步建成了以上海外高橋園區和嘉定園區為同城雙活中心、北京西三旗園區為異地災備的“兩地三中心”體系架構。

　　比如：

　　2016 年末，人民銀行領導現場觀摩了工商銀行數據中心的同城切換運行。

　　工行核心系統在業務高峰期間，由上海外高橋園區成功切換至嘉定園區，運行1 個多小時后回切至外高橋園區，整個切換時間約2 分鐘，符合預期。

　　接管運行期間全集團各項業務正常開展，交易響應及系統運行性能良好。

　　亮點

　　自主設計研發了“一鍵式”自動化切換系統，具備了同城中心之間快速切換和接管業務負載的能力。

　　研發設計了“異地多點接入”和“同城雙活”相結合的開放平臺應用系統雙活方案，在保障業務一致性的情況下實現站點間的靈活切換。

　　正在研究，重要應用系統的“多站點多活模式”

　　3、“云架構”真正落地

　　基礎設施，資源池云化

　　基礎設施云已經在工行數據中心逐步推廣，實現了大規模計算、存儲和網絡資源的池化管理和彈性供給。

　　容器技術，實際在用

　　開展了基于容器技術的應用云平臺規劃和建設工作，已經在互聯網金融、第三方支付、紀念幣預約等應用系統實施了云化和微服務化改造，基于分布式系統框架實現資源彈性供應，快速響應業務突發增長需求，有效應對了“雙十一”、“紀念幣發行”、“微信紅包”等互聯網業務沖擊。

　　采用“云化管理”

　　利用流數據平臺對各環節負載數據進行引流分析，實時掌握主機、網絡、應用、數據庫各環節的負載壓力和性能指標，通過動態調節資源配置，全流程保障快捷支付業務的服務需求。

　　4、擁抱SDN、開源產品

　　在數據中心部署SDN網絡

　　全面啟動了工商銀行新一代網絡架構的規劃和落地

　　引入開源產品

　　通過開源軟負載產品低成本、可擴展的優勢，解決目前負載均衡技術領域存在的性能瓶頸和難以快速擴展問題。

　　5、安全管控，依然是重中之重

　　安全重點關注點有：互聯網入侵防護、網絡安全隔離與訪問控制、客戶端安全管理、數據安全管理等中高風險領域。

　　措施：

　　優化安全架構

　　重點推動APT 攻擊防護、云網絡安全防護等方案落地，與現有外部攻擊檢測形成有效互動和互補。

　　加強數據分析和安全風險模型研究

　　通過研究科技與業務數據之間的關聯關系，實施系統、網絡、應用、業務等各環節日志分析挖掘，全面推動信息安全數據分析工作。

　　中國農業銀行

　　中國農業銀行數據中心

　　總經理 涂曉軍

　　1、融合架構：主機+分布式開放平臺

　　自農行全國數據大集中以來，核心業務處理和數據信息全面集中到主機上運行，開放平臺主要承擔交易前置處理、轉發功能。通過主機的高可靠性及商品化程度，打造了一個高度集中的銀行信息系統架構。

　　這種融合架構的優點：

　　這種架構性能可靠，開發人員無需過多關注底層技術實現方式，成熟穩定。但高度的業務及數據集中也使得風險高度集中，系統負載過大等問題導致業務連續運行的風險不斷增加。

　　隨著云計算與虛擬化技術發展、硬件制造能力提升，開放平臺在處理能力橫向擴展方面有了很大進步。

　　通過負載均衡機制，將業務分攤到多個節點處理，各節點松耦合，對底層產品的可靠性、可用性依賴降低。

　　這種架構成本更低，可用性、可擴展性更好，尤其是隨著應用規模的擴大，邊際成本將更低。

　　但這種架構的難點是做好各節點的協同工作，尤其是要處理好數據的一致性、完整性問題。必須根據業務特點，通過較復雜的應用設計，放棄實時一致性，保障最終一致性。

　　以穩定核心系統運維與減少IT 投入為出發點，農行利用云計算和分布式處理技術，構建開放型、高容量、易擴展、成本可控、安全穩定的“主機+ 開放”融合式架構，顯著降低了主機依賴，有力保障全行金融業務連續穩定運行。

　　2、幾大措施，確保架構轉型的成功

　　農行從多方面推進技術架構轉型。

　　1. 統一技術架構規范，推進運維技術標準化

　　根據技術適度收斂的總體原則，制定技術架構和軟硬件平臺使用標準，規范IT 基礎架構建設。

　　將計算平臺統一到X86 架構，基本實現小型機零增長；并構建Linux+ 集群數據庫為主的聯機業務計算環境、Linux-+MPP 架構為主的數據分析計算環境、構建集中存儲與分布式存儲相結合的存儲模式。

　　目前，農行已將這些使用標準明確到企業標準中。通過系統架構標準化，進一步提升信息系統的可擴展性和可移植性，降低系統運維風險。

　　2. 構建主機開放融合架構，推進生產運行集約化

　　以BoEing 系統建設為契機，對核心業務系統和相關的120多個外圍系統進行整體升級改造，構建了一個主機開放融合核心系統架構。

　　一是創新主機通訊接入模式。

　　將基于主機的三層架構簡化為兩層，在主機上直接采用TCP/IP 短連接接入方式，去除了主機接入中間層，形成扁平化架構。這種架構減少了出錯環節，減輕了分行運維壓力，構建了一個彈性好、可擴展性強的基礎平臺。

　　二是合理均衡系統應用負載。

　　在BoEing 系統的兩層架構中，采用應用層負載均衡設備作為橋梁，隔離了數以萬計的前臺終端設備對后臺的直接沖擊，也可以動態調配交易負載，自動偵測和規避主機系統單個分區運行異常，從而顯著提升系統整體可用性。

　　三是大力推廣基礎架構云平臺。

　　針對開放平臺系統多、運行環境復雜的特點，引入虛擬化、負載均衡、大數據等新技術，推廣基礎架構云平臺，實現IT 資源和服務快速交付、動態調整、彈性伸縮，提高資源利用率。云平臺自下而上分為基礎設施層、資源池層、資源調度層和云管平臺層。目前，農行生產環境和開發測試環境虛擬化率分別達70%、89%，云平臺已成為農行基礎架構領域不可或缺的首選工具和平臺。

　　3. 加快自動化平臺建設，推進運行管理智能化。

　　大力推進基礎架構與應用的監、管、控自動化平臺建設，實現基礎設施的自動化構建、自動化監測、智能化控制和智能化管理。

　　4. 提高安全可控技術應用，有效保障網絡和信息安全。

　　按照監管部門“安全可控”總體要求，采用各類措施保障業務連續性和可持續發展，規避廠商集中和供應鏈風險。

　　一是積極開展主機應用下移。

　　通過將主機中非核心產品服務剝離至開放平臺，逐步降低核心業務對主機系統的依賴。主機系統中實時交易下移后，單交易對主機MIPS 消耗平均降低了74%。進一步將歷史交易明細數據下移到Hadoop 集群，使歷史數據交易的存儲和查詢完全脫離主機系統。這些措施顯著降低了主機的運行負載和資源投入成本。

　　二是在應用交付、計算、存儲領域，大力采用標準開放、安全可控的技術架構和產品，同等條件下優先采用國產產品。

　　大力推廣分布式架構和多中心多活架構，從系統層面降低單個節點異常對全局業務連續性的影響。農行已完成銀聯前置、快捷支付、安全認證平臺等重要開放平臺系統多活架構改造。

　　三是構建縱深立體的外聯出口深度防護架構。

　　在傳統網絡層安全防護基礎上，通過應用層攻擊檢測與實時阻斷、網絡流量雙向應用識別、應用文件還原深度檢測等技術，實現應用層攻擊防護。對釣魚網站進行主動爬取、檢測和查封，對信息系統自身漏洞缺陷進行主動檢測評估和事前修復，防范于未然。

　　近三年，全行突發事件數量逐年下降，核心系統主要服務時段可用率保持在99.99% 以上，變更成功率保持在99% 以上，為業務服務連續性提供了堅實保障。

責任編輯：韓希宇