案例名稱

統一數據平臺全棧信創化及應用遷移建設項目

案例簡介

統一數據平臺一體機（即我司數據倉庫）是用于長期存儲歷史數據并支持在線分析處理（OLAP）的系統，包含了企業歷史數據的多個版本和大量維度信息，為企業級決策分析和業務報表等提供數據支持。對保險業而言，數據倉庫是業、財、再、人力、銷售、客戶類等數據存儲、分析及監管報送的基礎。

2023年之前，中國人壽數據倉庫算力資源為10個計算節點的美國TD（Teradata）數據一體機。針對算力資源擴容升級需要，結合國家在關鍵信息化領域國產自立發展要求及公司信創工作整體安排，經過細致的同業調研與應用測試，選定華為高斯高性能數據庫建設方案推進公司統一數據平臺TD數據一體機全面國產化替換升級與應用遷移與建設項目。

創新技術/模式應用

基于對MPP（Massively Parallel Processor大規模并行處理）數據庫及保險數據模型的充分調研與深刻理解，中國人壽財產保險股份有限公司聯合北明軟件公司、華為技術有限公司搭建了含兩個管理節點，兩臺調度服務器，36個數據節點的GaussDB（DWS）集群，利用DSC（Database Schema Convertor 數據庫模型轉換）及GDS（Gauss Data Service高斯數據接口）工具，將原有基于TD數據一體機的調度工具、ETL作業及歷史數據遷移至該集群，并將原有TD數據一體機承載的各類數據分析應用及進行適配GaussDB（DWS）的改造。在此基礎上構建了數據運行狀態監控平臺及作業調度平臺，能夠有效對數據庫及作業進行管理。

在數據倉庫遷移過程中，ETL作業的轉換、存量數據遷移及數據一致性驗證是三大重點及難點工作。

1、ETL作業轉換

ETL作業轉換需考慮TD數據一體機及GaussDB（DWS）中的語法差異，同時因數據庫特性不同，需修改部分代碼邏輯保證執行效率?；诖?，綜合考慮兩數據庫之間的SQL語法及數據分布方式差異，本項目開發了基于華為DSC的腳本自動轉換工具，大大縮減了人力成本。

2、存量數據遷移

存量數據遷移需考慮數據存儲、編碼方式的區別，且歷史存量數據較大，在導出時需考慮導出腳本性能問題?；诖?，本項目開發了基于華為GDS的數據批量遷移工具，可自動識別數據編碼格式，同時盡可能減少對數據庫資源的占用。

3、數據一致性驗證

跨庫的數據一致性驗證包括存量數據驗證及增量數據驗證，本項目基于python開發了跨庫的數據一致性驗證工具，可自動識別TD數據一體機及GaussDB（DWS）中表數據差異（含數據量、數值型數據求和及數據抽樣對比），并將差異點進行匯總。

項目效果評估

統一數據平臺全棧信創化及應用遷移建設項目為中國人壽財產保險股份有限公司完成了數據庫調度平臺及算力平臺的信創化改造，建立起了國產資源融合統一、多層級并行計算的批量交互式查詢一站式數據平臺。

一、完成了ETL作業轉換、基礎數據遷移及數據一致性校驗

累計完成了10101個ETL作業的轉換，32078張數據表的遷移及對應數據驗證。為公司的BAS 業務分析系統、FAS 財務分析系統、RAS 再保分析系統、統一服務查詢池等分析類系統及EAST 監管數據報送、城鄉居民大病信息報送、保單登記信息管理平臺數據報送、銀保監會統計信息報送等監管類系統提供了數據支持。

二、開發了配套的作業轉換、數據遷移及數據驗證工具

在統一數據平臺一體機替換與應用遷移建設項目中，ETL作業轉換和數據遷移工具分別基于華為提供的DSC及GDS工具，結合項目要求自主進行二次開發，跨庫數據一致性驗證工具完全獨立自主開發。其中作業代碼轉換有效率高達80%，數據批量自動遷移有效率高達70%，跨庫數據一致性驗證工具可以在基本不影響數據庫性能情況下，驗證500張業務表數據一致性。此項目中孵化出的三個工具大大提高了項目進度，也為保險行業數據庫遷移提供了寶貴的經驗。

三、建立了基于GaussDB（DWS）的調度平臺及國產算力平臺

隨著保險業務條線的發展與數據分析需求的增加，數據倉庫中ETL作業數量也逐步增加。之前采用的Automation調度工具存在可視化效果差、查詢復雜及無法定制化開發等問題。因此從新的業務需求和規劃考量，需要搭建基于國產算力平臺（即GaussDB）的ETL調度平臺，滿足業務人員對相關作業運行情況監控、配置等場景，對ETL作業進行統一的配置和管理。

項目牽頭人

劉建恒 高級信息工程師

項目團隊成員

陳起、劉建恒、孫國良、張一帆、蔡炎希、韓靖楠、徐沁雨、張瑩、孫思婕、劉瑞、陳錕、嚴江慧、金麗璟、潘思帆、張德坤

責任編輯：陳愛