前言：東方證券是一家綜合類證券公司，成立于 1998 年，總部設在上海。經過 20 多年的發(fā)展，東方證券現有分支機構 177 家、管理 3200 億資產，服務上億客戶。與一個大型金融機構相匹配的，正是東方證券當前管理的海量數據。

一、案例背景

2013 年起，東方證券陸續(xù)引入數據倉庫平臺、大數據應用平臺、資訊中心大數據平臺，以實現對業(yè)務運行提供數據支撐，由這三個數據平臺組成的數據平臺體系是東方證券金融科技戰(zhàn)略規(guī)劃的重要組成。

(資料圖片僅供參考)

數據倉庫平臺和大數據平臺因數據割裂、業(yè)務發(fā)展和技術迭代等原因，與戰(zhàn)略規(guī)劃所要求的數據平臺服務能力存在較大差距。長期來看需要構建一個統(tǒng)一的數據平臺，支撐公司經營管理中各類數據的全面有機融合?？紤]到自身業(yè)務模式、組織架構和現有系統(tǒng)建設現狀，東方證券將以數據倉庫平臺為核心，將全業(yè)務數據盤活和打通，用數據指導運營，賦能業(yè)務，支撐決策。

東方證券數據倉庫建設于 2013 年，采用基于 MPP 架構的關系型數據庫 Netezza，經過擴容已接近 30T 容量。數據倉庫承載著東方證券的核心業(yè)務數據，目前整合處理了包含零售業(yè)務端數據、公司自營數據和市場金融工具數據。

然而，現有的 Netezza 一體機數據庫已經形成數據管理的瓶頸，因此東方證券迫切需要新平臺來更好地進行數據的管理、運營和服務，以實現金融科技既定數據平臺目標。

二、需求分析

1.平臺擴展

東方證券原有的數據倉庫是基于 Netezza 一體機構建的。當一體機容量趨于飽和，如果不遷移存量數據的話，便只能刪除部分歷史數據來維持其正常的數據應用需求，潛在的數據丟失和損壞即將對業(yè)務側造成嚴重的影響。

2.系統(tǒng)性能

跟所有一體機一樣，Netezza 通過特殊硬件來提升性能，但是可擴展性一般。隨著數據量的增加，一體機的數據處理性能下降，部分復雜報表跑批耗時顯著增加，已經對數據應用產生了實質影響。

3.持續(xù)運維

平臺擴展能力受限除了對業(yè)務應用、系統(tǒng)性能造成影響，還對備份和恢復等運維工作帶來巨大挑戰(zhàn)。然而，IBM 在全球范圍內停止了對 Netezza 所有支持，外資廠商的可持續(xù)運維問題在當下自主可控的背景下顯得格外突兀。

因此，東方證券新建和替換數據倉庫除了考慮數倉的可拓展性、系統(tǒng)性能，還重點關注國產軟件的自主可控和本土廠商的持續(xù)運維能力。此外，項目建設實施要在不中斷業(yè)務的情況下進行，因此還需要確保整個數倉平臺提供安全可靠、連續(xù)穩(wěn)定的對外服務，確保對上下游業(yè)務完全兼容。同時，需要對新數據倉庫的加工能力、數據精度、加工效率進行全面驗證，為從Netezza 平臺的平穩(wěn)遷移提供全面可靠的技術評估并夯實平臺基礎。

三、產品選型

東方證券對多個主流數據庫產品進行了對比測試，測試包括標準化測試，以及基于現有業(yè)務應用設計的場景化測試，共涉及 300 多張表以及 200 多個存儲過程。在經過一系列復雜測試后，利用專有硬件的 Netezza 需要 60 分鐘的處理任務，OushuDB 僅用 22 分鐘，效率大幅領先。OushuDB 極致的性能遠超技術專家預期。除了性能，OushuDB 相較 Netezza 在并發(fā)、擴展能力、存儲等方面也有著顯著的技術優(yōu)勢，詳見下表。

OushuDB 與 Netezza 對比

基于 OushuDB 出色的產品能力，東方證券決定將 Netezza 平臺的數據及應用全部遷移到偶數的OushuDB， 同時將原來由于 Netezza 容量受限而在轉移到大數據平臺的數據及應用遷移至 OushuDB。

四、方案設計

2022 年 3 月，東方證券的數據遷移工作正式啟動。偶數科技專家與東方證券的技術人員合作，確定了數據遷移方案，OushuDB 集群與原 Netezza 集群在外部應用接口、作業(yè)、數據表等方面保持一致。將在保證業(yè)務連續(xù)性的同時，對數倉的歷史數據、增量歷史數據、日常加載數據等進行遷移，充分利用新平臺的物理特性。遷移過程按照物理模型遷移、ETL 腳本、SQL 腳本、歷史數據和應用接口的順序進行實施。

數據架構

東方證券數據倉庫邏輯架構分層包含：數據源層、數據交換層、數據存儲層、數據服務層、數據應用層，橫向管理套件包含：數字化管理、DataOps、數據管控。

國產數倉平臺遷移規(guī)劃不僅是單一的數倉平臺替換，而是技術架構升級。在本項目中，主要包含將現有 Netezza 庫內對象(表、視圖、存儲過程等)遷移至 OushuDB，支持日常數據采集、數據 ETL 處理、數據服務、新增業(yè)務開發(fā)、應用訪問等的平滑過渡。平臺替換基于 OushuDB 數據庫特性提供最佳應用實踐，涉及庫內規(guī)劃設計的原則性調整。未來，將進行數據架構融合、數據服務融合、一體化數據管理生態(tài)等數據的長期運營規(guī)劃。

數據架構

五、項目實施

在完成了方案的詳細設計后，啟動了從 Netezza 到 OushuDB 的整體遷移工作。

1.環(huán)境部署

東方證券數倉平臺系統(tǒng)項目共部署 17 節(jié)點(包括 ETL 節(jié)點和 OushuDB 主節(jié)點)，使用海光芯片的國產服務器，運行在 KyLin 操作系統(tǒng)上，打造滿足信創(chuàng)生態(tài)的純國產數倉平臺。

2.腳本開發(fā)

針對該項目數據的格式轉換、映射和驗證等環(huán)節(jié)，以及數據預處理、數據清洗和數據轉換等工作，并結合過往項目實踐，偶數為客戶提供了全套數據遷移工具，以及 SQL、DDL 和 ETL 轉換腳本。針對應用遷移，偶數還為客戶設計開發(fā) Netezza 存儲過程到 Perl 腳本的轉換工具。通過工具和腳本可以完成 90% 以上的工作，大大縮短了項目遷移時間，保障了數據遷移的高效完成。

3.數據遷移

完成用戶權限和庫表結構共計 3000 多個對象遷移，其中包含 200 多張視圖以及其他對象遷移，2400 多張 ODS 表的歷史數據遷移及其增量數據加載遷移，600 多張模型層的表的歷史數據遷移。同時，還進行了 ODS 表與模型表的分區(qū)分析，以及數據結果驗證。

4.應用遷移

完成了零售業(yè)務約 700 個存儲過程與自營業(yè)務約 400 個存儲過程的應用遷移。此外，為了保證數據質量，還進行了空表腳本運行測試、帶數表腳本運行測試，調試優(yōu)化腳本，字段級驗證 OushuDB 數據處理結果與 Netezza 結果。在腳本驗證的基礎上進行日常數據加載、模型加工和常態(tài)化部署。

在系統(tǒng)平臺數據遷移與應用遷移試運行階段，偶數工程師提供了全面的運維技術支持，包括系統(tǒng)故障排錯、系統(tǒng)性能調優(yōu)、系統(tǒng)監(jiān)控、故障點排查、集群節(jié)點故障遷移等，同時完成了東方證券數倉平臺性能測試、非功能測試，平臺試運行階段全程保障。

六、項目總結

經過幾個月的努力，系統(tǒng)順利上線。OushuDB 在完成國產數倉平臺遷移的基礎上還在拓展能力和性能方面實現了升級，同時還提供了超出預期的三大能力——實時查詢、超高并發(fā)、彈性擴容，隨著數據化轉型的升級，這幾類能力變得越來越重要，是未來各行業(yè) IT 建設的必選項。

隨著數據庫國產化替代進程加速，范圍擴大，金融信創(chuàng)率先成為各行業(yè)信創(chuàng)推進的先行者，而東方證券使用國產數據庫 OushuDB 替代 Netezza 的最佳實踐，也使東方證券成為了證券行業(yè)國產數據庫替代的先行者。在該項目中，OushuDB 保證數倉平臺承載更多業(yè)務應用的同時，還提升了平臺的性能和擴展能力，也探索出了湖倉雙重能力替代與整合的新思路。