近日，招商銀行成功舉辦數(shù)據(jù)倉庫Teradata平臺(tái)下電儀式，正式完成從傳統(tǒng)數(shù)據(jù)倉庫平臺(tái)向華為云數(shù)據(jù)倉庫GaussDB(DWS)的全部遷移，成功建立了國內(nèi)首個(gè)大規(guī)模金融云數(shù)倉，有效支撐了“人人用數(shù)”大數(shù)據(jù)發(fā)展戰(zhàn)略落地。招商銀行在此次遷移中實(shí)現(xiàn)數(shù)據(jù)倉庫云化升級(jí)和自主可控，同時(shí)全面提升數(shù)據(jù)倉庫平臺(tái)容量和處理能力，為充分釋放數(shù)據(jù)資產(chǎn)價(jià)值、扎實(shí)賦能業(yè)務(wù)打下堅(jiān)實(shí)的基礎(chǔ)，進(jìn)一步夯實(shí)數(shù)字化轉(zhuǎn)型底座。
招商銀行數(shù)據(jù)倉庫平臺(tái)主要應(yīng)用于批量數(shù)據(jù)加工處理、數(shù)據(jù)實(shí)驗(yàn)室探索及交互式自助分析等場景。隨著招商銀行數(shù)字化轉(zhuǎn)型的快速推進(jìn)，數(shù)據(jù)采集處理規(guī)模大幅增長，逐步呈現(xiàn)“人人用數(shù)，人人都是數(shù)據(jù)分析師”的數(shù)據(jù)應(yīng)用模式，對(duì)數(shù)據(jù)平臺(tái)容量、算力、穩(wěn)定性及可用性等提出更高要求。
傳統(tǒng)數(shù)據(jù)倉庫一體機(jī)技術(shù)方案存在著生態(tài)環(huán)境封閉、維護(hù)成本高、硬件故障維修復(fù)雜、擴(kuò)容停機(jī)時(shí)間長等諸多問題，已不能滿足快速、平滑的擴(kuò)容需求。在此背景下，招商銀行總行信息技術(shù)部啟動(dòng)新MPP數(shù)據(jù)倉庫平臺(tái)選型，經(jīng)過多輪測試和考量，最終采用華為云GaussDB(DWS)統(tǒng)一架構(gòu)，并同華為云成立聯(lián)合創(chuàng)新實(shí)驗(yàn)室，共同構(gòu)建具有招商銀行特色的數(shù)據(jù)倉庫平臺(tái)。
招商銀行數(shù)據(jù)倉庫的數(shù)據(jù)量規(guī)模達(dá)到PB級(jí)別，單一平臺(tái)進(jìn)行如此巨大規(guī)模的數(shù)據(jù)和程序遷移，在金融行業(yè)非常少見。項(xiàng)目組充分論證遷移方案，制定了基礎(chǔ)數(shù)據(jù)模型先遷，分批次遷移應(yīng)用集市的總體策略。在設(shè)備到貨延遲、主機(jī)上云項(xiàng)目工期重疊引起源數(shù)據(jù)大量變動(dòng)等挑戰(zhàn)下，項(xiàng)目組采取仿真環(huán)境數(shù)據(jù)驗(yàn)證、優(yōu)化人力資源配置、精細(xì)化項(xiàng)目過程管理等措施，并研制出一整套自動(dòng)化遷移驗(yàn)證工具，大幅提升遷移效率，圓滿完成云數(shù)倉遷移工作。
遷移完成后，招商銀行業(yè)務(wù)用戶享受到了更輕盈的用數(shù)體驗(yàn)：
查詢速度快人一步。批量數(shù)據(jù)處理完成進(jìn)度整體提前2小時(shí)以上，業(yè)務(wù)用戶查詢時(shí)長縮短75%，數(shù)據(jù)倉庫服務(wù)效能顯著提升。
用數(shù)不間斷，人人都是VIP。集群擴(kuò)容停機(jī)時(shí)長由12-24小時(shí)降至2-4小時(shí)，停機(jī)追批時(shí)長由1-2天降至業(yè)務(wù)零感知，平臺(tái)運(yùn)維能力大幅提升，用戶隨時(shí)取數(shù)用數(shù)，不再受維護(hù)和跑批的影響。
數(shù)據(jù)絲滑遷移，替換無感。在新舊數(shù)倉替換過程中的并行期，項(xiàng)目組通過自研工具實(shí)時(shí)數(shù)據(jù)校驗(yàn)，縮短數(shù)據(jù)核對(duì)間歇，實(shí)現(xiàn)一分鐘內(nèi)完成重要數(shù)據(jù)在新舊平臺(tái)中的數(shù)據(jù)核對(duì)，讓用戶對(duì)替換過程無感知。
強(qiáng)大的平臺(tái)性能是數(shù)字化轉(zhuǎn)型不斷深入的底氣。為此，突破封閉技術(shù)路線，引入靈活擴(kuò)展架構(gòu)，是新一代數(shù)據(jù)倉庫提升平臺(tái)性能的必然選擇。
依托云原生特性，擴(kuò)展靈活從容。從技術(shù)選型出發(fā)，華為云數(shù)據(jù)倉庫GaussDB(DWS)打破原有一體機(jī)架構(gòu)封閉的技術(shù)路線，基于華為云Stack底座構(gòu)建開放型技術(shù)架構(gòu)，支持資源彈性管理和按需擴(kuò)展。在線擴(kuò)容的重分布速度由20TB/h提速至65TB/h，在線備份速度由37TB/h提速至150TB/h，縮短平臺(tái)操作時(shí)間窗口，業(yè)務(wù)快速享用平臺(tái)擴(kuò)展后的更高算力。
分布式優(yōu)化技術(shù)，增強(qiáng)系統(tǒng)性能。充分利用多核計(jì)算資源，采用多層級(jí)、全并行的分布式架構(gòu)，運(yùn)用查詢重寫、計(jì)劃生成、傾斜處理等多項(xiàng)核心技術(shù)，全面提升集群處理性能，實(shí)現(xiàn)高并發(fā)交互式查詢秒級(jí)響應(yīng)，并支撐業(yè)務(wù)上千并發(fā)聯(lián)機(jī)查詢。
分析與計(jì)算集群分離，降低負(fù)載沖突。根據(jù)業(yè)務(wù)發(fā)展需要，項(xiàng)目組將原計(jì)算集群拓展為零售集群和批發(fā)中后臺(tái)集群，并為業(yè)務(wù)用數(shù)建設(shè)專屬分析集群，在擴(kuò)展算力的同時(shí)實(shí)現(xiàn)業(yè)務(wù)分析與計(jì)算分離。華為云數(shù)據(jù)倉庫GaussDB(DWS)為分析師提供7×24小時(shí)隨需隨用的數(shù)據(jù)服務(wù)，無需等待批量處理負(fù)載降低，延長數(shù)據(jù)服務(wù)時(shí)長。
招商銀行云數(shù)倉全面上線標(biāo)志著其數(shù)據(jù)倉庫平臺(tái)能力上升到一個(gè)新臺(tái)階，同時(shí)也為金融行業(yè)數(shù)據(jù)倉庫遷移提供了實(shí)踐借鑒。
面向未來，華為云GaussDB(DWS)將繼續(xù)探索金融應(yīng)用場景，全面推廣數(shù)據(jù)工具平臺(tái)，持續(xù)優(yōu)化平臺(tái)性能和體驗(yàn)，為打通企業(yè)數(shù)字化轉(zhuǎn)型最后一公里提供堅(jiān)實(shí)的平臺(tái)保障。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
