企業(yè)IT數(shù)據(jù)庫(kù)上云技術(shù)實(shí)踐

1、技術(shù)創(chuàng)新，變革未來(lái)企業(yè)IT數(shù)據(jù)庫(kù)上云技術(shù)實(shí)踐企業(yè)數(shù)據(jù)庫(kù)市場(chǎng)以及上云趨勢(shì)分析公有云50%2021, 云RDMBS占據(jù)50%的RDBMS收入場(chǎng)景融合75%操作型/分析型場(chǎng)景中的數(shù)據(jù)庫(kù)，重合度達(dá)75% in 2019傳統(tǒng)數(shù)倉(cāng)TeraData$478M 12%Teradata布2019財(cái)年第四 季度財(cái)報(bào)，全年收入19億美 元，同比下降12%關(guān)系型70%2021年， 70%的企業(yè)應(yīng)用仍 然首選關(guān)系型數(shù)據(jù)庫(kù)開(kāi)源25%2022年，開(kāi)源RDBMS產(chǎn)品占據(jù)25%的RDBMS收入云化數(shù)倉(cāng)SnowFlake$500M 237%2020年，云化數(shù)倉(cāng)Snowflake估價(jià)120億美金觀點(diǎn)：數(shù)據(jù)庫(kù)總體市場(chǎng)空間依然強(qiáng)勁增長(zhǎng)

2、, 中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)增長(zhǎng) 迅速，遠(yuǎn)超全球市場(chǎng)中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)其中45%以上是云服務(wù)形態(tài) ，云數(shù)據(jù)庫(kù)增速遠(yuǎn)超整個(gè)數(shù)據(jù)庫(kù)市場(chǎng)增速。OLTP和OLAP有融合的趨勢(shì)，大數(shù)據(jù)和數(shù)據(jù)庫(kù)走向一體化 數(shù)據(jù)來(lái)源：Gartner預(yù)計(jì)到2025年中國(guó)區(qū)數(shù)據(jù)庫(kù)市場(chǎng)空間總計(jì)約104億美金（以Gartner為 基數(shù)），其中OLTP約62億、OLAP約24億、NoSQL約18億2流程IT數(shù)據(jù)庫(kù)上云進(jìn)展HCS公有云HCSORDS：開(kāi)源數(shù)據(jù)庫(kù)服務(wù)RDS for MySQL/PostgreSQL關(guān)系型數(shù)據(jù)庫(kù)服務(wù)GaussDB(openGauss)(開(kāi)源生態(tài))GaussDB(for MySQL/PostgreSQL) (開(kāi)放生態(tài))Ga

3、ussDB：基于統(tǒng)一的DFV技術(shù)架構(gòu)打造的自研數(shù)據(jù)庫(kù)服務(wù)非關(guān)系型數(shù)據(jù)庫(kù)服務(wù)GaussDB(for Mongo)(開(kāi)放生態(tài))GaussDB(for Cassandra) (開(kāi)放生態(tài))GaussDB(for Influx)(開(kāi)放生態(tài))GaussDB(for Redis) (開(kāi)放生態(tài))類別云-MySQL實(shí)例數(shù)5K+CPU6W U+內(nèi)存TB級(jí)存儲(chǔ)4PB+類別云-PG實(shí)例數(shù)400CPU5K U+內(nèi)存TB級(jí)存儲(chǔ)TB級(jí)類別云-Mongo實(shí)例數(shù)4K+CPU3W U+內(nèi)存TB級(jí)存儲(chǔ)PB級(jí)集團(tuán)內(nèi)部的數(shù)據(jù)庫(kù)業(yè)務(wù)從自建轉(zhuǎn)向直接使用云服務(wù)云 MongoDB：云MySQL：云PostgreSQL：數(shù)據(jù)倉(cāng)庫(kù)服務(wù)GaussD

4、B(DWS)3類別云-PG集群數(shù)量27節(jié)點(diǎn)數(shù)500數(shù)據(jù)量PB級(jí)云DWS（高斯A）： 上述為集團(tuán)內(nèi)部遷移到云的部分?jǐn)?shù)據(jù)企業(yè)去O上云的復(fù)雜度O(n）交易+分析+集成應(yīng)用復(fù)雜度數(shù)倉(cāng) 20W+作業(yè)依賴 (A），主要是(B) ETL作業(yè)，或者(C) 存儲(chǔ)過(guò)程作業(yè)交易和分析的依賴數(shù)據(jù)/服務(wù)的上下游依賴，業(yè)務(wù)對(duì)象重構(gòu)帶來(lái)模型變化數(shù)據(jù)庫(kù)層面的挑戰(zhàn)云數(shù)據(jù)庫(kù)和傳統(tǒng)非云數(shù)據(jù)庫(kù)能力有區(qū)別（分布式），不能簡(jiǎn)單直接搬遷。數(shù)據(jù)源（OLTP）數(shù)據(jù)中臺(tái) 數(shù)據(jù)湖（OLAP）數(shù)據(jù)應(yīng)用ERP（高斯）數(shù)據(jù)湖（高斯）入湖（推式入湖）入湖（湖內(nèi)搬遷）重構(gòu)主題庫(kù)（高斯）入湖（湖內(nèi)搬遷）15+IOC應(yīng)用實(shí)時(shí)區(qū)DWIERP，EFIN，SCM（重

5、構(gòu)）2020年2022年離線區(qū)OPBIEDW2022年2020年2021年調(diào)度： 復(fù)雜JOB依賴JOB：?jiǎn)蝹€(gè)ETL任務(wù)邏輯A.調(diào)度B.ETLC.存儲(chǔ)過(guò)程存儲(chǔ)過(guò)程：10005000行6集團(tuán)去O上云三部曲，應(yīng)對(duì)O(n）復(fù)雜性STEP1: 清理解耦STEP2: 新能力STEP3: 遷移+運(yùn)營(yíng)（面向場(chǎng)景的運(yùn)營(yíng)服務(wù)）+治理（元數(shù)據(jù)驅(qū)動(dòng)）+AI（基于AI提升效率）+云（使用云云原生能力）領(lǐng)域遷移策略（核心- 非核心）場(chǎng)景遷移策略（簡(jiǎn)單-復(fù)雜)上下游協(xié)同，關(guān)聯(lián)影響分析平滑遷移+并行系統(tǒng)保障場(chǎng)景服務(wù)數(shù)據(jù)感知數(shù)據(jù)底座數(shù)據(jù)加工數(shù)據(jù)建模數(shù)據(jù)聯(lián)接數(shù)據(jù)共享自研服務(wù)自研單體軟件包電商應(yīng)用經(jīng)營(yíng)分析運(yùn)營(yíng)分析實(shí)時(shí)分析自助分析識(shí)

6、別低流量無(wú)用數(shù)據(jù)資產(chǎn)OLTP和OLAP解耦老系統(tǒng)解耦存量系統(tǒng)逐步封版本RDBMSKV DatabaseDocument DatabaseGraph Database云數(shù)據(jù)基礎(chǔ)設(shè)施In-MemoryDatabaseData warehouseTimeSeries Database大數(shù)據(jù)6成果： +治理 +運(yùn)營(yíng) +AI +云的數(shù)據(jù)庫(kù)遷移方案1234+運(yùn)營(yíng)針對(duì)海量重復(fù)場(chǎng)景的運(yùn)營(yíng)拉式貼源集成算法組合源端數(shù)據(jù)庫(kù)類型數(shù)據(jù)庫(kù)對(duì)象類型目標(biāo)端數(shù)據(jù)庫(kù)類型是否隱私/絕密數(shù)據(jù)離線批量數(shù)據(jù)量唯一索引增量時(shí)間戳拉式貼源增量集成場(chǎng)景拉式貼源全量集成場(chǎng)景 推式集成場(chǎng)景CDC實(shí)時(shí)集成場(chǎng)景+AI算法引入和注入，效率提升增量抽數(shù)算

7、法 PD算法整合算法增量抽數(shù)主鍵算法 DLT-SDI算法稽核對(duì)數(shù)算法算法引入，效率提升+云基于云原生的重新選型+治理數(shù)據(jù)治理（標(biāo)準(zhǔn)，規(guī)范）企業(yè)場(chǎng)景數(shù)據(jù)領(lǐng)域-方法論數(shù)據(jù)設(shè)計(jì)（代碼，SQL）數(shù)據(jù)集市場(chǎng)景實(shí)時(shí)流場(chǎng)景IOC運(yùn)營(yíng)分析場(chǎng)景數(shù)據(jù)主題場(chǎng)景IOT構(gòu)建場(chǎng)景數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建場(chǎng)景非結(jié)構(gòu)化文檔分析場(chǎng)景海量離線分析場(chǎng)景DataLab場(chǎng)景自助入湖場(chǎng)景安全隱私場(chǎng)景123場(chǎng)景工 具 鏈數(shù)據(jù)底座6數(shù)據(jù)庫(kù)上云需要大量的投入和積累數(shù)據(jù)庫(kù)上云戰(zhàn)場(chǎng)解決方案專題DDD領(lǐng)域建模專題云數(shù)據(jù)實(shí)時(shí)同步專題融合數(shù)據(jù)共享專題分布式訪問(wèn)專題數(shù)據(jù)主權(quán)專題分布式事務(wù)專題分布式訪問(wèn)中間件專題數(shù)據(jù)庫(kù)高性能專題數(shù)據(jù)比對(duì)/修復(fù)專題實(shí)時(shí)數(shù)倉(cāng)計(jì)算專題數(shù)據(jù)歸

8、檔清理專題數(shù)據(jù)切換策略專題工具鏈專題數(shù)據(jù)集成CDC數(shù)據(jù)融合任務(wù)調(diào)度數(shù)據(jù)遷移實(shí)時(shí)計(jì)算ETL數(shù)據(jù)服務(wù)數(shù)據(jù)稽核分布式中間件分類工作項(xiàng)整體架構(gòu)設(shè)計(jì)數(shù)據(jù)域架構(gòu)整體梳理DDD領(lǐng)域模型設(shè)計(jì)數(shù)據(jù)庫(kù)選型軟件包的去O方案切換策略具體切換策略和計(jì)劃前端應(yīng)用改造前端功能解耦前端交互體驗(yàn)優(yōu)化后端服務(wù)改造中臺(tái)服務(wù)化數(shù)據(jù)處理代碼實(shí)現(xiàn)邏輯SQL語(yǔ)法改造跨AZ的讀寫和高可用性能調(diào)優(yōu)事務(wù)一致性數(shù)據(jù)庫(kù)設(shè)計(jì)表結(jié)構(gòu)重構(gòu)表關(guān)聯(lián)關(guān)系重構(gòu)同庫(kù)授權(quán)方式調(diào)整存儲(chǔ)過(guò)程邏輯回歸中臺(tái)視圖邏輯回歸中臺(tái)程序調(diào)度作業(yè)方式重構(gòu)數(shù)據(jù)中間件的職責(zé)分配讀寫分離分布式方案數(shù)據(jù)庫(kù)分布式架構(gòu)數(shù)據(jù)庫(kù)分布式同步方式上線方案灰度方案/新舊并存方案高可用容災(zāi)，主備方案調(diào)整跨AZ

9、的讀寫和高可用數(shù)據(jù)工具DBLINK集成重構(gòu)CDC集成重構(gòu)數(shù)據(jù)集成數(shù)據(jù)歸檔，數(shù)據(jù)遷移推式入湖任務(wù)調(diào)度工具的重構(gòu)RDBMSKV Database數(shù)據(jù)庫(kù)專題DocumentGraph DatabaseIn-MemoryDatabaseDWSDatabaseTimeSeriesDatabase大數(shù)據(jù)7流程IT企業(yè)數(shù)據(jù)上云：能力沉淀1統(tǒng)一數(shù)據(jù)庫(kù)平臺(tái) UniDB8企業(yè)面對(duì)數(shù)據(jù)庫(kù)上云的問(wèn)題1：多種不同類型數(shù)據(jù)庫(kù)的融合關(guān)系型 數(shù)據(jù)庫(kù)K/V數(shù)據(jù)庫(kù)內(nèi)存 數(shù)據(jù)庫(kù)圖數(shù)據(jù)庫(kù)文檔數(shù)據(jù)庫(kù)時(shí)序數(shù)據(jù)庫(kù)數(shù)據(jù)基礎(chǔ)設(shè)施數(shù)據(jù)倉(cāng)庫(kù)UniDB 五統(tǒng)一DataPipelineDataVirtualizationMetadataCatalog

10、sDataSecurityJOBSchedule9UniDB是內(nèi)部的統(tǒng)一數(shù)據(jù)庫(kù)平臺(tái)企業(yè)面對(duì)數(shù)據(jù)庫(kù)上云的問(wèn)題2：OLTP/OLAP融合趨勢(shì)Oracle EDWOracle EDWOracleDMOracleEDW(財(cái))HANA擴(kuò)展低延遲成本成本OracleDMSybase IQOracle 實(shí)時(shí)區(qū)Oracle實(shí)時(shí)區(qū)(財(cái))Oracle 實(shí)時(shí)區(qū)擴(kuò)展擴(kuò)展擴(kuò)展海外DWOracleEDW(財(cái))OracleOPBI(非財(cái))擴(kuò)展擴(kuò)展擴(kuò)展痛點(diǎn)：早期Oracle切換高斯前的數(shù)據(jù)分散基于云的數(shù)據(jù)庫(kù)、數(shù)倉(cāng)、大數(shù)據(jù)，進(jìn)行有效管理和融合問(wèn)題1）數(shù)據(jù)庫(kù)分散，OLTP分表分庫(kù)，OLAP拆庫(kù) 問(wèn)題2）數(shù)據(jù)庫(kù)多地分布，帶來(lái)的數(shù)據(jù)

11、匯聚問(wèn)題問(wèn)題3）交易庫(kù)和分析庫(kù)的邊界逐步模糊，交易庫(kù)承載分析行為問(wèn)題4) 企業(yè)領(lǐng)域煙囪，引入大量的技術(shù)棧交易庫(kù)分析庫(kù)交易交易庫(kù)分析庫(kù)交易實(shí)時(shí)區(qū)離線區(qū)大數(shù)據(jù)區(qū)數(shù)據(jù)湖供應(yīng)制造財(cái)經(jīng)歷史區(qū)歸檔區(qū)集成主題庫(kù)集成集成一個(gè)DB其他10企業(yè)數(shù)據(jù)底座列的革命，是企業(yè)面向外部場(chǎng)景多樣性的需求驅(qū)動(dòng)下，演進(jìn)出來(lái)的一種多維度融合的數(shù)據(jù)能力，是平臺(tái)的革命。交易數(shù)據(jù)庫(kù)分析數(shù)據(jù)庫(kù)大數(shù)據(jù)數(shù)據(jù)庫(kù)數(shù)據(jù)底座數(shù)據(jù)ETL工具數(shù)據(jù)調(diào)度工具數(shù)據(jù)遷移工具數(shù)據(jù)供給元數(shù)據(jù)數(shù)據(jù)建模工具數(shù)據(jù)稽核工具數(shù)據(jù)安全數(shù)據(jù)治理數(shù)據(jù)庫(kù)管控平面OLTP/OLAP一體化數(shù)據(jù)供給平面數(shù)據(jù)集成、調(diào)度、共享數(shù)據(jù)服務(wù)平面元數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)管理平面元數(shù)據(jù)、權(quán)限、多租11W+實(shí)例百萬(wàn)

12、W+表PB級(jí)數(shù)據(jù)萬(wàn)億+列百萬(wàn)級(jí)+權(quán)限W+同步鏈路千億集成行/天100W+調(diào)度任務(wù)W+數(shù)據(jù)API服務(wù)18+主題域分組千級(jí)對(duì)象萬(wàn)+邏輯數(shù)據(jù)實(shí)體流程IT企業(yè)數(shù)據(jù)上云：能力沉淀2數(shù)據(jù)庫(kù)遷移解決方案12數(shù)據(jù)庫(kù)工具，助力企業(yè)遷移到基于云的數(shù)據(jù)庫(kù)生態(tài)MySQLPostgreSQLGuassDB集DBA專家經(jīng)驗(yàn)，為產(chǎn)品團(tuán)隊(duì)提供數(shù)據(jù)庫(kù)引擎推薦、資源評(píng)估和遷移難度分析，其中資源評(píng)估數(shù)據(jù)已成為容量小組評(píng)審的標(biāo)準(zhǔn)； 評(píng)估效率從月至天，總體可節(jié)省750人天（按全網(wǎng)遷移1500個(gè)應(yīng)用計(jì)算）財(cái)經(jīng)供應(yīng)主干交易銷售研發(fā)HRSQL代碼 對(duì)象數(shù)據(jù) 對(duì)象性能數(shù)據(jù)SQLPackageViewProcedure表索引分區(qū)表CPUIO內(nèi)存

13、磁盤代碼 遷移數(shù)據(jù) 遷移資源 推薦遷移 評(píng)估專業(yè)標(biāo)準(zhǔn)評(píng)估高效快速遷移MysqlPGORACLE云數(shù)據(jù)庫(kù)遷移13傳統(tǒng)數(shù)據(jù)庫(kù)上云的常見(jiàn)問(wèn)題兼容性性能一致性回滾傳統(tǒng)數(shù)據(jù)庫(kù)遷移面臨的問(wèn)題源庫(kù)的運(yùn)行狀態(tài) 如何，容量和復(fù) 雜度如何，庫(kù)表 之間關(guān)系如何？1源庫(kù)對(duì)象較多， 如何保障源庫(kù)對(duì) 象順利遷移到目 標(biāo)庫(kù)？7如何選擇合適的 目標(biāo)庫(kù)及其規(guī)格， 改造風(fēng)險(xiǎn)和工作 量有多大？2如何保證結(jié)構(gòu)遷 移和數(shù)據(jù)遷移時(shí)， 不影響源庫(kù)/目標(biāo) 庫(kù)正在運(yùn)行的業(yè) 務(wù)？83從源庫(kù)遷移到目 標(biāo)庫(kù)，有哪些對(duì) 象不兼容，在目 標(biāo)庫(kù)是否有替代 方案？9源端按業(yè)務(wù)模塊 遷移時(shí)，源和目 標(biāo)如何進(jìn)行持續(xù) 的增量數(shù)據(jù)同步？4對(duì)于應(yīng)用程序改 造，如何動(dòng)

14、態(tài)或 者靜態(tài)抓取到應(yīng) 用改造的SQL？10語(yǔ)法改造后，如 何保證性能符合 預(yù)期，如何對(duì)改 造后的對(duì)象進(jìn)行 優(yōu)化？5人力進(jìn)行語(yǔ)法改 造，成本巨大， 如何做到遷移過(guò) 程半自動(dòng)化或者 自動(dòng)化？11遷移完成時(shí)，如 何保障遷移結(jié)果 正確，包括結(jié)構(gòu) 的準(zhǔn)確性與數(shù)據(jù) 的準(zhǔn)確性？6改造過(guò)程涉及業(yè) 務(wù)重構(gòu)時(shí)，如何 為用戶提供合適 的改造方案？12遷移完成后，如 何保障云上數(shù)據(jù) 庫(kù)的開(kāi)發(fā)運(yùn)維與 性能的持續(xù)優(yōu)化？14云數(shù)據(jù)庫(kù)遷移技術(shù)解決方案商業(yè)數(shù)據(jù)庫(kù)云上數(shù)據(jù)庫(kù)開(kāi)發(fā)與運(yùn)維數(shù)據(jù)庫(kù)遷移工具集語(yǔ)法遷移 (UGO)評(píng)估并轉(zhuǎn)換異構(gòu)數(shù) 據(jù)庫(kù)語(yǔ)法數(shù)據(jù)遷移 (DRS-數(shù)據(jù)同步) 基于日志的實(shí)時(shí)變化數(shù)據(jù)捕捉數(shù)據(jù)校驗(yàn) (DRS-數(shù)據(jù)校驗(yàn)) 基于日志的增量數(shù)據(jù)實(shí)時(shí)校驗(yàn)云上RDS3RD自研內(nèi)核數(shù)據(jù)庫(kù)管理服務(wù) (DAS-數(shù)據(jù)開(kāi)發(fā)) 數(shù)據(jù)庫(kù)可視化查詢 與開(kāi)發(fā)服務(wù)數(shù)據(jù)庫(kù)管理服務(wù) (DAS-云DBA)數(shù)據(jù)庫(kù)實(shí)時(shí)性能診 斷與