GaussDB云數(shù)據(jù)庫行業(yè)解決方案課件

1、GaussDB云數(shù)據(jù)庫行業(yè)解決方案加速企業(yè)數(shù)字化轉(zhuǎn)型第1頁，共29頁。華為云數(shù)據(jù)庫發(fā)展及GaussDB全新升級GaussDB產(chǎn)品與技術優(yōu)勢GaussDB未來演進趨勢GaussDB加速企業(yè)數(shù)字化轉(zhuǎn)型目錄CONTENTS1234第2頁，共29頁。數(shù)據(jù)庫歷史回顧和趨勢：云化，融合是方向60s 誕生70s 興起關系型數(shù)據(jù)庫SQL語言80s 發(fā)展SQL事實標準化 I&O的黃金歲月90s 轉(zhuǎn)型互聯(lián)網(wǎng)數(shù)據(jù)爆發(fā)00s 新玩家4V NoSQL當前 演進Scale-Out未來 創(chuàng)新層次型數(shù)據(jù)庫IBM網(wǎng)狀型數(shù)據(jù)庫CODASTY關系模型 白皮書關系型數(shù)據(jù)庫System R IBM（SQL）ORACLE1st 商用IB

2、M DB2SAPSybaseInformix分布式實體關系型面向?qū)ο笮蚑eradata分析New分布式SQL數(shù)據(jù)湖應用互聯(lián)網(wǎng)興起NoSQLGoogle Big TableCouchDBCassandraNeo4J MangoDBRedis分布式SQLClustrixNuoDBGoogle SpannerSAP HANA VoltDBOracle in-memory optionHadoop SparkSQL HIVEReplaced？通常不支持事務及SQL語言，性能、容量、可擴展性突出規(guī)模并行處理MS、Oracle、SAP、IBM實時分析全分析規(guī)模并行處理縱列商業(yè)智能分布式云化HTAP多模圖、

3、時序、帳本AI關系型數(shù)據(jù)庫Oracle/MySvQL鍵值數(shù)據(jù)庫Redis寬列數(shù)據(jù)庫Cassandra文檔數(shù)據(jù)庫MongoDB圖數(shù)據(jù)庫Neo4JML數(shù)據(jù)解決方案Spark/Tensorflow數(shù)據(jù)湖解決方案融合數(shù)據(jù)分析應用場景事務處理儲存用戶信息等日志等Web應用等圖分析、搜索數(shù)據(jù)分析、特征抽取全場景數(shù)據(jù)模型關系表K-V鍵值對以列簇式存儲KV鍵值對，V結構化圖模型稀疏矩陣關聯(lián)數(shù)組數(shù)學基礎關系代數(shù)，集合論hash tableKV二維數(shù)組嵌套KV圖論線性代數(shù)關聯(lián)代數(shù)不同類型的數(shù)據(jù)庫基于不同的理論基礎，滿足不同的數(shù)據(jù)管理、處理需求第3頁，共29頁。華為數(shù)據(jù)庫依托華為云整體解決方案和全棧軟硬件創(chuàng)新能力，

4、為客戶服務智慧城市智能制造數(shù)字化政府智慧金融行業(yè)互聯(lián)網(wǎng)智慧園區(qū)智慧零售智能網(wǎng)聯(lián)汽車云游戲數(shù)據(jù)庫服務基礎服務開發(fā)者專業(yè)服務企業(yè)應用IoT物聯(lián)網(wǎng)安全EI企業(yè)智能華為云華為云 Stack統(tǒng)一運維管理統(tǒng)一應用生態(tài)統(tǒng)一高階服務18 類 200+ 服務, 190+ 解決方案, 10000+商業(yè)合作伙伴混合云解決方案多元算力第4頁，共29頁。Huawei Confidential6俄羅斯研究所-莫斯科：定位：內(nèi)核算法、數(shù)據(jù)庫自治合作高校：Skolkovo（Prof.Victor Lempitsky）；Higher School of Economics等愛爾蘭研究所：定位：數(shù)據(jù)庫自治、新介質(zhì)、大內(nèi)存合作高校

5、：EPFL、ETH、TUM等歐洲德國研究所：定位：數(shù)據(jù)庫自治、新介質(zhì)、大內(nèi)存合作高校：EPFL、ETH、TUM等以色列研究所：定位：數(shù)據(jù)庫安全能力中心合作高校：以色列理工、特拉維夫大學等印度研究所-班加羅爾：定位：數(shù)據(jù)庫工具合作高校：印度科學理工學院等中國深圳、北京、杭州、上海、南京、西安研究所：定位：數(shù)據(jù)庫內(nèi)核、交付、維護合作高校：清華、華東師大等加拿大多倫多研究所：定位：OLTP合作高校：滑鐵盧大學，多倫多大學等20072011201420172020數(shù)據(jù)庫 技術原型華為GaussDB 內(nèi)核研發(fā)啟動GaussDB分析型場景商用GaussDB交易型場景商用GaussDB 升級全場景 云服務7

6、大全球研究所從事基礎研究，10+年數(shù)據(jù)庫領域技術積累，1000+數(shù)據(jù)庫專項人才，40000+數(shù)據(jù)庫集群（套）華為囊括全球1000+數(shù)據(jù)庫專業(yè)人才，戰(zhàn)略投入超13年第5頁，共29頁。Huawei Confidential7選型安心全場景業(yè)務，全開放生態(tài)，安全可信非關系型GaussDB (for Mongo)GaussDB (for Influx)GaussDB (for Cassandra)GaussDB (for Redis)關系型GaussDB (openGauss) GaussDB (for MySQL) GaussDB (for PostgreSQL)OLTPOLAPGaussDB (D

7、WS)管理省心無縫協(xié)同上層應用成 本風 險全 監(jiān) 控80%90%100%數(shù)據(jù)開發(fā)數(shù)據(jù)庫可視化查詢 與開發(fā)服務數(shù)據(jù)庫管理服務DAS華為云數(shù)據(jù)庫遷移放心數(shù)據(jù)庫結構+應用+數(shù)據(jù)一站式遷移結構遷移(UGO)評估并轉(zhuǎn)換異構 數(shù)據(jù)庫語法數(shù)據(jù)遷移/同步(DRS)實時變化 數(shù)據(jù)捕捉數(shù)據(jù)校驗（DRS）增量數(shù)據(jù) 實時校驗流量回放通過業(yè)務仿真提前感知業(yè)務穩(wěn)定性和性能第三方數(shù)據(jù)庫GaussDB新一代企業(yè)級數(shù)據(jù)庫，面向金融政企客戶RDS/DDS開源數(shù)據(jù)庫，面向互聯(lián)網(wǎng)等關系型RDS for MySQL RDS for PostgreSQLOLTP非關系型DDS(Mongo)單機社區(qū)版本開源網(wǎng)站：不丟數(shù)據(jù)，不中斷/影響業(yè)務

8、，遷移成本低，提前仿真感知，透明可視化數(shù)據(jù)庫運維數(shù)據(jù)庫實時性能診斷 與智能優(yōu)化GaussDB數(shù)據(jù)庫：為政企客戶打造傳統(tǒng)商業(yè)數(shù)據(jù)庫一站式上云解決方案第6頁，共29頁。華為云數(shù)據(jù)庫發(fā)展及GaussDB全新升級GaussDB產(chǎn)品與技術優(yōu)勢GaussDB未來演進趨勢GaussDB加速企業(yè)數(shù)字化轉(zhuǎn)型目錄CONTENTS1234第7頁，共29頁。新場景新挑戰(zhàn)：在政企、金融等企業(yè)級客戶業(yè)務場景更為復雜對 賬 系 統(tǒng)傳統(tǒng)解決方案創(chuàng)新，但依舊存在問題：對賬系統(tǒng)解決高可用/高可靠問題事后業(yè)務成本高核心數(shù)據(jù)庫分片，應對業(yè)務演進 有一致性問題開源架構已經(jīng)30年，傳統(tǒng)HA方案：半同步模式在極端場景可能丟數(shù)據(jù)復制會導致性

9、能下降核心業(yè)務Proxy分片1分片2Proxy分片3 分片4分片5分片6ProxyRDSRDSRDS RDSRDSRDS RDSRDSRDS數(shù)據(jù)庫分片分片7分片8分片9Page reads (random)Master(read-write)Secondary(read-only)Secondary(read-only)Redo log writes (seq.)Page writes (random)Log shippingLocal diskLocal diskLocal diskR/WR onlyR only第8頁，共29頁。來自市場的核心訴求TopN 需求和痛點需求描述海量數(shù)據(jù)存儲支持

10、大數(shù)據(jù)量業(yè)務分布式高擴展自動化分庫分表或者非分庫分表，應用 透明無縫彈性擴容分鐘級彈性擴容，應用透明強一致事務支持分布式事務的強一致性，數(shù)據(jù)0丟失高可用支持跨AZ高可用、跨 Region 容災高并發(fā)性能支持大并發(fā)下的極致高性能非中間件式架構非 DDM 類方案（或者非 DRDS ）云數(shù)據(jù)庫高性能高擴展易運維高可用高可靠第9頁，共29頁。GaussDB(for MySQL)新一代企業(yè)級OLTP數(shù)據(jù)庫主備部署最大支持1寫15讀，分鐘級添加只讀實例，支持讀寫分離，自動負載均衡全分布式部署分布式高擴展：數(shù)據(jù)按shard劃分，讀寫負載準線性擴展，滿足大規(guī)模業(yè)務量場景 Shard 1Shard 2Shard

11、 N華為云底座R onlyR/WReplica (read-only)Master (read-write)Replica (read-only)Shared StorageR only第10頁，共29頁。GaussDB(for MySQL)主備版架構和優(yōu)勢Page readsRedo log writesCoherence trafficR onlyR/WReplica (read-only)Master (read-write)Replica (read-only)Shared StorageR only極致可靠多維擴展海量存儲極致架構卓越性能尖端硬件第11頁，共29頁。GaussDB(f

12、or MySQL) 分布式架構和優(yōu)勢DFV分布式存儲層db_02db_03db_00db_01db_04db_05業(yè)務系統(tǒng)分布式SQL引擎GaussDB多點寫入分庫分表業(yè)務系統(tǒng)業(yè)務系統(tǒng)分布式事務SQL解析器SQL執(zhí)行器SQL優(yōu)化器SQL解析器SQL優(yōu)化器SQL執(zhí)行器分布式事務兼容開源MySQL生態(tài)語法工具連接器開發(fā)生態(tài)超高性能，滿足海量數(shù)據(jù)高并發(fā)場景PB級數(shù)據(jù)百萬級TPS千萬級QPS極致架構成就極速擴展300s分片擴展自動擴展存儲空間秒級熱點數(shù)據(jù)遷移第12頁，共29頁。架構更優(yōu)GaussDB(for MySQL)能力和演進性優(yōu)勢明顯VS性能更強 提升30%計算存儲分離 + 數(shù)據(jù)庫邏輯下推可靠性

13、更佳 支持跨AZ第13頁，共29頁。GaussDB(openGauss)數(shù)據(jù)庫，靈活應對核心交易系統(tǒng)和海量事務型場景GaussDB(openGauss)分布式版聚焦海量事務擴展場景GaussDB(openGauss)主備版聚焦企業(yè)核心交易場景CORECORECORE并發(fā)線程CPU能源金融政府運營商交通數(shù)據(jù)新基建開源社區(qū)版：/zh/第14頁，共29頁。高性能: 支持高吞吐強一致性事務能力鯤鵬2路服務器分布式強一致：32節(jié)點1200萬tpmC高可用: 雙活和兩地三中心高可用集群內(nèi)HA，數(shù)據(jù)不丟失，業(yè)務秒級中斷同城跨AZ容災，數(shù)據(jù)不丟失，分鐘級恢復兩地三中心部署高擴展: 容量和性能按需水平擴展256

14、節(jié)點擴展能力，卓越線性比在線擴容易管理: 易遷移，易監(jiān)控，運維兼容SQL2003標準語法+企業(yè)擴展包數(shù)據(jù)復制、監(jiān)控運維、開發(fā)工具異構遷移UGO數(shù)據(jù)同步DRS運維管理DAS工具集 Coordinator Node（分布式CBO）GTM(分布式事務)Computing network主備HA切換跨AZ多活 兩地三中心X86/鯤鵬 + EVS存儲電信金融電力政府平安城市適用行業(yè)GaussDB(openGauss)總體架構和優(yōu)勢分布式執(zhí)行分布式SQL存儲引擎Data Node分布式執(zhí)行分布式SQL存儲引擎Data Node第15頁，共29頁。面向企業(yè)新型應用的云原生多模GaussDB NoSQL系列服

15、務3倍自動彈性伸縮N-1個10倍10倍分鐘級秒級100T多模 GaussDB NoSQL系列服務文檔型接口 兼容MongoDB寬列接口 兼容CassandraKey-Value接口 兼容Redis時間序列型接口 兼容InfluxDB第16頁，共29頁。計算存儲分離架構，極致性價比GaussDB NoSQL架構應用程序1應用程序2應用程序3應用程序NCassandra接口MongoDB接口Redis接口InfluxDB接口Node1Node2Node3Node4NodeN架構優(yōu)勢01多個數(shù)據(jù)模型全負荷分擔 04N-1個節(jié)點故障容忍可用性數(shù)倍于基于ECS自建或者 開源服務化的方案海量數(shù)據(jù) 0510

16、0TB10+高可靠 0620+7+03 高性能3倍百倍提升02 計算存儲分離第17頁，共29頁。GaussDB NoSQL系列服務計算存儲分離的架構創(chuàng)新社區(qū)版MongoDBGaussDB(for Mongo)性能一個Shard Server節(jié)點承擔讀寫壓力三個Shard Server分擔讀寫壓力，相同成本23倍性能。成本存儲成本：兩層復制，3*3共9副本存儲； 存儲計算綁定，同步擴展；起配成本：副本集3節(jié)點，集群模式11節(jié)點；存儲成本：僅存儲層3副本復制存儲計算分別按需擴展，降低20%40%成本； 起配成本：只支持集群模式，7節(jié)點起配。HA副本集主備切換，10s。ShardServer間Fai

17、lover，5s。擴容小時天級；擴容步長3節(jié)點。分鐘級完成，100倍以上性能提升；擴容步長1節(jié)點。備份恢復邏輯備份，小時級。基于快照的物理備份，分鐘級，10倍性能提升。生態(tài)兼容100%兼容，屏蔽高危、管理類命令。屏蔽convertToCapped、已有表重新Shard；GaussDB(for Mongo)MongosPersistence Layer(三副本)Shard Server (Primary)Shard Server (Primary)Shard Server (Primary)社區(qū)版MongoDBShard Server (Primary)Mongos本地FS本地FS本地FSSha

18、rd Server (Hidden)Shard Server (Secondary)三副本復制LUNLUNLUNEVSEVSEVS 主要技術創(chuàng)新存儲計算分離復制集卸載到分布式存儲RocksDB存儲引擎基于快照的物理備份On going第18頁，共29頁。實現(xiàn)分鐘級節(jié)點擴縮容擴容耗時 十小時級擴容耗時 分鐘級華為云GaussDB(for Mongo)社區(qū)自建擴容遷移30.0025.0020.0015.0010.005.000.00140001200010000800060004000200000:05:002:20:004:35:006:50:009:05:0011:20:0013:35:001

19、5:50:0018:05:0020:20:0022:35:000:50:003:05:005:20:007:35:002分片 擴容到 4分片TIME(5分鐘統(tǒng)計粒度)OPSOPSLatency8.006.004.002.000.0080001300018000230000:00:100:00:400:01:100:01:400:02:100:02:400:03:100:03:400:04:100:04:400:05:100:05:402節(jié)點 擴容到 4節(jié)點TIME(10秒統(tǒng)計粒度)OPSLatencyOPSLatencyVS第19頁，共29頁。傳統(tǒng)數(shù)據(jù)庫遷移的痛點與訴求172839410511

20、612第20頁，共29頁。云上語法遷移(UGO)評估并轉(zhuǎn)換異構數(shù)據(jù) 庫語法數(shù)據(jù)遷移(DRS-數(shù)據(jù)同步)基于日志的實時變化 數(shù)據(jù)捕捉數(shù)據(jù)校驗 (DRS-數(shù)據(jù)校驗) 基于日志的增量數(shù)據(jù)實時校驗數(shù)據(jù)庫管理服務 (DAS-數(shù)據(jù)開發(fā)) 數(shù)據(jù)庫可視化查詢與 開發(fā)服務SQL查詢對象開發(fā)實例管理操作審計敏感保護實時分析SQL診斷SQL洞察慢SQL參數(shù)推薦RDSDDSGaussDB線下商業(yè)數(shù)據(jù)庫數(shù)據(jù)庫遷移工具集華為云數(shù)據(jù)庫數(shù)據(jù)庫開發(fā)與運維初始化時執(zhí)行一次持續(xù)采集應用SQL遷移評估DML遷移DDL遷移PLSQL遷移流量捕獲流量仿真實時轉(zhuǎn)換性能分析在線遷移多活災備數(shù)據(jù)同步數(shù)據(jù)訂閱行級比對內(nèi)容比對列級比對組合校驗持續(xù)

21、運行，實時同步數(shù)據(jù)并比對數(shù)據(jù)準確性流量回放通過業(yè)務仿真提前感知業(yè)務穩(wěn)定性和性能華為云數(shù)據(jù)庫遷移管理云化解決方案，助力您輕松上云，極簡運維數(shù)據(jù)庫管理服務(DAS-云DBA)數(shù)據(jù)庫實時性能診斷與智能優(yōu)化第21頁，共29頁。華為云數(shù)據(jù)庫發(fā)展及GaussDB全新升級GaussDB產(chǎn)品與技術優(yōu)勢GaussDB未來演進趨勢GaussDB加速企業(yè)數(shù)字化轉(zhuǎn)型目錄CONTENTS1234第22頁，共29頁。云托管計算存儲分離20182020Q12020Q2202120192020H2未來，華為云數(shù)據(jù)庫將持續(xù)技術創(chuàng)新與服務好客戶Serverless第23頁，共29頁。華為云數(shù)據(jù)庫發(fā)展及GaussDB全新升級GaussDB產(chǎn)品與技術優(yōu)勢GaussDB未來演進趨勢GaussDB加速企業(yè)數(shù)字化轉(zhuǎn)型目錄CONTENTS1234第24頁，共29頁。國有某大行核心業(yè)務已商用GaussDB(openGauss)數(shù)據(jù)庫演進方式Core Banking柜臺ERP/OA信用卡xx業(yè)務系統(tǒng)xx風險貴金屬ATMxx特征識別支付清算POSxx公文系統(tǒng)As IsTo Be華為云Stack 數(shù)據(jù)庫服務GaussDB (OpenGauss) AZ 1GaussD