十年數(shù)據(jù)庫技術(shù)生態(tài)變革創(chuàng)新分析

1、金聲玉振十年數(shù)據(jù)庫技術(shù)和生態(tài)變革創(chuàng)新分析197719831984198819891999199519962005200920092010201020122014201520172019數(shù)據(jù)庫發(fā)展的三個時代，成就了三種商業(yè)形態(tài)商業(yè)數(shù)據(jù)庫時代：成就了商業(yè)軟件時代；開源數(shù)據(jù)庫時代：成就了互聯(lián)網(wǎng)時代；云（新）數(shù)據(jù)庫時代：是 商業(yè) 和 開源、SQL和NewSQL交融的時代，成就了云和數(shù)字化時代；行業(yè)趨勢：走進(jìn)云數(shù)據(jù)庫時代金聲玉振：分布式數(shù)據(jù)庫落地開花北京銀行使用 TiDB 承擔(dān)包括核心網(wǎng)聯(lián)支付/銀聯(lián)無卡支 付業(yè)務(wù)，支付 對賬，核心批量作業(yè) 等一批核心交易應(yīng)用中國郵政，通過云原生分布式數(shù)據(jù)庫PolarDB

2、-X， 高效支撐了 “雙十一”訂單業(yè)務(wù)峰值超過1億件不停機(jī)實施互聯(lián)網(wǎng)金融業(yè)務(wù)平臺、互聯(lián)網(wǎng)交易資金存 管平臺數(shù)據(jù)庫向OceanBase分布式數(shù)據(jù)庫遷移。2020-08-18 昆山農(nóng)商銀行啟動新一代核心系統(tǒng)建 設(shè)，采用騰訊云分布式數(shù)據(jù)庫TDSQL工行基于華為云 FusionInsight 金融數(shù)據(jù)湖中， GaussDB（DWS）等產(chǎn)品承載了關(guān)鍵的金融數(shù)據(jù)業(yè)務(wù)中信總行核心，按照3億用戶、15億賬戶、日均3億筆交易十輪 演練，GoldenDB于2020年5月3日14點正式對外營業(yè)企業(yè)的原生演進(jìn)：海量數(shù)據(jù)累積 性能衰減業(yè)務(wù)爆發(fā)式增長互聯(lián)網(wǎng)式洪峰流量極致的高可用讀寫分離拆分?jǐn)?shù)據(jù)表、數(shù)據(jù)庫混合架構(gòu)數(shù)據(jù)庫軟件

3、的進(jìn)化：內(nèi)存分區(qū)，分塊進(jìn)程拆分，主從數(shù)據(jù)表分區(qū)ADG 讀寫分離RAC集群數(shù)據(jù)庫Sharding分布式數(shù)據(jù)庫Scale-Out 和 Scale-Up 的演進(jìn)核心都是并行和分布式！需求驅(qū)動：原生演進(jìn)和數(shù)據(jù)庫進(jìn)化路線之爭：從集中處理到分布式數(shù)據(jù)庫Sharding 是一種聯(lián)合使用眾多獨立數(shù) 據(jù)庫的應(yīng)用管理的擴(kuò)展技術(shù)數(shù)據(jù)切分為多個數(shù)據(jù)庫；每個數(shù)據(jù)庫存儲一個數(shù)據(jù)子集（通過范圍或者哈希拆分）；每個分片通過復(fù)制實現(xiàn)可用性和擴(kuò)展性；分片是擴(kuò)展大型網(wǎng)站的主要方法；分片用于需要極高擴(kuò)展性并需要應(yīng)用程序為此做出讓步應(yīng)用程序根據(jù)鍵值將請求調(diào)度到特定數(shù)據(jù)庫；查詢受到限制-基于分片鍵的簡單查詢對數(shù)據(jù)進(jìn)行反范式化以避免跨分片

4、操作（無聯(lián)接）這也被稱為水平分片分片架構(gòu)的一種全量變體實現(xiàn)，這種 形態(tài)非常常見每個數(shù)據(jù)庫承載全量數(shù)據(jù)請求基于讀寫、鍵值進(jìn)行分發(fā)寫操作集中在一個數(shù)據(jù)庫，變更復(fù)制到 其他數(shù)據(jù)庫，其他庫承載讀請求主要受益包括，不需要 reShardGoogle 奠定規(guī)模分布式存儲系統(tǒng)的理論基礎(chǔ)2003 - Google File System2004 - Google MapReduce2006 - Google BigTableOracle 對分布式數(shù)據(jù)庫技術(shù)的認(rèn)知和實踐2008 - Global Scale Web 2.0 Data Platforms Sharding2017 Oracle Sharding

5、Option Release8 / 8i （1998）11InternetOracle8 for LinuxOracle Parallel ServerXML &Native Java SupportOnline SupportOracle LinuxAutomatic Undo Segment ManagementMobile DatabaseAutomatic PGAReal Application ClusterActive Data GuardExadata(2008)Database Cloud(2012)Database ReplayGrid InfrastructureAutom

6、atic Storage ManagementClusterwareAutomatic Workload RepositoryFlashbackAutomatic Shared Memory Management宏觀進(jìn)化：數(shù)據(jù)庫技術(shù)發(fā)展演進(jìn)方向8109gg20cShardingMultitenant , OnlineClone and RelocateAutonomous Health FrameworkNew In-Memory FeaturesOnline EncryptionMultitenant Snapshot CarouselMem Optimized Row St

7、orePrivate Temporary TablesT1 T2 T3 T4Active Directory IntegrationSharded RACActive DirectoryAutoMLin OML4PyBlockchain TablesJSON Speed and FlexibilityPersistent Memory StoreIn-Memory Vector JoinsSALESITEMSHigh speed data ingestionADG DMLRedirectAutomatic IndexingHybrid Partition TablesJSONImproveme

8、ntsSALES TABLEQ1Q2Q3宏觀進(jìn)化：數(shù)據(jù)庫技術(shù)發(fā)展演進(jìn)方向 （2017）微觀進(jìn)化：源自實踐的增強和改進(jìn)9i: 共享內(nèi)存分區(qū)10g: ASM 分片數(shù)據(jù)存儲新增 - HIGH FREQUENCY AUTOMATIC STATISTICS COLLECTION，每15分鐘；Automatic statistics gathering jobLGWRLGWRO000B002B003B001B00011g: ASM 磁盤組維護(hù)進(jìn)程12.1: 多日志寫進(jìn)程12.2: LMS 進(jìn)程拆分為 RMV 和 CR19c: 實時的統(tǒng)計信息微觀進(jìn)化：源自實踐的增強和改進(jìn)表達(dá)式參數(shù)：20c開始，指定一個表達(dá)

9、式作為某些初始化 參數(shù)的值，使得數(shù)據(jù)庫能夠根據(jù)環(huán)境變化自動調(diào)整參數(shù) 值。實現(xiàn)Autonomous 自治。SQL show parameter aqNAMETYPEVALUEaq_tm_processesinteger1SQL ALTER SYSTEM SET AQ_TM_PROCESSES = MIN(40, PROCESSES * .1);SQL show parameter aqNAMETYPEVALUEaq_tm_processesinteger30自動索引：借鑒于人工工作的專家系統(tǒng) It is an expert system that implements what a perfor

10、mance engineer skilled in index tuning would doMonitorOnline ValidationCaptureIdentifyVerifyDecideOne-Click UpgradeAutonomous Data Guard簡單透明的主備切換管理Completely transparent to customer applicationsAutomatic failover for zero-data loss scenarios User-initiated failover for other scenarios Computer Assoc

11、iatesopenGauss HuaweiPolarDB for OracleInformix IBMIngresUc BerkeleyInformixPostgreSQL CommunitySQL Server SybasePostgres Uc Berkeley1974年Kingbase 人大金倉2004年2015年之后， 國產(chǎn)廠商購入 源代碼2017 印度 HCL 收購SinoDB 星瑞格 Toprow 華勝信泰Gbase 8T 南大通用SQL Server SAPSQL Server MicrosoftPivotalIllustraTo Informix2001年IBM收購Ingres

12、 CorporationCA-OSIngres Corp.王佑曾 (Eugene Wong) 中央研究院院士。 生于 1934 年 12 月 24 日，中國南京市 1980 Ingres ，1988 ACM軟件系統(tǒng)獎AntDB 亞信 202004 ，中國移動入股亞信科技，占股20%UXDB 優(yōu)炫數(shù)據(jù)庫Tbase 騰訊TelePG 中國電信EnterpriseDB云和恩墨用戶抉擇：最具活力的開源生態(tài)1980年生態(tài)變革：openGauss 開源和開放PostgreSQL架構(gòu)關(guān)鍵差異化因素openGaussPostgreSQL宏觀 架構(gòu)執(zhí)行模型線程模型：動態(tài)分配執(zhí)行線程，支持1萬并發(fā)進(jìn)程模型：進(jìn)程執(zhí)

13、行模型，一個鏈接一個進(jìn)程，小于1000并發(fā)內(nèi)存模型進(jìn)程內(nèi)內(nèi)存被多線程共享，內(nèi)存安全性好多進(jìn)程共享內(nèi)存，內(nèi)存安全性弱；動態(tài)擴(kuò)展難事務(wù) 處理并發(fā)控制事務(wù)支持CSN快照，procArray免鎖高并發(fā)事務(wù)ID回卷，長期運行性能因為ID回收周期大幅波動日志和檢查點增量checkpoint，性能波動15%鯤鵬NUMANUMA多核優(yōu)化，單機(jī)兩路性能TPMC 大于150wNUMA多核能力弱，單機(jī)兩路性能TPMC 60w數(shù)據(jù) 組織多引擎行存、列存、內(nèi)存引擎，在研DFV存儲引擎僅支持行存SQL引擎優(yōu)化器支持CBO，吸收工行等大型企業(yè)場景優(yōu)化能力支持CBO，復(fù)雜場景優(yōu)化能力一般SQL解析ANSI/ISO標(biāo)準(zhǔn)SQL9

14、2、SQL99和SQL2003和企業(yè)擴(kuò)展包ANSI/ISO標(biāo)準(zhǔn)SQL92、SQL99和SQL2003GaussDB Kernel是衍生自PostgreSQL-XC，單機(jī)邏輯架構(gòu)與PG接近。GaussDB Kernel和PG在架構(gòu)和關(guān)鍵技術(shù)選擇路徑上有根本性差異，導(dǎo)致引擎級和組件級實現(xiàn)架構(gòu)差別很大。openGauss Kernel架構(gòu)存儲引擎MVCC行存 儲引擎內(nèi)存引擎列存儲引擎DFV存儲引擎（構(gòu)筑中）數(shù)據(jù)庫主進(jìn)程數(shù)據(jù)庫后臺進(jìn)程Writer子進(jìn)程日志寫子進(jìn)程Vacuum子進(jìn)程統(tǒng)計收集子進(jìn)程Ckp子進(jìn)程歸檔子進(jìn)程數(shù)據(jù)緩存區(qū)多進(jìn)程共享內(nèi)存池Xlog緩沖區(qū)數(shù)據(jù)庫線程池SQL接口 AI自調(diào)優(yōu)SQL解析器

15、 ABO優(yōu)化器SQL EngineSQL優(yōu)化器In-DB ML并行執(zhí)行可擴(kuò)展功能 框架分布式框架（分布式執(zhí)行/優(yōu)化/傳輸）數(shù)據(jù) 庫進(jìn) 程 n數(shù)據(jù) 庫進(jìn) 程 1由淺入深：獲得可遷移的學(xué)習(xí)能力2020-03-08 WARNING:database PDB must be vacuumed within 1000001 transactions2020-03-08 HINT:To avoid a database shutdown, execute a database-wide VACUUM in that database.You might also need to commit or rol

16、l back old prepared transactions.2020-03-08 ERROR:could not open relation with OID 2454532020-03-08 CONTEXT:automatic vacuum of table DB.pg_toast.pg_toast_245448could not open relation with OID代碼： src/backend/access/common/relation.cautomatic vacuum of table DB.pg_toast代碼： src/backend/postmaster/aut

17、ovacuum.cautomatic vacuum of table DB.pg.代碼： src/backend/access/table/table.c攻克疑難：openGauss 的技術(shù)創(chuàng)新實驗驗證：新增一個表，插入數(shù)據(jù)，在系統(tǒng)里刪除數(shù) 據(jù)文件，找不到數(shù)據(jù)文件，就無法執(zhí)行vacuum操作， 這時新開一個會話開始刷事務(wù) idpostgres=# select version();versionMogDB (openGauss 1.0.0 build 197f217c) compiled at 2020-09-08 postgres=# select txid_current();txid_c

18、urrent4580988517(1 row)postgres=# select xmin,age(xmin),* from vacuum_test_1; xmin | age | id + 2 |-1 | 1(1 row)解決32位事務(wù)號問題，擴(kuò)展至64位，openGauss解決了 PG 由來已久的一個技術(shù)遺留。MogDB：云和恩墨 openGauss發(fā)行版MogDB 是 EnMotech openGauss Database Enterprise Edition 的縮寫，是云和恩墨 基于華為 openGauss 開源數(shù)據(jù)庫進(jìn)行定制，推出的企業(yè)發(fā)行版。2020-07-01 發(fā)布 openGa

19、uss 的 Docker 版本；2020-08-30 發(fā)布 OpenGaussHA 高可用產(chǎn)品；2020-09-24 發(fā)布 在 HC 大會發(fā)布 MogDB 商業(yè)版；云和恩墨 MogDB 定位：建設(shè)自有內(nèi)核研發(fā)團(tuán)隊，融入 openGauss 開源生態(tài)，結(jié)合自身優(yōu)勢，打造 MogDB 企 業(yè)版核心能力，包括：高可用選件、自動化備份恢復(fù)選件、一體機(jī)產(chǎn)品、自動化運維產(chǎn)品、兼容性選件等，打造最易用的 openGauss 商業(yè)版！云和恩墨已經(jīng)圍繞客戶需求展開了 openGauss 的推廣和技術(shù)實踐工作；民生銀行 云和恩墨和民生銀行一起展開了 openGauss 的生產(chǎn)驗證和增強， 開發(fā)實施了高可用選件，客

20、戶已經(jīng)確定了多個系統(tǒng)遷移計劃，云和恩墨和民 生銀行在 HC 2020 大會共同獲得超級用戶大獎；行業(yè)趨勢：智能化企業(yè)級 dbPaaS 時代 20152020百花齊放，十年可期：數(shù)據(jù)庫領(lǐng)域的由亂到治，是一場持久戰(zhàn)，可能經(jīng)歷長達(dá)十年的過渡期；先建能力，后建系統(tǒng)：百年樹人人才培養(yǎng)持久，應(yīng)先建立平臺化服務(wù)能力，再構(gòu)建業(yè)務(wù)系統(tǒng)；自動智能，變革之機(jī)：統(tǒng)一管理平臺，多數(shù)據(jù)庫自動化部署，智能運維，推動服務(wù)升級和革新。生態(tài)變革：2019 中國數(shù)據(jù)庫元年創(chuàng)業(yè)派：數(shù)據(jù)庫領(lǐng)域生機(jī)勃發(fā)的另外一支力量是新興的獨立 數(shù)據(jù)庫創(chuàng)業(yè)企業(yè)，技術(shù)創(chuàng)業(yè)者和資本的結(jié)合，在新時代催生了 一系列的新興數(shù)據(jù)庫企業(yè)，這其中包括巨杉、PingCA

21、P、偶 數(shù)、星環(huán)、柏睿數(shù)據(jù)、星瑞格、易鯨捷等。創(chuàng)業(yè)核心多數(shù)來自企業(yè)派：頭部科技企業(yè)也參與到了數(shù)據(jù)庫核心攻關(guān)中，這其中 包括華為、中興、浪潮等，華為在2019年推出了 GaussDB， 中興推出了 GoldenDB，浪潮則是推出了K-DB。深諳企業(yè)級 服務(wù)之道的頭部科技企業(yè)的介入，讓數(shù)據(jù)庫和商業(yè)市場運作徹我以為，一個技術(shù)生態(tài)的繁榮發(fā)展，必須擁有廣泛的投入、廣泛的參與、廣泛的關(guān)注，這三者缺一不可。而在 2019年，這三者意外的同時具備了。四大流派，開源自研，百花齊放。學(xué)院派：中國數(shù)據(jù)庫發(fā)展的40年，最初源于國家的引導(dǎo)、支持和扶植， 在這一階段，中國數(shù)據(jù)庫的研發(fā)始于高校和科研院所，直至今日，源自 高

22、等院校的幾大數(shù)據(jù)庫公司仍然是國產(chǎn)數(shù)據(jù)庫的重要參與力量。 這其中 包括人大金倉、武漢達(dá)夢、南大通用、神舟通用等?；ヂ?lián)網(wǎng)派：隨著近年互聯(lián)網(wǎng)和開源技術(shù)的蓬勃發(fā)展，互聯(lián)網(wǎng)企業(yè)以高 度的熱情參與到了數(shù)據(jù)庫的建設(shè)中來。不管是自主研發(fā)，還是借助開 源，互聯(lián)網(wǎng)解決了自身應(yīng)用的問題，并且依托云平臺，展開了云數(shù)據(jù)庫 的應(yīng)用推廣。這其中，阿里巴巴的OceanBase、PolarDB，騰訊的 TDSQL、TBase等，都成為了來之能用，用之能穩(wěn)的核心武器。1977 黃山 首屆中國數(shù)據(jù)庫年會于 Oracle、IBM、Intel、HP、EMC等國際企業(yè)，正是因為有底消除了隔膜，迎來了加速奔跑的時代。 了這四十年的厚積薄發(fā)，才有了今天的朝氣蓬勃，遍地花開。https:/db/74512020-11-17 PingCAP 完成 2.7億美元融資；2020-10-22 巨杉成功完成數(shù)億元戰(zhàn)略融資；2020-10-19 貴陽銀行核心業(yè)務(wù)易鯨捷國產(chǎn)數(shù) 據(jù)庫應(yīng)用項目，成交金額 4.26億；2020-06-30 華為 openGauss 開源；2020-06-09 阿里云PolarDB幫1