數(shù)據(jù)庫(kù)行業(yè)發(fā)展研究報(bào)告

數(shù)據(jù)庫(kù)行業(yè)發(fā)展研究報(bào)告核心觀點(diǎn)：數(shù)據(jù)庫(kù)應(yīng)用的發(fā)展趨勢(shì)：混合事務(wù)分析處理（HTAP）針對(duì)OLTP和OLAP單獨(dú)的數(shù)據(jù)應(yīng)用需求，如果由各自專有系統(tǒng)處理，一般來(lái)說(shuō)性能將比混合通用系統(tǒng)性能高一到兩個(gè)數(shù)量級(jí)，但未來(lái)整合的趨勢(shì)更明顯，客戶需要可以滿足混合需求的通用系統(tǒng)，HTAP基于一體化架構(gòu)高度融合，在事務(wù)支持和數(shù)據(jù)時(shí)效上更有保證，同時(shí)減少專有系統(tǒng)數(shù)據(jù)遷移處理下的同步成本。數(shù)據(jù)庫(kù)架構(gòu)的發(fā)展趨勢(shì)：分布式架構(gòu)分布式數(shù)據(jù)庫(kù)繼承了傳統(tǒng)單機(jī)數(shù)據(jù)庫(kù)的核心特性，同時(shí)還擁有分布式系統(tǒng)的處理能力，具有可水平擴(kuò)展、高性能、高可用、混合負(fù)載、更安全等優(yōu)點(diǎn)。原生分布式架構(gòu)數(shù)據(jù)庫(kù)直接改變底層結(jié)構(gòu)，因此性能不受底層數(shù)據(jù)庫(kù)制約，也天然契合云原生理念。1、數(shù)據(jù)庫(kù)行業(yè)介紹及發(fā)展趨勢(shì)數(shù)據(jù)庫(kù)基本概念及分類數(shù)據(jù)庫(kù)(DBS)是一個(gè)按數(shù)據(jù)結(jié)構(gòu)來(lái)存儲(chǔ)和管理數(shù)據(jù)的計(jì)算機(jī)軟件系統(tǒng)。數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)是數(shù)據(jù)庫(kù)系統(tǒng)(DBS)的核心組成部分，主要完成對(duì)數(shù)據(jù)庫(kù)的操作與管理功能，實(shí)現(xiàn)數(shù)據(jù)庫(kù)對(duì)象的創(chuàng)建、數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)的查詢、添加、修改與刪除操作和數(shù)據(jù)庫(kù)的用戶管理、權(quán)限管理等。NoSQL數(shù)據(jù)庫(kù)是對(duì)關(guān)系型數(shù)據(jù)庫(kù)的有益補(bǔ)充關(guān)系型數(shù)據(jù)庫(kù)的不足：高并發(fā)讀寫性能低：關(guān)系型數(shù)據(jù)庫(kù)的性能和訪問承載能力，在面向單一數(shù)據(jù)節(jié)點(diǎn)的企業(yè)級(jí)應(yīng)用時(shí)代無(wú)可挑剔。但隨著數(shù)據(jù)量和節(jié)點(diǎn)急劇提升，已很難繼續(xù)支撐巨大的規(guī)模系統(tǒng)，甚至成為應(yīng)用系統(tǒng)的瓶頸；不適合儲(chǔ)存半結(jié)構(gòu)和非結(jié)構(gòu)類型數(shù)據(jù)：二維表格數(shù)據(jù)模型不能有效地處理多維數(shù)據(jù)，不能有效處理互聯(lián)網(wǎng)應(yīng)用中半結(jié)構(gòu)化和非結(jié)構(gòu)化的海量數(shù)據(jù)，如Web頁(yè)面、電子郵件、音頻、視頻等；容量有限：當(dāng)一個(gè)應(yīng)用系統(tǒng)的用戶量和訪問量與日俱增的時(shí)候，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)卻沒有辦法簡(jiǎn)單地通過(guò)添加更多的硬件和服務(wù)節(jié)點(diǎn)來(lái)擴(kuò)展性能和負(fù)載能力。NewSQL集成了NoSQL和關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)數(shù)據(jù)庫(kù)誕生于20C60s，前后經(jīng)歷了網(wǎng)狀數(shù)據(jù)庫(kù)、層次數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)、云數(shù)據(jù)庫(kù)、云原生數(shù)據(jù)庫(kù)。網(wǎng)狀數(shù)據(jù)庫(kù)：1964年，通用電氣公司發(fā)布世界上第一個(gè)網(wǎng)狀數(shù)據(jù)庫(kù)系統(tǒng)IDS(IntegratedDataStorage集成數(shù)據(jù)存儲(chǔ)），IDS是網(wǎng)狀數(shù)據(jù)庫(kù)，奠定了數(shù)據(jù)庫(kù)發(fā)展的基礎(chǔ)。層次數(shù)據(jù)庫(kù)：1968年，IBM發(fā)布世界上第一個(gè)層次數(shù)據(jù)庫(kù)系統(tǒng)IMS（InformationManagementSystem信息管理系統(tǒng)），是第一個(gè)大型商用的數(shù)據(jù)庫(kù)系統(tǒng)。關(guān)系型數(shù)據(jù)庫(kù)：1978年，第一個(gè)關(guān)系型數(shù)據(jù)庫(kù)Oracle1.0誕生，后續(xù)幾十年中關(guān)系型數(shù)據(jù)庫(kù)一直占據(jù)市場(chǎng)主導(dǎo)地位，直至移動(dòng)互聯(lián)網(wǎng)時(shí)代到來(lái)。NoSQL數(shù)據(jù)庫(kù)：隨著WEB2.0網(wǎng)站興起，NoSQL數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生，解決了大規(guī)模數(shù)據(jù)集合和多種數(shù)據(jù)類型的處理挑戰(zhàn)。數(shù)據(jù)庫(kù)應(yīng)用的發(fā)展趨勢(shì)：混合事務(wù)分析處理(HTAP)2014年，Gartner提出HTAP(HybridTransaction/AnalyticalProcessing)混合事務(wù)分析處理的概念。HTAP基于一體化架構(gòu)，是高度融合的一個(gè)系統(tǒng)，在技術(shù)上更難，但對(duì)事務(wù)的支持和數(shù)據(jù)的時(shí)效上更有保證，同時(shí)減少數(shù)據(jù)在鏈條流動(dòng)存在的多份數(shù)據(jù)冗余保存的負(fù)擔(dān)，節(jié)省了技術(shù)、人力、時(shí)間和數(shù)據(jù)同步成本。而如果用“OLTP+OLAP”模式，兩套系統(tǒng)讓遷移適配成本大幅上升，且為系統(tǒng)后續(xù)的開發(fā)和運(yùn)維帶來(lái)難處，同時(shí)也沒法保證對(duì)事務(wù)的支持能力和數(shù)據(jù)的時(shí)效。OLAP本身不生產(chǎn)數(shù)據(jù)，需通過(guò)對(duì)OLTP操作數(shù)據(jù)的轉(zhuǎn)化清洗遷移后，才可以進(jìn)行專題需求分析。數(shù)據(jù)庫(kù)架構(gòu)：從單機(jī)到分布式數(shù)據(jù)庫(kù)從早期的單機(jī)關(guān)系型數(shù)據(jù)庫(kù)到NoSQL再到如今的NewSQL，數(shù)據(jù)庫(kù)領(lǐng)域不管是場(chǎng)景還是技術(shù)都發(fā)生了巨大的變化。在當(dāng)下云原生時(shí)代，任何軟件系統(tǒng)擁有分布式能力似乎成了標(biāo)配。分布式數(shù)據(jù)庫(kù)繼承了傳統(tǒng)單機(jī)數(shù)據(jù)庫(kù)的核心特性，同時(shí)還擁有分布式系統(tǒng)的處理能力。分布式數(shù)據(jù)庫(kù)可水平擴(kuò)展、高性能、高可用、混合負(fù)載、更安全。數(shù)據(jù)庫(kù)架構(gòu)：分布式架構(gòu)的三條技術(shù)路線1、分布式中間件+單機(jī)數(shù)據(jù)庫(kù)：通過(guò)數(shù)據(jù)在邏輯層的線性切割實(shí)現(xiàn)性能和存儲(chǔ)容量的擴(kuò)展，但能力受單機(jī)數(shù)據(jù)庫(kù)自身制約。且移動(dòng)擴(kuò)展困難、數(shù)據(jù)遷移困難、運(yùn)維難度高。2、分布式存儲(chǔ)：大部分公有云數(shù)據(jù)庫(kù)都屬此類，以共享存儲(chǔ)和非對(duì)稱計(jì)算節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)一致性和讀寫分流，有限解決了擴(kuò)展性問題。如GaussDB(forMySQL)、TDSQL-C、SequoiaDB等。3、原生分布式數(shù)據(jù)庫(kù)：各計(jì)算節(jié)點(diǎn)提供對(duì)等的讀寫服務(wù)，TiDB、OceanBase、ZNBase等。數(shù)據(jù)庫(kù)部署：從本地到云部署據(jù)Gartner2021年數(shù)據(jù)庫(kù)產(chǎn)品提供商排名，Microsoft憑借云數(shù)據(jù)庫(kù)的后發(fā)優(yōu)勢(shì)，搶占了Oracle占據(jù)十年的榜首，前十名中有四家以云服務(wù)為主的企業(yè)，分別為Microsoft/Amazon/Google/阿里云。Gartner預(yù)測(cè)到2023年，全球75%的數(shù)據(jù)庫(kù)將完成云平臺(tái)的遷徙，僅有5%的數(shù)據(jù)保持在原本的本地部署。據(jù)中國(guó)信通院，2020年中國(guó)公有云數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模為107.68億元，后續(xù)5年公有云數(shù)據(jù)庫(kù)市場(chǎng)年復(fù)合增長(zhǎng)率將達(dá)到36.1%，預(yù)計(jì)到2025年，中國(guó)公有云數(shù)據(jù)庫(kù)市場(chǎng)總規(guī)模將達(dá)到503.31億元。2、國(guó)外數(shù)據(jù)庫(kù)市場(chǎng)主要玩家Microsoft：2020-2021蟬聯(lián)數(shù)據(jù)庫(kù)市場(chǎng)份額榜首1、Access：1992年推出的Access與專業(yè)數(shù)據(jù)庫(kù)比簡(jiǎn)單易用，但它又只支持有限的使用范圍。從2013年起，Access就已不再推新并不斷削減功能，如dBASE導(dǎo)入舊格式功能、數(shù)據(jù)遷移至SQLServer的升級(jí)向?qū)У龋?、SQLServer：至今為止已發(fā)布30+個(gè)版本，最新的MicrosoftSQLServer2019具有三大特性：核心引擎：SQLServer是HTAP混合負(fù)載能力的行業(yè)引領(lǐng)者，早在2017年的版本中就已實(shí)現(xiàn)了在單一引擎中對(duì)OLTP和OLAP工作負(fù)載的同時(shí)支撐；數(shù)據(jù)虛擬化：為維護(hù)在企業(yè)整體架構(gòu)中的核心地位，數(shù)據(jù)庫(kù)必須支持多模型多范式，針對(duì)客觀存在的異構(gòu)數(shù)據(jù)源，在傳統(tǒng)建立ETL通道外，數(shù)據(jù)虛擬化是更先進(jìn)的理念。Amazon：云原生數(shù)據(jù)庫(kù)鼻祖從云數(shù)據(jù)庫(kù)到云原生數(shù)據(jù)庫(kù)：近幾年隨著云基礎(chǔ)設(shè)施的高速發(fā)展，同時(shí)具有按需擴(kuò)展、按需付費(fèi)優(yōu)異特性的云數(shù)據(jù)庫(kù)獲得中小企業(yè)及互聯(lián)網(wǎng)客戶的青睞。然后云數(shù)據(jù)庫(kù)本質(zhì)不是針對(duì)云場(chǎng)景或云環(huán)境來(lái)設(shè)計(jì)或構(gòu)建的，只是用到了云的資源，因此存在一些天然的問題，比如存儲(chǔ)空間浪費(fèi)、計(jì)算資源浪費(fèi)、較大的恢復(fù)時(shí)間目標(biāo)和數(shù)據(jù)滯后、系統(tǒng)性能受限、網(wǎng)絡(luò)帶寬消耗大等，從而限制了業(yè)務(wù)發(fā)展。云原生數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。Oracle：關(guān)系型數(shù)據(jù)庫(kù)巨頭1970年，IBM研究員發(fā)表論文提出關(guān)系數(shù)據(jù)模型的概念,奠定了關(guān)系數(shù)據(jù)模型的理論基礎(chǔ)。1978年，LarryEllison在為中情局做數(shù)據(jù)項(xiàng)目時(shí)發(fā)現(xiàn)了關(guān)系數(shù)據(jù)庫(kù)的商機(jī)。同年Oracle1.0誕生，Oracle成為第一家銷售RDBMS軟件的公司，在1982年一年內(nèi)年收入就達(dá)到250萬(wàn)美元。IBM：傳統(tǒng)巨頭經(jīng)久不衰在傳統(tǒng)數(shù)據(jù)庫(kù)領(lǐng)域，海外廠商起步較早，包括Oracle、IBM、Microsoft等，通過(guò)早期不斷的技術(shù)積累和產(chǎn)品迭代主導(dǎo)了傳統(tǒng)數(shù)據(jù)庫(kù)市場(chǎng)，具有先發(fā)優(yōu)勢(shì)。IBM在1973年就啟動(dòng)SystemR項(xiàng)目來(lái)研發(fā)關(guān)系型數(shù)據(jù)庫(kù)，1983年發(fā)布商業(yè)版數(shù)據(jù)庫(kù)DB2。DB2代表了一組完整的數(shù)據(jù)管理系統(tǒng)，包括可在云環(huán)境中使用的服務(wù)器。早期DB2支持關(guān)系數(shù)據(jù)庫(kù)模型，但現(xiàn)在很多產(chǎn)品已經(jīng)擴(kuò)展為支持關(guān)系和非關(guān)系結(jié)構(gòu)。IBM在2019年為DB2制定的目標(biāo)是成為幫助增強(qiáng)認(rèn)知應(yīng)用程的人工智能數(shù)據(jù)庫(kù)，在數(shù)據(jù)庫(kù)產(chǎn)品中融入AI功能，幫助用戶跨本地和多云環(huán)境實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)管理，并加速他們的AI應(yīng)用程序開發(fā)。Gartner在2021年云數(shù)據(jù)庫(kù)管理系統(tǒng)魔力象限中再次將IBM提名為領(lǐng)導(dǎo)者。Snowflake：云原生時(shí)代下的獨(dú)立廠商云原生時(shí)代下，大數(shù)據(jù)的爆發(fā)帶來(lái)多元化需求，傳統(tǒng)數(shù)據(jù)庫(kù)廠商難以滿足各類復(fù)雜場(chǎng)景下的業(yè)務(wù)需求，一大批獨(dú)立廠商、初創(chuàng)廠商快速崛起。獨(dú)立廠商Snowflake于2012年成立，專注于數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)，主要應(yīng)用于分析類場(chǎng)景。Snowflake云數(shù)據(jù)平臺(tái)基于公有云實(shí)現(xiàn)智能基礎(chǔ)設(shè)施、產(chǎn)品彈性和優(yōu)化的存儲(chǔ)。核心產(chǎn)品數(shù)據(jù)倉(cāng)庫(kù)建立在云原生構(gòu)架上，創(chuàng)造存儲(chǔ)、計(jì)算以及管理服務(wù)分離的架構(gòu)，擺脫了傳統(tǒng)大廠數(shù)倉(cāng)架構(gòu)帶來(lái)的局限性，能夠滿足客戶對(duì)數(shù)據(jù)倉(cāng)庫(kù)并發(fā)性、易用性、擴(kuò)展性的訴求，確?？蛻粼诟鞣N分析場(chǎng)景下安全訪問數(shù)據(jù)，同時(shí)支持在AmazonAWS、MicrosoftAzure、GoogleCloud三大公有云進(jìn)行靈活部署，符合未來(lái)多云部署的發(fā)展趨勢(shì)。3、國(guó)內(nèi)數(shù)據(jù)庫(kù)市場(chǎng)及競(jìng)爭(zhēng)格局中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模及增速中國(guó)信通院測(cè)算，2020年全球數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模671億美元，其中中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)占全球5.2%，約35億美元。預(yù)計(jì)到2025年，全球數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模將達(dá)到798億美元。中國(guó)IT總支出在全球占比為12.3%。預(yù)計(jì)2025年中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)在全球的占比接近中國(guó)IT支出在全球的占比，因此2025年中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)總規(guī)模將達(dá)到688億元，年復(fù)合增長(zhǎng)率（CAGR）23.4%。國(guó)產(chǎn)數(shù)據(jù)庫(kù)市占率持續(xù)擴(kuò)大根據(jù)IDC數(shù)據(jù)，2021年下半年國(guó)內(nèi)數(shù)據(jù)庫(kù)廠商在關(guān)系型數(shù)據(jù)庫(kù)市場(chǎng)的市占率繼續(xù)擴(kuò)大。其中公有云模式市場(chǎng)前五有三家國(guó)內(nèi)廠商，兩家海外廠商份額均下降，騰訊、華為市場(chǎng)份額都擴(kuò)大。在本地部署模式市場(chǎng)，國(guó)內(nèi)廠商正在快速追趕Oracle、IBM等海外廠商。達(dá)夢(mèng)市場(chǎng)份額擴(kuò)大接近一倍；人大金倉(cāng)過(guò)去一年在政府行業(yè)獲得大量訂單；華為在政企、金融行業(yè)也獲得突破?？傮w國(guó)內(nèi)廠商的份額不斷擴(kuò)大。國(guó)內(nèi)，達(dá)夢(mèng)、人大金倉(cāng)等是老牌數(shù)據(jù)庫(kù)廠商，PingCAP是初創(chuàng)廠商代表，憑借開源數(shù)據(jù)庫(kù)TiDB在市場(chǎng)中占據(jù)一定份額。國(guó)內(nèi)阿里云OceanBase和PolarDB，華為云openGauss和GaussDB則紛紛乘云而上。PingCAP：不同于老牌廠商的定位受到化的影響，PingCAP、Sequoia、易鯨捷等初創(chuàng)廠商紛紛涌入數(shù)據(jù)庫(kù)市場(chǎng)，國(guó)產(chǎn)廠商陣營(yíng)日漸強(qiáng)大。2022年，PingCAP入選Gartner云數(shù)據(jù)庫(kù)領(lǐng)域的PeerInsights“VoiceoftheCustomer”，成為唯一入選的中國(guó)企業(yè)級(jí)開源分布式數(shù)據(jù)庫(kù)廠商，并在StrongPerformer象限位列第一。公司旗下的TiDB數(shù)據(jù)庫(kù)獲得94%全球用戶的高度認(rèn)可。阿里：OceanBase&PolarDBOceanBase是全球唯一在TPC-C和TPC-H測(cè)試上都刷新了