云原生數(shù)據(jù)庫重塑企業(yè)基礎設施-云原生數(shù)據(jù)庫產(chǎn)業(yè)發(fā)展與行業(yè)應用白皮書 2024

重塑企業(yè)基礎設施 第二章數(shù)據(jù)庫×云原生全面助力企業(yè)IT基礎設施升級 5.3移動云原生數(shù)據(jù)庫產(chǎn)品能力與應用案例 PART01企業(yè)IT基礎設施發(fā)展大模型開啟了通用人工智能（AGI）的新時代，各行各業(yè)正在以前所未有的速度進行產(chǎn)業(yè)升級和變革。在數(shù)智化加速轉型的過程中，企業(yè)力求通過技術革新提升運營效率，加快市場響應速度，持續(xù)強化企業(yè)創(chuàng)新能力，確保自身能夠在激烈的市場競爭中占據(jù)有利地位。企業(yè)IT基礎設施作為支撐數(shù)智化轉型的關鍵力1.1數(shù)智化發(fā)展對企業(yè)IT基礎設施提出新要求AI時代對企業(yè)IT基礎設施提出了一系列新要求。各行業(yè)的轉型升級需求旺盛，新的數(shù)字經(jīng)濟產(chǎn)業(yè)也在快速發(fā)展，新業(yè)態(tài)、新模式層出不窮，企業(yè)IT基礎設施必須在AI時代快速實現(xiàn)自我革新，確保企業(yè)的發(fā)展戰(zhàn)略能夠全面落實到創(chuàng)新實AI時代的用戶需要基礎設施提供更靈活的按需服務能力。其應用場景將更加復雜多樣，需要根據(jù)動態(tài)需求情況靈活調用組件，并快速增減計算、網(wǎng)絡、存儲AI時代也將不斷挑戰(zhàn)各基礎設施的運行效率極限。因為AI的大數(shù)據(jù)、大算力需求特性，加之算力的高成本和復雜多樣性，對不同基礎設施資源的一體化管理和優(yōu)化加速將變得十分重要。對用戶來說，計算效率的提升意味著對綜合成本的大幅優(yōu)化。此外，伴隨AI原生應用需求的不斷豐富和迭代速度的快速增加，不同目前，對海量業(yè)務數(shù)據(jù)的管理、處理與分析是企業(yè)必備的核心能力之一。面對海量數(shù)據(jù)的實時處理需求，企業(yè)IT基礎設施必須能夠具備快速響應業(yè)務的能力，確保數(shù)據(jù)處理和分析的時效性與準確性。彈性可伸縮的池化基礎設施資源，使得企業(yè)在處理海量數(shù)據(jù)時更加游刃有余，顯著提升對業(yè)務的洞察能力和敏捷響同時，AI大模型訓練對相關數(shù)據(jù)集的數(shù)據(jù)質量和加工效率有極高要求，基礎設施應能夠提供全流程的數(shù)據(jù)準備、清洗、標注和存儲服務，以確保AI訓練目標的按期達成。以云為支撐的基礎資源需要應對大規(guī)模數(shù)據(jù)存儲和處理挑戰(zhàn)，以滿AI正在與更多的數(shù)字化技術和數(shù)字化流程快速融合。企業(yè)IT服務變得更加多樣，云、數(shù)據(jù)、組件以及應用的種類和數(shù)量都在快速增加，給管理帶來了許多新的困難。在基礎設施管理中使用更多的AI算法，用于優(yōu)化資源配置、洞察系統(tǒng)性例如AI根據(jù)計算任務的特性，對任務進行靈活切分，并自動匹配計算資源，確保各分子任務之間的高效協(xié)同，避免局部等待和空轉造成的浪費。AI算法也可AI時代的企業(yè)IT基礎設施必須構建更加嚴密的多重防御和動態(tài)防御體系。特別是在數(shù)據(jù)要素市場化的大背景下，大量數(shù)據(jù)在云端被存儲和使用，云基礎設施必須根據(jù)需要，實施面向全流程的數(shù)據(jù)安全保障措施和可信計算環(huán)境，并從技術和管理機制上保障數(shù)據(jù)的合規(guī)使用，避免數(shù)據(jù)泄露和越權使用帶來的安全和法律1.2企業(yè)IT基礎設施的新趨勢企業(yè)IT基礎設施將全面引入智能化能力體系，將更多的技術與傳統(tǒng)的基礎設施進行深度融合，并通過對基礎設施的持續(xù)升級和重構，提升整體規(guī)模、性能和云原生化將成為企業(yè)IT基礎設施的主流發(fā)展趨勢。云原生基于分布式部署架構，通過容器化、微服務、自動化運維等一系列技術手段，讓企業(yè)的IT基礎設施具備高度的靈活性、可擴展性和可用性。云原生架構的IT基礎設施能夠更加快速地響應業(yè)務需求變化，實現(xiàn)資源的快速部署、開通和釋放，提供極致的彈性、敏捷體驗。同時，云原生架構通常會采用更完善的資源解耦、Serverless、容錯設計和故障恢復機制，并提供豐富的監(jiān)控和日志功能，可以更加細粒度地診斷和排大模型將帶來更多的企業(yè)AI原生應用開發(fā)和使用需求，企業(yè)需要考慮為AI訓練、推理和AI數(shù)據(jù)集的存儲、管理、使用提供更佳的基礎設施環(huán)境支撐，為了應對海量數(shù)據(jù)的分析、處理需求，基礎設施的并行訪問效率和網(wǎng)絡的協(xié)同管理等都域技術資源的整合，打造企業(yè)數(shù)智化生態(tài)，幫助企業(yè)全面提升創(chuàng)新能力，形成運在AI時代，大規(guī)模集群計算將成為常態(tài)。大模型的千卡、萬卡級協(xié)同訓練，率、運行效率以及穩(wěn)定性。算網(wǎng)融合有非常廣泛的應用場景，在交通、醫(yī)療、制成本、體驗最優(yōu)；疊加AI、大數(shù)據(jù)等能力要素，形成多要素融合的一體化服務，用戶不用關心資源類型和位置，一點接入，隨需申請，隨需使隨著建設時間的積累，未來的企業(yè)IT基礎設施內(nèi)容將更加多元：在時間維度上呈現(xiàn)為不同時期的軟硬件系統(tǒng)；在技術棧維度囊括了基礎云、智能算力、數(shù)據(jù)、組件、應用等一系列廣義上的數(shù)字資源；在空間維度上以混合云、多云的形籌，施行一體化管理是很多企業(yè)需要重點對待的問題。一體化管理既能夠實現(xiàn)資源上的集約，也可以保障不同系統(tǒng)之間的充分共享協(xié)同。在一體化管理的基礎PART02數(shù)據(jù)庫×云原生全面助力企業(yè)IT基礎設施升級AI時代給企業(yè)IT基礎設施帶來了新機遇、新挑戰(zhàn)。數(shù)據(jù)庫作為現(xiàn)代信息系統(tǒng)中的核心和關鍵組成，是企業(yè)IT基礎設施的重要能力呈現(xiàn)，對業(yè)務的穩(wěn)定、高效運行起到至關重要的決定性作用。企業(yè)的所有業(yè)務行為都將具象至對數(shù)據(jù)的定義、操作、分析和維護管理操作過程。同時，通過對數(shù)據(jù)的進一步匯聚、存儲、治理、分析和利用，企業(yè)可以持續(xù)積累數(shù)據(jù)資產(chǎn)，并推動以業(yè)務場景為導向的數(shù)據(jù)服務能力發(fā)展。因此，以數(shù)據(jù)庫為核心的全棧能力升級成為未來業(yè)務創(chuàng)新發(fā)展2.1數(shù)據(jù)庫產(chǎn)品正面臨日益緊迫的多維度提升需求隨著各行業(yè)創(chuàng)新升級進程的加速，企業(yè)內(nèi)不同業(yè)務的一體化融合趨勢持續(xù)凸顯，交易型業(yè)務和分析型業(yè)務的界限正在日漸模糊。在當前的大模型時代，數(shù)據(jù)庫的發(fā)展已經(jīng)與人工智能、云計算、區(qū)塊鏈等一系列新技術密切關聯(lián)，數(shù)據(jù)庫廠商需要進一步洞察大模型時代的企業(yè)業(yè)務形態(tài)、商業(yè)模式和生態(tài)需求，圍繞數(shù)據(jù)數(shù)據(jù)形態(tài)日趨多樣：AI賦能的企業(yè)創(chuàng)新業(yè)務帶來了更加多樣的數(shù)據(jù)類型和數(shù)據(jù)關聯(lián)，圖片、視頻、語音等多模態(tài)數(shù)據(jù)的大量產(chǎn)生和使用，使企業(yè)必須認真考慮不同類型的數(shù)據(jù)庫需求的統(tǒng)籌和融合問題。無論結構化數(shù)據(jù)、非結構化數(shù)據(jù)，還是OLTP、OLAP，都需要數(shù)據(jù)庫體系提供統(tǒng)一、高效、穩(wěn)定、可技術需求持續(xù)提升：傳統(tǒng)結構化數(shù)據(jù)的屬性變得越來越復雜多樣，對數(shù)據(jù)庫的查詢、操作性能提出了更高的要求。隨著企業(yè)業(yè)務規(guī)模的快速膨脹，數(shù)據(jù)庫的并發(fā)性能和峰值支撐能力都變得極為重要。此外，創(chuàng)新型業(yè)務普遍要求灰度發(fā)布、快速迭代，數(shù)據(jù)庫需要應對更為嚴苛的彈性伸縮能力和敏捷部署系統(tǒng)間協(xié)同與互操作：高水平的數(shù)據(jù)庫設計可以大幅提升企業(yè)信息系統(tǒng)間的協(xié)同和互操作能力。不同系統(tǒng)之間通過數(shù)據(jù)庫實現(xiàn)共享與交互，破除信息孤島。企業(yè)也可以通過數(shù)據(jù)庫對不同業(yè)務進行整合和一體化管理，形成多維業(yè)新技術帶來新變革：云計算、大數(shù)據(jù)、區(qū)塊鏈與AI的發(fā)展，給數(shù)據(jù)庫產(chǎn)品的發(fā)展變革帶來強勁的影響力和推動力。例如，云技術提升靈活性與可擴展性，滿足容災和高可用設計要求。大數(shù)據(jù)技術帶來更多類型數(shù)據(jù)庫的需求，加速數(shù)據(jù)庫和大數(shù)據(jù)的融合發(fā)展。區(qū)塊鏈、隱私計算等幫助企業(yè)在復雜業(yè)務需求下實現(xiàn)數(shù)據(jù)可信、可追溯和完整性保護。AI在帶來新需求的同時，也為安全與合規(guī)：在數(shù)據(jù)要素市場化的大背景下，企業(yè)數(shù)據(jù)交易需求正在快速增未來，數(shù)據(jù)要素將成為企業(yè)最重要的資產(chǎn)。現(xiàn)代企業(yè)數(shù)據(jù)庫的高效、穩(wěn)定運行，不僅直接影響企業(yè)自身的健康運營和持續(xù)創(chuàng)新發(fā)展，也關系到不同機構間信任和協(xié)同關系的建立。高效的數(shù)據(jù)基礎設施建設和數(shù)據(jù)流通保障，將推動整個社2.2云原生架構助力數(shù)據(jù)庫能力躍升撬動企業(yè)深層業(yè)務需求數(shù)據(jù)庫對多模態(tài)、智能化和高性能等發(fā)展方向的支撐，將進一步體現(xiàn)在分布式一體化架構、自動化和智能化管理、靈活可擴展、安全合規(guī)以及高可用等設計中。為滿足上述要求，數(shù)據(jù)庫的云原生化將成為當前和未來數(shù)據(jù)庫發(fā)展的確定性本地部署模式公有云模式在IDC2023-2028中國關系型數(shù)據(jù)庫市場規(guī)模統(tǒng)計與預測數(shù)據(jù)中，公有云模式的市場份額將持續(xù)增長，年均復合增長率可達24.5%，遠高于本地化部署模式的增長率。隨著互聯(lián)網(wǎng)行業(yè)的減速，其整體對云服務的采購量出現(xiàn)下降，將使公有云數(shù)據(jù)庫的增速放緩，而傳統(tǒng)企業(yè)業(yè)務上云、行業(yè)云原生應用的發(fā)展將繼續(xù)驅由于企業(yè)和政府IT投資緊縮，2023年以來本地部署模式的數(shù)據(jù)庫增速下降明顯。IDC預計，本地部署數(shù)據(jù)庫市場增速將在2025年恢復到正常水平，分布式關020232023-2028CAGR:總體市場:20.9%公有云模式:24.5%傳統(tǒng)部署模式:134%基于云原生架構的數(shù)據(jù)庫天生具備云環(huán)境的分布式和存算分離架構優(yōu)勢，可以有效實現(xiàn)基于云的高可用、低成本服務，為用戶提供極致的彈性伸縮能力、Serverless特性和其他一系列高價值服務。更為重要的是，云原生數(shù)據(jù)庫能夠幫助企業(yè)將業(yè)務系統(tǒng)與云上組件、服務和其他系統(tǒng)進行快速集成，輕松實現(xiàn)在線聯(lián)分布式架構：云原生數(shù)據(jù)庫通常具備天然的分布式架構，對規(guī)?；臉I(yè)務數(shù)彈性伸縮能力：構建在云原生基礎設施上的數(shù)據(jù)庫系統(tǒng)能夠提供極致的彈性伸縮能力，包括根據(jù)工作負載情況快速增加和減少服務資源，實現(xiàn)自動化的資源管理，這將極大地提升數(shù)據(jù)庫乃至整個業(yè)務系統(tǒng)應對企業(yè)創(chuàng)新業(yè)務的復雜外部訪問變化，確保在日常運行和業(yè)務峰值期間都能夠保持高訪問性能和高可用性和容災：云原生數(shù)據(jù)庫通常采用數(shù)據(jù)冗余備份以及細粒度故障監(jiān)測、故障轉移、故障自動修復等技術，確保在發(fā)生故障時數(shù)據(jù)不出錯、不丟失，并有快速恢復服務的能力。同時，云原生數(shù)據(jù)庫一般支持跨地域的容災方案設計，利用異地備份和快速啟動能力，保障事故、災害發(fā)生時盡快恢復自動化管理與運維：云原生數(shù)據(jù)庫廣泛采用自動化管理和運維工具，實現(xiàn)包括運行監(jiān)控、優(yōu)化、備份和故障恢復等環(huán)節(jié)。這些自動化管理運維能力能夠大幅提升運維效率，減少錯誤發(fā)生，并顯著降低綜合運營成本。目前，人工智能和機器學習技術也已經(jīng)應用在數(shù)據(jù)庫的管理維護過程中，例如利用機器與AI技術深度融合：云原生數(shù)據(jù)庫將融入更多的智能化技術和組件，通過深度學習技術理解和挖掘數(shù)據(jù)特性，幫助企業(yè)更準確、更快速地洞察業(yè)務機會，動態(tài)調整運營計劃。AI原生應用帶來的多模態(tài)數(shù)據(jù)類型也將推動云原生支持多云和跨云訪問：企業(yè)上云進程中產(chǎn)生了普遍性的混合云和多云環(huán)境，以滿足不同時期、不同特性的業(yè)務訪問需求。云原生數(shù)據(jù)庫須能夠支持跨云部署，并在多個云平臺上進行無縫遷移和擴展，這有利于企業(yè)獲得更多、更更全面的安全合規(guī)保障：新一代的云原生數(shù)據(jù)庫將依托云上的多重安全保障數(shù)據(jù)庫的云原生發(fā)展趨勢將緊密圍繞AI時代企業(yè)轉型升級和快速創(chuàng)新的需求，通過與云技術的融合創(chuàng)新和協(xié)同發(fā)展，支持企業(yè)快速開發(fā)AI原生應用場景，2.3AI工作負載對云原生數(shù)據(jù)庫的新要求AI時代，以大模型應用為代表的AI工作負載，對云原生數(shù)據(jù)庫的發(fā)展提出了一些新的要求，旨在保證數(shù)據(jù)庫系統(tǒng)能夠高效、穩(wěn)定地支撐未來AI應用的運行，極致訪問性能：AI工作負載往往與規(guī)?；臄?shù)據(jù)處理密切相關，數(shù)據(jù)庫持續(xù)穩(wěn)定的高吞吐能力非常重要，能夠幫助企業(yè)用戶在AI應用中通過并發(fā)模式處理大量數(shù)據(jù)服務請求。同時，很多交互式AI應用（例如通過自然語言進行查詢和數(shù)據(jù)統(tǒng)計）非常強調實時性，對數(shù)據(jù)訪問的延遲時間有嚴苛要求，其性智能調度與優(yōu)化：為了適應AI應用的訪問特性，云原生數(shù)據(jù)庫需要具備智能調度與優(yōu)化能力，即根據(jù)AI工作負載的特性動態(tài)分配資源，優(yōu)化資源利用率和系統(tǒng)性能。同時通過對應用運行狀態(tài)的監(jiān)測，自主調整索引策略和配置參多樣化的數(shù)據(jù)服務接口：除能夠支持多種數(shù)據(jù)類型外，為了讓AI應用更容易集成和調用各類資源，數(shù)據(jù)庫需要支持多種編程語言和框架，并提供豐富的PART03云原生數(shù)據(jù)庫典型場景和核心優(yōu)勢3.1企業(yè)數(shù)據(jù)庫現(xiàn)狀調研IDC對當前企業(yè)使用數(shù)據(jù)庫的情況進行了調研?？傮w上看，大量企業(yè)正在從傳統(tǒng)數(shù)據(jù)庫向基于云的數(shù)據(jù)庫進行技術變革和架構升級。這也預示著云原生數(shù)據(jù)混合架構部署是當前數(shù)據(jù)庫部署方式。IDC調研顯示，參與本次調研的企業(yè)中，46.7%的企業(yè)采用了混合部署（公有云和私有云、公有云和本地部署的混合）的方式，私有云和本地部署的企業(yè)各占35%和18.3%，尚沒有在公有云上部88%企業(yè)在談及使用數(shù)據(jù)庫的挑戰(zhàn)時，普遍擔心單體數(shù)據(jù)庫不能滿足海量數(shù)據(jù)規(guī)模，特別是面對海量非結構化數(shù)據(jù)時，企業(yè)對性能、可用性和安全性都有許許多從云數(shù)據(jù)庫的部署及花費層面看，73.3%的企業(yè)都已經(jīng)部署了云數(shù)據(jù)庫，且企業(yè)對云數(shù)據(jù)庫的預期場景包括數(shù)據(jù)存儲、應用開發(fā)、ERP應用等，對數(shù)據(jù)企業(yè)資源管理(ERP)企業(yè)資源管理(ERP)企業(yè)對云數(shù)據(jù)庫的引入也存在很多顧慮，數(shù)據(jù)遷移及可擴展性與靈活性等成為最大挑戰(zhàn)。例如，企業(yè)在使用云數(shù)據(jù)庫時，最為擔心的包括數(shù)據(jù)遷移、性能、可擴展性、一致性以及安全性等問題。在進入云數(shù)據(jù)庫部署階段時，企業(yè)需要進一步考慮應用系統(tǒng)升級以及數(shù)據(jù)遷移的挑戰(zhàn)，在這個過程中，企業(yè)普遍擔心缺乏性能與延遲問題性能與延遲問題(數(shù)據(jù)遷移、數(shù)據(jù)一致性和完整性、停機時間等)需要對原有應用系統(tǒng)進行升級改造(數(shù)據(jù)遷移、數(shù)據(jù)一致性和完整性、停機時間等)需要對原有應用系統(tǒng)進行升級改造供應商依賴較為嚴重，遷移和部署存在困難23.3%云數(shù)據(jù)庫的可拓展性、集成性和兼容性是企業(yè)關注的重要維度，同時企業(yè)也 集成性強：可與其他云服務（數(shù)據(jù)分析、機器學習41.7%人工智能和大模型成為推動云數(shù)據(jù)庫發(fā)展的相關技術。受訪企業(yè)普遍認為人工智能、大模型、大數(shù)據(jù)等技術將對云數(shù)據(jù)庫市場需求產(chǎn)生影響，包括對功能、 物聯(lián)網(wǎng)在進入實際選型階段時，企業(yè)一般關心服務商的實施經(jīng)驗和成功案例，并期望對服務商的市場地位、技術水平、生態(tài)系統(tǒng)兼容性、服務響應速度等進行評估。此外，服務商的前期咨詢規(guī)劃能力也十分重要，這有利于為企業(yè)用戶構建一%3.2云原生數(shù)據(jù)庫特性與通用場景云原生數(shù)據(jù)庫專為云環(huán)境設計，具備自動擴縮資源、算網(wǎng)資源協(xié)同、存算分離、Serverless、容器化部署、高可用性、數(shù)據(jù)安全、多數(shù)據(jù)模態(tài)和多編程語言支持等多種特性，為企業(yè)各種復雜和多樣化的業(yè)務場景提供性能強大、高可用性和可擴展的數(shù)據(jù)服務。通常情況下，云原生數(shù)據(jù)庫能夠在以下的企業(yè)通用場景中云原生數(shù)據(jù)庫得益于其分布式架構和存算分離的技術特點，能夠在高并發(fā)訪問場景下有效分散數(shù)據(jù)庫讀寫壓力，輕松應對大并發(fā)量的突發(fā)流量高峰。在存算分離設計下，數(shù)據(jù)存儲和數(shù)據(jù)計算功能分屬不同的系統(tǒng)模塊，兩者可以獨立進行倉容器化部署，承載高彈性流量云原生技術體系下對于組件的容器化部署，使各類資源更加輕量化，擁有快速響應業(yè)務的能力。云原生數(shù)據(jù)庫系統(tǒng)能夠根據(jù)工作負載動態(tài)地調整計算和存儲AI時代的企業(yè)創(chuàng)新業(yè)務可能涉及不同的數(shù)據(jù)模型和編程語言，并包含不同類型的關系型數(shù)據(jù)和非關系型數(shù)據(jù)。云原生數(shù)據(jù)庫首先應能夠適配當前企業(yè)較為普遍的湖倉一體設計，支持對關系型數(shù)據(jù)庫、非關系型數(shù)據(jù)庫、大數(shù)據(jù)平臺和對象存儲等數(shù)據(jù)源的連接和共享，結合強大的擴展能力和靈活性，幫助企業(yè)更好地開展AI模型的訓練和推理工作。同時，云原生的Serverless特性讓數(shù)據(jù)庫用戶無需云原生數(shù)據(jù)庫的分布式架構以及依托高性能網(wǎng)絡的高效數(shù)據(jù)處理引擎，能夠確保對規(guī)模化數(shù)據(jù)處理的高吞吐量和低延遲，這對于一些對時延非常敏感的在線事務處理和實時數(shù)據(jù)分析場景非常重要。云原生數(shù)據(jù)庫還可以借助AI輔助策略，動態(tài)優(yōu)化網(wǎng)絡協(xié)同模式和數(shù)據(jù)訪問路徑，從而進一步提升海量數(shù)據(jù)的處理能力，云原生數(shù)據(jù)庫能夠依托混合云、多云架構以及云的多Region、多AZ服務能力，為用戶的多環(huán)境、多區(qū)域部署提供更多的方案選擇，滿足不同類型用戶（特別是大型企業(yè)）的業(yè)務需求。企業(yè)可以根據(jù)實際需要，對業(yè)務以及數(shù)據(jù)庫進行跨機房、跨地域部署，利用云原生數(shù)據(jù)庫的跨環(huán)境、跨區(qū)域數(shù)據(jù)同步能力，構建多活和容災場景，并最終落實到具體的部署方案中。在多云、混合云架構部署方式云的統(tǒng)一管理平臺能夠為云原生數(shù)據(jù)庫提供一體化的管理和智能化維護能力，通過細粒度的監(jiān)控和管理界面，用戶可以隨時掌握數(shù)據(jù)庫的運行狀態(tài)，根據(jù)業(yè)務情況自動調整資源，優(yōu)化服務路徑。此外，云原生數(shù)據(jù)庫自身的訪問控制、故障檢測和日志審計能力也可以與云平臺進行打通，實現(xiàn)數(shù)據(jù)庫的內(nèi)、外部融合云原生數(shù)據(jù)庫充分利用云的彈性擴展和智能化管理能力，讓企業(yè)用戶動態(tài)調整資源使用量，享受云的按需付費優(yōu)勢，大幅降低資源的閑置浪費情況。智能化的管理和優(yōu)化能力，也能夠提升IT系統(tǒng)整體的穩(wěn)定性和效率，在很大程度上降低3.3云原生數(shù)據(jù)庫的典型行業(yè)場景云原生數(shù)據(jù)庫的分布式架構和高可用特性，非常適合在政企、金融、泛互聯(lián)政企領域應用非常看重業(yè)務數(shù)據(jù)的安全性和穩(wěn)定性。尤其是近年來，以互聯(lián)網(wǎng)+政務服務為代表的數(shù)字政府建設，推出了大量面向廣大百姓的交互式服務，更是將通用AI能力融入服務環(huán)節(jié)中。云原生數(shù)據(jù)庫對保障數(shù)字政府業(yè)務向規(guī)模金融行業(yè)對數(shù)據(jù)的安全性和實時性要求極高。云原生數(shù)據(jù)庫能夠提供快速的數(shù)據(jù)訪問和高效的交易處理能力，支持高并發(fā)交易場景，如保險渠道銷售、證券工業(yè)制造領域的各類傳感器會產(chǎn)生大量的實時數(shù)據(jù)，云原生數(shù)據(jù)庫能夠快速讀取、存儲和分析這些數(shù)據(jù)，為相關的生產(chǎn)、經(jīng)營管理提供數(shù)據(jù)支持，并進一步交通、物流領域需要處理包括人、車、物流動過程中的大量實時數(shù)據(jù)，并實現(xiàn)控制信號優(yōu)化、資源調度、時效預測等能力。云原生數(shù)據(jù)庫能夠更好地支持資云原生數(shù)據(jù)庫能夠支撐電商平臺的巨大峰值訪問量和交易量，利用高彈性的資源管理能力，確保用戶高效率、低成本、高可靠地達成商業(yè)化目標。目前的新媒體平臺也需要云原生數(shù)據(jù)庫的多模態(tài)數(shù)據(jù)存儲和處理能力，對海量的圖片、視醫(yī)療行業(yè)的電子病歷、醫(yī)療影像、藥物管理等信息種類多、規(guī)模大，在診斷、病情管理、醫(yī)療研究、智能診斷等領域，對數(shù)據(jù)存儲、處理的實時性、安全性、穩(wěn)定性都有很高的要求。云原生數(shù)據(jù)庫對推動醫(yī)療場景的電子化、智能化進游戲行業(yè)需要處理大量玩家的實時交互數(shù)據(jù)，云原生數(shù)據(jù)庫的高并發(fā)、低延PART04云原生數(shù)據(jù)庫技術最新進展和發(fā)展趨勢近年來，云原生數(shù)據(jù)庫在彈性伸縮、高可用性和智能化管理運維方面都取得存算分離、數(shù)據(jù)一致性等技術的協(xié)同發(fā)展過程中，正在承載越來越多樣的企業(yè)創(chuàng)新應用。特別是伴隨AI和機器學習技術的快速突破，云原生數(shù)據(jù)庫將進一步獲得4.1AI助力，讓云原生數(shù)據(jù)庫更智能AI應用對數(shù)據(jù)庫提出了更多需求，但同時，AI的發(fā)展也會推動云原生數(shù)據(jù)庫技術的持續(xù)進步。AI不僅能夠對數(shù)據(jù)庫管理、運維環(huán)節(jié)進行智能化改造，提升數(shù)據(jù)庫的性能和效率，還通過與數(shù)據(jù)分析、挖掘過程的結合，給用戶帶來更多的能AI優(yōu)化數(shù)據(jù)庫訪問能力：例如改善檢索策略，優(yōu)化查詢路徑，實現(xiàn)更快速地查詢和操作。AI技術可以幫助云原生數(shù)據(jù)庫更精確地預測用戶行為，從而合AI優(yōu)化數(shù)據(jù)庫管理與維護：AI算法能夠深度洞察數(shù)據(jù)庫的服務狀態(tài)，合理調度并保持各類訪問狀態(tài)下的負載均衡。基于AI的預測性維護技術，能夠提前AI增強數(shù)據(jù)安全防護能力：AI技術能夠幫助云原生數(shù)據(jù)庫提升數(shù)據(jù)安全性和隱私保護能力，例如持續(xù)學習和發(fā)現(xiàn)異常訪問行為，阻止?jié)撛诘陌踩{，AI優(yōu)化數(shù)據(jù)模型選擇：云原生數(shù)據(jù)庫可以通過對AI算法的集成，幫助用戶智能選擇適合當前應用的數(shù)據(jù)模型和數(shù)據(jù)集，并輔助完成數(shù)據(jù)切片工作，在處性能優(yōu)化：AI技術可以應用于數(shù)據(jù)庫的性能優(yōu)化，如基于學習模型的優(yōu)化器、索引推薦、自動視圖生成、機器學習索引等。通過對歷史數(shù)據(jù)的分析和學習，AI能夠優(yōu)化數(shù)據(jù)庫性能，提高查詢速度和吞吐量，根據(jù)業(yè)務需求自動4.2與向量能力的深度結合隨著AI處理需求的快速提升，云原生數(shù)據(jù)庫開始與向量能力結合，進一步提適用更廣泛的應用場景：云原生數(shù)據(jù)庫結合向量能力，可以幫助企業(yè)處理和分析大規(guī)模、高維度的向量數(shù)據(jù)，在機器學習、計算機視覺、自然語言處提供更高效的數(shù)據(jù)處理能力：向量化技術有助于云原生數(shù)據(jù)庫更加高效地完成包括相似性計算和聚類分析在內(nèi)的復雜功能，增強AI應用中對關聯(lián)數(shù)據(jù)的分析效率和準確性。智能化的數(shù)據(jù)管理也能賦能數(shù)據(jù)清洗、去重、分類等過與更多業(yè)務平臺實現(xiàn)無縫集成：云原生數(shù)據(jù)庫將借助云平臺的能力與更多的業(yè)務服務進行無縫集成，實現(xiàn)復雜數(shù)據(jù)類型情況下的便捷共享和交換，幫助4.3全局數(shù)據(jù)庫實現(xiàn)跨地域部署和多級高可用未來，跨區(qū)域的虛擬組織和全球業(yè)務將大量出現(xiàn)，跨區(qū)域的部署也將成為常態(tài)。云原生數(shù)據(jù)庫將實現(xiàn)不同地域部署節(jié)點間的全局一體化能力，讓全國乃至世界各地的用戶都能就近訪問同一個全局數(shù)據(jù)庫，不同節(jié)點之間的數(shù)據(jù)將實現(xiàn)秒級同步。在滿足跨區(qū)域業(yè)務的同時，通過將數(shù)據(jù)備份到相距更遠的不同區(qū)域，企業(yè)將獲得更強的抵御災難的能力。在這個過程中，數(shù)據(jù)庫的跨區(qū)域同步機制非常重要，這些機制可以保障企業(yè)數(shù)據(jù)在不同區(qū)域間的一致性，并在單個屬地發(fā)生故障4.4Serverless和智能彈性助力降本增效云原生數(shù)據(jù)庫是云計算技術體系中的重要PaaS產(chǎn)品。其建立了高效率、低成本、高可用的數(shù)據(jù)庫服務新模式，使數(shù)據(jù)庫技術更加普惠，覆蓋至更廣大的中小企業(yè)群體。Serverless技術作為新一代云原生數(shù)據(jù)庫的代表，讓用戶無需關心服務器的配置、維護和擴展等問題，實現(xiàn)按需付費，給用戶帶來極大的靈活性和成本效益。Serverless架構能夠根據(jù)應用程序的需求自動進行資源的擴縮，實現(xiàn)高效的資源利用，并通過高可用性和容錯能力，提供高可靠性的less能大幅改善企業(yè)用戶的開發(fā)效率、運營成本、部署速度、可靠性等指標，覆4.5多級HTAP釋放企業(yè)數(shù)據(jù)潛能HTAP（混合事務/分析處理）作為一種新興的體系架構，打破了傳統(tǒng)數(shù)據(jù)庫系統(tǒng)中事務處理（OLTP）和分析處理（OLAP）之間的壁壘，使用戶在保持數(shù)據(jù)高訪問性能的前提下，兼顧對數(shù)據(jù)的實時處理和分析操作，滿足企業(yè)對于實時數(shù)據(jù)處理和復雜分析的多維需求。云原生數(shù)據(jù)庫通過對存儲結構的優(yōu)化，以及對查詢引擎以及事務管理機制等方面的改善性設計，實現(xiàn)對混合工作負載更加高效的支撐。云原生數(shù)據(jù)庫還可以進一步結合AI算法和分層設計，對存儲、計算、調度PART05構建一站式云原生數(shù)據(jù)服務基礎設施5.1移動云在云數(shù)據(jù)庫方面的發(fā)展脈絡與成果展示移動云立足當前云服務商第一陣營，入選國資委首批“創(chuàng)建世界一流專業(yè)領軍示范企業(yè)”名單，開啟“成為一流云服務商”的新征程。移動云數(shù)據(jù)庫團隊于十年前正式誕生，以實現(xiàn)數(shù)據(jù)庫核心技術自主可控為目標，構建了完整的產(chǎn)品和移動云一站式云原生數(shù)據(jù)庫服務基于數(shù)據(jù)庫統(tǒng)一云原生平臺底座，在數(shù)據(jù)庫服務層面囊括了事務型、分析與檢索型以及NoSQL等多種類型的數(shù)據(jù)庫服務能事務型數(shù)據(jù)庫：包含云原生數(shù)據(jù)庫MySQL版、PostgreSQL版、分布式版，分析與檢索型數(shù)據(jù)庫：包含云原生數(shù)據(jù)庫數(shù)倉版，以及搜索數(shù)據(jù)庫、向量數(shù)此外，移動云還提供了完整的數(shù)據(jù)庫生態(tài)工具能力，包括數(shù)據(jù)傳輸工具、數(shù)根據(jù)云原生發(fā)展程度不同，移動云構建了云原生數(shù)據(jù)庫四級進化體系，并規(guī)范了技術架構范式。移動云首先基于K8s構建了云原生數(shù)據(jù)庫底座，旨在對全部移動云數(shù)據(jù)庫產(chǎn)品實現(xiàn)統(tǒng)一納管。在此過程中，通過標準化硬件，從BIOS、OS、網(wǎng)絡到內(nèi)核實現(xiàn)了端到端優(yōu)化，整體性能較開源體系有全面提升。在此基礎上，移動云原生數(shù)據(jù)庫持續(xù)推動內(nèi)核云原生化進程，相繼規(guī)劃和實現(xiàn)了多項技術 容器化部署：在K8s基礎上實現(xiàn)全部數(shù)據(jù)庫產(chǎn)品的容器化部署，滿足輕量化存算分離架構：云原生數(shù)據(jù)庫系列產(chǎn)品采用存算分離架構，做到計算、內(nèi)向Serverless全面演進：通過負載感知、負載喚醒等技術手段，為用戶提供移動云還針對算網(wǎng)融合發(fā)展趨勢，啟動了新一代算力網(wǎng)絡數(shù)據(jù)庫的規(guī)劃設計:2023年，移動云聯(lián)合多家央企并牽頭算力網(wǎng)絡任務，構建全國一體化算力網(wǎng)絡，實現(xiàn)算力資源的優(yōu)化調度，并疊通過打造算力網(wǎng)絡的感知、智能和編排調度能力，形成基于算力域、網(wǎng)絡域的算網(wǎng)大腦，與云原生數(shù)據(jù)庫實現(xiàn)融合，形成更加智能化的數(shù)據(jù)流通、數(shù)據(jù)協(xié)同處理、安全數(shù)據(jù)交換以及數(shù)據(jù)智能服務能力，甚至可以進一步為用戶推薦智能化5.2移動云原生數(shù)據(jù)庫核心能力位的產(chǎn)品家族，打造OLTP（集中式、分布式）、OLAP（數(shù)據(jù)倉庫）三大類引擎，全面覆蓋數(shù)據(jù)庫各類應用需求，具備高性能、高彈性、高可靠等特點，產(chǎn)品云原生云原生移動云原生數(shù)據(jù)庫采用分離架構設計，具自主可控自主可控......全棧國產(chǎn)化：自研數(shù)據(jù)庫內(nèi)核引擎全棧國產(chǎn)化：自研數(shù)據(jù)庫內(nèi)核引擎OS覆蓋全面，可用于各類數(shù)據(jù)庫替換.........在云原生數(shù)據(jù)庫產(chǎn)品體系基礎上，移動云正在緊隨中國移動集團創(chuàng)世界一流的戰(zhàn)略定位，加快推進數(shù)據(jù)庫“由云向算”升級轉型,全力推動算力網(wǎng)絡數(shù)據(jù)庫發(fā)展，提出了面向算力網(wǎng)絡的全新理念和架構設計。區(qū)別于傳統(tǒng)云數(shù)據(jù)庫的多類型內(nèi)核引擎模式（如OLTP/OLAP/多模，能力分別建設），算力網(wǎng)絡數(shù)據(jù)庫構建了融合型內(nèi)核引擎，重在融合數(shù)據(jù)處理與分析的一站式能力。在供給模式上，算力網(wǎng)絡數(shù)據(jù)庫讓用戶無需關注地域、無需關注資源、無需關注業(yè)務負載，輕松獲得在線“任務式”數(shù)據(jù)庫服務。在業(yè)務場景上，算力網(wǎng)絡數(shù)據(jù)庫的應用范圍全面覆蓋云數(shù)據(jù)庫智能構建、云數(shù)據(jù)庫并網(wǎng)、數(shù)據(jù)算力服務、數(shù)據(jù)智能服務、全域數(shù)據(jù)5.3移動云原生數(shù)據(jù)庫產(chǎn)品能力與應用案例云原生數(shù)據(jù)庫PostgreSQL版是由移動云自主研發(fā)的云原生關系型數(shù)據(jù)庫產(chǎn)品，采用基于Shared-Storage與存儲計算分離架構，具有極致彈性能力和高可靠、高可用、彈性擴展等企業(yè)級數(shù)據(jù)庫特性，100%兼容PostgreSQL數(shù)據(jù)庫。云持續(xù)深化云原生：云原生數(shù)據(jù)庫PostgreSQL版深化了云原生存算分離架構，采用了聯(lián)邦緩存池技術，將計算節(jié)點內(nèi)存進行池化，并將數(shù)據(jù)分區(qū)，使每個計算節(jié)點根據(jù)分區(qū)策略緩存部分數(shù)據(jù)。此舉大大提升了緩存命中率，將融合架構設計：云原生數(shù)據(jù)庫PostgreSQL版同時兼容存算一體、存算分離架構，滿足不同類型數(shù)據(jù)庫遷移需要，并將本地數(shù)據(jù)庫->RDS->云原生數(shù)據(jù)豐富產(chǎn)業(yè)生態(tài)，全棧自主可控：云原生數(shù)據(jù)庫PostgreSQL版全面適配不同廠商的硬件基礎設施，并在內(nèi)核引擎、平臺工具、服務、渠道和社區(qū)層面聚云原生數(shù)據(jù)庫PostgreSQL版的應用場景包括：業(yè)務系統(tǒng)平滑上云，滿足用戶快速低成本用云，穩(wěn)定支持業(yè)務峰值；以及實現(xiàn)對開源PostgreSQL的國產(chǎn)化替換。在相關場景下，云原生數(shù)據(jù)庫PostgreSQL版解決了讀寫分離、一主多從目前，云原生數(shù)據(jù)庫PostgreSQL版聚焦的客戶需求包括黨政應用、數(shù)字政府建設、政務云信創(chuàng)需求、銀行業(yè)務核心系統(tǒng)性能升級和國產(chǎn)化替代以及泛互聯(lián)保”作為一種普惠性補充醫(yī)療保險,對服務社會發(fā)展有重要的價值和功能。其低價格、低門檻、高保障等特點，能夠有效降低居民醫(yī)保目錄內(nèi)和目錄外高額醫(yī)療負擔，為參保人提供了更高層次的惠民保系統(tǒng)需要構建一套高效、穩(wěn)定、擴展性強的線上系統(tǒng)，前期投保并發(fā)流量大，對系統(tǒng)帶寬、應用服務器、數(shù)據(jù)庫服務器的性能要求都很高；而且業(yè)務量前期不好預估，可能隨時要進行擴容，而投保后期主要請求來源于業(yè)務部門各類復雜的報表查詢。針對惠民保系統(tǒng)的前后期投保業(yè)務變化大及業(yè)務類型多變的特點，要求系統(tǒng)資源的擴縮容需要足夠靈活，數(shù)據(jù)庫也需要同時通過調研多種數(shù)據(jù)庫并結合項目的實際情況，基于聯(lián)仁公司先前對云原生數(shù)據(jù)庫應用經(jīng)驗，活彈性，根據(jù)需求可分別對計算節(jié)點和存儲節(jié)點進行無縫擴容，無需進行數(shù)據(jù)搬遷，快速滿以往項目中用于對大量歷史數(shù)據(jù)進行歸檔查詢，發(fā)現(xiàn)云原生數(shù)據(jù)庫PostgreSQL版支持復雜大屏報表服務代理人服務可回溯埋點分析日志記錄權限控制本次項目，惠民保整體業(yè)務架構充分使用移動云各類數(shù)據(jù)庫，這些數(shù)據(jù)庫產(chǎn)品在業(yè)務的不同聯(lián)仁健康惠民保系統(tǒng)通過云化架構的改造和提升，自2022年6月正式上線以來，系統(tǒng)整體已平穩(wěn)運行2年多時間。圍繞資源靈活調度以及系統(tǒng)性能提升，全面優(yōu)化線上業(yè)務系統(tǒng)，促進主營業(yè)務的協(xié)同快速發(fā)展，推動公關組件、投保服務、代理人服務、大屏報表服務、外部系統(tǒng)等各業(yè)通過采用移動云架構體系改造后，全系統(tǒng)的可擴展性、靈活性都得到了顯著提升。同時，由于無需專門硬件投入，企業(yè)按需付費選擇所需性能，同時，數(shù)據(jù)庫系統(tǒng)的自動化管理得以廣泛應用，例如備份計劃自動執(zhí)行、數(shù)據(jù)庫審核一鍵開關、慢日志自動記錄、告警監(jiān)控自動觸發(fā)等，在咪咕音樂有限公司是中國移動面向移動互聯(lián)網(wǎng)領域設立的新媒體企業(yè)，負責音樂領域產(chǎn)品、運營、服務一體化的專業(yè)公司。歷經(jīng)10余年發(fā)展，咪咕音樂依托信息技術演進和全產(chǎn)業(yè)鏈模式，打造了版權運營、內(nèi)容自制、彩鈴/視頻彩鈴藝人經(jīng)紀等領域，構建起技術與內(nèi)容雙領先生態(tài)，成長為跨界融合通信網(wǎng)、互聯(lián)網(wǎng)、廣電網(wǎng)的龍咪咕音樂公司從2023起啟動業(yè)務上云，彩鈴集中平臺作為咪咕核心平臺，承擔了大量的業(yè)務訪問和流量。以掛機短信業(yè)務為例，主叫用戶觀看到視頻彩鈴時，彩鈴呼叫平臺會生成一條用戶鈴音播放記錄，按分鐘/半小時上傳至集中平臺，集中平臺再通過對用戶鈴音播放記錄的分析，及時通過省側運營的短信端口1065883099，為主叫用戶發(fā)送一條介紹視頻彩鈴相關業(yè)務的短信。彩鈴集中掛機短信系統(tǒng)流量大，對系統(tǒng)資源的擴縮容需要足夠靈活，數(shù)據(jù)庫也需要同時滿足OLTP及OLAP需求。通過調研多種數(shù)據(jù)庫并結合項目的實際情況，咪咕音樂公司規(guī)劃引入了云原在設計階段，通過業(yè)務分庫減少資源爭用，利用讀庫將實時性要求不高的請求引導至讀庫上，減少主庫的壓力。針對報表業(yè)務對綜合各方數(shù)據(jù)的需要，咪咕音樂公司利用移動云的數(shù)據(jù)庫在項目交付過程中，利用壓力測試、擴容演練等方式，做好充足的上線前準備。在項目運維階段，系統(tǒng)提供實時監(jiān)控、動態(tài)擴容能力，有效保障整個數(shù)據(jù)庫系統(tǒng)的平穩(wěn)運行。采用移動云架構體系改造后，系統(tǒng)的可擴展性和靈活性大幅增強，云原生數(shù)據(jù)庫支持資源（CPU、內(nèi)存、存儲）在線擴縮容，支持單機或主備工作模式，并具備單機轉主備模式的能力。云原生數(shù)據(jù)庫某快運公司目前在全國攬派件網(wǎng)點有數(shù)萬家，分撥中心超近百個，自有運輸車輛近萬臺，區(qū)該企業(yè)的數(shù)據(jù)中心基礎設施，首先需要處理大量的實同時，企業(yè)也存在越來越多的面向復雜分析的準實時場景，在傳統(tǒng)的數(shù)據(jù)庫環(huán)境下，這些分析業(yè)務時間周期很長，且極不穩(wěn)定，系統(tǒng)經(jīng)常出現(xiàn)崩潰現(xiàn)象，數(shù)據(jù)服務難以維系。例如對在線分撥中心的貨物滯留情況進行計算，在傳統(tǒng)Oracle環(huán)境下，對60天的滯留數(shù)據(jù)計算需每兩小時計算一次，每次計算需要將數(shù)據(jù)拆分為60次進行循環(huán)計算，經(jīng)常由于資源不足或性能限制導致計算任此外，企業(yè)還常常需要進行跨年長期歷史數(shù)據(jù)的大規(guī)模復雜分析，例如進行回溯對賬分析，針對操作和分析混合情況，對操作和分析進行解耦。針對數(shù)據(jù)分析，通過云原生數(shù)據(jù)庫數(shù)倉版、湖倉分析引擎和Paimon數(shù)據(jù)湖搭建批流一體架構，由云原生數(shù)據(jù)庫數(shù)倉版和湖倉分析云原生數(shù)據(jù)庫數(shù)倉版中的物化視圖能簡化湖倉分層建模，可以通過物化視圖可將Paimon數(shù)數(shù)倉版直接進行分析，也能通過物化視圖將湖上數(shù)據(jù)寫入到云原生數(shù)據(jù)庫數(shù)倉版中加速查在數(shù)據(jù)集成上，云原生數(shù)據(jù)庫數(shù)倉版提供多種數(shù)據(jù)導入方式，包括實時數(shù)據(jù)導入、批量數(shù)據(jù)導入、流式數(shù)據(jù)導入等，以滿足不同業(yè)務場景下的數(shù)據(jù)導入需求。在數(shù)據(jù)建模方式上，云原生數(shù)據(jù)庫數(shù)倉版提供了星型、雪花、大寬表、預聚合等方多種數(shù)據(jù)建模后的批流一體架構中，云原生數(shù)據(jù)庫數(shù)倉版支持通過PaimonCatlog組件直接查詢Paimon數(shù)應用云原生數(shù)據(jù)庫后，實時場景和準實時