算力網絡數據庫白皮書 2024

1 2 2 3 5 6 7 8 9 9 2一、算力網絡產業(yè)現狀（一）算力網絡理念的誕生近年來，數字經濟的新引擎作用愈加凸顯，其發(fā)展速度之快、輻射范圍之廣、影響程度之深前所未有。數字經濟時代，新技術、新業(yè)態(tài)、新場景和新模式不斷涌現，由此帶來了的數據量持續(xù)增長，各行各業(yè)對算力和網絡提出了更為迫切的需求。同時隨著摩爾定律趨近于極限，面對不斷倍增的算力和網絡需求，通過網絡集群化優(yōu)勢突破單點算力的性能極限，提升算力的整體規(guī)模，成為了產業(yè)界共同關注的我國率先提出算力網絡這一原創(chuàng)性技術理念，并陸續(xù)出臺了多項政策，加快構建以算力和網絡為核心的新型基礎設施體系。2021年5月，國家發(fā)改委等四部委聯(lián)合出臺《全國一體化大數據中心協(xié)同創(chuàng)新家發(fā)展改革委等五部門聯(lián)合印發(fā)《深入實施“東數西算”工程加快構中國移動主動擁抱產業(yè)變革，深度把握行業(yè)趨勢，大力推動技術發(fā)展和服務創(chuàng)新。在實施“5G+AICDE”計劃促進社會數字化轉型、布局多層次數據中心提供高品質移動云服務、推進多樣化算力構筑產業(yè)健康生態(tài)、探索算網融合新技術推動算網一體發(fā)展等實踐的基礎上，3（ABCDNETS）等深度融合、提供一體化服務的新型信息基礎設施，實現“算力泛在、算網共生、智能編排、一體服務”，逐步推動算力成為與水電一樣，可“一點接入、即取即用”的社會級服務，達成“網水力發(fā)展離不開水網，電力發(fā)展離不開電網，算力發(fā)展離不開“算力網絡”。為了讓用戶享受隨時隨地的算力服務，發(fā)展算力網絡需要重構網絡，使其形成繼水網、電網之后國家新型基礎設施，打造圖1：中國移動算力網絡三級架構（二）算力網絡發(fā)展現狀我國在算力網絡領域處于先發(fā)與主導地位。在標準領域，我國在2019年國際電信聯(lián)盟首次立項算力網絡標準，并先后在國際互聯(lián)網工程任務組、中國通信標準化協(xié)會等標準組織積極推進算網相關標準的制定。在產業(yè)領域，我國已逐漸形成算力網絡軟硬件基礎設施及平臺與應用服務的上中下游完整產業(yè)鏈，初步鞏固了我國在算網領域的主4導地位。其中產業(yè)鏈上游，一方面由國家新基建、信創(chuàng)等政策指引，推動了算網新型基礎設施的自主設計研發(fā)與創(chuàng)新落地；另一方面由東數西算、5G網絡與大數據等國家重大工程驅動，推進了大算力、高性能、低功耗與高可靠算網軟硬件基礎設施的研發(fā)產業(yè)化落地。產業(yè)鏈中游旨在提供算網一體化管理與運營交易的平臺服務能力，促進計算與網絡基礎設施從過去的割裂形態(tài)走向深度融合。產業(yè)鏈下游通過構建多樣化的算網應用服務，并基于創(chuàng)新的商業(yè)模式向用戶提供算網服展階段，推動算力網絡取得廣泛共識，原創(chuàng)技術多點突破，核心理念和關鍵技術融入國家規(guī)劃，上升為國家戰(zhàn)略方向。發(fā)展過程既有基礎圖2：中國移動算力網絡發(fā)展三階段權威公信的算力交易平臺尚未建立等問題，需要進一步打造算力網絡破解關鍵技術“卡脖子”難題，為產業(yè)升級和融合發(fā)展提供安全穩(wěn)定5二、數據庫產業(yè)邁向算力網絡時代數據庫行業(yè)已歷經半個多世紀，早前商業(yè)數據庫蓬勃發(fā)展，到新千年開源數據庫逐步嶄露頭角，隨后互聯(lián)網和云計算興起，數據庫行業(yè)整體進入云原生時代。從部署形態(tài)來看，根據IDC統(tǒng)計，數據庫公有云部署已經超過本地部署，云成為數據庫的主流形態(tài)。從廠商演進來看，Gartner的DBMS廠商市場排名中，云廠商已經代替?zhèn)鹘y(tǒng)獨立數據庫廠商占據行業(yè)頭部，引領數據庫行業(yè)發(fā)展。通過云原生技術，數據庫可以實現資源池化和極致彈性，具備高擴展性、高可用性、跨地域規(guī)模、低成本等優(yōu)勢，為用戶提供隨需而動、按需付費的云原生數算力網絡被認為是云計算下一個演進形態(tài)，數據庫產業(yè)也逐步邁向算力網絡時代。算力網絡的崛起，以其強大的計算能力和靈活的網絡架構，為數據庫產業(yè)注入新的活力。算力網絡通過高速、低延遲的網絡連接，將海量的計算資源進行有效整合和調度，為數據庫提供了前所未有的處理能力和擴展性。這使得數據庫能夠應對更為復雜、多變的數據需求，為業(yè)務提供更為精準、高效的數據支持，進一步推動數據價值的最大化。在此基礎上，中國移動創(chuàng)新性提出算力網絡數據6圖3：中國移動算力網絡數據庫理念（一）無需關注地域隨著社會數字化轉型進程不斷加速，數據應用程度不斷加深，數性能、網絡延遲、容災等多種因素，數據庫系統(tǒng)的構建和管理愈加復雜。較傳統(tǒng)云數據庫不同，算力網絡數據庫最顯著的差異就是徹底屏蔽“地域”這一要素，能夠根據用戶具體需求自動優(yōu)化資源配置，輕松實現全球數據庫、異地多活、三地五中心等數據庫部署需求。在這一過程中，算力網絡數據庫會綜合考慮多個關鍵因素，包括但不限于資源成本效益、數據傳輸與處理的時延要求、數據安全性保障級別以及容災恢復能力等，對算力網絡各類資源供給（包括不同物理區(qū)域、云邊端分布式算力、多云供應商等）進行快速評估與篩選，來為用戶量身定制最優(yōu)化的數據庫配置方案，確保在滿足性能要求的同時，為用戶節(jié)省成本開支。針對用戶對時延的嚴格要求，數據庫會智能的選擇地理位置上最接近用戶或數據傳輸路徑最優(yōu)的資源節(jié)點，以最小化數據傳輸延遲，提升用戶體驗。針對可能發(fā)生的自然災害、系統(tǒng)故障7等風險，數據庫還會根據容災等級要求，自動部署數據備份與恢復策略，確保在任何突發(fā)情況下，用戶的數據都能得到及時有效的保護與總體而言，算力網絡數據庫通過其強大的資源配置和調度能力，徹底顛覆了傳統(tǒng)云服務中用戶需要手動選擇數據庫部署資源池和架構的繁瑣流程。它讓數據服務變得更加高效、便捷、安全且成本可控，（二）無需關注資源算力網絡作為新一代信息技術的重要基石，其核心價值在于實現了全域范圍內計算資源與網絡資源的高度融合與無縫對接。通過先進的虛擬化、云原生及AI智能調度技術，算力網絡徹底打破了傳統(tǒng)計算與網絡架構的界限，構建起一個智能化、精準化的全域算網資源調度在這一體系下，算力網絡數據庫用戶得以享受到前所未有的便利與高效。他們不再受限于特定的資源池或地理位置，而是能夠跨越所使他們無需再為資源的配置、擴容、縮容以及日常維護等瑣碎事務而分心。相反，用戶可以將更多的精力與資源投入到業(yè)務的實現與創(chuàng)新8（三）無需關注業(yè)務負載算力網絡數據庫不斷深化服務模式，以更加貼近用戶實際需求的方式提供強大的數據處理能力。在這一理念的推動下，算力網絡數據任務式服務的核心在于其高度的自動化與智能化特性，用戶不再需要面對復雜多樣的數據庫選型難題，也無需深入了解每種數據庫的特性與適用場景。算力網絡數據庫構建了一個統(tǒng)一的入口，作為所有數據任務的接收與處理中心，簡化用戶的操作流程，并極大地提升數據處理的效率和準確性。用戶只需簡單地提交數據任務，無論是數據查詢、數據分析、數據遷移或是智能計算，算力網絡數據庫都能立即感知并智能化地對任務進行深入的解析與評估，以確定最適合的處理策略和資源配置方案。此外，任務式服務還可以通過更接近人類交流模式的自然語言交互來進行，從而極大的簡化數據庫操作步驟和降低使用門檻，讓非技術人員也能輕松的開展數據分析，加速數字化的普9三、算力網絡數據庫應用場景大大提升數據庫服務的靈活性和用戶體驗。圍繞當前數據庫使用的痛點和未來暢想，本章列舉了算力網絡數據庫的一些典型應用，但算力網絡數據庫的應用場景是不斷涌現、不斷創(chuàng)新的，需要聯(lián)合產業(yè)界各（一）云數據庫智能構建傳統(tǒng)云數據庫服務以資源訂購模式為主，需要繁瑣的手動配置與調優(yōu)，包括資源池位置、部署架構、產品版本、容災配置、參數配置等等。而算力網絡數據庫則能幫助用戶進行數據庫的智能構建，極大地簡化用戶的操作流程和步驟。算力網絡數據庫能夠深入洞察并精準理解用戶的多樣化使用場景需求，同時借助算網大腦強大的智能調度數據安全要求等關鍵信息，算力網絡數據庫便能智能化的進行需求識在這一過程中，算力網絡數據庫不僅能夠根據用戶的具體需求，智能構建出高度定制化的數據庫架構，還能綜合考量性能、成本、可擴展性、維護便捷性等多方面因素，智能推薦出最優(yōu)的產品組合和配置方案。這包括但不限于選擇最適合的數據庫類型（如關系型、非關系型、分布式等）、精確的規(guī)格配置（CPU核心數、內存型與容量）、優(yōu)化的資源配型策略（負載均衡、高可用集群配置）、細致的參數配置調整（緩存策略、索引優(yōu)化、事務隔離級別等），以數據庫的智能構建讓即便是非技術背景的用戶也能輕松上手，快速部署并啟動其業(yè)務應用。同時，通過實時監(jiān)控與智能優(yōu)化，算力網（二）云數據庫并網算力網絡中的算力并網，旨在將不同主體、不同架構、不同地域的算力資源標準化互聯(lián)，在本地算力資源不滿足需求時，流動到另一個算力池進行計算，滿足人工智能、邊緣計算、工業(yè)計算等短時間、大數據量計算的場景，高效利用社會閑散資源。在這一過程中，數據庫也需要跟隨算力資源和數據服務類型來構建，因此云數據庫并網也通過統(tǒng)一的算力網絡數據庫服務平臺，實現對三方數據庫產品的以及多云廠商數據庫服務，促進數據資源的整合與共享。用戶能夠跨越技術壁壘，輕松訪問和利用多樣化的數據庫資源和服務，從而滿足其在數據存儲、處理、分析及業(yè)務應用等方面的多元化需求。算力網絡數據庫的多云管理能力，支持用戶跨越多個云服務商的環(huán)境、使用多個云服務商的數據庫能力，進行數據庫的部署和應用。這種靈活性與兼容性確保了用戶能夠根據自身業(yè)務需求、成本考量及安全策略，同時，算力網絡數據庫服務平臺擁有標準且規(guī)范的運營、結算和服務保障體系，廣泛的連接數據庫產業(yè)上下游，助力數據庫服務商與用戶之間建立緊密的合作關系，共同推動整個行業(yè)的健康發(fā)展。一方面為用戶提供多樣化、高性價比的數據庫產品以及服務保障，全面滿足用戶需求。另一方面平臺可為入駐服務商提供定制化的市場推廣、技術支持及業(yè)務對接服務，助力其擴大品牌影響力，實現商業(yè)價值的最大化。通過吸引廣大用戶入駐，鼓勵合作伙伴技術創(chuàng)新與共享，共（三）數據算力服務算力網絡數據庫作為數據服務領域的一次重大革新，將傳統(tǒng)的“資源式”服務模式全面升級為先進的“任務式”彈性數據庫服務。這一轉變的核心在于引入了任務即服務（Task-as-a-Service，或類比于Serverless架構）的概念，意味著數據庫資源不再僅僅是靜態(tài)分配給用戶，而是能夠智能地根據實際工作負載的動態(tài)變化，自動且即時地調整其容量與性能。這種高度靈活性和自適應性的服務模式，確保了資源的有效利用，避免了資源過?；虿蛔愕那闆r，真正實現了按需付費、按量計費的經濟高效模式。在算力網絡數據庫的架構下，所有算力資源被統(tǒng)一封裝成一個高效、透明的服務層，有效屏蔽了底層多數據處理引擎之間的技術差異和復雜性。這一設計讓用戶無需關心數據存儲在何種類型的數據庫系統(tǒng)中，也無需具備處理多種數據處理引擎間兼容性的專業(yè)知識。用戶多模數據處理（支持多種數據類型和模式）等在內的多種復雜工作負載。這種一體化的服務體驗極大地簡化了數據庫管理的復雜度，提升（四）數據智能服務在數據服務的未來趨勢中，算力網絡數據庫不僅深耕于傳統(tǒng)的SQL交互模式，更是在交互體驗上邁出了革命性的一步，引入了更為貼近人類自然交流方式的自然語言交互能力。這一創(chuàng)新讓用戶能夠擺脫復雜的SQL語法束縛，直接以日常對話的形式輸入查詢請求，輕松訪問并探索在線數據服務。無論是復雜的數據分析任務還是簡單的信息檢索，用戶都可以通過自然語言輕松實現，極大地提升了數據查詢與分算力網絡數據庫融合了最前沿的人工智能技術，具備強大的意圖識別與理解能力，能夠準確捕捉用戶的查詢意圖，并將其轉化為可執(zhí)行的數據操作指令。用戶可使用算力網絡數據庫開展融合檢索與分析功能，能夠跨越多源異構數據，實現全面、深入的數據挖掘與洞察?；趶姶蟮臄祿悄芤?，算力網絡數據庫能夠構建出企業(yè)級AI智能數據平臺解決方案。這些解決方案不僅面向大型企業(yè)，滿足其復雜、多變的數據處理需求，還能夠靈活適應中小企業(yè)乃至個人用戶的不同（五）全域數據流通與治理隨著算力網絡技術的不斷演進與普及，一個涵蓋云計算中心、邊緣計算節(jié)點以及終端設備在內的泛在多位立體算力布局正逐漸成型。這一布局打破了傳統(tǒng)計算資源的地理限制與架構壁壘，實現了計算能力的無縫連接與高效協(xié)同。在這一背景下，算力網絡數據庫作為核心算力網絡數據庫通過其先進的架構設計與數據管理技術，構建起全域數據的“一張圖”視圖。這一視圖不僅直觀展示了數據資產的分布情況與關聯(lián)關系，更通過智能的數據整合與鏈接技術，有效連通了原本孤立的數據孤島。無論是來自不同業(yè)務系統(tǒng)的結構化數據，還是社交媒體、物聯(lián)網等非結構化數據，都能夠在算力網絡數據庫的支撐治理到應用的全生命周期管理過程，形成一套完整的“匯、存、治、管、用”全流程數據治理體系。這一體系不僅提升了數據管理的效率（六）安全數據交換算力網絡數據庫因為其多云的特點，具有強大的跨云交互和資源作為“數據中轉站”，算力網絡數據庫承擔著數據在不同云環(huán)境間傳輸與轉換的重任。它采用先進的加密技術與安全協(xié)議，確保數據在傳而作為“數據工廠”，算力網絡數據庫能夠對海量數據進行清洗、整合、轉換與挖掘，并提供豐富的數據接口與工具，來支持數據開放和交易、數據交叉分析等應用場景，如數據資產交易、風險評估、市場預測等。算力網絡數據庫幫助企業(yè)打破數據壟斷，共享數據資源，進一步盤活數據資產的價值，在推動數據資產化、促進數字經濟發(fā)展方四、算力網絡數據庫關鍵技術在當前數字化轉型的浪潮中，云數據庫作為支撐企業(yè)數據存儲、隨著算力網絡時代的逐步到來，對數據庫系統(tǒng)的要求也邁上了新的臺圖4：云數據庫四級演進示意L1-容器化部署：容器化和K8s已經成為事實上的云原生基礎L2-存算分離：為應對云原生彈性、精準調度的需求，需要將L3-Serverless：當前云原生理念的最佳代名詞，用戶無需關面向算力網絡的數據庫，不僅是對現有云數據庫的一種超越，更是在架構、技術上的一次全面升級、深度演進與大膽創(chuàng)新。算力網絡圖5：算力網絡數據庫技術架構（一）云原生統(tǒng)一平臺底座對數據庫進行統(tǒng)一抽象和封裝，打造通用管控能力，形成統(tǒng)一的算力網絡數據庫管控底座，支持各類云形態(tài)以及算力網絡基礎設施，包括多云和混合云場景，高效且低成本地管理數據庫集群。數據庫平臺底座是算力網絡數據庫基礎，以數據庫統(tǒng)一管控、算網大腦統(tǒng)一調1.容器技術云原生數據庫的統(tǒng)一平臺底座基于容器化和Kubernetes(簡稱K8s)構建。容器化技術將應用程序及其依賴打包到一個獨立的容器中，包括應用程序代碼、運行時環(huán)境、系統(tǒng)工具和庫等。運行容器不需要啟動一套完整的操作系統(tǒng)，是更加輕量級的應用間隔離方案，啟動速度更快，額外資源占用更少。容器中包含了應用程序運行所需的所有依賴，因此可以確保應用程序在不同環(huán)境下的一致性和可移植性。擴展和管理容器化應用程序。經過多年的發(fā)展，和業(yè)界大規(guī)模的部署實踐，K8s已經成為事實上的容器編排平臺標準，并支持多種容器運行時。K8s集群由一個或多個主節(jié)點和工作節(jié)點組成。主節(jié)點負責管理集群的狀態(tài)，包括調度、API服務等。工作節(jié)點運行容器化的應用程2.算網數據庫統(tǒng)一管控部署模式遵循ServiceonService理念，統(tǒng)一基于金屬、云主機的ServerlessK8s構建云數據庫產品，實現云數據庫的資源供給和疊加部署模式。部署形態(tài)上覆蓋公有云、全棧專屬云、邊緣云等各種算力網絡資源，功能上涵蓋各個數據庫系統(tǒng)的通用管控能力，包括生命周期管理、高可用、備份恢復、參數管理、監(jiān)控告警、日志管理、賬號管理、庫表管理等。支持跨云調度和管理，可在多云或混合云環(huán)境中靈活部署，實現跨多個云平臺的統(tǒng)一管理和監(jiān)控，簡化多云環(huán)境下的運維復雜度，避免對單一云服務提供商的依賴，提升此處提出一種結合算力網絡的分布式數據庫集群管理模型，不同能力對齊的管理和操作接口。通過標準體系的集成和適配，不同的分布式數據庫廠商和工具廠商可以形成一個互通的生態(tài)系統(tǒng)。這種生態(tài)系統(tǒng)的建立有助于知識共享、技術創(chuàng)新和用戶體驗的提升，算力網絡Instance。每個層次都有明確的功能和職責邊界，形成了一種清晰的分層設計。這種設計在引入算力網絡的基礎上，進一步優(yōu)化了分布式通過算力網絡，Cluster層可以實時感知各節(jié)點的Component層：代表集群中的一個功能組件，如主數據庫、從數據庫、代理節(jié)點等，負責組件級別的管理。算力網絡使得Component管理、配置和資源差異化管理、健康檢測、升級控制等功能。算力網絡的引入使InstanceSet層能夠感知各副本的算力狀況，并根據實際Instance層：代表單個數據庫副本實例，與Kubernetes資源（如Pod、PVC、Service、ConfigMap）進行映射，支持資源動態(tài)調整和多網絡地址配置。通過算力網絡，Instance層能夠實時調整資源配（二）跨域分布式編排隨著業(yè)務的發(fā)展和集群規(guī)模的增長,單一地域基礎設內的數據庫實例調度無法滿足海量數據處理、超大規(guī)模數據庫集群管理、業(yè)務及算力網絡構建跨地域（Regionless）一體化編排能力，全面接入數據庫內核引擎，綜合各節(jié)點的計算能力、負載情況、網絡帶寬等多要素進行數據庫實例分布式云資源管理與調度，支持多種抽象算力接入，如邊緣算力、異構算力、多云算力；實現低成本的跨地域容災，支持地理位置無感的算力與網絡調度，同時提升資源利用率和服務性跨域分布式編排調度需要處理的關鍵挑戰(zhàn)包括網絡延遲、分區(qū)容錯、任務依賴和優(yōu)先級管理、資源分配和負載均衡以及故障檢測和恢1.資源管理器（ResourceManager）：資源管理器負責監(jiān)控和管理集群中的資源，包括計算資源、存儲資源和網絡資源等。它需要與調度器緊密協(xié)作，確保任務能夠獲得所需的資源。算力網絡提供的地域無感知能力，可以讓資源管理器低延時感知全網資源使用和資源的變更。在大規(guī)模集群的情況下，集群資源的狀態(tài)信息和更新需要一2.調度器（Scheduler調度器是分布式調度系統(tǒng)的核心，負責接收任務請求并根據預設的調度策略或者智能決策算法，將數據庫實例分配到合適的節(jié)點。它需要考慮任務的優(yōu)先級、依賴關系、執(zhí)行節(jié)點的負載情況，資源可用性，負載之間的干擾，以及對業(yè)務的響3.執(zhí)行器（Executor）：執(zhí)行器是任務的實際運行環(huán)境，它接收來自調度器的任務指令并執(zhí)行具體的任務邏輯。執(zhí)行器需要能夠處理任務執(zhí)行過程中的各種異常，并能夠將任務狀態(tài)和結果反饋給調度）：調度器從任務隊列中取出任務進行調度。任務隊列需要能夠處理高并5.容錯和故障恢復機制：在分布式環(huán)境中，節(jié)點故障是常態(tài)，因此調度系統(tǒng)需要具備容錯能力，能夠在節(jié)點故障時自動將任務重新6.智能決策算法：利用機器學習、深度學習等算法，系統(tǒng)能夠對收集到的數據，例如節(jié)點的資源利用率，調度的約束(例如親和性反親和性、對其他負載的依賴)，歷史負載信息都能進行智能分析，生成7.持續(xù)優(yōu)化算法：系統(tǒng)根據智能決策算法生成的方案，自動將任務分配給最合適的資源，并持續(xù)優(yōu)化以提高效率。隨著資源的變更8.自動擴展:根據調度算法的結果，按需對基礎設施發(fā)起水平9.確保通信安全:編排調度系統(tǒng)涉及多云混合云的信息交互，需要確保服務之間的通信安全。算力感知網絡可以通過跨基礎設施的基于算力感知網絡的分布式編排調度系統(tǒng)，使其能在大規(guī)模、高并發(fā)的分布式環(huán)境中高效、穩(wěn)定地運行，能在復雜的多云混合云環(huán)境（三）數據庫內核云原生化在算力網絡數據庫的架構中，數據庫內核云原生化是一個關鍵特征，它通過存算分離，實現“四元解耦”和資源池化，極大地提升了數據庫的可擴展性、高可用性和靈活性。這一創(chuàng)新設計將傳統(tǒng)數據庫架構中的核心元素——計算、內存、日志、存儲（外存）——進行了深度解耦，使得各個組件能夠獨立擴展和管理，從而更好地適應云環(huán)計算層負責處理用戶請求（即執(zhí)行SQL、事務處理等）核心計算任務。計算層與下層資源解耦，可根據業(yè)務需求動態(tài)調整計算資源，支內存層負責存儲數據庫操作中的臨時數據和緩存數據，提升數據處理速度。內存層實現內存池化，通過分布式內存服務（DMS）支持主日志層獨立于計算和存儲層，確保日志數據的可靠性和完整性，支持4.存儲層存儲層也即外存層，持久化存儲數據庫數據，包括用戶數據、系統(tǒng)數據等?？赏ㄟ^分布式存儲服務（DSS）實現存儲池化，支持主備節(jié)點共享同一份存儲資源，減少存儲容量需求，同時提高數據讀取效率存算分離架構可以實現更高的資源利用率和靈活性，但用戶原有存算一體架構在遷移時需要進行數據庫改造。為了減少用戶在云原生化過程中的數據遷移和改造工作，設計一種在存算分離基礎上的融合架構，自適應用戶負載，進一步實現數據共享與非共享訪問模式的無感切換，無縫兼容存算一體架構，實現一套代碼同時支持中小微客戶圖6：存算分離兼容存算一體示意（四）智能融合數據處理實現一種多數據處理引擎融合方案，一套架構應對大中小微不同數據負載需求的用戶場景，是算力網絡數據庫“無需關注業(yè)務負載”理念的核心和基礎。從集中式分布式融合、事務型分析型融合，以及AI的能力融合，逐步打造超融合數據庫形態(tài)，并通過統(tǒng)一的接口實現數據的整合、查詢、分析和優(yōu)化。集中式與分布式融合，兼顧了高性能和高可用性、可擴展性能更好地適應不同工作負載場景的需求。采用shared-storage/shared-everything架構與shared-nothing相結合，支持跨分區(qū)的數據分片的分布式處理能力，引入彈性并行計算技術，滿足復雜查詢的線性擴省去離線數倉從業(yè)務系統(tǒng)采集數據的時間，實現近T+0的數據分析能式HTAP技術提供一站式事務處理和數據分析能力，進一步實現用戶層隨著近年AI技術迅猛發(fā)展，對數據庫架構的靈活性和可操作性能提出了更高的要求。一方面需要支持數據來源多樣、數據量大、格式不一的結構化、非結構化及半結構化數據的多模態(tài)數據。另一方面，不同業(yè)務需求催生不同的數據模型數據庫。存儲引擎需要支持關系、鍵值、文檔、向量、時序、圖模型等統(tǒng)一存儲，僅存一份數據，結合兼容性、數據一致性、數據同步延遲問題等，同時降低用戶的學習、開發(fā)、移植、運維成本。計算引擎中采用混合查詢優(yōu)化技術，在單一命令訪問多模數據庫，生成最優(yōu)執(zhí)行計劃，提高訪問性能；采用多級自適應并行計算技術，充分利用系統(tǒng)資源提升性能，避免單一復雜任務占據全部資源影響其他任務的執(zhí)行；采用多級數據緩存技術，降低數據庫服務器負載，提升業(yè)務綜合性能。針對計算密集型業(yè)務，可采用GPU融合計算技術，提升包括圖計算、向量計算和分析型業(yè)務的性能。基于分布式原生多模存儲-計算引擎的算力網絡數據庫為包括AI（五）數據庫和AI雙向賦能數據庫和AI雙向賦能包括AIforDB和DBforAI兩大方向。1.AIforDB：算力網絡數據庫需具備AI-Native能力，一是智能運維和自治方向，主要包括可觀測體系、協(xié)同診斷優(yōu)化、智能負數據采集層：是運維架構的底座，主要負責在數據庫運行節(jié)點上部署采集節(jié)點，采集數據庫和OS指標，同時還負責執(zhí)行運維管理命數據計算層：數據庫外的節(jié)點可以在備機部署AI服務節(jié)點，同自治服務層：提供相關數據庫自治服務，包括SQL診斷調優(yōu)（如慢SQL診斷、發(fā)現以及索引優(yōu)化等）、異常行為檢測和敏感數據監(jiān)控層：通過端到端的監(jiān)控診斷、運維還有優(yōu)化，實現了從問索引推薦能力是指在數據庫內核中內置單條索引的推薦能力，來實現單條索引推薦，從而讓用戶很容易對一條語句實現索引加速。由于單條索引很難對整個系統(tǒng)有效，通過額外增加對整個系統(tǒng)負載的索引推薦，通過對批量workload的采集、處理、壓縮后再進行單條索引的相關指標特征，同時結合當前系統(tǒng)的運行狀況，比如CPU使用率和IO使用率等指標，把這些信息作為統(tǒng)一的集合進行訓練。訓練后形成的特征庫，可用于與之后遇到的慢SQL語句境進行智能匹配，最后把多指標關聯(lián)分析可以幫助我們快速發(fā)現問題。由于采集的指標是多種多樣的，一個指標的變動可能聯(lián)動其他指標也發(fā)生變化。通過多種異常檢測算法，例如持續(xù)增長、毛刺、周期性等，基于這些檢測算法觀察環(huán)境指標，可以發(fā)現指標間的關聯(lián)關系，從而確定影響關鍵指言的自然表達轉化為結構化查詢語言（SQL），以便與數據庫進行交互Text2SQL方法利用LLM模型進行端到端的訓練和推理。這些模從而學習語言和數據庫之間的映射關系。LLM模型的表征能力和上下文理解能力使得Text2SQL的性能得到了顯著提升，可以處理更復雜的查詢，并在多個基準數據集上取得了優(yōu)秀的效果。Text2SQL實現算網數據庫使用和管理新形式，僅通過輸入自然語言便可產生SQL或者返回執(zhí)行結果，可以很有效的提高SQL編碼質量，提高相關使用人員的使用效率。通過自然語言提問或描述、語音視頻輸入即可生成和執(zhí)行SQL的能力，實現基于數據庫數據集作為輸入，并通過定制的Prompt進行模型代入，定期更新數據庫專業(yè)領域知識庫內容、多輪對話演進、評價反思反饋、RAG增強，同時使用Transformers技術進行大型語言模型(LLM)微調和模型推理的指導，生成定制領域模型的能力，針對不同領域或行業(yè)的上層應用提供更加智能化的2.DBforAI：算力網絡數據庫是AI應用的基礎設施，一方面在數據庫內部原生或集成機器學習算法，簡化整體架構，提升性能和效率；二是構建結構化和非結構化數據融合存儲，提供向量等數據模實現算力網絡數據庫的內置算法和大模型能力。大型語言模型(LLM)是一類基礎模型，經過大量數據訓練，使其能夠理解和生成自然語言和其他類型的內容，提供推動多個用例和應用程序以及解決大量任務所需的基礎功能，以執(zhí)行各種任務。算力網絡數據庫提供一整套基于SQL的機器學習、數據挖掘以及統(tǒng)計學的算法，用戶可以直接使用SQL調用數據庫引擎工作，同時在庫中進行數據的調用、流轉和分析處理，避免多個數據源介質的數據流動，從而在DB內進行機器學加上大模型的上下文語境分析和學習能力，產生定制大模型，使得不管是在基礎查詢、計算的能力上，還是在輔助上層應用的訓練上，都通過智能化的索引和數據分片，算網數據庫先把長文件進行拆分，各個片段進行向量化，作為儲備知識存儲在具有支持向量的算力網絡數據庫中，當用戶發(fā)生查詢請求，請求內容又會二次向量化，在數據庫中進行相似性檢索和計算，找到答案后，再輸出文本數據。支持向量化這為人臉識別、圖像搜索、推薦系統(tǒng)等應用提供了快速且準確的相似性匹配能力，推動了這些領域的發(fā)展。此外，向量化的支持能夠高效地存儲、檢索和處理海量的向量數據，促進了AI技術在大規(guī)模數據集上的應用和研究。算網一體數據庫支持內積、歐氏距離、余弦等基礎相似距離，以及相應的查詢檢索語句，支持To引的構建與刪除，標量索引如布爾、字符、數字標量索引，向量索引（六）全域數據流通全域數據流通的關鍵技術可以分解為如下方向：無感數據集成與復制、數據質量保障、實時數據處理、數據共享和協(xié)同、數據安全和1.無感的數據集成與復制：指通過新技術，從數據庫、文件、消息隊列等數據存儲系統(tǒng)中，以近乎實時的速度進行數據的訪問、采集和集成。數據復制及同步技術中，最典型的技術為：Log-basedchangedatacapture(CDC)。對于數據復制及同步技術，最核心能力在于數據實時采集技術，以及數據復制的延遲?；跀祿椭萍巴郊夹g，一般可用于滿足：數據庫遷移、數據容災、數據多活、數據倉通常會對數據進行清洗和轉換，去除重復、錯誤和不完整的數據，提升數據質量。高質量的數據是準確分析和決策的基礎，確保計算結果3.實時數據處理：數據集成還涉及實時數據的收集和處理，這對需要即時反應的應用場景非常重要。例如，智能交通系統(tǒng)需要實時收集和處理交通流量數據，以優(yōu)化交通信號和減少擁堵。通過實時數4.數據共享和協(xié)同：數據集成促進了跨部門和跨組織的數據共享和協(xié)同工作，是提升數據價值的有效手段。通過集成不同部門的數據，可以打破信息壁壘，促進協(xié)作，提高整體效率。例如，城市管理中的各個部門可以通過數據集成實現信息共享，共同提升城市的運行5.數據安全和隱私保護：在數據集成過程中，實現對數據的統(tǒng)一管理和保護，確保數據在傳輸和存儲中的安全性，符合相關的法律全域數據流通技術是實現算力與數據緊密結合的關鍵環(huán)節(jié)，它不僅提升了數據的質量和一致性，還支持復雜的分析和決策、實時數據處理和跨部門協(xié)同工作，最終促進了各行業(yè)的創(chuàng)新和效率提升。在未