北京移動數據庫數智化生態(tài)能力研發(fā)與創(chuàng)新

北京移動數據庫數智化生態(tài)能力研發(fā)與創(chuàng)新侯鵬｜中國移動通信集團北京有限公司01數據庫市場發(fā)展現狀02電信行業(yè)數據庫國產化難題03中國移動磐維數據庫解決方案04北京移動數據庫數智化生態(tài)成果與應用Chapter01數據庫市場發(fā)展現狀數據庫市場規(guī)模穩(wěn)定增長2022-2027年國內數據庫整體市場將維持增長態(tài)勢，2022-2027年國內數據庫整體市場將維持增長態(tài)勢，2024年整體市場規(guī)模預計為543.1億，到2027年將增長至1183.8億，2022-2027年復黨政領域內部辦公與電子公文在省部級的存量替換已接近尾聲，當前向風險的出現，前幾年國產替換主要以非核心系統(tǒng)為主。以金融業(yè)為例，銀行核心系統(tǒng)的國產數據庫替代率15%左右；證券和保險核心系統(tǒng)的國產數據庫替代率不超過20%。相關領域將成為未來三年國產替代的重點。以阿里云、騰訊云、華為云等為代表的頭部廠商投入大量資源進行研發(fā)，2022-2027年中國數據庫市場規(guī)模及增速8006004002000:686.6336.7208.2497.2367.7279.7206.4單位億元CAGR：30.67%:686.6336.7208.2497.2367.7279.7206.4單位億元CAGR：30.67%551.5437.5274.6274.62022年2023年2024年e2025年e2026年e2027年e數據庫國產化發(fā)展主要趨勢數字經濟發(fā)展數字經濟發(fā)展核心產業(yè)增加值占國內生產總值比重達到10%，數據要素市場體系初步建立，數據庫作為支撐國家數據經濟發(fā)展的三大基礎軟件之一，在政策紅利下加速發(fā)展。信創(chuàng)改造升級信創(chuàng)改造升級預計央國企將在2027年前后100%完成核心信創(chuàng)系統(tǒng)的替代，目前金融行業(yè)非核心系統(tǒng)約40%，銀行核心系統(tǒng)約15%，制造業(yè)、醫(yī)療等行業(yè)國產數據庫替換率整體不足5%，蘊藏著巨大的市場空間。數據要素治理數據要素治理新質生產力新質生產力新質生產力是驅動國產數據庫長期發(fā)展的重要因素，能觸發(fā)國產數據庫提供商投入更多資源，用于核心產品的研發(fā)，滿足業(yè)務系統(tǒng)對于數據庫在穩(wěn)定性、高可靠性、高并發(fā)等方面的核心需求。在數據要素治理過程中，企業(yè)需要從各個數據庫采集數據，并形成前置數據庫，需要大量數據轉化的工具組件，形成增量的數據庫市場，并催生數據庫生態(tài)的發(fā)展。Chapter02電信行業(yè)數據庫國產化難題電信行業(yè)數據庫國產化難題電信行業(yè)數據庫國產化機遇和挑戰(zhàn)數智化轉型OGG數據遷移云和恩墨、新炬……PLSQL工具Java、C++存儲過程，觸發(fā)器Java、C++存儲過程，觸發(fā)器社區(qū)Oraclesupport網站SQL92oracle特色函數TDE加密ARMTDE加密ARM存儲加密存儲加密分期定期清理OCA、OCP、OCM認證第三方代維國產化升級國產化升級自主可控實踐過程面臨的挑戰(zhàn)各單位均在試點摸索，缺少全視角、框架性策略體系和成熟案例指導現網應用多、數據連接及事務繁雜，國產數據庫品牌眾多、場景復雜，造成對性能能力折射失真。當前國產庫商用周期短，工具生態(tài)不完備，遷移成本高、效率低。缺少統(tǒng)一監(jiān)控、智能檢測、智能審計缺少統(tǒng)一監(jiān)控、智能檢測、智能審計，易用性不足，不利于推動新質生產力發(fā)展。Chapter03中國移動磐維數據庫解決方案中國移動磐維數據庫發(fā)展歷程移動云原生數據庫的研發(fā)是中國移動響應國家“加快建設科技強國”戰(zhàn)略、踐行中國移動創(chuàng)世界一流“力量大廈”戰(zhàn)略規(guī)劃的重要●●構建差異化競爭力繁榮數據庫生態(tài)●磐維1.0發(fā)布●●構建差異化競爭力繁榮數據庫生態(tài)●磐維1.0發(fā)布域內推廣自研數據庫論證與準備數據庫國產化研究與試點證與準備遷移平臺：數據庫作為信創(chuàng)產業(yè)生態(tài)鏈的重要基礎軟件，具?市場層面：預計2025年中國數據庫市場份額將達688億元，?行業(yè)層面：數智化轉型對IT基礎架構建設提出了新的挑戰(zhàn)，?2023年發(fā)布磐維數據庫2.0版本，大幅提升兼容性與工具易?發(fā)揮技術應用與變現優(yōu)勢，在AI4DB、全密態(tài)計算等方向積?充分調研多種開源數據庫內核特點，最終采用發(fā)展趨勢較好?組建數據庫產品、研發(fā)和交維團隊，全面開展數據庫產品的中國移動磐維數據庫市場定位產品定位深入研究數據庫技術體系，從功能、性能、平滑過渡等多方面，構建自主可控的企業(yè)級數據庫產品。圍繞數據庫內核產品定位深入研究數據庫技術體系，從功能、性能、平滑過渡等多方面，構建自主可控的企業(yè)級數據庫產品。圍繞數據庫內核，搭建數據庫遷移平臺+運維管理平臺，并提供整套數據庫解決方案。與國產軟硬件廠商通力合作，實現全鏈條、全方位的協(xié)同運轉，豐富信創(chuàng)產業(yè)生態(tài)。建設數據庫服務體系，加入企業(yè)數智化轉型市場，實現多行業(yè)、多領域賦能。市場拓展市場拓展中國移動磐維數據庫關鍵特性-行存、列存、內存等多種存儲模式、多樣負載-提供主備式、分布式、一體機、云化多樣部署-行存、列存、內存等多種存儲模式、多樣負載-提供主備式、分布式、一體機、云化多樣部署-NUMA-AWARE技術、極大提升多核處理器-SQLbypaas特殊執(zhí)行路徑-主流數據庫Oracle/MySQL/PG等超融合兼容引擎-基于多種國產平臺軟硬協(xié)同-強化學習的參數自調優(yōu)、啟發(fā)式索引推薦-循環(huán)神經網絡的多指標監(jiān)控告警-強化學習的參數自調優(yōu)、啟發(fā)式索引推薦-循環(huán)神經網絡的多指標監(jiān)控告警-多數據源、多模式、全自動化遷移-自動兼容評估，智能改造建議-提供同城雙中心、兩地三中心、異地雙活集群-邏輯備份、物理備份，多種備份恢復策略-提供同城雙中心、兩地三中心、異地雙活集群-邏輯備份、物理備份，多種備份恢復策略-接入認證、權限管理、安全審計、保障系統(tǒng)安全-基于國密算法的全密態(tài)存儲/傳輸/計算-簡化安裝部署，多層次系統(tǒng)管理-全方位監(jiān)控，全自動巡檢，智能告警中國移動磐維數據庫產品體系部署形態(tài)全棧式解決方案產品標準服務遷移平臺企業(yè)級關系型數據庫部署形態(tài)全棧式解決方案產品標準服務遷移平臺適用場景年度維保服務高性能內核高性能內核SQL引擎存儲引擎運維平臺專家高級服務運維平臺專家高級服務......增量檢查點NUMA化數據結構空間管理存儲管理適配......基礎平臺支持基礎平臺支持CPU：鯤鵬/海光/飛騰/龍芯/兆芯/申威/Intel等主流芯片CPU：鯤鵬/海光/飛騰/龍芯/兆芯/申威/Intel等主流芯片OS：BC-Linux/openEuler/麒麟/統(tǒng)信等主流操作系統(tǒng)部署：物理機/私有云/混合云/公有云等Chapter04北京移動數據庫數智化生態(tài)成果與應用國產化實踐經驗AI+場景技術打造“數據庫自主可控數智生態(tài)體系”國產化實踐經驗AI+場景技術數據庫自主可控數智生態(tài)體系一套管理流程自主可控改造管理流程兩大改造方法論兩大改造方法論三引擎方法論雙平面方法論四大數智生態(tài)工具四大數智生態(tài)工具數據交換平臺智能運維平臺可信管理平臺SQL智能管控平臺自主可控改造管理流程完整的數據庫割接方案包括：遷移流程，遷移預估，遷移測試結果以及數據回流的托底方案。完整的數據庫割接方案包括：遷移流程，遷移預估，遷移測試結果以及數據回流的托底方案。數據庫割接集成設計數據庫割接國產庫必須有高可用方案需要帶業(yè)務的全場景測試高可用測試測試階段出現的問題確認閉環(huán)并進行驗證后，才可進行遷移籌備階段國產庫必須有高可用方案需要帶業(yè)務的全場景測試高可用測試測試問題閉環(huán)測試問題閉環(huán)運維管理建設運維管理建設包括數據庫集群狀態(tài)查詢腳本，空間兼容性改造容量查詢，慢查詢定位腳本，鎖定位兼容性改造安全認證通過資質審核和安全入網掃描合格方可準入及查殺，系統(tǒng)會話查殺腳本，集群重起安全認證通過資質審核和安全入網掃描合格方可準入性能測試數據庫和開發(fā)明確改造界面，改造中去掉oracle特性內容，保證國產化版本的代碼移植性。業(yè)務開發(fā)務必枚舉性能風險點用例性能測試數據庫和開發(fā)明確改造界面，改造中去掉oracle特性內容，保證國產化版本的代碼移植性。上線的性能標準。雙平面方法論雙平面方法論核心庫國產化挑戰(zhàn)雙平面回切方案雙平面方法論核心庫國產化挑戰(zhàn)雙平面回切方案第一步性能有“差距”第一步-—廠-----—廠----遷移有“風險”第二步第二步模擬測試”困難”第三步第三步三引擎方法論自主研發(fā)數據庫數智化生態(tài)工具集京審SQL智能管控平臺京信數據可信管理平臺京融數據交換平臺京審SQL智能管控平臺京信數據可信管理平臺京融數據交換平臺京維數據庫智能運維平臺具備數據遷移，數據對比，自動生成報表，數據清洗，數據映射等功能。京融具備自動分析，平臺自動生成分析報告，歷史數據留存，隨時調取態(tài)勢感知，智能預警等功能。京維具備對結構化非結構化等重要數據資產持續(xù)檢查確認數據是可信狀態(tài)，數據一但有異常有問題，能夠快速發(fā)現、告警、分析定位，并修復到可信狀態(tài)。京信SQL監(jiān)控和建模分析平臺，具備SQL監(jiān)控和審核，SQL運行模型建立，自動分析等功能。知識庫主動修復主動防御智能預警主動修復主動防御智能預警關鍵特性痛點難點關鍵特性痛點難點應用效果解決方案關鍵特性?界面化操作：選擇規(guī)則進行篩選，監(jiān)控關鍵特性?界面化操作：選擇規(guī)則進行篩選，監(jiān)控?適配多種數據庫：滿足對多種數據庫制?定期執(zhí)行、智能調度：數據表清理及分區(qū)合并工作自動化、智能化執(zhí)行，減少應用效果痛點難點痛點難點解決方案數據量不斷膨脹，分區(qū)數持續(xù)增長，數據系統(tǒng)穩(wěn)定運行，需保持數據庫清爽和高性能，不斷增加臨時分區(qū)、臨時數據清理等數據表保留周期歷史空分區(qū)可清理列表可清理列表數據清理腳本分區(qū)表最大分區(qū)<100MB表使用頻率表使用頻率每小時變化<1000行分區(qū)合并列表分區(qū)合并列表分區(qū)合并腳本關鍵特性關鍵特性測應用效果痛點難點解決方案機器學習關聯分析熵值技術數據機器學習關聯分析熵值技術數據預處理異常識別告警結構化數據備份等副本數據…相似度分析…異常特征提取非結構化數據AAI智能引擎可信評估可信評估分析定位威脅