2022云棲大會：達摩院加持下的數(shù)據(jù)庫技術(shù)前沿

達摩院數(shù)據(jù)庫與存儲實驗室資深技術(shù)專家全域多模全域多模智能自治Unification混合負載達摩院數(shù)據(jù)庫與存儲實驗室讓數(shù)據(jù)無縫、安全、智能、自由流動SecuritySecurity安全可信Integration體網(wǎng)格引擎軌跡引擎表面網(wǎng)格引擎柵格引擎路徑引擎快顯引擎點云引擎地理網(wǎng)格引擎體網(wǎng)格引擎軌跡引擎表面網(wǎng)格引擎柵格引擎路徑引擎快顯引擎點云引擎地理網(wǎng)格引擎孿生全空間數(shù)據(jù)管理引擎Ganos融合空天地、室內(nèi)外、地上下多模多態(tài)數(shù)據(jù)的混合存儲、查詢與分析計算服務(wù)幾何引擎幾何引擎實景引擎實景引擎批量快速寫入讀寫緩沖加速冷熱多級存儲多維時空索引批量快速寫入讀寫緩沖加速冷熱多級存儲多維時空索引存儲成本優(yōu)化計算并行加速數(shù)據(jù)高效壓縮統(tǒng)一幾何&視覺統(tǒng)一增刪改查分析3D全空間計算拓撲關(guān)系交并差集全空間擴展存儲全空間索引OSS拓展存儲統(tǒng)一幾何&視覺統(tǒng)一增刪改查分析3D全空間計算拓撲關(guān)系交并差集全空間擴展存儲全空間索引OSS拓展存儲Ganos5.0：視算一體化3D全空間數(shù)據(jù)處理構(gòu)建了表面網(wǎng)格、三維實景和體網(wǎng)格的3D全空間模型，支持3D全空間計算和基于OSS的全空間擴展存儲視算一體化3D全空間數(shù)據(jù)處理視算一體化3D全空間數(shù)據(jù)處理可視可視查詢查詢統(tǒng)一元胞網(wǎng)格3D全空間模型3D全空間模型全空間復雜分析計算效率提升50-100X統(tǒng)一元胞網(wǎng)格城市全域?qū)\生場景的綜合表達模型壓縮能力增強1倍全空間混合存儲庫內(nèi)存儲容量平均降低50%全空間全空間室內(nèi)外地上下多模態(tài)數(shù)據(jù)一庫統(tǒng)管可計算可計算多尺度多精度跨模融合查詢與分析真孿生真孿生實體模型代替純切片方式Security下一代數(shù)據(jù)庫安全可信體系首次提出全生命周期數(shù)據(jù)密態(tài)管理，保障企業(yè)數(shù)據(jù)資產(chǎn)機密性、真實性、隱私性 /MPC隱私計算引擎政務(wù)數(shù)智化治理防篡改數(shù)據(jù)庫即將發(fā)布 /MPC隱私計算引擎政務(wù)數(shù)智化治理防篡改數(shù)據(jù)庫即將發(fā)布全鏈路敏感數(shù)據(jù)保護全密態(tài)數(shù)據(jù)庫數(shù)據(jù)源數(shù)據(jù)源經(jīng)典數(shù)據(jù)庫安全能力訪問控制存儲&傳輸加密數(shù)據(jù)庫審計數(shù)據(jù)脫敏風險監(jiān)控數(shù)據(jù)容災(zāi)等數(shù)據(jù)全生命周期的安全防護與隱私保護全鏈路敏感數(shù)據(jù)保護全鏈路敏感數(shù)據(jù)保護全密態(tài)數(shù)據(jù)庫（除主鍵外，全部列加密）（TPC-H、TPC-DS全部支持）一站式數(shù)據(jù)安全中心·DMS數(shù)據(jù)采集安全分級分類敏感數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)傳輸安全數(shù)據(jù)存儲安全數(shù)據(jù)采集安全分級分類敏感數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)傳輸安全數(shù)據(jù)存儲安全數(shù)據(jù)共享&交換安全數(shù)據(jù)脫敏數(shù)據(jù)水印防泄露IP白名單安全組抗DDos攻擊經(jīng)典數(shù)據(jù)庫安全能力經(jīng)典數(shù)據(jù)庫安全能力訪問控制數(shù)據(jù)庫防火墻數(shù)據(jù)庫漏掃數(shù)據(jù)庫靜/動態(tài)脫敏數(shù)據(jù)庫審計風險監(jiān)控備份&恢復數(shù)據(jù)容災(zāi)等公共云公共云/DBStack:企業(yè)級一站式云原生基座，解耦多源異構(gòu)硬件資源通用X86硬件國產(chǎn)硬件自研硬件技術(shù)成果與領(lǐng)先性讓達摩院核心技術(shù)成果加持阿里云產(chǎn)品，讓密態(tài)數(shù)據(jù)管理構(gòu)建企業(yè)數(shù)據(jù)安全護城河產(chǎn)品資質(zhì)產(chǎn)品資質(zhì)>國密三級認證>CFCA金融產(chǎn)品認證證書>唯一通過信通院測評的防篡改NoSQL數(shù)據(jù)庫>隱私計算-TEE基礎(chǔ)能力專項評測證書>數(shù)據(jù)脫敏系統(tǒng)銷售許可證>全密態(tài)數(shù)據(jù)庫（進行中）>隱私計算-TEE性能專項評測證書（進行中）>隱私計算-TEE安全功能專項測評證書（進行中）全密態(tài)數(shù)據(jù)庫查詢性能（TPC-C）達到明文SQL執(zhí)行的50%以上Intelligence虛警抑制驅(qū)動知識庫診斷虛警抑制驅(qū)動知識庫診斷時序數(shù)據(jù)庫算子和競品比較相同準確度下速度1000X數(shù)據(jù)庫智能與自治數(shù)據(jù)庫知識數(shù)據(jù)庫知識實體與關(guān)系傳統(tǒng)方案In-databaseAINL2SQL-耶魯大學Spider評測準確度第一速度10XAI算子-Oracle公開數(shù)據(jù)集80%任務(wù)優(yōu)于其他方案準確度Alibaba-CatSQLSADGA速度AIAIforDB提升使用體驗DBforAI挖掘數(shù)據(jù)價值云上自治服務(wù)輔助自治實例數(shù)云上自治服務(wù)輔助自治實例數(shù)全自治實例月增長率購買后直接使用，簡單易用持續(xù)優(yōu)化、故障自愈、數(shù)據(jù)安全、成本優(yōu)化2023年全球75%數(shù)據(jù)庫將會跑在云上阿里巴巴內(nèi)部4900萬全網(wǎng)慢SLQ下降可觀測可控制知識庫診斷聲明式SQL驅(qū)動數(shù)據(jù)庫原生AI模型聲明式SQL驅(qū)動數(shù)據(jù)庫原生AI模型創(chuàng)建數(shù)據(jù)推理研發(fā)CatSQL技術(shù)，獲耶魯大學Spider數(shù)據(jù)集評測第一名?模型規(guī)模僅為第二名的1/7?計算速度提升10倍以上DB4AI：數(shù)據(jù)庫內(nèi)置AI服務(wù)和MLOps數(shù)據(jù)庫知識數(shù)據(jù)庫知識金融服務(wù)金融服務(wù)風險控制風險控制搜索推薦搜索推薦普通節(jié)點普通節(jié)點RDMA極致吞吐System分布式事務(wù)處理分布式事務(wù)處理交?優(yōu)化分布式事務(wù)處理能力：確保事務(wù)在寫階段不Abort，因此事務(wù)寫完即可提交，即無需2PC確認Commit/Abort。?日常的任務(wù)負載中，分布式事務(wù)吞吐提升30-100%。系統(tǒng)內(nèi)核：聚焦分布式數(shù)據(jù)庫核心能力分布式一致性協(xié)議分布式一致性協(xié)議?一致性：多副本數(shù)據(jù)庫需要Paxos/Raft等共識協(xié)議保證數(shù)據(jù)一致?采用分布式亂序存儲，相較傳統(tǒng)的Raft，同硬件條件?支持無感彈升到多臺機器，寫吞吐提升30X。數(shù)據(jù)庫算子硬件化?數(shù)據(jù)庫在網(wǎng)計算：通過新硬件和軟件硬件化，可編程交換機（SNA）將負載均衡、一致性協(xié)議、緩存等核心數(shù)據(jù)庫算子硬件化?數(shù)據(jù)庫在網(wǎng)計算：通過新硬件和軟件硬件化，可編程交換機（SNA）將負載均衡、一致性協(xié)議、緩存等核心算子下推到網(wǎng)絡(luò)。?硬件實現(xiàn)高頻率算子，減少在OS/DB層的開銷，極致提升性能，技術(shù)推動降本增效。系統(tǒng)內(nèi)核：拓展數(shù)據(jù)庫前沿領(lǐng)域云原生HTAP數(shù)據(jù)庫云原生HTAP數(shù)據(jù)庫?HTAP數(shù)據(jù)庫采用分布式行列混存架構(gòu)來應(yīng)對混合負載的查詢，近年來架構(gòu)迭代迅速。In-memory列存和共享存儲等技術(shù)成為趨勢。?實現(xiàn)計算和行列存儲獨立擴縮容，尤其適合AP場景下的serverle