2022云棲大會：Lindorm多模融合海量數(shù)據(jù)存得起看得見

阿里云阿里云NoSQL數(shù)據(jù)庫PD負(fù)責(zé)人阿里云NoSQL數(shù)據(jù)庫研發(fā)負(fù)責(zé)人互聯(lián)網(wǎng)平臺業(yè)務(wù)數(shù)據(jù)2000s9互聯(lián)網(wǎng)平臺業(yè)務(wù)數(shù)據(jù)2000s91傳統(tǒng)商業(yè)業(yè)務(wù)數(shù)據(jù)半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)處理與分析半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)處理與分析數(shù)據(jù)特征（4V）海量（Volume）、多樣（Variety）、價(jià)值（Value）、時效寬表wideColumn圖Graph時序TimeSeriaIs鍵值KV（緩存態(tài)/持久化）文檔Document結(jié)構(gòu)化數(shù)據(jù)處理與分析堅(jiān)實(shí)支撐阿里電商Tair支撐了電商交易核心體驗(yàn)場景，數(shù)十億QPS的峰結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)移動互聯(lián)網(wǎng)移動互聯(lián)網(wǎng)PB級互聯(lián)網(wǎng)TB級關(guān)系模型架構(gòu)挑戰(zhàn)關(guān)系型數(shù)據(jù)庫階段Google三駕馬車非關(guān)系型數(shù)據(jù)庫階段非關(guān)系型數(shù)據(jù)庫階段Gartner分離分離高學(xué)習(xí)成本高運(yùn)維成本高資源成本高學(xué)習(xí)成本高運(yùn)維成本高資源成本彈性低成本計(jì)算/存儲分離架構(gòu)，資源獨(dú)立彈性伸縮彈性低成本計(jì)算/存儲分離架構(gòu)，資源獨(dú)立彈性伸縮開源生態(tài)兼容支持與常見數(shù)據(jù)庫之間的雙向在線遷移，無縫對客戶端LindormSQLHBaseCassandraOpenTSDBInfluxDBSolrS3HDFSKafka結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)時代的云原生多模數(shù)據(jù)庫，Lindorm讓海量數(shù)據(jù)存得起，看得見多模超融合多模超融合原生支持寬表、時序、對象、時空等多種數(shù)據(jù)類型標(biāo)準(zhǔn)SQL接口，統(tǒng)一訪問多模數(shù)據(jù)統(tǒng)一查詢引擎統(tǒng)一查詢引擎LindormSQLLindorm多模引擎Lindorm計(jì)算引擎實(shí)時處理對象云原生分布式文件系統(tǒng)LindormDFS交互分析批計(jì)算在線查詢多維檢索表格流彈性使用彈性使用底層存儲池化管理，用戶按需使用，無感擴(kuò)縮容高效壓縮與編碼支持使用糾刪碼EC算法，副本冗余系數(shù)低至1.25數(shù)據(jù)文件分塊壓縮，上層計(jì)算透明使用多級介質(zhì)混合管理支持多副本異構(gòu)存儲，高速介質(zhì)提供性能，低速介質(zhì)可靠性，最大化性價(jià)比LindormLindorm多模引擎搜索HadoopCompatibleFilesystemProtocol（HDFS兼容）文件管理冷熱轉(zhuǎn)存副本異構(gòu)池化調(diào)度擎時序引流引擎對象寬表多租戶安全糾刪碼EC透明壓縮物聯(lián)網(wǎng)數(shù)據(jù)壓縮比高達(dá)15:1，綜合存儲成本下降80%，云原生彈性滿足任意存儲規(guī)模多模數(shù)據(jù)統(tǒng)一視圖多模數(shù)據(jù)統(tǒng)一視圖提升開發(fā)效率支持豐富類型、結(jié)構(gòu)松散的大寬表支持豐富類型、結(jié)構(gòu)松散的大寬表TimeSeriesPolygon時序類型基礎(chǔ)數(shù)據(jù)類型高級數(shù)據(jù)類型對象類型時空類型BooleanVarcharVectorJsonPointBlobLineInt……LindormLindorm多模引擎搜索時擎序引對象寬表流庫算智一體化APP增強(qiáng)數(shù)據(jù)處理能力分布式計(jì)算減少數(shù)據(jù)鏈路維護(hù)接入API流庫算智一體化APP增強(qiáng)數(shù)據(jù)處理能力分布式計(jì)算減少數(shù)據(jù)鏈路維護(hù)接入API提升業(yè)務(wù)迭代速度流式處理復(fù)雜分析檢索聚合在線查詢流式處理復(fù)雜分析檢索聚合分布式文件系統(tǒng)LDFS(lindorm-dfs)場景數(shù)據(jù)冷熱特征明顯，數(shù)據(jù)存儲成本壓力大Lindorm寬表引擎冷熱統(tǒng)一查詢分區(qū)1冷熱自由調(diào)整冷熱異構(gòu)管理價(jià)值?冷數(shù)據(jù)存儲成本減少90%?熱數(shù)據(jù)查詢性能提升15%?場景數(shù)據(jù)冷熱特征明顯，數(shù)據(jù)存儲成本壓力大Lindorm寬表引擎冷熱統(tǒng)一查詢分區(qū)1冷熱自由調(diào)整冷熱異構(gòu)管理價(jià)值?冷數(shù)據(jù)存儲成本減少90%?熱數(shù)據(jù)查詢性能提升15%?業(yè)務(wù)代碼零改造?冷熱參數(shù)在線調(diào)整按行冷熱轉(zhuǎn)換元數(shù)據(jù)與索引層熱數(shù)據(jù)層冷數(shù)據(jù)層…核心挑戰(zhàn)?統(tǒng)一查詢：基于元數(shù)據(jù)與查詢條件按需懶加載冷數(shù)據(jù)，冷熱自動聚合返回算法，減少冷熱轉(zhuǎn)換IO放大?冷熱調(diào)整：按行識別冷熱，在線調(diào)整冷熱分界線。?冷數(shù)據(jù)極致處理：行列混存格式提升壓縮比，元數(shù)據(jù)分層按需加載減少內(nèi)存占用快速壓縮容量型存儲性能型存儲高速介質(zhì)深度壓縮冷熱高效分離冷熱高效分離分區(qū)2分區(qū)2場景海量數(shù)據(jù)的低成本存儲、高并發(fā)查詢、多維檢索與聚合分析場景海量數(shù)據(jù)的低成本存儲、高并發(fā)查詢、多維檢索與聚合分析護(hù)，即可獲得海量數(shù)據(jù)下的多維檢索與聚合分析的能力，體驗(yàn)與效率大幅領(lǐng)先于多個產(chǎn)品的組合方案RBO自動選擇最合適的索引，加速查詢頁、文本分詞、高亮顯示等能力?檢索分析加速：索引數(shù)據(jù)使用倒排、BKD樹、列存等技術(shù)，大幅提升多維檢索與聚合分析的性能資源碎片，并支持按需IO隔離。平衡一致性與吞吐延遲的選擇查詢解析主鍵查詢寫入擎ore 同步寫入索引(強(qiáng)一致)執(zhí)行優(yōu)化協(xié)議接入WAL多維檢索與分析全量構(gòu)建索引異步更新索引數(shù)據(jù)多模態(tài)海量規(guī)模場景多樣業(yè)務(wù)挑戰(zhàn)車聯(lián)網(wǎng)應(yīng)用事件觸發(fā)在線請求數(shù)據(jù)分析簡單易用豐富處理，統(tǒng)一訪問高性能數(shù)據(jù)處理性能比開源自建快3-10倍數(shù)據(jù)多模態(tài)海量規(guī)模場景多樣業(yè)務(wù)挑戰(zhàn)車聯(lián)網(wǎng)應(yīng)用事件觸發(fā)在線請求數(shù)據(jù)分析簡單易用豐富處理，統(tǒng)一訪問高性能數(shù)據(jù)處理性能比開源自建快3-10倍彈性資源按需秒級伸縮成本壓力成本壓力分析運(yùn)營分析車況分析實(shí)時預(yù)警車輛監(jiān)控事件多模數(shù)據(jù)融合統(tǒng)一訪問實(shí)時入庫實(shí)時云原生多模數(shù)據(jù)庫Lindorm車輛狀態(tài)與屬性標(biāo)簽數(shù)據(jù)視頻/圖片數(shù)據(jù)車輛位置數(shù)據(jù)屬性/標(biāo)簽索引實(shí)時數(shù)據(jù)時非結(jié)構(gòu)化數(shù)據(jù)視頻/圖片接入方案優(yōu)勢低成本低成本自動冷熱分離，高壓縮率，綜合成本降低80%大容量大容量系統(tǒng)水平擴(kuò)展，支持PB級存儲和千萬級吞吐企業(yè)級企業(yè)級歷經(jīng)十余年生產(chǎn)考驗(yàn)，具備成熟的穩(wěn)定性、安全性能力挑戰(zhàn)挑戰(zhàn)多模融合多模融合解決解決數(shù)據(jù)孤島存儲，融合分析困難資源碎片，存儲成本高API多樣化，開發(fā)成本高44次連接4種API4個集群元數(shù)據(jù)運(yùn)行數(shù)據(jù)關(guān)系數(shù)據(jù)庫搜索引擎時序數(shù)據(jù)庫元數(shù)據(jù)運(yùn)行數(shù)據(jù)關(guān)系數(shù)據(jù)庫搜索引擎時序數(shù)據(jù)庫監(jiān)控監(jiān)控TracingTracing寬表數(shù)據(jù)庫常規(guī)方案運(yùn)行數(shù)據(jù)Tracing運(yùn)行數(shù)據(jù)Tracing監(jiān)控監(jiān)控元數(shù)據(jù)云原生多模數(shù)據(jù)庫云原生多模數(shù)據(jù)庫Lindorm