Lindorm TSDB 產(chǎn)品簡介介紹

LindormTSDB產(chǎn)品簡介阿里云數(shù)據(jù)庫產(chǎn)品架構應用案例關鍵技術01產(chǎn)品架構Lindorm整體架構邊云同步邊云同步LindormTSDB引擎架構LindormTSDB：面向物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、應用監(jiān)控場景的高性能時序引擎LindormTSDBEdge集群管理TimeRange+Hash分片，彈性伸縮兼容OpenTSDB、InfluxDB開源生態(tài)認證鑒權執(zhí)行引擎查詢優(yōu)化時序定制引擎，高并發(fā)寫入、高壓縮率時序定制引擎，高并發(fā)寫入、高壓縮率時序定制引擎，高并發(fā)寫入、高壓縮率內(nèi)置時序計算引擎，時序特征算子TSCompute時序計算TSCoreTSCore標準型、性能型、容量型等多種類型存儲、自動冷熱分離TSCoreTSCore本地存儲LindormTSDB核心特性開放融合.兼容開源時序協(xié)議、支持ANSISQL訪問.多模融合，滿足多類型數(shù)據(jù)一體化存儲需求高性價比.云原生分布式存儲，多類型存儲，自動冷熱分離彈性伸縮.Serverless彈性伸縮，按需使用、按量付費時序計算.支持時序聚合、降采樣、插值、預測等算子.邊云融合，邊緣數(shù)據(jù)全量、增量同步到云端02時序模型whereiP=whereiP=andtimetemperature#ALL#2020-10-24T00:00:10ZA2020-10-24T00:00:20ZB2020-10-24T00:00:30Z………B2020-10-24T00:00:10ZB2020-10-24T00:00:20Z數(shù)據(jù)內(nèi)容Tag數(shù)據(jù)內(nèi)容Tag設備/數(shù)據(jù)源數(shù)據(jù)時間戳時序模型SQL訪問創(chuàng)建時序表CREATETABLEsensor(device_idVARCHARTAG,temperatureDOUBLE,humidityDOUBLE,INSERTINTOsensor(devicetime,temperature,humidity)1619076780000,12.1,45);基本查詢SELECTavg(humidity)FROMsensorWHEREdevice_id=xxxSELECTavg(f1)FROMsensorSAMPLEBY5m;時序最新值查詢SELECTlatest(f1)FROMsensorID、型號、廠商三個Tag時序模型示例-業(yè)務視圖Table:wind-generators功率、風速兩個功率、風速兩個Field數(shù)據(jù)點（數(shù)據(jù)點（DataPoint）TimeSeriesTimeSeries2020-10-24T00:00:10Z2020-10-24T00:00:20Z2020-10-24T00:00:10Z時序模型示例-數(shù)據(jù)視圖Table：wind-generators存儲所有風機的運行指標信息廠商time功率風速7AD45ECV110_20Vetas2020-10-24T00:00:10Z7AD45ECV110_20Vetas2020-10-24T00:00:20Z7AD45EEV110_20Vetas2020-10-24T00:00:10Z7AD45EEV110_20Vetas2020-10-24T00:00:20Z92CE73A1GW_115_202020-10-24T00:00:10Z92CE73A1GW_115_202020-10-24T00:00:20Z設備/設備/數(shù)據(jù)源數(shù)據(jù)內(nèi)容數(shù)據(jù)時間戳時序模型示例-典型查詢哪些數(shù)據(jù)源哪些數(shù)據(jù)源/設備t1t2t3t4t5t6t7哪些數(shù)據(jù)源哪些數(shù)據(jù)源/設備03應用案例典型應用場景應用監(jiān)控（應用監(jiān)控（APM）.10,000實例x200項監(jiān)控指標.每秒2,000,000點寫入.查詢指定實例部分監(jiān)控指標.監(jiān)控指標按條件聚合查詢.監(jiān)控異常分析，未來趨勢預測智能家居（智能家居（IoT）.200,000設備x60項監(jiān)控指標.每秒1,200,000點寫入，每小時.查詢200,000設備最新的某個指標.90,000,000用戶x20項監(jiān)控指標，每月.查詢所有用戶每月用電量總和.查詢所有用戶的指定指標.查詢各區(qū)域/線路總使用情況（按需聚應用監(jiān)控智慧家居工/農(nóng)業(yè)大腦智能電網(wǎng)應用案例-云原生應用統(tǒng)一監(jiān)控采集存儲可視化分析采集存儲APPAPPAPP監(jiān)控數(shù)據(jù)采集監(jiān)控數(shù)據(jù)采集監(jiān)控數(shù)據(jù)采集PrometheusPrometheusPrometheusPrometheusRemoteWriteLindormLindormTSDB自動冷熱分離兼容GrafanaGrafanaPrometheus是云原生監(jiān)控的事實標準?支持PrometheusRemoteWrite，實現(xiàn)監(jiān)控數(shù)據(jù)統(tǒng)一存儲?時間分區(qū)索引，解決云原生場景時間線膨脹問題?兼容PromQL查詢協(xié)議，通過Grafana實現(xiàn)統(tǒng)一監(jiān)控視圖?冷熱數(shù)據(jù)分離，冷數(shù)據(jù)自動歸檔到低成本OSS存儲?支持預降采樣，支持長周期數(shù)據(jù)的實時查詢訪問典型客戶：得物、虎牙、阿里云ARMS…計算分析…計算分析應用案例-物聯(lián)網(wǎng)平臺統(tǒng)一數(shù)據(jù)存儲物聯(lián)網(wǎng)設備統(tǒng)一數(shù)據(jù)管理平臺Lindorm寬表引擎Lindorm時序引擎Lindorm文件引擎Lindom搜索引擎云原生多模數(shù)據(jù)庫Lindorm?多類型數(shù)據(jù)統(tǒng)一融合存儲?彈性伸縮，冷熱數(shù)據(jù)分離存儲?兼容開源生態(tài)，統(tǒng)一數(shù)據(jù)分析 應用案例-工業(yè)邊云一體時序存儲邊緣數(shù)據(jù)采集邊緣數(shù)據(jù)采集邊緣數(shù)據(jù)采集邊緣時序存儲LindormTSDBEdgeLindormTSDBEdgeLindormTSDBEdge邊云同步通道云端統(tǒng)一時序存儲LindormLindormTSDBCloud自動冷熱分離JDBC集中式分析處理?邊緣輕量化部署，管理維護簡單，支持自動同步到云端?云端集中式存儲，彈性伸縮，冷熱數(shù)據(jù)分離存儲?ANSISQL支持，對接開源計算引擎，統(tǒng)一數(shù)據(jù)分析04核心技術基于時間范圍分片基于時間范圍分片核心技術-彈性伸縮..擴容后路由表新寫入數(shù)據(jù)分布存儲到3個節(jié)點ShardGroup2[shard3,shard4,shard5]ShardGroup1[shard1,shard2]集群增加節(jié)點C擴容前路由表數(shù)據(jù)分布存儲到2個節(jié)點ShardGroup1[shard1,shard2]基于設備/時間線Hash分片云原生分布式存儲云原生分布式存儲LindormDFSPre-downsample/aggregation核心技術-高性能時序存儲引擎TSFileTSFileTSFile2021-10-2402:01:02Value:2021-10-2402:03:02Value:原始數(shù)據(jù)流壓縮后數(shù)據(jù)112021-10-2402:01:02Value:2021-10-2402:03:02Value:原始數(shù)據(jù)流壓縮后數(shù)據(jù)11Header:2021-10-2402:00:00`0`0`11`:11:1:`1’核心技術-時序定制壓縮時序數(shù)據(jù)壓縮：通過Delta-of-Delta、Xor、ZigZag、RLE等壓縮算法對時間序列進行壓縮，最高可達15:1壓縮比...,降低存儲成本。2021-10-2402:02:02Value:熱最近6小時溫最近3個月熱最近6小時溫最近3個月核心技術-冷熱分層存儲OSS分層存儲，成本降低50%..可選擇標準型、容量型、性能型等不同特性的存儲。.時序引擎內(nèi)存時序引擎內(nèi)存本地磁盤本地磁盤/云盤 查詢最近1周數(shù)據(jù)保留最近3年保留最近3年查詢最近1周數(shù)據(jù)保留最近3年保留最近3年保留最近3個月查詢最近1小時數(shù)據(jù)核心技術-時序數(shù)據(jù)預處理.存儲；查詢直接訪問預處理后的數(shù)據(jù)，查詢性能提升10+倍。. 查詢最近1天數(shù)據(jù)查詢最近1天數(shù)據(jù)原始數(shù)據(jù)原始數(shù)據(jù)LocalStorageLocalStorageLocalStorageLocalStorage核心技術-邊云融合1創(chuàng)建模型6模型推理CREATEMODELFROM(SELECT1創(chuàng)建模型6模型推理CREATEMODELFROM(SELECTx,y,zFROM…)FUNCTIONpredict_salesSELECTpredict_sales(x,y)FROM…核心技術-機器學習時序預測（預覽）多模數(shù)據(jù)庫Lindorm4455通過SQL拉取訓練數(shù)據(jù)通過SQL拉取訓練數(shù)據(jù)借助機器學習平臺完成訓練3創(chuàng)建訓練任務3創(chuàng)建訓練任務模型訓練引擎Pre-Processing&TrainModelOptimize?用戶可以通過Lindorm，執(zhí)行CREATEMODEL語句創(chuàng)建機器學習模型；LindormML模塊負責模型訓練，并將模型部署到數(shù)據(jù)庫內(nèi)，用戶可通過SQL函數(shù)調(diào)用模型進行推理；也支持用戶導入外部訓練好的模型（BYOM)。信通院產(chǎn)品能力評測功能評測性能評測穩(wěn)定性評測05競品對比業(yè)界對比對比項LindormTSDBOpenTSDBTDEngineTimescaleDB查詢語言性價比讀寫性能、存儲成本高高一般高一般壓縮時序壓縮+通用壓縮通用壓縮時序壓縮+通用壓縮時序壓縮+通用壓縮數(shù)據(jù)模型多值模型多值模型單值模型多值模型多值模型多維檢索支持存在高基問題通過超級表弱化不支持高可用開源版不支持依賴HBase商業(yè)版本橫向擴展商業(yè)版本依賴HBase商業(yè)版本不支持預降采樣支持支持較弱不支持不支持不支持邊緣版本、邊云同步無