時序空間大數(shù)據(jù)處理平臺方案

1、時序空間大數(shù)據(jù)處理平臺方案快速搭建一超高性能的時序空間大數(shù)據(jù)處理平臺 時序空間數(shù)據(jù)特點 現(xiàn)有方案的弊端 TDengine基本介紹 如何應(yīng)對每天都在變化的大數(shù)據(jù)分析需求 機械設(shè)備監(jiān)測數(shù)據(jù)的實時計算大數(shù)據(jù)時代數(shù)據(jù)采集后被源源不斷的發(fā)往云端+物聯(lián)網(wǎng)、工業(yè)4.0的技術(shù)鏈傳感器數(shù)據(jù)采集通訊模組邊緣計算云數(shù)據(jù)引擎（存儲查詢計算）分析應(yīng)用系統(tǒng)數(shù)據(jù)都是結(jié)構(gòu)化的一個采集點的數(shù)據(jù)一定是它產(chǎn)生的 數(shù)據(jù)很少有更新或刪除操作數(shù)據(jù)一般是按到期日期來刪除的物聯(lián)網(wǎng)、工業(yè)4.0數(shù)據(jù)特征：時序空間數(shù)據(jù)采集的數(shù)據(jù)量巨大，但有典型特征:數(shù)據(jù)以寫操作為主，讀操作為輔數(shù)據(jù)流量平穩(wěn)，可以較為準確的計算 數(shù)據(jù)都有統(tǒng)計、聚合等實時計算操作數(shù)據(jù)

2、一定是指定時間段和指定區(qū)域查找的 數(shù)據(jù)量巨大，一天的數(shù)據(jù)量就超過100億條1 所有采集的數(shù)據(jù)都是時序的2345678910通用的解決方案將開源的Kafka, Redis, Hbase, MongoDB, Cassandra, ES, Hadoop, Spark， Zookeeper等大數(shù)據(jù)軟件拼裝起來，利用集群來處理海量數(shù)據(jù)。面臨的挑戰(zhàn)開發(fā)效率低因牽涉到多種系統(tǒng)，每種系統(tǒng)有自己的開發(fā)語言 和工具，開發(fā)精力花在了系統(tǒng)聯(lián)調(diào)上，而且數(shù)據(jù)的一致性難以保證運行效率差非結(jié)構(gòu)化數(shù)據(jù)技術(shù)來處理結(jié)構(gòu)化數(shù)據(jù)，整體性能 不夠，系統(tǒng)資源消耗大。因為多套系統(tǒng)，數(shù)據(jù)需 要在各系統(tǒng)之間傳輸，造成額外的運行代價運維復(fù)雜每個系

3、統(tǒng)都有自己的運維后臺，帶來 更高的運維代價，出問題后難以跟蹤 解決，系統(tǒng)的不穩(wěn)定性大幅上升應(yīng)用推向市場慢集成復(fù)雜，得不到專業(yè)服務(wù)，項目實 施周期長，導致人力攀升，利潤縮水TDengine 應(yīng)運而生TDengine 提供的功能消息隊列緩存流式計算訂閱數(shù)據(jù)庫完整的時序空間數(shù)據(jù)處理引擎TDengine 技術(shù)亮點快10倍的插入和查詢通過創(chuàng)新的存儲設(shè)計，并采用無鎖設(shè)計和多核技 術(shù)，讓數(shù)據(jù)插入和查詢的速度比現(xiàn)有專業(yè)的時序 數(shù)據(jù)庫提高了10倍以上更高的水平擴展能力通過先進的集群設(shè)計，保證了系統(tǒng)處理能力的水 平擴展，而且讓數(shù)據(jù)庫不再依賴昂貴的硬件和存 儲設(shè)備，不存在任何單點瓶頸和故障零學習成本使用標準的SQL

4、語法，并支持JDBC, ODBC,REST接口，應(yīng)用API與MySQL高度相似，讓學 習成本幾乎為零超融合將大數(shù)據(jù)處理需要的消息隊列、緩存、數(shù)據(jù)庫、流式 計算、訂閱等功能融合在一起，提升運行效率，保證 整個系統(tǒng)的數(shù)據(jù)的一致性極低的資源消耗整個完整安裝包才1.2M，內(nèi)存的最低要求不到1M，計 算資源不到通用方案的1/5。通過列式存儲和先進的壓縮 算法，存儲空間不到傳統(tǒng)數(shù)據(jù)庫的1/10。零運維管理成本追求極致的用戶體驗，將復(fù)雜的運維工作完全智能化。 無需分庫分表，數(shù)據(jù)備份、數(shù)據(jù)恢復(fù)完全自動；擴容、 升級、IDC機房遷移輕松完成云服務(wù)或硬件成本不 及通用方案的1/10研發(fā)成本大幅降低，無需培 訓、無

5、需集成其他軟件零管理，后期運營管 理成本大幅下降硬件云服 務(wù)成本研發(fā) 成本運營 成本TDengine 整體成本優(yōu)勢對比測試完整對比測試報告，請參閱：對比測試完整對比測試報告，請參閱：充分利用物聯(lián)網(wǎng)數(shù)據(jù)特點對于一個數(shù)據(jù)采集點而言，只有一個寫結(jié)構(gòu)化數(shù)據(jù)s時序的 。不基于任何開源產(chǎn)品，C/C+開發(fā)了存儲引擎集群調(diào)度、管理計算模塊SQL解析 。TDengine 性能指標為何這么出眾量身定制只為物聯(lián)網(wǎng)數(shù) 據(jù)而設(shè)計不適合電商、社區(qū)、ERP、CRMTDengine 系統(tǒng)結(jié)構(gòu)V0V1V3dnode 7V0V1V3M0V0V1V3V2V0V1V3V2dnode 0V0V1V3V2dnode1dnode 2dno

6、de 3V0V1V2dnode 4V0V1M1V2dnode 5V0V2V3V1dnode 6M2V3完全無中心化設(shè)計使用KV或關(guān)系型DB，在多個數(shù)據(jù)采集點存在的情況下 難以保證一個采集點的數(shù)據(jù)在內(nèi)存或硬盤上的連續(xù)性TDengine，一個采集點的數(shù)據(jù)在一個塊里是連續(xù)存放的，塊的大小可配置 采取Block Range Index, 可快速定位要查找的數(shù)據(jù)所處的塊012345012345連續(xù)存放WriteAppmemorydiskCommit logVnodePeer VnodeFlushFILEFILETDengine 數(shù)據(jù)寫入流程TDengine Metric：多個采集點的數(shù)據(jù)聚合Metric

7、是表的集合，包含多張表，而且每張表的schema是一樣的。同一類型的采集設(shè)備可以是一 個Metric，除定義Schema外, 還可定義多個標簽。標簽定義表的靜態(tài)屬性，如設(shè)備型號、顏色等。具體創(chuàng)建表時，指定使用哪個Metric（采集點的類型），并指定標簽值。應(yīng)用可以象查詢表一樣查詢Metric, 但可以通過標簽過濾條件查詢部分或全部數(shù)據(jù)采集點的記錄，并 且可以做各種聚合、計算等，方便支持復(fù)雜查詢，應(yīng)對業(yè)務(wù)需求。每個表（采集點）都有對應(yīng)一行的標簽數(shù)據(jù)，保存在Meta節(jié)點，而且存放在內(nèi)存并建有索引。標簽 數(shù)據(jù)可以任意增加、刪除、修改。標簽數(shù)據(jù)與采集數(shù)據(jù)完全分離，大大節(jié)省存儲空間，并提高訪問效 率。而

8、且對于已經(jīng)采集的歷史數(shù)據(jù)，事后可以打上新的標簽。實際場景中，經(jīng)常需要將多個采集點數(shù)據(jù)進行聚合處理，比如所有溫度傳感器采集的溫度的平均值。因 為一個傳感器就是一張表，這樣需要將多張表聚合。為減少應(yīng)用的復(fù)雜性，TDengine引入Metric概念。TDengine 聚合計算流程Data Node 0Data Node 1Meta NodeDriverData NodeApp5-14-24-04-15-05-2TDengine 時間軸上的數(shù)據(jù)聚合實際場景中，經(jīng)常需要將一段時間的數(shù)據(jù)進行聚合，比如downsampling, 采樣頻率為一秒一次，但最 終只記錄一分鐘的平均值。TDengine引入關(guān)鍵詞i

9、nterval, 以進行時間軸上的聚合操作。時間軸的聚合 既可以針對單獨一張表，也可以針對符合標簽過濾條件的一組表進行。select avg(degree) from t1 interval(5m);查詢溫度傳感器t1記錄的溫度每五分鐘的平均值select avg(degree) from thermometer where loc=beijing interval(5m);查詢北京所有溫度傳感器記錄的溫度每五分鐘的平均值TDengine 實時Stream計算select avg(degree) from thermometer where loc=beijing interval(5m) sliding(1m);目前支持Avg, Max, Min, Percentile, Sum, Count, Dev, First, Last, Diff, Scale等操作。 計算是針對時間段，同時可針對一張表或符合過濾條件的一組表進行聚合。實時計算的衍生數(shù)據(jù)可以實時寫入新的表，方便后續(xù)的查詢操作。衍生數(shù)據(jù)還可以與其他 原始數(shù)據(jù)或其他衍生數(shù)據(jù)進行各種聚合計算，生成新的數(shù)據(jù)。每隔一分鐘計算北京剛剛過去的五分鐘的溫度平均值d1 ascreate tab