5G帶來(lái)流數(shù)據(jù)升級(jí) 傳統(tǒng)存儲(chǔ)有三缺陷

-3-5G帶來(lái)流數(shù)據(jù)升級(jí)傳統(tǒng)存儲(chǔ)有三缺陷當(dāng)下企業(yè)應(yīng)用的數(shù)據(jù)處理、存儲(chǔ)平臺(tái)多為10年前大數(shù)據(jù)興起時(shí)基于Hadoop、Spark等大數(shù)據(jù)框架的平臺(tái)，而將來(lái)將是流數(shù)據(jù)的時(shí)代，10年前的大數(shù)據(jù)框架自然也不適用于將來(lái)流數(shù)據(jù)的平臺(tái)要被淘汰。所以，要適應(yīng)流數(shù)據(jù)時(shí)代，數(shù)據(jù)框架先得轉(zhuǎn)變。目前市面上，京東、戴爾已經(jīng)在著手推動(dòng)。

5G的正式商用，使得AR/VR、自動(dòng)駕駛、物聯(lián)網(wǎng)等技術(shù)成為現(xiàn)實(shí)，這些技術(shù)的應(yīng)用也標(biāo)志著流數(shù)據(jù)時(shí)代到來(lái)。而當(dāng)前的數(shù)據(jù)處理、存儲(chǔ)方式并不適用于流數(shù)據(jù)時(shí)代，主要有三缺陷。

什么是流數(shù)據(jù)

所謂的流數(shù)據(jù)，并不是數(shù)據(jù)流，它指的是一組挨次、大量、快速、連續(xù)到達(dá)的數(shù)據(jù)序列，其可被視為一個(gè)隨時(shí)間連續(xù)而無(wú)限增長(zhǎng)的動(dòng)態(tài)數(shù)據(jù)集合，在并發(fā)上，其單位并非以千為單位，而是百萬(wàn)。同時(shí)，這樣的數(shù)據(jù)在讀寫上均對(duì)延時(shí)具有要求。

形象理解的話，自動(dòng)駕駛場(chǎng)景產(chǎn)生的數(shù)據(jù)，這就是典型的流數(shù)據(jù)。自動(dòng)駕駛的數(shù)據(jù)每分每秒能在產(chǎn)生，而交通路況又瞬息萬(wàn)變，其需要傳輸?shù)竭吘壏?wù)器或者云上核心數(shù)據(jù)中心的數(shù)據(jù)能被即傳即處理即返回，以對(duì)路況做出實(shí)時(shí)相應(yīng)，不行能說(shuō)數(shù)據(jù)傳過(guò)去十幾秒、幾秒才得到反應(yīng)指令，這勢(shì)必造成交通事故。

此外，產(chǎn)生流數(shù)據(jù)的典型場(chǎng)景還包括AR/VR、股票交易等。

流數(shù)據(jù)處理存儲(chǔ)平臺(tái)特征

自然，流數(shù)據(jù)來(lái)了，也就需要相應(yīng)的處理、存儲(chǔ)平臺(tái)。依據(jù)流數(shù)據(jù)的特點(diǎn)可以看出，其所需要的處理、存儲(chǔ)平臺(tái)需要滿意具備以下幾方面力量：一是百萬(wàn)級(jí)別并發(fā)下小于10ms的讀寫延時(shí)；二是同時(shí)具有存儲(chǔ)和處理力量，在此基礎(chǔ)上既能對(duì)流數(shù)據(jù)實(shí)現(xiàn)讀寫，同時(shí)歷史批量數(shù)據(jù)也能得到高吞吐量的讀；三是確保每個(gè)數(shù)據(jù)都能被處理且只處理一次，并遵循嚴(yán)格有序的訪問(wèn)模式。

傳統(tǒng)數(shù)據(jù)存儲(chǔ)有缺陷

但當(dāng)下企業(yè)所應(yīng)用的數(shù)據(jù)處理、存儲(chǔ)平臺(tái)卻存在著多種缺陷，根本無(wú)法適應(yīng)流數(shù)據(jù)的到來(lái)。通常而言，目前所使用的大數(shù)據(jù)框架主要為Hadoop、Spark或者是Kafka，數(shù)據(jù)進(jìn)入這些框架，將會(huì)被分為兩條線處理，一個(gè)走SparkStreaming去處理實(shí)時(shí)數(shù)據(jù)，一個(gè)是傳統(tǒng)的ETL放到批處理集當(dāng)中，這樣的架構(gòu)也導(dǎo)致了整個(gè)平臺(tái)的不足。

傳統(tǒng)存儲(chǔ)缺陷主要有三

首先數(shù)據(jù)依據(jù)時(shí)間的屬性走了兩條處理規(guī)律，應(yīng)用程序的處理規(guī)律會(huì)被寫兩遍；

其次在實(shí)際場(chǎng)景中，這樣的平臺(tái)無(wú)法做到實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)同時(shí)處理，使用這樣架構(gòu)的話，必需要等到批處理拿到正確結(jié)果之后才可以做聚合處理，這便造成延遲的大幅提升；

最終，從成本上，這樣的平臺(tái)使得原始數(shù)據(jù)在不同開(kāi)源項(xiàng)目當(dāng)中被拷貝多份，如在Kafka當(dāng)中會(huì)有3次拷貝，到了SparkSteaming再來(lái)3次拷貝，對(duì)于大數(shù)據(jù)來(lái)說(shuō)，原來(lái)數(shù)據(jù)便達(dá)到海量級(jí)別，多次的拷貝勢(shì)必進(jìn)一步增加存儲(chǔ)容量，繼而增加存儲(chǔ)設(shè)施選購(gòu)成本。

傳統(tǒng)存儲(chǔ)將被淘汰

可以說(shuō)，當(dāng)下企業(yè)應(yīng)用的數(shù)據(jù)處理、存儲(chǔ)平臺(tái)多為10年前大數(shù)據(jù)興起時(shí)基于Hadoop、Spark等大數(shù)據(jù)框架的平臺(tái)，而將來(lái)將是流數(shù)據(jù)的時(shí)代，10年前的大數(shù)據(jù)框架自然也不適用于將來(lái)流數(shù)據(jù)的平臺(tái)要被淘汰。所以，要適應(yīng)流數(shù)據(jù)時(shí)代，數(shù)據(jù)框架先得轉(zhuǎn)變。目前市