淺談大數(shù)據(jù)開源平臺的演變大數(shù)據(jù)處理模型

大數(shù)據(jù)計算平臺主講教師：賀寧《大數(shù)據(jù)導論》課程Introductiontobigdata淺談大數(shù)據(jù)開源平臺的演變大數(shù)據(jù)處理模型01傳輸數(shù)據(jù)第一類技術是數(shù)據(jù)傳輸系統(tǒng)，數(shù)據(jù)傳輸系統(tǒng)主要負責把事件從一個位置進一步運輸?shù)搅硗庖粋€位置，數(shù)據(jù)傳輸系統(tǒng)會專注于短期儲存，這些系統(tǒng)通常會和數(shù)據(jù)流來打交道。這些系統(tǒng)可以分為不同的類別，每個系統(tǒng)都有不同的框架和不同的關鍵點傳輸數(shù)據(jù)?，F(xiàn)在Kafka逐步變成了這個領域的標準。Kafka

數(shù)據(jù)產(chǎn)生者

數(shù)據(jù)傳輸數(shù)據(jù)使用者分布式數(shù)據(jù)存儲系統(tǒng)數(shù)據(jù)提供系統(tǒng)通常把數(shù)據(jù)提供到其它地方進行進一步的處理，首先可以把數(shù)據(jù)提供到存儲的機制當中，存儲機制只是數(shù)據(jù)庫，會存儲數(shù)據(jù)，也可以從這里調(diào)用數(shù)據(jù)。然而現(xiàn)在更普遍的情況是一種專門的存儲數(shù)據(jù)庫，可以看到很多的專門的存儲數(shù)據(jù)的系統(tǒng)?，F(xiàn)在最普遍的存儲方式是分布式數(shù)據(jù)存儲系統(tǒng)，也就是說把這些數(shù)據(jù)無限制地放到

HDFS系統(tǒng)當中，隨時進行提取數(shù)據(jù)。

數(shù)據(jù)

數(shù)據(jù)傳輸數(shù)據(jù)存儲數(shù)據(jù)處理數(shù)據(jù)處理過程是把數(shù)據(jù)進行變形，輸出的數(shù)據(jù)和輸入的數(shù)據(jù)量是一樣大的，查詢系統(tǒng)的輸出數(shù)據(jù)比輸入數(shù)據(jù)比較小一些，這在很多的系統(tǒng)里都是這樣的。在大數(shù)據(jù)系統(tǒng)方面可以看到某些系統(tǒng)會不斷增強處理的性能。流處理流處理是一種重要的大數(shù)據(jù)處理手段，其主要特點是其處理的數(shù)據(jù)是源源不斷且實時到來的。分布式流處理是一種面向動態(tài)數(shù)據(jù)的細粒度處理模式，基于分布式內(nèi)存，對不斷產(chǎn)生的動態(tài)數(shù)據(jù)進行處理。其對數(shù)據(jù)處理的快速，高效，低延遲等特性，在大數(shù)據(jù)處理中發(fā)揮越來越重要的作用。分布式隊列消息流式處理系統(tǒng)流處理結(jié)果批處理

數(shù)據(jù)

數(shù)據(jù)傳輸數(shù)據(jù)存儲

批處理

批處理方式在流處理方面當中不是一種真正的流處理的方式，它只是以批的方式來收集數(shù)據(jù)，然后把它放到一種特定的構架下面，然后來進行批處理。問詢

數(shù)據(jù)

Data

應用/用戶

ApplicationsUsers傳輸數(shù)據(jù)加工數(shù)據(jù)問詢/分析

數(shù)據(jù)

Data

應用/用戶

ApplicationsUsers傳輸數(shù)據(jù)加工數(shù)據(jù)問詢/分析存儲數(shù)據(jù)SQLonHadoop數(shù)據(jù)的操作語言是SQL，因此很多工具的開發(fā)目標自然就是能夠在Hadoop上使用SQL。這些工具有些只是在MapReduce之上做了簡單的包裝，有些則是在HDFS之上實現(xiàn)了完整的數(shù)據(jù)倉庫，而有些則介于這兩者之間。SQL-on-Hadoop

工作的原理就是從某些地方提取數(shù)據(jù)，提取數(shù)據(jù)可能是分布式處理，把數(shù)據(jù)放到自己引擎當中，這樣就可以控制數(shù)據(jù)，改變數(shù)據(jù)，并且創(chuàng)造數(shù)據(jù)。所以SQL是非常靈活的一種過程，這是它的主要的特點。例如Hive是原始的SQL-on-Hadoop解決方案。它是一個開源的Java項目，能夠?qū)QL轉(zhuǎn)換成一系列可以在標準的HadoopTaskTrackers上運行的MapReduce任務。Hive通過一個metastore（本身就是一個數(shù)據(jù)庫）存儲表模式、分區(qū)和位置以期提供像MySQL一樣的功能。它支持大部分MySQL語法，同時使用相似的database/table/view約定組織數(shù)據(jù)集。鍵值對存儲鍵值數(shù)據(jù)庫是一種非關系數(shù)據(jù)庫，它使用簡單的鍵值方法來存儲數(shù)據(jù)。鍵值數(shù)據(jù)庫將數(shù)據(jù)存儲為鍵值對集合，其中鍵作為唯一標識符。鍵和值都可以是從簡單對象到復雜復合對象的任何內(nèi)容。鍵值數(shù)據(jù)庫是高度可分區(qū)的，并且允許以其他類型的數(shù)據(jù)庫無法實現(xiàn)的規(guī)模進行水平擴展。例如，如果現(xiàn)有分區(qū)填滿了容量，并且需要更多的存儲空間，AmazonDynamoDB就會將額外的分區(qū)分配給表。產(chǎn)品客戶供應商倉庫地點XXXXXXXXXXXXXXXXXXXXXXXX鍵值鍵值數(shù)據(jù)庫列存儲隨著企業(yè)數(shù)據(jù)量急速增長，為了滿足業(yè)務需求，大數(shù)據(jù)統(tǒng)計早已成為迫切的需求。在引擎排行榜上MySQL已經(jīng)長期處于第二，但大數(shù)據(jù)統(tǒng)計并沒有明顯突破。MySQL解決方案包括Infobright、Greenplum、Spark*等，與之更為密切的是Infobright，但是多表連接場景下，性能會大幅下降（且特殊功能需要付費）。而列存儲的出現(xiàn)則彌補了此處的空缺，是MariaDB在OLAP領域解決方案的突破。列存儲是InfiniDB與MariaDB10