數(shù)據(jù)存儲(chǔ)與分析平臺(tái)需求

數(shù)據(jù)存儲(chǔ)與分析平臺(tái)需求掌握大數(shù)據(jù)數(shù)據(jù)存儲(chǔ)與分析平臺(tái)項(xiàng)目建設(shè)需求

按照需求分析工程師、軟件設(shè)計(jì)工程師的分析，對(duì)我們的項(xiàng)目中數(shù)據(jù)的存儲(chǔ)和分析進(jìn)行了整體的設(shè)計(jì)，系統(tǒng)結(jié)構(gòu)如下：簡(jiǎn)介

從架構(gòu)圖中，我們可以看到，我們通過(guò)Flume將數(shù)據(jù)采集子系統(tǒng)產(chǎn)生的數(shù)據(jù)存儲(chǔ)到HDFS平臺(tái)，進(jìn)行數(shù)據(jù)的存儲(chǔ)，在存儲(chǔ)的過(guò)程完成之后再通過(guò)MapReduce進(jìn)行數(shù)據(jù)的清洗工作，清洗之后符合規(guī)則的數(shù)據(jù)還需要再存儲(chǔ)在HDFS中，然后將存儲(chǔ)之后的數(shù)據(jù)轉(zhuǎn)換成Hive中的表，再通過(guò)Hive的SQL對(duì)整個(gè)項(xiàng)目的需求進(jìn)行分析，分析之后的結(jié)果會(huì)暫存再Hive的表中，最后通過(guò)Sqoop工具將最后的結(jié)果傳輸?shù)娇梢暬酉到y(tǒng)中。

架構(gòu)圖解釋

數(shù)據(jù)處理過(guò)程在凌晨00:01啟動(dòng)，首先將接收到的數(shù)據(jù)通過(guò)Map/Reduce程序完成不合規(guī)數(shù)據(jù)的清洗，將有效數(shù)據(jù)保存并上傳到HDFS分布式存儲(chǔ)系統(tǒng)后，將數(shù)據(jù)導(dǎo)入Hive數(shù)據(jù)倉(cāng)庫(kù)后，啟動(dòng)數(shù)據(jù)分析模塊，完成數(shù)據(jù)統(tǒng)計(jì)后，將統(tǒng)計(jì)結(jié)果通過(guò)Sqoop推送到數(shù)據(jù)可視化模塊，完成當(dāng)前的離線分析工作。數(shù)據(jù)處理過(guò)程mapreduce MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念"Map（映射）"和"Reduce（歸約）"，是它們的主要思想，都是從函數(shù)式編程語(yǔ)言里借來(lái)的，還有從矢量編程語(yǔ)言里借來(lái)的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map（映射）函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce（歸約）函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。組件介紹sqoop Sqoop(發(fā)音：skup)是一款開(kāi)源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)(mysql、postgresql...)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（例如：MySQL,Oracle,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。組件介紹HDFS

HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS放寬了一部分POSIX約束，來(lái)實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS在最開(kāi)始是作為ApacheNutch搜索引擎項(xiàng)目的基礎(chǔ)架構(gòu)而開(kāi)發(fā)的。HDFS是ApacheHadoopCore項(xiàng)目的一部分。組件介紹Flume Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方（可定制）的能力。組件介紹HIVE hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供簡(jiǎn)單的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過(guò)類SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，不必開(kāi)發(fā)專門(mén)的MapRed