大數(shù)據(jù)平臺介紹課件

1、 大數(shù)據(jù)平臺介紹大數(shù)據(jù) 二零一五年七月 大數(shù)據(jù)平臺介紹大數(shù)據(jù) 12目錄Hadoop大數(shù)據(jù)生態(tài)圈介紹大數(shù)據(jù)應(yīng)用介紹3Cloudera Manager介紹12目錄Hadoop大數(shù)據(jù)生態(tài)圈介紹大數(shù)據(jù)應(yīng)用介紹3ClouHadoop大數(shù)據(jù)生態(tài)圈Hadoop大數(shù)據(jù)生態(tài)圈 Hadoop生態(tài)圈 Hadoop生態(tài)圈 Hadoop簡介Hadoop一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運算和存儲 。簡單地說來，Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。Hadoop的框架最核心的設(shè)計就是：HDFS和MapR

2、educe。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。 Hadoop簡介Hadoop一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Ap Hadoop能解決哪些問題海量數(shù)據(jù)需要及時分析和處理。海量數(shù)據(jù)需要深入分析和挖掘。數(shù)據(jù)需要長期保存問題：磁盤IO成為一種瓶頸,而非CPU資源。網(wǎng)絡(luò)帶寬是一種稀缺資源硬件故障成為影響穩(wěn)定的一大因素 Hadoop能解決哪些問題海量數(shù)據(jù)需要及時分析和處理。 HDFS適應(yīng)條件HDFS：為以流式數(shù)據(jù)訪問模式存儲超大文件而設(shè)計的文件系統(tǒng)。流式數(shù)據(jù)訪問 指的是幾百MB，幾百GB，幾百TB，甚至幾百PB流式數(shù)據(jù)訪問 HDFS建立的思想是：一次寫入、多次讀取模式是

3、最高 效的。商用硬件 hadoop不需要運行在昂貴并且高可靠的硬件上。 HDFS適應(yīng)條件HDFS：為以流式數(shù)據(jù)訪問模式存儲超大文件 HDFS不適應(yīng)條件低延遲數(shù)據(jù)訪問 HDFS是為了達到高數(shù)據(jù)吞吐量而優(yōu)化的，這是以延遲為代價的，對于低延遲訪問，可以用Hbase（hadoop的子項目）。大量的小文件多用戶寫入，任意修改 HDFS不適應(yīng)條件低延遲數(shù)據(jù)訪問 HDFS基本單元Block(塊)：HDFS基本儲存單元，是個邏輯單元。一個文件有可能包含多個塊，一個塊有可以包含多個文件，由文件的大小和塊大小的參數(shù)決定。dfs.block.size參數(shù)。Hdfs中Block的大小，默認64MB，如果設(shè)置大，就會有

4、可能導(dǎo)致Map運行慢，設(shè)置小，有可能導(dǎo)致Map個數(shù)多，所有一定要設(shè)置適當。（目前主流機器建議設(shè)置為128M）設(shè)置一個Block 64MB，如果上傳文件小于該值，仍然會占用一個Block的命名空間（NameNode metadata），但是物理存儲上不會占用64MB的空間Block大小和副本數(shù)由Client端上傳文件到HDFS時設(shè)置，其中副本數(shù)可以變更，Block是不可以再上傳后變更的 HDFS基本單元Block(塊)：HDFS基本儲存單元，是 HDFS處理機制Client：切分文件；訪問HDFS；與NameNode交互，獲取文件位置信息；與DataNode交互，讀取和寫入數(shù)據(jù)。NameNode

5、：Master節(jié)點，管理HDFS的名稱空間和數(shù)據(jù)塊映射信息，配置副本策略，處理客戶端請求。DataNode：Slave節(jié)點，存儲實際的數(shù)據(jù)，匯報存儲信息給NameNode。Secondary NameNode：輔助NameNode，分擔(dān)其工作量；定期合并fsimage和fsedits，推送給NameNode；緊急情況下，可輔助恢復(fù)NameNode，但Secondary NameNode并非NameNode的熱備 HDFS處理機制Client：切分文件；訪問HDFS；與N HDFS文件讀取 HDFS文件讀取 MapReduce簡介簡介MapReduce 是一個高性能的批處理分布式計算框架，用于對

6、海量數(shù)據(jù)進行并行分析和處理。MapReduce 將分析任務(wù)分為大量的并行 Map 任務(wù)和 Reduce 任務(wù)兩類。 與傳統(tǒng)數(shù)據(jù)倉庫和分析技術(shù)相比，MapReduce 適合處理各種類型的數(shù)據(jù)，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)（即行數(shù)據(jù)，存儲在數(shù)據(jù)庫里，可以用二維表結(jié)構(gòu)來邏輯表達實現(xiàn)的數(shù)據(jù)）不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)（包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等）所謂半結(jié)構(gòu)化數(shù)據(jù)，就是介于完全結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫中的數(shù)據(jù)）和完全無結(jié)構(gòu)的數(shù)據(jù)（如聲音、圖像文件等）

7、之間的數(shù)據(jù)，HTML文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)。它一般是自描述的，數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起，沒有明顯的區(qū)分。 MapReduce簡介簡介 MapReduce簡介適合處理的任務(wù)適用于離線批處理任務(wù)是以“行”為處理單位的，無法回溯已處理過的“行”，故每行都必須是一個獨立的語義單元，行與行之間不能有語義上的關(guān)聯(lián)。相對于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，MapReduce計算模型更適合于處理半結(jié)構(gòu)化或無結(jié)構(gòu)話的數(shù)據(jù)。不適合處理的任務(wù)不適合一般web應(yīng)用不適合實時響應(yīng)的任務(wù)不適合小數(shù)據(jù)集的處理不適合需要大量臨時空間的任務(wù)不適合CPU密集且具有許多交叉調(diào)用的任務(wù) MapReduce簡介適合處理的任務(wù) MapRedu

8、ce工作原理MapReduce執(zhí)行流程MapReduce角色Client ：作業(yè)提交發(fā)起者。JobTracker: 初始化作業(yè)，分配作業(yè)，與TaskTracker通信，協(xié)調(diào)整個作業(yè)。TaskTracker：保持JobTracker通信，在分配的數(shù)據(jù)片段上執(zhí)行MapReduce任務(wù)。任務(wù)的分配TaskTracker和JobTracker之間的通信與任務(wù)的分配是通過心跳機制完成的。TaskTracker會主動向JobTracker詢問是否有作業(yè)要做，如果自己可以做，那么就會申請到作業(yè)任務(wù)，這個任務(wù)可以使Map也可能是Reduce任務(wù)。 MapReduce工作原理MapReduce執(zhí)行流程 MapR

9、educe工作原理任務(wù)的執(zhí)行申請到任務(wù)后，TaskTracker會做如下事情：拷貝代碼到本地拷貝任務(wù)的信息到本地啟動JVM運行任務(wù)狀態(tài)與任務(wù)的更新任務(wù)在運行過程中，首先會將自己的狀態(tài)匯報給TaskTracker，然后由TaskTracker匯總告之JobTracker。作業(yè)的完成JobTracker是在接受到最后一個任務(wù)運行完成后，才會將任務(wù)標志為成功。此時會做刪除中間結(jié)果等善后處理工作。 MapReduce工作原理任務(wù)的執(zhí)行 MapReduce工作原理 MapReduce工作原理 Hadoop實例根據(jù)URL的頂級域名進行分類統(tǒng)計輸入、輸出格式：文件源文件格式如下：統(tǒng)計目標： Hadoop實例

10、根據(jù)URL的頂級域名進行分類統(tǒng)計 Hadoop實例1. 編寫MapReduce函數(shù)，客戶端作業(yè)Map函數(shù) Hadoop實例1. 編寫MapReduce函數(shù)，客戶端作 Hadoop實例Reduce函數(shù)Job設(shè)置 Hadoop實例Reduce函數(shù) Hadoop實例編譯、打包成jar文件略3. 源文件提交到HDFS文件系統(tǒng)文件從本地提交到HDFS文件系統(tǒng)put命令查看HDFS文件系統(tǒng)中已提交的文件 Hadoop實例編譯、打包成jar文件 Hadoop實例使用Hadoop命令提交作業(yè)提交作業(yè)查看作業(yè) http:/localhost:50030 Hadoop實例使用Hadoop命令提交作業(yè) Hadoop

11、實例查看執(zhí)行結(jié)果查看執(zhí)行結(jié)果生成的文件查看HDFS文件系統(tǒng)中的結(jié)果HDFS文件拷貝到本地，查看結(jié)果 Hadoop實例查看執(zhí)行結(jié)果 Hive簡介Hive是什么hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行。其優(yōu)點是學(xué)習(xí)成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。Hive是建立在 Hadoop 上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。它提供了一系列的工具，可以用來進行數(shù)據(jù)提取轉(zhuǎn)化加載（ETL），這是一種可以存

12、儲、查詢和分析存儲在 Hadoop 中的大規(guī)模數(shù)據(jù)的機制。Hive 定義了簡單的類 SQL 查詢語言，稱為 HQL，它允許熟悉 SQL 的用戶查詢數(shù)據(jù)。同時，這個語言也允許熟悉 MapReduce 開發(fā)者的開發(fā)自定義的 mapper 和 reducer 來處理內(nèi)建的 mapper 和 reducer 無法完成的復(fù)雜的分析工作。 Hive簡介Hive是什么 Hive實例創(chuàng)建托管表1. 在Hive命令行執(zhí)行建表語句2. 查看元數(shù)據(jù)庫中的表信息、字段信息sds、columns_v2 Hive實例創(chuàng)建托管表 Hive實例3. 從本地向net_addr_1表中導(dǎo)入數(shù)據(jù)4. 查看導(dǎo)入的數(shù)據(jù) Hive實例3

13、. 從本地向net_addr_1表中導(dǎo)入數(shù)據(jù) Hive實例根據(jù)URL的頂級域名進行分類統(tǒng)計-Hive實現(xiàn)1. 源數(shù)據(jù)入表略，使用已生成的net_addr_12. 源數(shù)據(jù)加工轉(zhuǎn)換，生成中間表INSERT OVERWRITE TABLE net_addr_3 select net_id,regexp_replace(net_url,(.+.), ) from net_addr_1;3. 根據(jù)中間表數(shù)據(jù)進行統(tǒng)計 Hive實例根據(jù)URL的頂級域名進行分類統(tǒng)計-Hive實現(xiàn) Hbase簡介HBase是一個針對結(jié)構(gòu)化數(shù)據(jù)的可伸縮、高可靠、高性能、分布式和面向列的動態(tài)模式數(shù)據(jù)庫。和傳統(tǒng)關(guān)系數(shù)據(jù)庫不同，HBa

14、se采用了BigTable的數(shù)據(jù)模型：增強的稀疏排序映射表（Key/Value），其中，鍵由行關(guān)鍵字、列關(guān)鍵字和時間戳構(gòu)成。HBase提供了對大規(guī)模數(shù)據(jù)的隨機、實時讀寫訪問，同時，HBase中保存的數(shù)據(jù)可以使用MapReduce來處理，它將數(shù)據(jù)存儲和并行計算完美地結(jié)合在一起。利用HBase技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群 Hbase簡介HBase是一個針對結(jié)構(gòu)化數(shù)據(jù)的可伸縮、高可 Hbase架構(gòu) Hbase架構(gòu) Hbase實例1、構(gòu)建Hbase表hbase_test hbase create hbase_test, id012、構(gòu)建hive外表hive_test, 并

15、對應(yīng)hbase_test表CREATE EXTERNAL TABLE hive_test (id01 STRING)STORED BY org.apache.hadoop.hive.hbase.HBaseStorageHandler WITH SERDEPROPERTIES (hbase.columns.mapping = :key,id01) TBLPROPERTIES( = hbase_test); 3、數(shù)據(jù)通過hive_test導(dǎo)入到hbase_test表中 INSERT OVERWRITE TABLE hive_test SELECT id01 FROM hive_date; Hbas

16、e實例1、構(gòu)建Hbase表hbase_test Hbase實例 Hbase實例大數(shù)據(jù)應(yīng)用介紹大數(shù)據(jù)應(yīng)用介紹用戶上網(wǎng)行為分析系統(tǒng)用戶上網(wǎng)行為分析系統(tǒng)用戶行為分析系統(tǒng)數(shù)據(jù)處理流程圖用戶行為分析系統(tǒng)數(shù)據(jù)處理流程圖唯品會日志處理框架簡介唯品會日志處理框架簡介唯品會日志處理框架簡介唯品會日志處理框架簡介全國重點車輛聯(lián)網(wǎng)聯(lián)控平臺全國重點車輛聯(lián)網(wǎng)聯(lián)控平臺Cloudera Manager介紹Cloudera Manager介紹Cloudera Manager介紹CDH (Clouderas Distribution, including Apache Hadoop)，是Hadoop眾多分支中的一種，由Clou

17、dera維護，基于穩(wěn)定版本的Apache Hadoop構(gòu)建，并集成了很多補丁，可直接用于生產(chǎn)環(huán)境。Cloudera Manager則是為了便于在集群中進行Hadoop等大數(shù)據(jù)處理相關(guān)的服務(wù)安裝和監(jiān)控管理的組件，對集群中主機、Hadoop、Hive、Hbase、Spark等服務(wù)的安裝配置管理做了極大簡化。Cloudera Manager有四大功能（1）管理（2）監(jiān)控（3）診斷（4）集成Cloudera Manager介紹Cloudera Manager介紹Cloudera FlumeFlume是Cloudera提供的日志收集系統(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；Flu

18、me是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。Cloudera Manager介紹Cloudera FluCloudera Manager介紹Cloudera ImpalaCloudera Impala對你存儲在Apache Hadoop在HDFS，HBase的數(shù)據(jù)提供直接查詢互動的SQL。除了像Hive使用相同的統(tǒng)一存儲平臺，Impala也使用相同的元數(shù)據(jù)，SQL語法（Hive SQL），ODBC驅(qū)動程序和用戶

19、界面（Hue Beeswax）。Impala還提供了一個熟悉的面向批量或?qū)崟r查詢和統(tǒng)一平臺。 Impala不再使用緩慢的Hive+MapReduce批處理，而是通過與商用并行關(guān)系數(shù)據(jù)庫中類似的分布式查詢引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分組成），可以直接從HDFS或者HBase中用SELECT、JOIN和統(tǒng)計函數(shù)查詢數(shù)據(jù)，從而大大降低了延遲Cloudera Manager介紹Cloudera ImpCloudera Manager介紹Cloudera hueHue是cdh專門的一套web管理器，它包括3個部分hue u

20、i，hue server，hue db。hue提供所有的cdh組件的shell界面的接口。你可以在hue編寫mr，查看修改hdfs的文件，管理hive的元數(shù)據(jù)，運行Sqoop，編寫Oozie工作流等大量工作。Cloudera Manager介紹Cloudera hueCloudera Manager介紹SparkSpark與Hadoop一樣，用于構(gòu)建大規(guī)模、低延時的數(shù)據(jù)分析應(yīng)用。Spark采用Scala語言實現(xiàn)，使用Scala作為應(yīng)用框架。Spark采用基于內(nèi)存的分布式數(shù)據(jù)集，優(yōu)化了迭代式的工作負載以及交互式查詢。與Hadoop不同的是，Spark和Scala緊密集 成，Scala像管理本地c

21、ollective對象那樣管理分布式數(shù)據(jù)集。Spark支持分布式數(shù)據(jù)集上的迭代式任務(wù)，實際上可以在Hadoop文件系統(tǒng) 上與Hadoop一起運行Spark基于map reduce算法實現(xiàn)的分布式計算，擁有Hadoop MapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的map reduce的算法。Shark ( Hive on Spark): Shark基本上就是在Spark的框架基礎(chǔ)上提供和Hive一樣的H iveQL命令接口，為了最大程度的保持和Hive的兼容

22、性，Shark使用了Hive的API來實現(xiàn)query Parsing和 Logic Plan generation，最后的PhysicalPlan execution階段用Spark代替Hadoop MapReduceCloudera Manager介紹Spark年內(nèi)目標 謝謝！科技創(chuàng)新 引領(lǐng)未來年內(nèi)目標 謝謝！科技創(chuàng)新 引領(lǐng)未來9、春去春又回，新桃換舊符。在那桃花盛開的地方，在這醉人芬芳的季節(jié)，愿你生活像春天一樣陽光，心情像桃花一樣美麗，日子像桃子一樣甜蜜。2022/9/302022/9/30Friday, September 30, 202210、人的志向通常和他們的能力成正比例。2022/9/302022/9/302022/9/309/30/2022 1:48:52 AM1