商業(yè)大數據分析許鑫大數據2大數據處理架構Hadoop

許鑫華東師范大學經濟與管理學部E-mail:xxu@/xuxin大數據處理架構Hadoop大數據BigData

提綱2.1概述2.2Hadoop項目結構構2.3Hadoop的安裝與與使用2.4Hadoop集群的部部署與使使用2.1概概述2.1..1Hadoop簡介2.1..2Hadoop發(fā)展簡史史2.1..3Hadoop的特性2.1..4Hadoop的應用現現狀2.1..1Hadoop簡簡介Hadoop是Apache軟件基金金會旗下下的一個個開源分分布式計計算平臺臺，為用用戶提供供了系統(tǒng)統(tǒng)底層細細節(jié)透明明的分布布式基礎礎架構Hadoop是基于Java語言開發(fā)發(fā)的，具具有很好好的跨平平臺特性性，并且且可以部部署在廉廉價的計計算機集集群中Hadoop的核心是是分布式式文件系系統(tǒng)HDFS（HadoopDistributedFileSystem）和MapReduceHadoop被公認為為行業(yè)大大數據標標準開源源軟件，，在分布布式環(huán)境境下提供供了海量量數據的的處理能能力幾乎所有有主流廠廠商都圍圍繞Hadoop提供開發(fā)發(fā)工具、、開源軟軟件、商商業(yè)化工工具和技技術服務務，如谷谷歌、雅雅虎、微微軟、思思科、淘淘寶等，，都支持持Hadoop2.1..2Hadoop發(fā)發(fā)展簡史史Hadoop最初是由由ApacheLucene項目的創(chuàng)創(chuàng)始人DougCutting開發(fā)的文文本搜索索庫。Hadoop源自始于于2002年的ApacheNutch項目——一個開源源的網絡絡搜索引引擎并且且也是Lucene項目的一一部分在2004年，Nutch項目也模模仿GFS開發(fā)了自自己的分分布式文文件系統(tǒng)統(tǒng)NDFS（NutchDistributedFileSystem），也就就是HDFS的前身2004年，谷歌歌公司又又發(fā)表了了另一篇篇具有深深遠影響響的論文文，闡述述了MapReduce分布式編編程思想想2005年，Nutch開源實現現了谷歌歌的MapReduceHadoop的標志2.1..2Hadoop發(fā)發(fā)展簡史史到了2006年2月，Nutch中的NDFS和MapReduce開始獨立立出來，，成為Lucene項目的一一個子項項目，稱稱為Hadoop，同時，，DougCutting加盟雅虎虎2008年1月，Hadoop正式成為為Apache頂級項目目，Hadoop也逐漸開開始被雅雅虎之外外的其他他公司使使用2008年4月，Hadoop打破世界界紀錄，，成為最最快排序序1TB數據的系系統(tǒng)，它它采用一一個由910個節(jié)點構構成的集集群進行行運算，，排序時時間只用用了209秒在2009年5月，Hadoop更是把1TB數據排序序時間縮縮短到62秒。Hadoop從此名聲聲大震，，迅速發(fā)發(fā)展成為為大數據據時代最最具影響響力的開開源分布布式開發(fā)發(fā)平臺，，并成為為事實上上的大數數據處理理標準2.1..3Hadoop的的特性Hadoop是一個能能夠對大大量數據據進行分分布式處處理的軟軟件框架架，并且且是以一一種可靠靠、高效效、可伸伸縮的方方式進行行處理的的，它具具有以下下幾個方方面的特特性：高可靠性性高效性高可擴展展性高容錯性性成本低運行在Linux平臺上支持多種種編程語語言2.1..3Hadoop的的應用現現狀Hadoop憑借其突突出的優(yōu)優(yōu)勢，已已經在各各個領域域得到了了廣泛的的應用，，而互聯聯網領域域是其應應用的主主陣地2007年，雅虎虎在Sunnyvale總部建立立了M45———一個包含含了4000個處理器器和1.5PB容量的Hadoop集群系統(tǒng)統(tǒng)Facebook作為全球球知名的的社交網網站，Hadoop是非常理理想的選選擇，Facebook主要將Hadoop平臺用于于日志處處理、推推薦系統(tǒng)統(tǒng)和數據據倉庫等等方面國內采用用Hadoop的公司主主要有百百度、淘淘寶、網網易、華華為、中中國移動動等，其其中，淘淘寶的Hadoop集群比較較大2.1..3Hadoop的的應用現現狀Hadoop在企業(yè)中中的應用用架構2.1..4ApacheHadoop版本演演變ApacheHadoop版本分為為兩代，，我們將將第一代代Hadoop稱為Hadoop1.0，第二代代Hadoop稱為Hadoop2.0第一代Hadoop包含三個個大版本本，分別別是0.20.x，0.21.x和0.22.x，其中，，0.20.x最后演化化成1.0..x，變成了了穩(wěn)定版版，而0.21.x和0.22.x則增加了了NameNodeHA等新的重重大特性性第二代Hadoop包含兩個個版本，，分別是是0.23.x和2.x，它們完完全不同同于Hadoop1.0，是一套套全新的的架構，，均包含含HDFSFederation和YARN兩個系統(tǒng)統(tǒng)，相比比于0.23.x，2.x增加了NameNodeHA和Wire-compatibility兩個重大大特性2.1..4ApacheHadoop版本演演變ApacheHadoopHortonworksCloudera（CDH：ClouderaDistributionHadoop）MapR……2.1..5Hadoop各各種版本本選擇Hadoop版本的考考慮因素素：是否開源源（即是是否免費費）是否有穩(wěn)穩(wěn)定版是否經實實踐檢驗驗是否有強強大的社社區(qū)支持持2.1..5Hadoop各各種版本本2.2Hadoop項目結結構Hadoop的項目結結構不斷斷豐富發(fā)發(fā)展，已已經形成成一個豐豐富的Hadoop生態(tài)系統(tǒng)統(tǒng)2.2Hadoop項目結結構組件功能HDFS分布式文件系統(tǒng)MapReduce分布式并行編程模型YARN資源管理和調度器Tez運行在YARN之上的下一代Hadoop查詢處理框架HiveHadoop上的數據倉庫HBaseHadoop上的非關系型的分布式數據庫Pig一個基于Hadoop的大規(guī)模數據分析平臺，提供類似SQL的查詢語言PigLatinSqoop用于在Hadoop與傳統(tǒng)數據庫之間進行數據傳遞OozieHadoop上的工作流管理系統(tǒng)Zookeeper提供分布式協(xié)調一致性服務Storm流計算框架Flume一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統(tǒng)AmbariHadoop快速部署工具，支持ApacheHadoop集群的供應、管理和監(jiān)控Kafka一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，可以處理消費者規(guī)模的網站中的所有動作流數據Spark類似于HadoopMapReduce的通用并行框架2.3Hadoop的安裝裝與使用用詳細安裝裝教程請請參考：：《大數據技技術原理理與應用用第二二章大大數據處處理架構構Hadoop學習指南南》訪問地址址：http:///dblab../blog/285/2.3..1Hadoop安裝之前前的預備備知識2.3..2安裝Linux虛擬機2.3..3安裝雙操操作系統(tǒng)統(tǒng)2.3..4詳解Hadoop的安裝與與使用2.3..1Hadoop安安裝之前前的預備備知識（一）Linux的選擇（1）選擇哪哪個Linux發(fā)行版？？在Linux系統(tǒng)各個個發(fā)行版版中，CentOS系統(tǒng)和Ubuntu系統(tǒng)在服服務端和和桌面端端使用占占比最高高，網絡絡上資料料最是齊齊全，所所以建議議使用CentOS或Ubuntu在學習Hadoop方面，雖雖然兩個個系統(tǒng)沒沒有多大大區(qū)別，，但是推推薦使用用Ubuntu操作系統(tǒng)統(tǒng)（2）選擇32位還是64位？如果電腦腦比較老老或者內內存小于于2G，那么建建議選擇擇32位系統(tǒng)版版本的Linux如果內存存大于4G，那么建建議選擇擇64位系統(tǒng)版版本的Linux2.3..1Hadoop安安裝之前前的預備備知識（二）系系統(tǒng)安裝裝方式：：選擇虛虛擬機安安裝還是是雙系統(tǒng)統(tǒng)安裝建議電腦腦比較新新或者配配置內存存4G以上的電電腦可以以選擇虛虛擬機安安裝電腦較舊舊或配置置內存小小于等于于4G的電腦強強烈建議議選擇雙雙系統(tǒng)安安裝，否否則，在在配置較較低的計計算機上上運行LInux虛擬機，，系統(tǒng)運運行速度度會非常常慢鑒于目前前教師和和學生的的計算機機硬件配配置一般般不高，，建議在在實踐教教學中采采用雙系系統(tǒng)安裝裝，確保保系統(tǒng)運運行速度度2.3..1Hadoop安安裝之前前的預備備知識（三）關關于Linux的一些基基礎知識識Shell是指“提提供使用用者使用用界面””的軟件件（命令令解析器器），類類似于DOS下的command和后來的的cmd..exe。它接收收用戶命命令，然然后調用用相應的的應用程程序sudo命令sudo是ubuntu中一種權權限管理理機制，，管理員員可以授授權給一一些普通通用戶去去執(zhí)行一一些需要要root權限執(zhí)行行的操作作。當使使用sudo命令時，，就需要要輸入您您當前用用戶的密密碼輸入密碼碼在Linux的終端中中輸入密密碼，終終端是不不會顯示示任何你你當前輸輸入的密密碼，也也不會提提示你已已經輸入入了多少少字符密密碼，讀讀者不要要誤以為為鍵盤沒沒有響應應輸入法中中英文切切換linux中英文的的切換方方式是使使用鍵盤盤“shift”鍵來切換換，也可可以點擊擊頂部菜菜單的輸輸入法按按鈕進行行切換。。Ubuntu自帶的Sunpinyin中文輸入入法已經經足夠讀讀者使用用Ubuntu終端復制制粘貼快快捷鍵在Ubuntu終端窗口口中，復復制粘貼貼的快捷捷鍵需要要加上shift，即粘貼是是ctrl+shift+v2.3..1Hadoop安安裝之前前的預備備知識（四）Hadoop安裝方式式單機模式式：Hadoop默認模式式為非分分布式模模式（本本地模式式），無無需進行行其他配配置即可可運行。。非分布布式即單單Java進程，方方便進行行調試偽分布式式模式：：Hadoop可以在單單節(jié)點上上以偽分分布式的的方式運運行，Hadoop進程以分分離的Java進程來運運行，節(jié)節(jié)點既作作為NameNode也作為DataNode，同時，，讀取的的是HDFS中的文件件分布式模模式：使使用多個個節(jié)點構構成集群群環(huán)境來來運行Hadoop2.3..2安安裝Linux虛擬機機一、材料料和工具具1、下載VirtualBox虛擬機軟軟件2.下載UbuntuLTS14.04ISO映像文件件二、步驟驟（一）確確認系統(tǒng)統(tǒng)版本如果選擇擇的系統(tǒng)統(tǒng)是64位Ubuntu系統(tǒng)，那那么在安安裝虛擬擬機前，，我們還還要進入入BIOS開啟CPU的虛擬化化2.3..2安安裝Linux虛擬機機(二)安裝前的的準備1.打開VirtualBox，點擊““創(chuàng)建””按鈕，，創(chuàng)建一一個虛擬擬機2.給虛擬機機命名，，選擇操操作系統(tǒng)統(tǒng)，版本本3.選擇內存存大小，，這里設設置的1024M4.創(chuàng)建虛擬擬硬盤5.選擇虛擬擬硬盤文文件類型型VDI6.虛擬硬盤盤選擇動動態(tài)分配配7.選擇文件件存儲的的位置和和容量大大小8.點擊創(chuàng)建建2.3..2安安裝Linux虛擬機機(三)安裝Ubuntu2.3..3安安裝雙操操作系統(tǒng)統(tǒng)第一步：：制作安安裝U盤具體可參參考百度度經驗文文章http://///article/59703552e0a6e18fc007409f..html第二步：：雙系統(tǒng)統(tǒng)安裝具體可參參考百度度經驗文文章http://///article/dca1fa6fa3b905f1a44052bd..html安裝后Window和Ubuntu14..04都可以用用，默認認windows優(yōu)先啟動動可以在電電腦啟動動時，選選擇進入入Ubuntu系統(tǒng)而不不是Windows系統(tǒng)2.3..4Hadoop的安裝與與使用（（單機/偽分布式式）Hadoop基本安裝裝配置主主要包括括以下幾幾個步驟驟：創(chuàng)建Hadoop用戶SSH登錄權限限設置安裝Java環(huán)境單機安裝裝配置偽分布式式安裝配配置詳細安裝裝配置過過程請參參考廈門門大學數數據庫實實驗室出出品教程程《Hadoop安裝教程程_單機/偽分布式式配置_Hadoop2.6.0//Ubuntu14..04》http:///dblab../blog/install--hadoop/在“大數數據課程程學生服服務站””中的第第二章《學習指南南》有該教程程鏈接地地址創(chuàng)建Hadoop用戶戶如果安裝裝Ubuntu的時候不不是用的的“hadoop””用戶，那那么需要要增加一一個名為為hadoop的用戶首先按ctrl+alt+t打開終端端窗口，，輸入如如下命令令創(chuàng)建新新用戶:$sudouseradd–mhadoop–s/bin/bash上面這條條命令創(chuàng)創(chuàng)建了可可以登陸陸的hadoop用戶，并并使用/bin/bash作為shell接著使用用如下命命令設置置密碼，，可簡單單設置為為hadoop，按提示示輸入兩兩次密碼碼：$sudopasswdhadoop可為hadoop用戶增加加管理員員權限，，方便部部署，避避免一些些對新手手來說比比較棘手手的權限限問題：：$sudoadduserhadoopsudoSSH登登錄權限限設置配置SSH的原因：Hadoop名稱節(jié)點點（NameNode）需要啟啟動集群群中所有有機器的的Hadoop守護進程程，這個個過程需需要通過過SSH登錄來實實現。Hadoop并沒有提提供SSH輸入密碼碼登錄的的形式，，因此，，為了能能夠順利利登錄每每臺機器器，需要要將所有有機器配配置為名名稱節(jié)點點可以無無密碼登登錄它們們SSH是什么？？SSH為SecureShell的縮寫，，是建立立在應用用層和傳傳輸層基基礎上的的安全協(xié)協(xié)議。SSH是目前較較可靠、、專為遠遠程登錄錄會話和和其他網網絡服務務提供安安全性的的協(xié)議。。利用SSH協(xié)議可以以有效防防止遠程程管理過過程中的的信息泄泄露問題題。SSH最初是UNIX系統(tǒng)上的的一個程程序，后后來又迅迅速擴展展到其他他操作平平臺。SSH是由客戶端和服務端的軟件組組成，服服務端是是一個守守護進程程(daemon)，它在后后臺運行行并響應應來自客客戶端的的連接請請求，客客戶端包包含ssh程序以及及像scp（遠程拷拷貝）、、slogin（遠程登登陸）、、sftp（安全文文件傳輸輸）等其其他的應應用程序序安裝Java環(huán)環(huán)境Java環(huán)境可選選擇Oracle的JDK，，或是OpenJDK可以在Ubuntu中直接通通過命令令安裝OpenJDK7$sudoapt-getinstallopenjdk-7-jreopenjdk-7-jdk還需要配配置一下下JAVA_HOME環(huán)境變量量具體請參參考網絡絡教程：：http:///dblab../blog/install--hadoop/單機安裝裝配置Hadoop2可以到官官網下載載，需要要下載hadoop--2.x.y..tar.gz這個格式式的文件件，這是是編譯好好的，另另一個包包含src的則是Hadoop源代碼，，需要進進行編譯譯才可使使用Hadoop2安裝文件件的下載載如果讀者者是使用用虛擬機機方式安安裝Ubuntu系統(tǒng)的用用戶，請請用虛擬擬機中的的Ubuntu自帶firefox瀏覽器訪訪問本指指南，再再點擊下下載地址址，才能能把hadoop文件下載載虛擬機機ubuntu中。請不不要使用用Windows系統(tǒng)下的的瀏覽器器下載，，文件會會被下載載到Windows系統(tǒng)中，，虛擬機機中的Ubuntu無法訪問問外部Windows系統(tǒng)的文文件，造造成不必必要的麻麻煩。如果讀者者是使用用雙系統(tǒng)統(tǒng)方式安安裝Ubuntu系統(tǒng)的用用戶，請請進去Ubuntu系統(tǒng)，在在Ubuntu系統(tǒng)打開開firefox瀏覽器，，再點擊擊下載單機安裝裝配置選擇將Hadoop安裝至/usr/local/中$sudotar-zxf~/下載/hadoop-2.6.0.tar.gz-C/usr/local#解壓到/usr/local中$cd/usr/local/$sudomv./hadoop-2.6.0/./hadoop#將文件夾名改為hadoop$sudochown-Rhadoop:hadoop./hadoop#修改文件權限Hadoop解壓后即即可使用用。輸入入如下命命令來檢檢查Hadoop是否可用用，成功功則會顯顯示Hadoop版本信息息：$cd/usr/local/hadoop$./bin/hadoopversionHadoop默認模式式為非分分布式模模式（本本地模式式），無無需進行行其他配配置即可可運行。。偽分布式式安裝配置Hadoop可以在單單節(jié)點上上以偽分分布式的的方式運運行，Hadoop進程以分分離的Java進程來運運行，節(jié)節(jié)點既作作為NameNode也作為DataNode，同時，，讀取的的是HDFS中的文件件Hadoop的配置文文件位于于/usr/local/hadoop/etc//hadoop/中，偽分分布式需需要修改改2個配置文文件core-site..xml和hdfs-site..xmlHadoop的配置文文件是xml格式，每每個配置置以聲明明property的name和value的方式來來實現偽分布式式安裝配置實驗步驟驟：修改配置置文件：：core-site..xml，hdfs-site..xml，mapred--site.xml初始化文文件系統(tǒng)統(tǒng)hadoopnamenode--format啟動所有有進程start-all..sh訪問web界面，查查看Hadoop信息運行實例例偽分布式式安裝配置修改配置置文件core-site..xml<configuration><property>><name>hadoop..tmp.dir<//name><value>>file://usr/local/hadoop/tmp<</value><description>>Abaseforothertemporarydirectories.<</description></property><property>><name>fs.defaultFS<</name>><value>>hdfs:///localhost:9000</value></property></configuration>>name為fs.defaultFS的值，表表示hdfs路徑的邏邏輯名稱稱hadoop..tmp.dir表示存放放臨時數數據的目目錄，即即包括NameNode的數據，，也包括括DataNode的數據。。該路徑徑任意指指定，只只要實際際存在該該文件夾夾即可偽分布式式安裝配置修改配置置文件hdfs-site..xml<configuration><property>><name>dfs..replication<</name>><value>>1<//value>></property><property>><name>.dir<</name>><value>>file://usr/local/hadoop/tmp//dfs/name<</value></property><property>><name>dfs..datanode..data.dir<</name>><value>>file://usr/local/hadoop/tmp//dfs/data<</value></property><//configuration>dfs..replication表示副本本的數量量，偽分分布式要要設置為為1.dir表示本地地磁盤目目錄，是是存儲fsimage文件的地地方dfs..datanode..data.dir表示本地地磁盤目目錄，HDFS數據存放放block的地方偽分布式式安裝配置關于三種種Shell命令方式式的區(qū)別別：1.hadoopfs2.hadoopdfs3.hdfsdfshadoopfs適用于任任何不同同的文件件系統(tǒng)，，比如本本地文件件系統(tǒng)和和HDFS文件系統(tǒng)統(tǒng)hadoopdfs只能適用用于HDFS文件系統(tǒng)統(tǒng)hdfsdfs跟hadoopdfs的命令作作用一樣樣，也只只能適用用于HDFS文件系統(tǒng)統(tǒng)2.4..1集群節(jié)點點類型2.4..2集群規(guī)模模2.4..3集群硬件件配置2.4..4集群網絡絡拓撲2.4..5集群的建建立與安安裝2.4..6集群基準準測試2.4..7在云計算算環(huán)境中中使用Hadoop2.4Hadoop集群的的部署與與使用2.4..1Hadoop集集群中有有哪些節(jié)節(jié)點類型型Hadoop框架中最最核心的的設計是是為海量量數據提提供存儲儲的HDFS和對數據據進行計計算的MapReduceMapReduce的作業(yè)主主要包括括：（1）從磁盤盤或從網網絡讀取取數據，，即IO密集工作作；（2）計算數數據，即即CPU密集工作作Hadoop集群的整整體性能能取決于于CPU、內存、、網絡以以及存儲儲之間的的性能平平衡。因因此運營營團隊在在選擇機機器配置置時要針針對不同同的工作作節(jié)點選選擇合適適硬件類類型一個基本本的Hadoop集群中的的節(jié)點主主要有NameNode：負責協(xié)協(xié)調集群群中的數數據存儲儲DataNode：存儲被被拆分的的數據塊塊JobTracker：協(xié)調數數據計算算任務TaskTracker：負責執(zhí)執(zhí)行由JobTracker指派的任任務SecondaryNameNode：幫助NameNode收集文件件系統(tǒng)運運行的狀狀態(tài)信息息2.4..2集集群硬件件配置在集群中中，大部部分的機機器設備備是作為為Datanode和TaskTracker工作的Datanode/TaskTracker的硬件規(guī)規(guī)格可以以采用以以下方案案：4個磁盤驅驅動器（（單盤1-2T），支持持JBOD(JustaBunchOfDisks，磁盤簇簇)2個4核CPU,,至少2-2..5GHz16-24GB內存千兆以太太網NameNode提供整個個HDFS文件系統(tǒng)統(tǒng)的NameSpace((命名空間間)管理、塊塊管理等等所有服服務，因因此需要要更多的的RAM，與集群群中的數數據塊數數量相對對應，并并且需要要優(yōu)化RAM的內存通通道帶寬寬，采用用雙通道道或三通通道以上上內存。。硬件規(guī)規(guī)格可以以采用以以下方案案：8-12個磁盤驅驅動器（（單盤1-2T）2個4核/8核CPU16-72GB內存千兆/萬兆以太太網SecondaryNameNode在小型集集群中可可以和NameNode共用一臺臺機器，，較大的的群集可可以采用用與NameNode相同的硬硬件2.4..3集集群規(guī)模模要多大大Hadoop集群規(guī)模?？纱罂煽尚?，初初始時，，可以從從一個較較小規(guī)模模的集群群開始，，比如包包含10個節(jié)點，，然后，，規(guī)模隨隨著存儲儲器和計計算需求求的擴大大而擴大大如果數據據每周增增大1TB，并且有有三個HDFS副本，然然后每周周需要一一個額外外的3TB作為原始始數據存存儲。要要允許一一些中間間文件和和日志（（假定30%）的空間間，由此此，可以以算出每每周大約約需要增增加一臺臺新機器器。存儲儲兩年數數據的集集群，大大約需要要100臺機器對于一個個小的集集群，名名稱節(jié)點點（NameNode）和JobTracker運行在單單個節(jié)點點上，通通常是可可以接受受的。但但是，隨隨著集群群和存儲儲在HDFS中的文件件數量的的增加，，名稱節(jié)節(jié)點需要要更多的的主存，，這時，，名稱節(jié)節(jié)點和JobTracker就需要運運行在不不同的節(jié)節(jié)點上第二名稱稱節(jié)點（（SecondaryNameNode）會和名名稱節(jié)點點可以運運行在相相同的機機器上，，但是，，由于第第二名稱稱節(jié)點和和名稱節(jié)節(jié)點幾乎乎具有相相同的主主存需求求，因此此，二者者最好運運行在不不同節(jié)點點上2.4..4集集群網絡絡拓撲普通的Hadoop集群結構構由一個個兩階網網絡構成成每個機架架（Rack）有30-40個服務器器，配置置一個1GB的交換機機，并向向上傳輸輸到一個個核心交交換機或或者路由由器（1GB或以上））在相同的的機架中中的節(jié)點點間的帶帶寬的總總和，要要大于不不同機架架間的節(jié)節(jié)點間的的帶寬總總和2.4..5集集群的建建立與安安裝采購好相相關的硬硬件設備備后，就就可以把把硬件裝裝入機架架，安裝裝并運行行Hadoop安裝Hadoop有多種方方法：（1）手動安安裝（2）自動化化安裝為了緩解解安裝和和維護每每個節(jié)點點上相同同的軟件件的負擔擔，可以以使用一一個自動動化方法法實現完完全自動動化安裝裝，比如如RedHatLinux’Kickstart、Debian或者