商業(yè)大數(shù)據許鑫大數(shù)據大數(shù)據處理架構Hadoo

許鑫華東師范大學經濟與管理學部大數(shù)據處理架構Hadoop大數(shù)據BigData

提綱2.1概述2.2Hadoop項目結構2.3Hadoop的安裝與使用2.4Hadoop集群的部署與使用2.1概述2.1.1 Hadoop簡介2.1.2 Hadoop發(fā)展簡史2.1.3 Hadoop的特性2.1.4 Hadoop的應用現(xiàn)狀2.1.1Hadoop簡介

Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺，為用戶提供了系統(tǒng)底層細節(jié)透明的分布式基礎架構Hadoop是基于Java語言開發(fā)的，具有很好的跨平臺特性，并且可以部署在廉價的計算機集群中Hadoop的核心是分布式文件系統(tǒng)HDFS（HadoopDistributedFileSystem）和MapReduceHadoop被公認為行業(yè)大數(shù)據標準開源軟件，在分布式環(huán)境下提供了海量數(shù)據的處理能力幾乎所有主流廠商都圍繞Hadoop提供開發(fā)工具、開源軟件、商業(yè)化工具和技術服務，如谷歌、雅虎、微軟、思科、淘寶等，都支持Hadoop2.1.2Hadoop發(fā)展簡史

Hadoop最初是由ApacheLucene項目的創(chuàng)始人DougCutting開發(fā)的文本搜索庫。Hadoop源自始于2002年的ApacheNutch項目——一個開源的網絡搜索引擎并且也是Lucene項目的一部分

在2004年，Nutch項目也模仿GFS開發(fā)了自己的分布式文件系統(tǒng)NDFS（NutchDistributedFileSystem），也就是HDFS的前身2004年，谷歌公司又發(fā)表了另一篇具有深遠影響的論文，闡述了MapReduce分布式編程思想2005年，Nutch開源實現(xiàn)了谷歌的MapReduceHadoop的標志2.1.2Hadoop發(fā)展簡史

到了2006年2月，Nutch中的NDFS和MapReduce開始獨立出來，成為Lucene項目的一個子項目，稱為Hadoop，同時，DougCutting加盟雅虎2008年1月，Hadoop正式成為Apache頂級項目，Hadoop也逐漸開始被雅虎之外的其他公司使用2008年4月，Hadoop打破世界紀錄，成為最快排序1TB數(shù)據的系統(tǒng)，它采用一個由910個節(jié)點構成的集群進行運算，排序時間只用了209秒在2009年5月，Hadoop更是把1TB數(shù)據排序時間縮短到62秒。Hadoop從此名聲大震，迅速發(fā)展成為大數(shù)據時代最具影響力的開源分布式開發(fā)平臺，并成為事實上的大數(shù)據處理標準2.1.3Hadoop的特性

Hadoop是一個能夠對大量數(shù)據進行分布式處理的軟件框架，并且是以一種可靠、高效、可伸縮的方式進行處理的，它具有以下幾個方面的特性：

高可靠性

高效性

高可擴展性

高容錯性

成本低

運行在Linux平臺上

支持多種編程語言2.1.3Hadoop的應用現(xiàn)狀

Hadoop憑借其突出的優(yōu)勢，已經在各個領域得到了廣泛的應用，而互聯(lián)網領域是其應用的主陣地2007年，雅虎在Sunnyvale總部建立了M45——一個包含了4000個處理器和1.5PB容量的Hadoop集群系統(tǒng)Facebook作為全球知名的社交網站，Hadoop是非常理想的選擇，F(xiàn)acebook主要將Hadoop平臺用于日志處理、推薦系統(tǒng)和數(shù)據倉庫等方面

國內采用Hadoop的公司主要有百度、淘寶、網易、華為、中國移動等，其中，淘寶的Hadoop集群比較大2.1.3Hadoop的應用現(xiàn)狀Hadoop在企業(yè)中的應用架構2.1.4ApacheHadoop版本演變ApacheHadoop版本分為兩代，我們將第一代Hadoop稱為Hadoop1.0，第二代Hadoop稱為Hadoop2.0第一代Hadoop包含三個大版本，分別是，和，其中，最后演化成，變成了穩(wěn)定版，而和則增加了NameNodeHA等新的重大特性第二代Hadoop包含兩個版本，分別是和2.x，它們完全不同于Hadoop1.0，是一套全新的架構，均包含HDFSFederation和YARN兩個系統(tǒng)，相比于，2.x增加了NameNodeHA和Wire-compatibility兩個重大特性2.1.4ApacheHadoop版本演演變ApacheHadoopHortonworksCloudera（CDH：ClouderaDistributionHadoop）MapR……各各種版本本選擇Hadoop版本的考考慮因素素：是否開源源（即是是否免費費）是否有穩(wěn)穩(wěn)定版是否經實實踐檢驗驗是否有強強大的社社區(qū)支持持各各種版本本2.2Hadoop項目結結構Hadoop的項目結結構不斷斷豐富發(fā)發(fā)展，已已經形成成一個豐豐富的Hadoop生態(tài)系統(tǒng)統(tǒng)2.2Hadoop項目結結構組件功能HDFS分布式文件系統(tǒng)MapReduce分布式并行編程模型YARN資源管理和調度器Tez運行在YARN之上的下一代Hadoop查詢處理框架HiveHadoop上的數(shù)據倉庫HBaseHadoop上的非關系型的分布式數(shù)據庫Pig一個基于Hadoop的大規(guī)模數(shù)據分析平臺，提供類似SQL的查詢語言PigLatinSqoop用于在Hadoop與傳統(tǒng)數(shù)據庫之間進行數(shù)據傳遞OozieHadoop上的工作流管理系統(tǒng)Zookeeper提供分布式協(xié)調一致性服務Storm流計算框架Flume一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)AmbariHadoop快速部署工具，支持ApacheHadoop集群的供應、管理和監(jiān)控Kafka一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，可以處理消費者規(guī)模的網站中的所有動作流數(shù)據Spark類似于HadoopMapReduce的通用并行框架2.3Hadoop的安裝裝與使用用詳細安裝裝教程請請參考：：《大數(shù)據技技術原理理與應用用第二二章大大數(shù)據處處理架構構Hadoop學習指南南》訪問地址址：安裝之前前的預備備知識安裝Linux虛擬機安裝雙操操作系統(tǒng)統(tǒng)詳解Hadoop的安裝與與使用安安裝之前前的預備備知識（一）Linux的選擇（1）選擇哪哪個Linux發(fā)行版？？在Linux系統(tǒng)各個個發(fā)行版版中，CentOS系統(tǒng)和Ubuntu系統(tǒng)在服服務端和和桌面端端使用占占比最高高，網絡絡上資料料最是齊齊全，所所以建議議使用CentOS或Ubuntu在學習Hadoop方面，雖雖然兩個個系統(tǒng)沒沒有多大大區(qū)別，，但是推推薦使用用Ubuntu操作系統(tǒng)統(tǒng)（2）選擇32位還是64位？如果電腦腦比較老老或者內內存小于于2G，那么建建議選擇擇32位系統(tǒng)版版本的Linux如果內存存大于4G，那么建建議選擇擇64位系統(tǒng)版版本的Linux安安裝之前前的預備備知識（二）系系統(tǒng)安裝裝方式：：選擇虛虛擬機安安裝還是是雙系統(tǒng)統(tǒng)安裝建議電腦腦比較新新或者配配置內存存4G以上的電電腦可以以選擇虛虛擬機安安裝電腦較舊舊或配置置內存小小于等于于4G的電腦強強烈建議議選擇雙雙系統(tǒng)安安裝，否否則，在在配置較較低的計計算機上上運行LInux虛擬機，，系統(tǒng)運運行速度度會非常常慢鑒于目前前教師和和學生的的計算機機硬件配配置一般般不高，，建議在在實踐教教學中采采用雙系系統(tǒng)安裝裝，確保保系統(tǒng)運運行速度度安安裝之前前的預備備知識（三）關關于Linux的一些基基礎知識識Shell是指“提提供使用用者使用用界面””的軟件件（命令令解析器器），類類似于DOS下的command和后來來的cmd.exe。它接接收用用戶命命令，，然后后調用用相應應的應應用程程序sudo命令sudo是ubuntu中一種種權限限管理理機制制，管管理員員可以以授權權給一一些普普通用用戶去去執(zhí)行行一些些需要要root權限執(zhí)執(zhí)行的的操作作。當當使用用sudo命令時時，就就需要要輸入入您當當前用用戶的的密碼碼輸入密密碼在Linux的終端端中輸輸入密密碼，，終端端是不不會顯顯示任任何你你當前前輸入入的密密碼，，也不不會提提示你你已經經輸入入了多多少字字符密密碼，，讀者者不要要誤以以為鍵鍵盤沒沒有響響應輸入法法中英英文切切換linux中英文文的切切換方方式是是使用用鍵盤盤“shift”鍵來切切換，，也可可以點點擊頂頂部菜菜單的的輸入入法按按鈕進進行切切換。。Ubuntu自帶的的Sunpinyin中文輸輸入法法已經經足夠夠讀者者使用用Ubuntu終端復復制粘粘貼快快捷鍵鍵在Ubuntu終端窗窗口中中，復復制粘粘貼的的快捷捷鍵需需要加加上shift，即粘貼貼是ctrl+shift+v安安裝之之前的的預備備知識識（四））Hadoop安裝方方式單機模模式：：Hadoop默認模模式為為非分分布式式模式式（本本地模模式）），無無需進進行其其他配配置即即可運運行。。非分分布式式即單單Java進程，，方便便進行行調試試偽分布布式模模式：：Hadoop可以在在單節(jié)節(jié)點上上以偽偽分布布式的的方式式運行行，Hadoop進程以以分離離的Java進程來來運行行，節(jié)節(jié)點既既作為為NameNode也作為為DataNode，同時時，讀讀取的的是HDFS中的文文件分布式式模式式：使使用多多個節(jié)節(jié)點構構成集集群環(huán)環(huán)境來來運行行Hadoop安安裝Linux虛擬擬機一、材材料和和工具具1、下載載VirtualBox虛擬機機軟件件2.下載UbuntuLTS14.04ISO映像文文件二、步步驟（一））確認認系統(tǒng)統(tǒng)版本本如果選選擇的的系統(tǒng)統(tǒng)是64位Ubuntu系統(tǒng)，，那么么在安安裝虛虛擬機機前，，我們們還要要進入入BIOS開啟CPU的虛擬擬化安安裝Linux虛擬擬機(二)安裝前前的準準備1.打開VirtualBox，點擊擊“創(chuàng)創(chuàng)建””按鈕鈕，創(chuàng)創(chuàng)建一一個虛虛擬機機2.給虛擬擬機命命名，，選擇擇操作作系統(tǒng)統(tǒng)，版版本3.選擇內內存大大小，，這里里設置置的1024M4.創(chuàng)建虛虛擬硬硬盤5.選擇虛虛擬硬硬盤文文件類類型VDI6.虛擬硬硬盤選選擇動動態(tài)分分配7.選擇文文件存存儲的的位置置和容容量大大小8.點擊創(chuàng)創(chuàng)建安安裝Linux虛擬擬機(三)安裝Ubuntu安安裝雙雙操作作系統(tǒng)統(tǒng)第一步步：制制作安安裝U盤具體可可參考考百度度經驗驗文章章第二步步：雙雙系統(tǒng)統(tǒng)安裝裝具體可可參考考百度度經驗驗文章章安裝后后Window和Ubuntu14.04都可以以用，，默認認windows優(yōu)先啟啟動可以在在電腦腦啟動動時，，選擇擇進入入Ubuntu系統(tǒng)而而不是是Windows系統(tǒng)的安裝裝與使使用（（單機機/偽分布布式））Hadoop基本安安裝配配置主主要包包括以以下幾幾個步步驟：：創(chuàng)建Hadoop用戶SSH登錄權權限設設置安裝Java環(huán)境單機安安裝配配置偽分布布式安安裝配配置詳細安安裝配配置過過程請請參考考廈門門大學學數(shù)據據庫實實驗室室出品品教程程《Hadoop安裝教教程_單機/偽分布布式配配置》在“大大數(shù)據據課程程學生生服務務站””中的的第二二章《學習指指南》有該教教程鏈鏈接地地址創(chuàng)建Hadoop用用戶如果安安裝Ubuntu的時候候不是是用的的““hadoop””用戶，，那么么需要要增加加一個個名為為hadoop的用戶戶首先按按ctrl+alt+t打開終終端窗窗口，，輸入入如下下命令令創(chuàng)建建新用用戶:$sudouseradd–mhadoop–s/bin/bash上面這這條命命令創(chuàng)創(chuàng)建了了可以以登陸陸的hadoop用戶，，并使使用/bin/bash作為shell接著使使用如如下命命令設設置密密碼，，可簡簡單設設置為為hadoop，按提提示輸輸入兩兩次密密碼：：$sudopasswdhadoop可為hadoop用戶增增加管管理員員權限限，方方便部部署，，避免免一些些對新新手來來說比比較棘棘手的的權限限問題題：$sudoadduserhadoopsudoSSH登錄錄權限限設置置配置SSH的原因因：Hadoop名稱節(jié)節(jié)點（（NameNode）需要要啟動動集群群中所所有機機器的的Hadoop守護進進程，，這個個過程程需要要通過過SSH登錄來來實現(xiàn)現(xiàn)。Hadoop并沒有有提供供SSH輸入密密碼登登錄的的形式式，因因此，，為了了能夠夠順利利登錄錄每臺臺機器器，需需要將將所有有機器器配置置為名名稱節(jié)節(jié)點可可以無無密碼碼登錄錄它們們SSH是什么么？SSH為SecureShell的縮寫寫，是是建立立在應應用層層和傳傳輸層層基礎礎上的的安全全協(xié)議議。SSH是目前前較可可靠、、專為為遠程程登錄錄會話話和其其他網網絡服服務提提供安安全性性的協(xié)協(xié)議。。利用用SSH協(xié)議可可以有有效防防止遠遠程管管理過過程中中的信信息泄泄露問問題。。SSH最初是是UNIX系統(tǒng)上上的一一個程程序，，后來來又迅迅速擴擴展到到其他他操作作平臺臺。SSH是由客戶端端和服務端端的軟件件組成成，服服務端端是一一個守守護進進程(daemon)，它在在后臺臺運行行并響響應來來自客客戶端端的連連接請請求，，客戶戶端包包含ssh程序以以及像像scp（遠程程拷貝貝）、、slogin（遠程程登陸陸）、、sftp（安全全文件件傳輸輸）等等其他他的應應用程程序安裝Java環(huán)環(huán)境Java環(huán)境可可選擇擇Oracle的JDK，或是OpenJDK可以在在Ubuntu中直接接通過過命令令安裝裝OpenJDK7$sudoapt-getinstallopenjdk-7-jreopenjdk-7-jdk還需要配置置一下JAVA_HOME環(huán)境變量具體請參考考網絡教程程：單機安裝配配置Hadoop2可以到官網網下載，需需要下載這個格式的的文件，這這是編譯好好的，另一一個包含src的則是Hadoop源代碼，需需要進行編編譯才可使使用Hadoop2安裝文件的的下載如果讀者是是使用虛擬擬機方式安安裝Ubuntu系統(tǒng)的用戶戶，請用虛虛擬機中的的Ubuntu自帶firefox瀏覽器訪問問本指南，，再點擊下下載地址，，才能把hadoop文件下載虛虛擬機ubuntu中。請不要要使用Windows系統(tǒng)下的瀏瀏覽器下載載，文件會會被下載到到Windows系統(tǒng)中，虛虛擬機中的的Ubuntu無法訪問外外部Windows系統(tǒng)的文件件，造成不不必要的麻麻煩。如果讀者是是使用雙系系統(tǒng)方式安安裝Ubuntu系統(tǒng)的用戶戶，請進去去Ubuntu系統(tǒng)，在Ubuntu系統(tǒng)打開firefox瀏覽器，再再點擊下載載單機安裝配配置選擇將Hadoop安裝至/usr/local/中$sudotar-zxf~/下載/hadoop-2.6.0.tar.gz-C/usr/local#解壓到/usr/local中$cd/usr/local/$sudomv./hadoop-2.6.0/./hadoop#將文件夾名改為hadoop$sudochown-Rhadoop:hadoop./hadoop#修改文件權限Hadoop解壓后即可可使用。輸輸入如下命命令來檢查查Hadoop是否可用，，成功則會會顯示Hadoop版本信息：：$cd/usr/local/hadoop$./bin/hadoopversionHadoop默認模式為為非分布式式模式（本本地模式）），無需進進行其他配配置即可運運行。偽分布式安安裝配置Hadoop可以在單節(jié)節(jié)點上以偽偽分布式的的方式運行行，Hadoop進程以分離離的Java進程來運行行，節(jié)點既既作為NameNode也作為DataNode，同時，讀讀取的是HDFS中的文件Hadoop的配置文件件位于/usr/local/hadoop/etc/hadoop/中，偽分布布式需要修修改2個配置文件件core-site.xml和hdfs-site.xmlHadoop的配置文件件是xml格式，每個個配置以聲聲明property的name和value的方式來實實現(xiàn)偽分布式安安裝配置實驗步驟：：修改配置文文件：core-site.xml，hdfs-site.xml，mapred-site.xml初始化文件件系統(tǒng)hadoopnamenode-format啟動所有進進程start-all.sh訪問web界面，查看看Hadoop信息運行實例偽分布式安安裝配置修改配置文文件core-site.xml<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abaseforothertemporarydirectories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>name為fs.defaultFS的值，表示示hdfs路徑的邏輯輯名稱表示存放臨臨時數(shù)據的的目錄，即即包括NameNode的數(shù)據，也也包括DataNode的數(shù)據。該該路徑任意意指定，只只要實際存存在該文件件夾即可偽分布式安安裝配置修改配置文文件hdfs-site.xml<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property></configuration>dfs.replication表示副本的的數(shù)量，偽偽分布式要要設置為1表示本地磁磁盤目錄，，是存儲fsimage文件的地方方表示本地磁磁盤目錄，，HDFS數(shù)據存放block的地方偽分布式安安裝配置關于三種Shell命令方式的的區(qū)別：1.hadoopfs2.hadoopdfs3.hdfsdfshadoopfs適用于任何何不同的文文件系統(tǒng)，，比如本地地文件系統(tǒng)統(tǒng)和HDFS文件系統(tǒng)hadoopdfs只能適用于于HDFS文件系統(tǒng)hdfsdfs跟hadoopdfs的命令作用用一樣，也也只能適用用于HDFS文件系統(tǒng)集群節(jié)點類類型集群規(guī)模集群硬件配配置集群網絡拓拓撲集群的建立立與安裝集群基準測測試在云計算環(huán)環(huán)境中使用用Hadoop2.4Hadoop集群的的部署與使使用2.4.1Hadoop集集群中有哪哪些節(jié)點類類型Hadoop框架中最核核心的設計計是為海量量數(shù)據提供供存儲的HDFS和對數(shù)據進進行計算的的MapReduceMapReduce的作業(yè)主要要包括：（（1）從磁盤或或從網絡讀讀取數(shù)據，，即IO密集工作；；（2）計算數(shù)據據，即CPU密集工作Hadoop集群的整體體性能取決決于CPU、內存、網網絡以及存存儲之間的的性能平衡衡。因此運運營團隊在在選擇機器器配置時要要針對不同同的工作節(jié)節(jié)點選擇合合適硬件類類型一個基本本的Hadoop集群中的的節(jié)點主主要有NameNode：負責協(xié)協(xié)調集群群中的數(shù)數(shù)據存儲儲DataNode：存儲被被拆分的的數(shù)據塊塊JobTracker：協(xié)調數(shù)數(shù)據計算算任務TaskTracker：負責執(zhí)執(zhí)行由JobTracker指派的任任務SecondaryNameNode：幫助NameNode收集文件件系統(tǒng)運運行的狀狀態(tài)信息息集集群硬件件配置在集群中中，大部部分的機機器設備備是作為為Datanode和TaskTracker工作的Datanode/TaskTracker的硬件規(guī)規(guī)格可以以采用以以下方案案：4個磁盤驅驅動器（（單盤1-2T），支持持JBOD(JustaBunchOfDisks，磁盤簇簇)2個4核CPU,至少2-2.5GHz16-24GB內存千兆以太太網NameNode提供整個個HDFS文件系統(tǒng)統(tǒng)的NameSpace(命名空間間)管理、塊塊管理等等所有服服務，因因此需要要更多的的RAM，與集群群中的數(shù)數(shù)據塊數(shù)數(shù)量相對對應，并并且需要要優(yōu)化RAM的內存通通道帶寬寬，采用用雙通道道或三通通道以上上內存。。硬件規(guī)規(guī)格可以以采用以以下方案案：8-12個磁盤驅驅動器（（單盤1-2T）2個4核/8核CPU16-72GB內存千兆/萬兆以太太網SecondaryNameNode在小型集集群中可可以和NameNode共用一臺臺機器，，較大的的群集可可以采用用與NameNode相同的硬硬件集集群規(guī)模模要多大大Hadoop集群規(guī)模?？纱罂煽尚?，初初始時，，可以從從一個較較小規(guī)模模的集群群開始，，比如包包含10個節(jié)點，，然后，，規(guī)模隨隨著存儲儲器和計計算需求求的擴大大而擴大大如果數(shù)據據每周增增大1TB，并且有有三個HDFS副本，然然后每周周需要一一個額外外的3TB作為原始始數(shù)據存存儲。要要允許一一些中間間文件和和日志（（假定30%）的空間間，由此此，可以以算出每每周大約約需要增增加一臺臺新機器器。存儲儲兩年數(shù)數(shù)據的集集群，大大約需要要100臺機器對于一個個小的集集群，名名稱節(jié)點點（NameNode）和JobTracker運行在單單個節(jié)點點上，通通常是可可以接受受的。但但是，隨隨著集群群和存儲儲在HDFS中的文件件數(shù)量的的增加，，名稱節(jié)節(jié)點需要要更多的的主存，，這時，，名稱節(jié)節(jié)點和JobTracker就需要運運行在不不同的節(jié)節(jié)點上第二名稱稱節(jié)點（（SecondaryNameNode）會和名名稱節(jié)點點可以運運行在相相同的機機器上，，但是，，由于第第二名稱稱節(jié)點和和名稱節(jié)節(jié)點幾乎乎具有相相同的主主存需求求，因此此，二者者最好運運行在不不同節(jié)點點上集集群網絡絡拓撲普通的Hadoop集群結構構由一個個兩階網網絡構成成每個機架架（Rack）有30-40個服務器器，配置置一個1GB的交換機機，并向向上傳輸輸?shù)揭粋€個核心交交換機或或者路由由器（1GB或以上））在相同的的機架中中的節(jié)點點間的帶帶寬的總總和，要要大于不不同機架架間的節(jié)節(jié)點間的的帶寬總總和集集群的建建立與安安裝采購好相相關的硬硬件設備備后，就就可以把把硬件裝裝入機架架，安裝裝并運行行Hadoop安裝Hadoop有多種方方法：（1）手動安安裝（2）自動化化安裝為了緩解解安裝和和維護每每個節(jié)點點上相同同的軟件件的負擔擔，可以以使用一一個自動動化方法法實現(xiàn)完完全自動動化安裝裝，比如如RedHatLinux’Kickstart、Debian