Hadoop安裝與配置管理

Hadoop安裝與配置管理第一頁，共12頁。Hadoop平臺程序運行示例第二頁，共12頁。第三頁，共12頁。安裝環(huán)境安裝虛擬機和Linux，虛擬機推薦使用vmware，Linux使用CentOS7。所需軟件：jdk-7u79-linux-x64.tar.gzhadoop-2.4.1.tar.gzWinSCP2023/4/274第2章第四頁，共12頁。運行模式偽分布模式：在單節(jié)點上同時啟動namenode、datanode、ResourceManager、NodeManager、secondarynamenode5個進程，模擬分布式運行的各個節(jié)點完全分布式模式：正常的Hadoop集群，由多個各司其職的節(jié)點構(gòu)成2023/4/275第2章第五頁，共12頁。集群計算機集群是一種計算機系統(tǒng)，

它通過一組松散集成的計算機軟件和/或硬件連接起來高度緊密地協(xié)作完成計算工作。集群系統(tǒng)中的單個計算機通常稱為節(jié)點，通常通過局域網(wǎng)連接。集群技術(shù)的特點：通過多臺計算機完成同一個工作達到更高的效率。兩機或多機內(nèi)容、工作過程等完全一樣，一臺死機，另一臺可以起作用。2023/4/276第2章第六頁，共12頁。配置網(wǎng)絡(luò)VMware提供了3種工作模式，分別是bridged模式、NAT模式和host-only模式。建議選擇host-only。(1)在brig橋接模式下，VMware虛擬出來的操作系統(tǒng)就像是局域網(wǎng)中的一個獨立的主機，可以訪問網(wǎng)內(nèi)的任何一臺機器，需要手工配置IP地址，和宿主主機在同一網(wǎng)段。

(2)在NAT模式下，就是讓虛擬系統(tǒng)借助NAT功能，通過宿主機器所在的網(wǎng)絡(luò)來訪問公網(wǎng)。

(3)在host-only僅主機模式下，虛擬系統(tǒng)間可以相互通信，與真實的網(wǎng)絡(luò)是隔離開的。第七頁，共12頁。偽分布式模式的安裝和配置步驟單機網(wǎng)絡(luò)設(shè)置：若采用主機模式，需將ip設(shè)置為虛擬機網(wǎng)絡(luò)設(shè)置窗口中VMnet1網(wǎng)卡的地址范圍。宿主計算機VMnet1的ip設(shè)置為主節(jié)點的網(wǎng)關(guān)。修改主機名：vi/etc/sysconfig/network將主機與IP綁定：vi/etc/hosts上傳所需的Java和Hadoop軟件包：可使用遠程登錄軟件WinSCP（虛擬機如果安裝了Virtualtools，也可直接在系統(tǒng)間復(fù)制、粘貼文件）。安裝和配置Java：查看（rpm-qa|grepjdk）并刪除已有的Java版本（yum-yremovejdk版本），解壓（tar-zxvf）、重命名(mv)，配置環(huán)境變量/etc/profile并通過source命令使其生效，測試是否安裝配置成功。Hadoop環(huán)境：解壓文件，導(dǎo)入環(huán)境變量，修改配置文件。2023/4/278第2章第八頁，共12頁。網(wǎng)絡(luò)配置：第九頁，共12頁。Hadoop啟動與測試格式化文件系統(tǒng)：hdfsnamenode-format啟動HDFS：start-dfs.sh啟動Yarn：start-yarn.sh查看啟動的進程：jps查看生成的文件夾管理jobHistoryserver：在瀏覽器中查看Hadoop運行情況集群驗證：執(zhí)行mapreduce例程第十頁，共12頁。完全分布式機器名在slaves文件中添加子節(jié)點，如node1、node2克隆主節(jié)點，修改子節(jié)點網(wǎng)絡(luò)配置，修改主機名關(guān)閉防火墻：systemctlstopfirewalld.service配置SSH免密碼登錄：ssh-keygen–t，連按四次回車鍵，生成公鑰和私鑰，執(zhí)行catid_rsa.pub>>authorized_keys創(chuàng)建權(quán)限文件，執(zhí)行chmod600authorized_keys設(shè)置權(quán)限(前面的操作每個節(jié)點都執(zhí)行)，復(fù)制公鑰（node和node1節(jié)點執(zhí)行）：ssh-copy-id–i/.ssh/id_rsa.pubnode2，最后復(fù)制到所有其他節(jié)點（node2節(jié)點執(zhí)行）：scp/root/.ssh/authorized_keysnode:/root/.ssh/;scp/root/.ssh/authorized_keysnode1:/root/