Hadoop安裝與配置管理

Hadoop安裝與配置管理第一頁(yè)，共12頁(yè)。Hadoop平臺(tái)程序運(yùn)行示例第二頁(yè)，共12頁(yè)。第三頁(yè)，共12頁(yè)。安裝環(huán)境安裝虛擬機(jī)和Linux，虛擬機(jī)推薦使用vmware，Linux使用CentOS7。所需軟件：jdk-7u79-linux-x64.tar.gzhadoop-2.4.1.tar.gzWinSCP2023/4/274第2章第四頁(yè)，共12頁(yè)。運(yùn)行模式偽分布模式：在單節(jié)點(diǎn)上同時(shí)啟動(dòng)namenode、datanode、ResourceManager、NodeManager、secondarynamenode5個(gè)進(jìn)程，模擬分布式運(yùn)行的各個(gè)節(jié)點(diǎn)完全分布式模式：正常的Hadoop集群，由多個(gè)各司其職的節(jié)點(diǎn)構(gòu)成2023/4/275第2章第五頁(yè)，共12頁(yè)。集群計(jì)算機(jī)集群是一種計(jì)算機(jī)系統(tǒng)，

它通過(guò)一組松散集成的計(jì)算機(jī)軟件和/或硬件連接起來(lái)高度緊密地協(xié)作完成計(jì)算工作。集群系統(tǒng)中的單個(gè)計(jì)算機(jī)通常稱為節(jié)點(diǎn)，通常通過(guò)局域網(wǎng)連接。集群技術(shù)的特點(diǎn)：通過(guò)多臺(tái)計(jì)算機(jī)完成同一個(gè)工作達(dá)到更高的效率。兩機(jī)或多機(jī)內(nèi)容、工作過(guò)程等完全一樣，一臺(tái)死機(jī)，另一臺(tái)可以起作用。2023/4/276第2章第六頁(yè)，共12頁(yè)。配置網(wǎng)絡(luò)VMware提供了3種工作模式，分別是bridged模式、NAT模式和host-only模式。建議選擇host-only。(1)在brig橋接模式下，VMware虛擬出來(lái)的操作系統(tǒng)就像是局域網(wǎng)中的一個(gè)獨(dú)立的主機(jī)，可以訪問(wèn)網(wǎng)內(nèi)的任何一臺(tái)機(jī)器，需要手工配置IP地址，和宿主主機(jī)在同一網(wǎng)段。

(2)在NAT模式下，就是讓虛擬系統(tǒng)借助NAT功能，通過(guò)宿主機(jī)器所在的網(wǎng)絡(luò)來(lái)訪問(wèn)公網(wǎng)。

(3)在host-only僅主機(jī)模式下，虛擬系統(tǒng)間可以相互通信，與真實(shí)的網(wǎng)絡(luò)是隔離開(kāi)的。第七頁(yè)，共12頁(yè)。偽分布式模式的安裝和配置步驟單機(jī)網(wǎng)絡(luò)設(shè)置：若采用主機(jī)模式，需將ip設(shè)置為虛擬機(jī)網(wǎng)絡(luò)設(shè)置窗口中VMnet1網(wǎng)卡的地址范圍。宿主計(jì)算機(jī)VMnet1的ip設(shè)置為主節(jié)點(diǎn)的網(wǎng)關(guān)。修改主機(jī)名：vi/etc/sysconfig/network將主機(jī)與IP綁定：vi/etc/hosts上傳所需的Java和Hadoop軟件包：可使用遠(yuǎn)程登錄軟件WinSCP（虛擬機(jī)如果安裝了Virtualtools，也可直接在系統(tǒng)間復(fù)制、粘貼文件）。安裝和配置Java：查看（rpm-qa|grepjdk）并刪除已有的Java版本（yum-yremovejdk版本），解壓（tar-zxvf）、重命名(mv)，配置環(huán)境變量/etc/profile并通過(guò)source命令使其生效，測(cè)試是否安裝配置成功。Hadoop環(huán)境：解壓文件，導(dǎo)入環(huán)境變量，修改配置文件。2023/4/278第2章第八頁(yè)，共12頁(yè)。網(wǎng)絡(luò)配置：第九頁(yè)，共12頁(yè)。Hadoop啟動(dòng)與測(cè)試格式化文件系統(tǒng)：hdfsnamenode-format啟動(dòng)HDFS：start-dfs.sh啟動(dòng)Yarn：start-yarn.sh查看啟動(dòng)的進(jìn)程：jps查看生成的文件夾管理jobHistoryserver：在瀏覽器中查看Hadoop運(yùn)行情況集群驗(yàn)證：執(zhí)行mapreduce例程第十頁(yè)，共12頁(yè)。完全分布式機(jī)器名在slaves文件中添加子節(jié)點(diǎn)，如node1、node2克隆主節(jié)點(diǎn)，修改子節(jié)點(diǎn)網(wǎng)絡(luò)配置，修改主機(jī)名關(guān)閉防火墻：systemctlstopfirewalld.service配置SSH免密碼登錄：ssh-keygen–t，連按四次回車(chē)鍵，生成公鑰和私鑰，執(zhí)行catid_rsa.pub>>authorized_keys創(chuàng)建權(quán)限文件，執(zhí)行chmod600authorized_keys設(shè)置權(quán)限(前面的操作每個(gè)節(jié)點(diǎn)都執(zhí)行)，復(fù)制公鑰（node和node1節(jié)點(diǎn)執(zhí)行）：ssh-copy-id–i/.ssh/id_rsa.pubnode2，最后復(fù)制到所有其他節(jié)點(diǎn)（node2節(jié)點(diǎn)執(zhí)行）：scp/root/.ssh/authorized_keysnode:/root/.ssh/;scp/root/.ssh/authorized_keysnode1:/root/