Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用(工作手冊式)（微課版） 課件 1.1 搭建虛擬機

基礎(chǔ)環(huán)境搭建與配置主講：李強項目介紹Linux，全稱GNU/Linux，是一套免費使用和自由傳播的類Unix操作系統(tǒng)，是一個基于POSIX的多用戶、多任務(wù)、支持多線程和多CPU的操作系統(tǒng)。Linux不僅系統(tǒng)性能穩(wěn)定，而且是開源軟件，其核心防火墻組件性能高效、配置簡單，保證了系統(tǒng)的安全。由于Linux操作系統(tǒng)在安全性、穩(wěn)定性等方面的優(yōu)秀表現(xiàn)，在服務(wù)器領(lǐng)域承擔著十分重要的角色，另外更重要的是因為Linux開放權(quán)限，讓用戶能自由地操作Linux系統(tǒng)，在命令運行錯誤時能根據(jù)錯誤提示找到原因，所以一般Hadoop環(huán)境部署在Linux操作系統(tǒng)上。在Linux操作系統(tǒng)中，當今最受歡迎的主流免費操作系統(tǒng)當屬Ubuntu和CentOS。項目介紹Ubuntu是一個以桌面應(yīng)用為主的Linux操作系統(tǒng)；CentOS是一款企業(yè)級Linux發(fā)行版，它使用紅帽企業(yè)級Linux中的免費源代碼重新構(gòu)建而成。對于初學者來說CentOS更適合入門，筆者經(jīng)過一些比較和調(diào)研后，建議選擇CentOS操作系統(tǒng)。本項目的主要目標為提供一個搭建Hadoop大數(shù)據(jù)平臺部署的基礎(chǔ)環(huán)境的指南，由于本手冊教材主要面向應(yīng)用型和職業(yè)教育類的學生，所以本項目將介紹在Windows操作系統(tǒng)上如何搭建平臺需要的三個節(jié)點的CentOS虛擬機環(huán)境和SSH工具連接虛擬機，以及如何進行Hadoop平臺安裝部署所需要的基礎(chǔ)環(huán)境配置。任務(wù)安排和學習目標任務(wù)安排任務(wù)1搭建虛擬機任務(wù)2連接Xshell和Xftp工具任務(wù)3Hadoop平臺基礎(chǔ)環(huán)境配置學習目標（1）熟悉虛擬機的搭建和配置。（2）熟悉Xshell和Xftp工具連接。（3）掌握系統(tǒng)基礎(chǔ)環(huán)境配置。（4）掌握SSH免密配置。（5）掌握JDK的安裝與配置。1.1搭建虛擬機任務(wù)描述本手冊的任務(wù)是學習Hadoop完全分布式集群環(huán)境部署和其生態(tài)圈主要組件的安裝配置和應(yīng)用，由于在Hadoop環(huán)境中，所有的服務(wù)器節(jié)點僅劃為兩種角色，分別是master（主節(jié)點，1個）和slave（從節(jié)點，多個），因為當Hadoop集群數(shù)為（2n+1）時容錯性能是較好的，又考慮到大部分讀者的電腦配置條件，所以集群數(shù)定為（n=1）3節(jié)點，即集群架構(gòu)包含一個主節(jié)點和兩個從節(jié)點，節(jié)點基本信息如表1-1所示。其中IP地址請參考任務(wù)1.1.3，根據(jù)本地實際情況設(shè)置。表1-1集群節(jié)點信息本任務(wù)將完成在Windows操作系統(tǒng)上搭建Hadoop完全分布式集群平臺需要的三個節(jié)點的CentOS虛擬機。序號主機名IP1master192.168.88.1812slave1192.168.88.1823slave2192.168.88.183表1-1集群節(jié)點信息任務(wù)分析要求讀者本地基本配置為Windows7或以上操作系統(tǒng)（64位）、8GB+內(nèi)存、100GB+可用磁盤。本任務(wù)利用虛擬機軟件先創(chuàng)建master節(jié)點的虛擬機，并進行基本的網(wǎng)絡(luò)配置；在master節(jié)點的基礎(chǔ)上克隆slave1和slave2，并進行相應(yīng)的網(wǎng)絡(luò)配置修改，以便SSH遠程終端工具能夠正常連接訪問。1.1安裝虛擬機軟件虛擬機軟件可以在計算機平臺和終端用戶之間建立一種環(huán)境，而終端用戶則是基于這個軟件所建立的環(huán)境來操作軟件。常用虛擬機軟件有：VirtualBox，VMwareWorkstation，VirtualPC等，其中VMwareWorkstation是一款功能強大的電腦桌面虛擬計算機軟件，提供用戶可在單一的桌面上同時運行不同的操作系統(tǒng)，和進行開發(fā)、測試、部署新的應(yīng)用程序的最佳解決方案。VMwareWorkstation可在一部實體機器上模擬完整的網(wǎng)絡(luò)環(huán)境，以及可便于攜帶的虛擬機器，其更好的靈活性與先進的技術(shù)勝過了市面上其他的虛擬計算機軟件。本任務(wù)選擇VMwareWorkstationPro16作為虛擬機安裝軟件，讀者可以在官網(wǎng)下載。雙擊安裝包如圖1-1所示，開始安裝。圖1-1虛擬機軟件1.1安裝虛擬機軟件加載一會時間后進入安裝頁面，如圖1-2所示，單擊【下一步】按鈕。圖1-2虛擬機軟件安裝過程11.1安裝虛擬機軟件在如圖1-3所示中，選擇【我接受許可協(xié)議中的條款】，然后單擊【下一步】按鈕。圖1-3虛擬機軟件安裝過程21.1安裝虛擬機軟件在如圖1-4所示中，可以單擊右上角的【更改...】設(shè)置軟件安裝的路徑，建議安裝在非系統(tǒng)盤下，具體路徑讀者自行設(shè)置，如果默認目錄安裝可以直接單擊【下一步】按鈕。圖1-4虛擬機軟件安裝過程31.1安裝虛擬機軟件在如圖1-5所示中，將用戶體驗設(shè)置均取消，單擊【下一步】按鈕，在下一個窗口上直接單擊【下一步】按鈕，在下一個窗口上，單擊【安裝】按鈕，開始軟件的安裝過程。圖1-5虛擬機軟件安裝過程41.1安裝虛擬機軟件圖1-6虛擬機軟件安裝過程5等待安裝過程結(jié)束出現(xiàn)如圖1-6所示，單擊【完成】按鈕完成軟件的安裝。1.2安裝master節(jié)點虛擬機1.2安裝master節(jié)點虛擬機在程序菜單中打開VMware16虛擬機，出現(xiàn)使用界面如圖1-7所示，在頁面上選擇【創(chuàng)建新的虛擬機】。圖1-7虛擬機創(chuàng)建過程11.2安裝master節(jié)點虛擬機配置類型選擇如圖1-8所示，在圖中選擇【典型(推薦)】，再單擊【下一步】按鈕。圖1-8虛擬機創(chuàng)建過程21.2安裝master節(jié)點虛擬機出現(xiàn)安裝客戶機操作系統(tǒng)頁面如圖1-9所示，在安裝客戶機操作系統(tǒng)頁面上，選擇【安裝程序光盤映像文件(iso)】，并單擊【瀏覽】。圖1-9虛擬機創(chuàng)建過程31.2安裝master節(jié)點虛擬機進入選擇光盤文件的頁面選擇安裝CentOS操作系統(tǒng)用的ISO文件，如圖1-10所示，在圖中的文件路徑中選擇光盤ISO文件所在的目錄，選擇光盤ISO文件后回到圖1-9的頁面上，單擊【下一步】按鈕。圖1-10虛擬機創(chuàng)建過程41.2安裝master節(jié)點虛擬機如果光盤文件有效，在下面會出現(xiàn)“已檢測到CentOS764位”信息，如圖1-11所示，單擊【下一步】按鈕。圖1-11虛擬機創(chuàng)建過程51.2安裝master節(jié)點虛擬機進入到虛擬機命名頁面如圖1-12所示，在名稱那里輸入“master”，在位置那里輸入master虛擬機文件要存儲的目錄，筆者在本地E盤，創(chuàng)建了一個\hadoopbigdata的目錄，并在該目錄下創(chuàng)建了master、slave1和slave2文件夾，此處選擇master文件夾，單擊【下一步】按鈕。圖1-12虛擬機創(chuàng)建過程61.2安裝master節(jié)點虛擬機進入虛擬機磁盤容量設(shè)置頁面如圖1-13所示，選用建議的20GB大小，并選擇【將虛擬機磁盤拆分成多個文件】，單擊【下一步】按鈕。圖1-13虛擬機創(chuàng)建過程71.2安裝master節(jié)點虛擬機進入虛擬機按照概要文件頁面如圖1-14所示，可以看到前面配置的相關(guān)信息，如虛擬機的名稱和文件路徑名稱等，單擊【完成】按鈕。圖1-14虛擬機創(chuàng)建過程81.2安裝master節(jié)點虛擬機開始虛擬機的安裝過程，這個過程視讀者的系統(tǒng)情況時間會不同，等安裝配置到出現(xiàn)如圖

1-15所示的窗口，選擇語言為【中文】，然后單擊【繼續(xù)】。圖1-15虛擬機創(chuàng)建過程91.2安裝master節(jié)點虛擬機此時安裝程序會進行一個簡短的加載過程后，出現(xiàn)如圖1-16所示的頁面，現(xiàn)在發(fā)現(xiàn)右下角的【開始安裝】按鈕為灰色無效狀態(tài)，在頁面上選擇【日期和時間】進入下一個頁面。圖1-16虛擬機創(chuàng)建過程101.2安裝master節(jié)點虛擬機在如圖1-17所示的頁面上進行時區(qū)和時間的設(shè)置，注意對比日期和時間是否與本地同步，如不同步請修改調(diào)整，修改后單擊【完成】按鈕退出該頁面。圖1-17虛擬機創(chuàng)建過程111.2安裝master節(jié)點虛擬機回到如圖1-16所示的主頁面上后往下滑動，如圖1-18所示，選擇【安裝位置】進入下一個頁面。圖1-18虛擬機創(chuàng)建過程121.2安裝master節(jié)點虛擬機在如圖1-19所示頁面上，直接單擊【完成】按鈕?；氐饺鐖D1-16所示的主頁面上，經(jīng)過前面的幾項設(shè)置，如圖1-20所示的頁面右下角的【開始安裝】按鈕變成了藍色有效狀態(tài)，單擊【開始安裝】。圖1-19虛擬機創(chuàng)建過程131.2安裝master節(jié)點虛擬機單擊如圖1-20所示【開始安裝】后進行安裝圖1-20虛擬機創(chuàng)建過程141.2安裝master節(jié)點虛擬機如圖1-21所示，這個過程大概需要幾分鐘到幾十分鐘不等，在這個過程中，可以單擊【ROOT密碼】設(shè)置默認root用戶的登錄密碼。圖1-21虛擬機創(chuàng)建過程151.2安裝master節(jié)點虛擬機在如圖1-22所示的界面上，兩次輸入同一個root用戶的密碼，筆者這里設(shè)為“master”，單擊【完成】按鈕，回到安裝過程頁面繼續(xù)等待安裝。

圖1-22虛擬機創(chuàng)建過程161.2安裝master節(jié)點虛擬機安裝完成后，出現(xiàn)如圖1-23所示，單擊【重啟】，即可進入虛擬機節(jié)點的設(shè)置任務(wù)。圖1-23虛擬機創(chuàng)建過程171.3master節(jié)點的網(wǎng)絡(luò)配置1.3master節(jié)點的網(wǎng)絡(luò)配置創(chuàng)建的master節(jié)點虛擬機雖然可以正常使用了，但是該虛擬機的IP是動態(tài)生成的，再不斷的開停過程中很容易改變，不利于實際應(yīng)用，因此需要對網(wǎng)絡(luò)環(huán)境進行配置。1．登錄系統(tǒng)接1.1.2小節(jié)，重啟后，出現(xiàn)如圖1-24所示，頁面上【localhostlogin：】表示輸入登錄的用戶，這里輸入默認的root用戶，然后回車；會提示【Password：】，表示輸入上一個任務(wù)鐘所設(shè)置的密碼，本手冊這里為：“master”，請初學者特別注意，這里輸入密碼，光標不會動，也不會顯示輸入的密碼，請在輸入完整的密碼后回車，如果輸入錯誤會提示重新輸入用戶和密碼。圖1-24master登錄首頁1.3master節(jié)點的網(wǎng)絡(luò)配置2．查看網(wǎng)絡(luò)配置信息輸入正確用戶密碼后，進入到Linux的交互終端，選擇菜單【編輯】中的【虛擬網(wǎng)絡(luò)編輯器】，如圖1-25所示。圖1-25虛擬機配置頁面1.3master節(jié)點的網(wǎng)絡(luò)配置進入如圖1-26所示的【虛擬網(wǎng)絡(luò)編輯器】頁面，在虛擬網(wǎng)絡(luò)編輯器頁面上，選擇圖中的VMnet8NAT模式，這時候，下面會顯示子網(wǎng)IP，筆者本地是：（后面配置中會參考這個，請讀者記下本地的子網(wǎng)IP信息，后面的設(shè)置中據(jù)此進行調(diào)整）。圖1-26虛擬網(wǎng)絡(luò)編輯器1.3master節(jié)點的網(wǎng)絡(luò)配置3．設(shè)置節(jié)點IP地址在master節(jié)點，輸入【servicenetworkrestart】重啟網(wǎng)絡(luò)，結(jié)果如圖1-27所示。修改IP地址命令如代碼1-1所示。代碼1-1修改IP命令vi/etc/sysconfig/network-scripts/ifcfg-ens33圖1-27master設(shè)置頁面1.3master節(jié)點的網(wǎng)絡(luò)配置執(zhí)行代碼1-1，如果打開的是一個空白的文件，說明地址或文件名出入錯誤，請退出后重新輸入；輸入正確會出現(xiàn)如圖1-28所示的網(wǎng)絡(luò)配置信息。圖1-28masterIP設(shè)置頁面1.3master節(jié)點的網(wǎng)絡(luò)配置進入配置文件后，修改內(nèi)容如表1-2所示，其中“192.168.88”請改為讀者自己在上一節(jié)中記下的本地信息，如第2節(jié)中子網(wǎng)IP是“”，那么此處的IPADDR就改為“81”，GATEWAY就設(shè)為“”。保存配置文件后，再次輸入【servicenetworkrestart】重啟網(wǎng)絡(luò)，如果沒有提示出錯，輸入【ipa】命令回車執(zhí)行，可以在顯示的內(nèi)容中找到如圖1-29所示中的：“81”的IP地址，說明IP地址配置成功。圖1-29masterIP查詢頁面表1-2IP設(shè)置修改內(nèi)容#將下面兩項的配置進行修改：BOOTPROTO=staticONBOOT=yes#在文件末尾添加以下內(nèi)容：IPADDR=81NETMASK=GATEWAY=DNS1=1.4克隆Slave節(jié)點克隆slave1節(jié)點將master虛擬機關(guān)機，并雙擊master節(jié)點之后，右擊master節(jié)點，在右擊菜單中選擇【管理】，然后選擇【克隆】，如圖1-30所示。圖1-30slave1虛擬機克隆1克隆slave1節(jié)點進入到如圖1-31所示頁面，選擇【虛擬機中的當前狀態(tài)】，單擊【下一頁】。在如圖1-32所示的頁面上選擇【創(chuàng)建完整克隆】，單擊【下一頁】。圖1-31slave1虛擬機克隆2圖1-32slave1虛擬機克隆3克隆slave1節(jié)點將虛擬機名稱改為slave1，單擊位置輸入框后的【瀏覽】，進入到虛擬機存放的路徑下，讀者本地為“E:\hadoopbigdata\slave1”的文件夾，然后確定使用該文件夾，效果如圖1-33所示，然后單擊【完成】按鈕。圖1-33slave1虛擬機克隆4克隆slave1節(jié)點克隆虛擬機很快，完成后在左邊的節(jié)點導航中出現(xiàn)了slave1節(jié)點，如圖1-34所示。圖1-34slave1虛擬機克隆5克隆slave1節(jié)點開啟slave1虛擬機，并使用root用戶和密碼（跟master節(jié)點一致）登錄slave1，參考master節(jié)點設(shè)置IP的方法設(shè)置slave1的IP地址。修改IP地址命令