Hadoop開發(fā)環(huán)境eclipse搭建

1、1.1. 文檔說明本文檔包含使用eclipse開發(fā)工具基于hadoop平臺開發(fā)Map/Reduce的說明和示例。2. 開發(fā)前準備下面所述中除了MR要安裝在服務(wù)器上之外，其他的都是需要在本地開發(fā)環(huán)境上安裝。2.1. 安裝MR由于Map/Reduce的運行依賴于MR，所以要提前將MR安裝在服務(wù)器上，并且保證MR的hdfs和mr進程運行正常。同時復(fù)制MR到本地，解壓到任意目錄，供本地開發(fā)使用，服務(wù)器上MR的安裝請參考MR相關(guān)安裝手冊。2.2. 安裝Cygwin如果本地開發(fā)環(huán)境的操作系統(tǒng)是Windows，需要先安裝Cygwin，如果是Linux則不需要。2.2.1. Cygwin的安裝如果只是Dmp的

2、本地開發(fā)可以不安裝Cygwin；Cygwin可以在windows環(huán)境下安裝一個linux模擬環(huán)境來進行調(diào)試。在安裝Cygwin之前，得先下載Cygwin安裝程序setup-x86.exe。Cygwin安裝程序下載地址：/setup-x86.exe，本教程下載的是Cygwin2.819（32bit）版本。Cygwin 安裝程序的存放目錄可隨意無要求。當(dāng)下載成功后，運行setup-x86.exe，彈出如下圖所示的對話框：在上圖所示的對話框中，直接點擊“下一步”，進入如下圖所示的對話框：在上圖所示的對話框中，選擇“Install from Internet”，

3、然后點擊“下一步”，進入如下圖所示對話框：在上圖所示的對話框中，設(shè)置Cygwin 的安裝目錄，Install For 選擇“All Users”，DefaultText File Type 選擇“Unix/binary”，然后點擊“下一步”，進入如下圖所示對話框：在上圖所示的對話框中，設(shè)置Cygwin 安裝包存放目錄，然后點擊“下一步”，進入如下圖所示對話框：在上圖所示的對話框中，根據(jù)實際網(wǎng)絡(luò)情況選擇連網(wǎng)方式，然后點擊“下一步”，如果進入如下圖所示對話框：在上圖所示的對話框中，點擊“下一步”，將進入如下圖所示的對話框：進入“Select Packages”對話框后，必須保證“Net Categ

4、ory”下的“OpenSSL和openssh”被安裝，如下圖所示：如果還打算在eclipse 上編譯Hadoop，則還必須安裝“Base Category”下的“sed”，如下圖所示：當(dāng)完成上述操作后，點擊“Select Packages”對話框中“下一步”，進入Cygwin 安裝包下載過程，如下圖所示：等待安裝包下載完畢，當(dāng)下載完后，會自動進入到如下圖所示的對話框：在上圖所示的對話框中，選中“Create icon on Desktop”，以方便直接從桌面上啟動Cygwin，然后點擊“完成”按鈕。至此，Cgywin 已經(jīng)安裝完。2.2.2. 配置環(huán)境變量Cygwin 的bin 目錄，以及Cy

5、gwin 的usrsbin 目錄都必須添加到PATH 環(huán)境變量中，如下圖所示：2.2.3. 安裝sshd服務(wù)點擊桌面上的Cygwin圖標，啟動Cygwin，執(zhí)行ssh-host-config命令，如下圖所示：在執(zhí)行ssh-host-config 時，當(dāng)要求輸入yes/no 時，選擇輸入yes，如下圖所示：當(dāng)出現(xiàn)提示是否要將sshd作為windows服務(wù)安裝時，選擇yes然后出現(xiàn)下圖所示時輸入：ntsec完成配置，如下圖所示：2.2.4. 啟動sshd服務(wù)在桌面上的“我的電腦”圖標上單擊右鍵，點擊“管理”菜單，進入Windows 計算機管理，如下圖所示：在上圖所示的對話框中，選中“CYGWIN

6、sshd”，彈出右鍵，并啟動CYGWIN sshd服務(wù)，成功后，如下圖所示：當(dāng)CYGWIN sshd 的狀態(tài)為“已啟動”后，接下來就是配置ssh 登錄。2.2.5. 配置ssh登錄執(zhí)行ssh-keygen命令生成密鑰文件，需要輸入時，直接按回車鍵即可，如果不出錯，應(yīng)當(dāng)是需要三次按回車鍵。接下來生成authorized_keys文件：cd .ssh/cat id_rsa.pub authorized_keys完成上述操作后，執(zhí)行exit命令先退出Cygwin窗口，至此，配置ssh 登錄成功，下面就可以開始安裝DMP了。.2.3. 安裝JDKJDK安裝此處不再詳述，需要注意的是JDK 必須是1.6

7、 或以上版本，建議使用最新的1.7版本。安裝完成后需要配置環(huán)境變量JAVA_HOME 指向JDK 安裝目錄；JDK的bin 目錄需添加到Path環(huán)境變量中。2.4. 安裝eclipse和eclipse插件2.4.1. 安裝eclipse下載eclipse4.2或者更高版本，解壓到安裝目錄即可使用。建議使用公司的Cloud-IDE集成開發(fā)環(huán)境，到下面地址下載最新版本的Cloud-IDE。0:8080/UMAP/update/download.html2.4.2. 安裝hadoop插件復(fù)制 Hadoop版本插件hadoop-2.0.0-cdh4.1.5-eclip

8、se-plugin.jar 到 eclipse安裝目錄/plugins/ 下，其中插件是自己從網(wǎng)上下載的與hadoop版本配套的插件版本，重啟eclipse。如果安裝插件成功，打開Window-Preferens，你會發(fā)現(xiàn)Hadoop Map/Reduce選項，在這個選項里你需要配置Hadoop installation directory，輸入在本地MR解壓后所在的目錄（hadoop中的所有l(wèi)ib需要在此目錄下），如下圖所示：點擊OK，回到eclipse主界面，然后點擊window-Show View-Other，找到Map/Reduce Locations并選中，如下所示：點擊OK，回到eclipse主界面，在Map/Reduce Locations視圖中依此點擊右鍵，選擇New Hadoop location，出現(xiàn)如下圖所示：其中Location name是用來標識當(dāng)前配置的，由用戶自定義，在Map/Reduce Master選項卡里Host為安裝好的MR服務(wù)器（jobtracker）的IP地址或域名，Port為服務(wù)器上jobtracker的監(jiān)聽端口，DFS Master選項卡里Host為安裝好的MR服務(wù)器（NameNode）的IP地址或域名，如果與jobtracker同在一臺機器上則勾選Use M/R Master host，端口為NameNode的監(jiān)聽端口，User