實驗7-hadoop下eclipse工具使用

實驗報告封面課程名稱：Hadoop大數(shù)據(jù)處理課程代碼：JY1124任課老師：陳寧穗實驗指導(dǎo)老師:陳寧穗實驗報告名稱：實驗7hadoop下eclipse工具使用學(xué)生姓名：學(xué)號：教學(xué)班：遞交日期：簽收人：我申明，本報告內(nèi)的實驗已按要求完成，報告完全是由我個人完成，并沒有抄襲行為。我已經(jīng)保存了這份實驗報告的副本。申明人(簽名):實驗報告評語與評分：評閱老師簽名：一、實驗名稱：hadoop下eclipse工具使用二、實驗日期：2023年月日三、實驗?zāi)康模菏煜adoop下eclipse工具使用。四、實驗用的儀器和材料：硬件：PC電腦一臺；配置：內(nèi)存，4G及以上硬盤250G及以上軟件環(huán)境：操作系統(tǒng)XP，vmware，ubuntu，jdk，hadoop五、實驗的步驟和方法：請用命令完成以下操作先啟動Hadoop守護進程，進入hadoop安裝目錄，執(zhí)行bin/start-all.shUbuntu中下載安裝Eclipse，執(zhí)行sudoapt-getinstalleclipse在Eclipse下安裝hadoop-eclipse-plugin〔插件jar包已提供〕。復(fù)制此插件jar包到eclipse安裝目錄/plugins/下?？赏ㄟ^whereiseclipse查看eclipse安裝目錄。重啟eclipse，配置hadoopinstallationdirectory。如果安裝插件成功，翻開Window-->Preferences，你會發(fā)現(xiàn)HadoopMap/Reduce選項，在這個選項里你需要配置Hadoopinstallationdirectory〔hadoop安裝目錄〕。配置完成后退出。

配置Map/ReduceLocations。

在Window-->ShowView中翻開Map/ReduceLocations。

在Map/ReduceLocations中新建一個HadoopLocation。在這個View中，右鍵-->NewHadoopLocation。在彈出的對話框中你需要配置Locationname，如myubuntu，還有Map/ReduceMaster和DFSMaster。這里面的Host、Port分別為你在mapred-site.xml、core-site.xml中配置的地址及端口。如：

配置完后退出。點擊DFSLocations-->myubuntu如果能顯示文件夾(2)說明配置正確，如果顯示"拒絕連接"，請檢查你的配置。

在此可直接創(chuàng)立目錄，刷新即可，也可刪除目錄，也可上傳文件。假設(shè)有問題那么考慮hdfs權(quán)限〔開放hdfs權(quán)限hadoopfs–chmod777/user/yln，也可以取消hadoophdfs的用戶權(quán)限檢查。翻開conf/hdfs-site.xml，找到dfs.permissions屬性修改為false〔默認(rèn)為true〕?！?、新建工程。

File-->New-->Project-->Map/ReduceProject

工程名可以隨便取，如maptest。選中maptest工程下的src，右鍵新建一個class類，名稱定義為example，代碼見example.java。7、上傳模擬數(shù)據(jù)文件夾。為了運行程序，需要一個輸入的文件夾，和輸出的文件夾。輸出文件夾，在程序運行完成后會自動生成。將文件testnew上傳到分布式文件系統(tǒng)中。

8、運行工程?！?〕.在新建的工程maptest，點擊example.java，右鍵-->RunAs-->RunConfigurations

〔2〕.在彈出的RunConfigurations對話框中，點JavaApplication，右鍵-->New，這時會新建一個application名為example〔3〕.配置運行參數(shù)，點Arguments，在Programarguments中輸入“要傳給程序的輸入文件和要求程序?qū)⒂嬎憬Y(jié)果保存的文件夾〞，如：

〔4〕.點擊Run，運行程序。點擊Run，運行程序，過段時間將運行完成，等運行結(jié)束后，可以在終端中用命令驗證是否成功。六、數(shù)據(jù)記錄和計算：寫語句及截圖七、實驗結(jié)果