win下使用eclipse連接hadoop263

1、Win7下使用eclipse連接Hadoop2.6.3環(huán)境所需要的軟件和安裝1 安裝jdk1.8 配置環(huán)境變量后測試2 安裝eclipse3 安裝ant1.9.6 配置環(huán)境變量后測試4 下載插件源碼5 下載并解壓hadoop2.6.3/releases.html編譯插件1 修改perties2 在win7的命令行模式(win+r中輸入cmd)下編譯插件C:jtoolshadoop2x-eclipse-plugin-2.6.0srccontribeclipse-

2、plugin在此目錄下執(zhí)行ant jar -Dversion=2.6.3 -Declipse.home= C:jtoolseclipse -Dhadoop.home= C:jtoolshadoop-2.6.3命令-Dversion=2.6.3 編譯的版本號-Declipse.home= C:jtoolseclipse eclipse的安裝目錄-Dhadoop.home= C:jtoolshadoop-2.6.3 hadoop的安裝目錄告訴你編譯好的jar文件存放位置將hadoop-eclipse-plugin-2.6.3文件復(fù)制到eclipse的plugins文件夾中以上步驟做完就成功安裝好插

3、件了配置Eclipse1 打開eclipse修改hadoop的目錄顯示hadoop的窗口窗口顯示后就可以新建hdfs的連接了窗口內(nèi)右鍵選擇New Hadoop location根據(jù)hadoop的配置文件修改其內(nèi)容窗口里就會顯示你配置好的連接設(shè)置好后左側(cè)能看到hdfs內(nèi)的內(nèi)容測試創(chuàng)建文件夾輸入ddd后點OK刷新后發(fā)現(xiàn)什么都沒有測試上傳文件提示報錯 好像說我沒有權(quán)限通過網(wǎng)上和同學們溝通得到的處理方式修hdfs-site.xml文件.在其中增加一個屬性 dfs.permissions false 然后重啟hdfs服務(wù)在下載一個hadoop.dll 2.6.0的壓縮文件 共享的百度盤地址解壓里面的文件

4、到hadoop的bin目錄下將hadoop.dll文件拷貝一份到System32下做完以上步驟之后進行測試通過測試上傳2010年的數(shù)據(jù)上去在刷新后就成功了又出現(xiàn)了一個新問題展開這個的時候報錯通過查詢是hdfs里面沒有輸出和輸入目錄bin/hdfs dfs -mkdir p /user/grid/inputbin/hdfs dfs -mkdir p /user/grid/output創(chuàng)建好默認名字的輸入和輸出文件就行了運行程序下載了2001年里最后一個154M的包解壓并輸出成sample.txt文件,在上傳至hadoop集群中接下來就利用程序跑這個job了結(jié)果運行又出錯了通過網(wǎng)上找到處理方式,是把源代碼中的NativeIO這個java文件中修改成不檢查這下跑完后得出的最小跑完得出的最大運行Exercise_1.java程序輸出到outtest2中得到的數(shù)據(jù).是通過參數(shù)傳遞的下面修改Test_1.java在run方法中添加這行代碼在map方法中添加這行代碼測試開始運行完后發(fā)現(xiàn)輸出了然后程