Hadoop開發(fā)環(huán)境配置（偽分布模式）

1、hadoop開發(fā)環(huán)境配置（偽分布模式）0.20.0下原始的eclispe插件無法用法，需要下載網(wǎng)上改造過的： hadoop-eclipse-plugin-0.20.3-snapshot.jar copy到eclispe插件名目，然后重啟eclispe。 ps：這里浮現(xiàn)一個(gè)問題，發(fā)覺在eclispe3.7下插件不會(huì)加載，終于刪除舊的eclispe，用法新的文件解決，可以將舊eclispe插件名目下的文件copy到新名目。同樣可以用法之前的插件。 配置插件環(huán)境 配置map/rece master和dfs master。里面的host、port分離為你在mapr-site.xml、core-site

2、.xml中配置的地址及端口 hadoop配置更改 之前配置的偽分布模式上，采納的localhost的配置，為使eclispe可以拜訪，需要更改為ip的配置方式，這里需要注重的是： 需要更改以下的內(nèi)容： 1、 修改 /etc/hosts,刪除 ，添加本機(jī)ip的解析。 rootlocalhost /etc/hosts do noemove the following line, or various programs thatrequire network futionality will fail. localhost.localdomain localh

3、ost :1 localhost6.localdomain6 localhost6 33 localhost.localdomain localhost 2、 修改相關(guān)配置文件 hadooplocalhostconf$ cat core-site.xml ?xmlversion="1.0"? ?xml-stylesheettype="tt/xsl" href="configuration.xsl"? !-put site-specific property overres in this . - config

4、uration property name /name value hs:/33:9000/ /value /property /configuration hadooplocalhostconf$ cat mapred-site.xml ?xmlversion="1.0"? ?xml-stylesheettype="text/xsl" href="configuration.xsl"? !-put site-specific property overrides in thi

5、s file. - configuration property name mapred.job.tracker /name value 33:8021 /value /property /configuration 3、 另外ssh也需要查看knowshosts里面是否有ip，否則會(huì)浮現(xiàn)錯(cuò)誤二，可以執(zhí)行如下，則自動(dòng)添加 ssh 33 4、 刪除原暫時(shí)名目，重新格式化 hadoop namenode foat 假如不按如上操作，可能會(huì)浮現(xiàn)下面的錯(cuò)誤： 錯(cuò)誤一： 2011-08-14 09:44:28,206 infoorg.apache.ha

6、doop.ipc.server: ipc server handler 7 on 9000, callablock(/user/hadoop/test.txt, dfsclient_1170937058) from33:37785: error: java.io.ioexception: file /user/hadoop/test.txt could onlybe replicated to 0 nodes, instead of 1 java.io.ioexception: file /user/hadoop/test.txt couldonly be repli

7、cated to 0 nodes, instead of 1 at node.fsnamesystem.getadditionalblock(fsnamesystem.java:1271) node.namenode.addblock(namenode.java:422) at n.reflect.nativemethodaccessorimpl.invoke0(native method) atsun.reflect.nativemethodaccess

8、orimpl.invoke(nativemethodaccessorimpl.java:39) atsun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl.java:25) at java.lang.reflect.method.invoke(method.java:597) at org.apache.hadoop.ipc.rpc$server.call(rpc.java:508) at org.apache.hadoop.ipc.server$handler$1.run(server.java

9、:959) at org.apache.hadoop.ipc.server$handler$1.run(server.java:955) at java.security.accesscontroller.doprivileged(native method) at javax.security.auth.subject.doas(subject.java:396) at org.apache.hadoop.ipc.server$handler.run(server.java:953) 錯(cuò)誤二： this does not map back to the address - possible

10、break-inattempt eclispe調(diào)試hadoop配置過程中問題 碰到如下問題： cannot run program "": createprocess error=2 注重：需要安裝cygwin，并設(shè)置環(huán)境變量。就算不用本地的環(huán)境也必需。 安裝cygwin，并設(shè)置cygwin_home/bin到windows path變量 cygwin下安裝ssh 復(fù)制hadoop文件 拷貝hadoop項(xiàng)目中的eclipse plugin jar文件到eclipse plugin下 eclipse 在選項(xiàng)設(shè)置hadoop home路徑，添加hadoop location（主要設(shè)置namenode 機(jī)器名端口和jobtracker端口即可） 新建map reduce project 從hadoop項(xiàng)目拷貝wordcount.java文件到新的項(xiàng)目 右鍵wordcount.java，設(shè)置運(yùn)行參數(shù) 右鍵w