下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、hadoop開發(fā)環(huán)境配置(偽分布模式)0.20.0下原始的eclispe插件無法用法,需要下載網(wǎng)上改造過的: hadoop-eclipse-plugin-0.20.3-snapshot.jar copy到eclispe插件名目,然后重啟eclispe。 ps:這里浮現(xiàn)一個(gè)問題,發(fā)覺在eclispe3.7下插件不會(huì)加載,終于刪除舊的eclispe,用法新的文件解決,可以將舊eclispe插件名目下的文件copy到新名目。同樣可以用法之前的插件。 配置插件環(huán)境 配置map/rece master和dfs master。里面的host、port分離為你在mapr-site.xml、core-site
2、.xml中配置的地址及端口 hadoop配置更改 之前配置的偽分布模式上,采納的localhost的配置,為使eclispe可以拜訪,需要更改為ip的配置方式,這里需要注重的是: 需要更改以下的內(nèi)容: 1、 修改 /etc/hosts,刪除 ,添加本機(jī)ip的解析。 rootlocalhost /etc/hosts do noemove the following line, or various programs thatrequire network futionality will fail. localhost.localdomain localh
3、ost :1 localhost6.localdomain6 localhost6 33 localhost.localdomain localhost 2、 修改相關(guān)配置文件 hadooplocalhostconf$ cat core-site.xml ?xmlversion="1.0"? ?xml-stylesheettype="tt/xsl" href="configuration.xsl"? !-put site-specific property overres in this . - config
4、uration property name /name value hs:/33:9000/ /value /property /configuration hadooplocalhostconf$ cat mapred-site.xml ?xmlversion="1.0"? ?xml-stylesheettype="text/xsl" href="configuration.xsl"? !-put site-specific property overrides in thi
5、s file. - configuration property name mapred.job.tracker /name value 33:8021 /value /property /configuration 3、 另外ssh也需要查看knowshosts里面是否有ip,否則會(huì)浮現(xiàn)錯(cuò)誤二,可以執(zhí)行如下,則自動(dòng)添加 ssh 33 4、 刪除原暫時(shí)名目,重新格式化 hadoop namenode foat 假如不按如上操作,可能會(huì)浮現(xiàn)下面的錯(cuò)誤: 錯(cuò)誤一: 2011-08-14 09:44:28,206 infoorg.apache.ha
6、doop.ipc.server: ipc server handler 7 on 9000, callablock(/user/hadoop/test.txt, dfsclient_1170937058) from33:37785: error: java.io.ioexception: file /user/hadoop/test.txt could onlybe replicated to 0 nodes, instead of 1 java.io.ioexception: file /user/hadoop/test.txt couldonly be repli
7、cated to 0 nodes, instead of 1 at node.fsnamesystem.getadditionalblock(fsnamesystem.java:1271) node.namenode.addblock(namenode.java:422) at n.reflect.nativemethodaccessorimpl.invoke0(native method) atsun.reflect.nativemethodaccess
8、orimpl.invoke(nativemethodaccessorimpl.java:39) atsun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl.java:25) at java.lang.reflect.method.invoke(method.java:597) at org.apache.hadoop.ipc.rpc$server.call(rpc.java:508) at org.apache.hadoop.ipc.server$handler$1.run(server.java
9、:959) at org.apache.hadoop.ipc.server$handler$1.run(server.java:955) at java.security.accesscontroller.doprivileged(native method) at javax.security.auth.subject.doas(subject.java:396) at org.apache.hadoop.ipc.server$handler.run(server.java:953) 錯(cuò)誤二: this does not map back to the address - possible
10、break-inattempt eclispe調(diào)試hadoop配置過程中問題 碰到如下問題: cannot run program "": createprocess error=2 注重:需要安裝cygwin,并設(shè)置環(huán)境變量。就算不用本地的環(huán)境也必需。 安裝cygwin,并設(shè)置cygwin_home/bin到windows path變量 cygwin下安裝ssh 復(fù)制hadoop文件 拷貝hadoop項(xiàng)目中的eclipse plugin jar文件到eclipse plugin下 eclipse 在選項(xiàng)設(shè)置hadoop home路徑,添加hadoop location(主要設(shè)置namenode 機(jī)器名端口和jobtracker端口即可) 新建map reduce project 從hadoop項(xiàng)目拷貝wordcount.java文件到新的項(xiàng)目 右鍵wordcount.java,設(shè)置運(yùn)行參數(shù) 右鍵w
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 人工智能的擬人機(jī)器人商業(yè)發(fā)展計(jì)劃書
- 冰箱自動(dòng)化霜器市場(chǎng)環(huán)境與對(duì)策分析
- 動(dòng)物用室內(nèi)生態(tài)培養(yǎng)箱項(xiàng)目可行性實(shí)施報(bào)告
- 2024年數(shù)控高精度內(nèi)外圓磨床項(xiàng)目合作計(jì)劃書
- 2024年生化分析儀器試劑項(xiàng)目建議書
- 側(cè)柏葉泡酒的制作方法與功效解析
- 2024年電熱設(shè)備:電熱管合作協(xié)議書
- 2024年木片、木粒加工產(chǎn)品合作協(xié)議書
- 2024年長沙客運(yùn)資格證
- 會(huì)計(jì)學(xué)基礎(chǔ)(第5版)課后習(xí)題參考答案
- 《13875界面設(shè)計(jì)》自考復(fù)習(xí)必備題庫(含答案)
- 部編版小學(xué)語文五年級(jí)上冊(cè)課內(nèi)閱讀題(含答案)
- 2023年造價(jià)工程師《工程計(jì)價(jià)》真題和答案及解析
- 送電線路工(初級(jí)工)技能理論考試題庫(含答案)
- 16J607-建筑節(jié)能門窗
- 納稅實(shí)務(wù)課程說課課件
- 公路水運(yùn)工程施工安全風(fēng)險(xiǎn)評(píng)估指南
- 北師大版四年級(jí)數(shù)學(xué)上冊(cè)《加法交換律和乘法交換律》評(píng)課稿
- pep人教版英語五年級(jí)上冊(cè)Unit3《Whatwouldyoulike》單元作業(yè)設(shè)計(jì)(三)
- 海關(guān)輔助人員報(bào)名登記表
- 并饋式自立鐵塔中波天線
評(píng)論
0/150
提交評(píng)論