實驗2-熟悉常用的HDFS操作-題目

1、實驗2熟悉常用的HDFS操作實驗2熟悉常用的HDFS操作云計算課程機房上機實驗報告題目熟悉常用的HDFS操作姓名日期實驗環(huán)境：實驗內(nèi)容與完成情況：出現(xiàn)的問題：解決方案（列出遇到的問題和解決辦法，列出沒有解決的問題）：1實驗目的1. 理解HDFS在Hadoop體系結(jié)構(gòu)中的角色；2. 熟練使用HDFS操作常用的Shell命令；3. 熟悉HDFS操作常用的Java API。2實驗平臺操作系統(tǒng)：Lin uxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE: Eclipse3實驗內(nèi)容和要求1.編程實現(xiàn)以下指定功能，并利用 Hadoop提供的Shell命令完成相同任務：（

2、1）向HDFS中上傳任意文本文件，如果指定的文件在HDFS中已經(jīng)存在，由用戶指定是追加到原有文件末尾還是覆蓋原有的文件；開啟服務：wttnffubuntu:/usr/locl/hdoop/sbln$ ./startyll:shThis script is DeprecatedInstead use start-dfs-sh and start-yarn.shStarting namenodes on localhostlocaLhost: starting nahenodet logging to /usr/local/hadoop/log/hadoop-wen-nam nod«-u

3、buntu.outShell命令:f/hadoop fs -test echo $?-e text.txtwenubuntu: /usr/local/hadoop/bi.n$ hadoop ;未棧到命令wenubuntu:/usr/local/hadoop/btn$ wenubuntu:/usr/local/hadoop/bln$ wenQubuntu:/usr/local/hadoop/btn Hi., girlsHifgtrls wrnfiulbuntu: /usr/lo cal/hadoop/bin $ txtwenubuntu:/usr/local/hadoop/bin Hi., gi

4、rlswenubufttu:/usr/local/had44p/btn$hadoop fs -appendToFile local * txt text *txt./hadoop fs -appendToFtle local»txt text<txt ./hadoop fs -appendToFtle local * txt text.txt ./hadoop fs -cat text txt./hadoop fs -copyFronLo匚al 亠f local»txt text./hadoop fs -cat texttxtubuntu:/usr/lDcal/had

5、oop/bin wen(3 ubuntu:/usr/local/hadoop/btn$ Q口 Console 黒X -xcterminated> HdfsApi java Appticadon/usr/lib/Jvm/java-7-open； tag4:WARN No app年“dws couId b? found fcr logger (org. tog4:WAfthi Please inKuhze the Iog4| 5ystem property.tag4jiWARWhi(pi/1Ao1.2/faq.Kcmnoconfig fa/user/tinyt

6、eKl.tJtt 不存在./usr/lo<1/hadoop/textAx(已上禱至 /userAlnyftexc.txt(2) 從HDFS中下載指定文件，如果本地文件與要下載的文件名稱相同，則自動對 下載的文件重命名；Shell命令:wenubuntu:/usr/lacol/hadoap/btn$ export PATH=$PATH:/usr/Locat/hadoop/bin wenubuntu:/usr/locaL/hddoop/bin$ if S(hadoop f$ -test *e /ur/local/hadoop/tex t.txt)；a then $(hadoop fs -co

7、pyToLo匚al text»txt ./text»txt);a else $hadoop fs -copyToLccal text * txt */text2.txt);wenubunu:/U£r/locaL/hadoap/btn$ |" Console 溝terminated，HdfsApi_D2 Java Ap plica tion /usr/li b/jvm/java- 7<3 penj d k ；og4|：WARN No app«nder$ could befourul for k>gger forg.jpMhe.hMio

8、opxcnf.Cc :i0g4|：WAflN Fle$e initial the lo4j 涉弭車m properly.j llog4j-WARN Set ht t p：/ogg*ng- ap jc he.ar 書卩 1.心佔 q.htEWnoronfig for morf/jsr/hcJl/hdoop/c»xi.txc 已存在.占圻命名為:/u sx/towi/ha deop Jt(. Jtt,Q(3) 將HDFS中指定文件的內(nèi)容輸出到終端中;wenubuntu:/usr/local/hadoop/btn$ hadoop fs *cat text.txt Hi,girlswengu

9、buntui: /usr/local/hadoop/bin$實驗2熟悉常用的HDFS操作 Console £3terminated> HdfsApi_03 Jave Application /sr/lib/jvm/java-7'Openjdk'amd64/bin/java (2016-12-15 TT7：i lag4;WARN Nc appendcould b總 Found for logger opch$-hadcap.eonf.conflguration.dtprn).log4j:WAF?N Please initialize the bg4j system

10、 property,log4j:WARN See http7//log4j/1.2/faq.html#noconfig for more info.i 奧取文件:/u serA knyAex t ixtHLboys悽取芫成|(4) 顯示HDFS中指定的文件的讀寫權(quán)限、大小、創(chuàng)建時間、路徑等信息;Shell命令wenubuntu:/usr/local/hadoop/bin$ hadoop fs -cat text * txt Htgtrls wenubuntu:/usr/local/hadoop/btn$ hadoop fs -Is -h text.txt *

11、rw-r-r-1 wen upergroup9 2016-12-15 18:38 text.txtwenubuntu:/usr/local/hdoop/btn$(5) 給定HDFS中某一個目錄，輸出該目錄下的所有文件的讀寫權(quán)限、大小、創(chuàng)建 時間、路徑等信息，如果該文件是目錄，則遞歸輸出該目錄下所有文件相關信 息；Shell命令：wenubuntu:/ usr/local/hadoop/t)tn$ hadoap fs -Is -R -h /user/ttny-rw-r-r-*3 wen SupergroupE 2016-12-15 18:51 /user/tiny/text * txtwenub

12、untu;/usr/Local/hadoop/btn$JAVA代碼:實驗2熟悉常用的HDFS操作 Console £3殛箕警匾龍|倉遲J丨齊曰*巧* 口亡<terminated> HdfsApi_O5 Java Application /usr/|ib/jvm/j3va-7-openjdk-amd64/bin/java (201&-12*15 下午7： log4:WARN No appender5 could be found for logger (o ng. apache, had op. conf. Configuration, dep recat ion)

13、. log4：WARN Please initialize the Iog4j system properly.log4j:WARN See /log4j/1.2/faq.html#noconfig for more Info.燧歸膿取目昴下斯有文件時信S： /user/tiny躋徒：hd fc:/1cca I ho 戲:90Q0/user/t I ny/t exC-1 xt權(quán)限:rw-r-r-夫小:B時IE: 2016-12-15 18:5130誦咼完薩(6) 提供一個 HDFS內(nèi)的文件的路徑，對該文件進行創(chuàng)建和刪除操作。如果文件所 在目錄不存

14、在，則自動創(chuàng)建目錄；Shell命令:wen3ubuntu; / usr/Iocal/hadoop/bin$ tf $(hddoop fs *te&t -d dirl/dirZ);> then $hddocp fs -touchz di.rl/dir2/filename);> else $(hadoop fs -mkdtr -p dtri/dtr； && hdfs dfs -touchz dtri/dir2/filename);wenubuntu: iisr/local/hadDop/bin$ hadoop fs * rm dir 1/dir 2/filena

15、me16/12/15 19:11:24 INFO fs*TrashPolicyDefault: Nmerwd亡 trash configuration: Del etton interval = 0 ntnutes, Emptier Interval = 0 nlnutes.Deleted di rl/dlr2/ftlenanewenfiubuntu:/usr/local/hadooo/blnSJAVA結(jié)果:Console田It 嗆妙伊IL囲terminated > HdfsAptjOfi Java Application) /usr/lib/jvm/j«va-7-Qperii

16、dkdmdM/bj 0g4):MARN hipcoukl b? found for logger (org.4pch.h#doop-CQrifXanfigiifd(iorog4j, WARN Please Jr it u liz e th ? k>g4f system properly.og4：WARNht(p：/logglng.3pA/log4f 1.2/Mq. Mml*noconfij； for more lfc.文件夾:/uierrtinymput創(chuàng)越交枠：t jser/t iny/in pwt /text .tx(7) 提供一個 HDFS的目錄的路徑，對該目錄進行創(chuàng)

17、建和刪除操作。創(chuàng)建目錄時, 如果目錄文件所在目錄不存在則自動創(chuàng)建相應目錄；刪除目錄時，由用戶指定 當該目錄不為空時是否還刪除該目錄；Shell命令：wenubuntu:/usr/local/hadoop/btnS hadoop fs -mkdtr -p dtrl/dtr2 wenubuntu:/usr/local/hadoop/btn$ hadoop fs -rndtr dtrl/dtr2 wenubuntu：/usr/locd'l/hddQQp/bln$ hadoop fs -rm -r dtrl/dtr2 ri*i： Ldirl/dtr21: No such file or dir

18、ectory 憚戸 naiihiintnr /us r/local/hadoop/bin $JAVA結(jié)果:實驗2熟悉常用的HDFS操作 console S3叵X籬図硬 出旦乃口cterminated? HdfsApi O? Java Application /usr/lib/jvm/java-7-cp亡njdk-amci64/bin/ja¥a (2016-12-15 T午： log4：WARN Nc appended could be Found fcr logger arg.apache.hadoop.canr匚onflgu陽tlonVEprecauanL log4:WARN Pl

19、ease initialize thw Iog4j system property.log4j:WARN See http:/bgging.apache.arg/1cg4j/1r2/faq.htiTil#ncconligfcr mere info.目錄不為空r不刪徐:/user/tiny/i叩ut(8) 向HDFS中指定的文件追加內(nèi)容，由用戶指定內(nèi)容追加到原有文件的開頭或結(jié) 尾；hddoop fs -ppendToFtle LoCdl- txt text.txt hadoep fs -get text.txtcat text * txt >> local*txthadoop fs

20、-copyFronLocaL -f text,txt text.txt more local*txtShell命令：wenQubuntu:/usr/lacal/hadoop/btn$ wenQubuirtu:/usr/local/hadoop/binS get: ' text * txf : File exists wenubuntu:/sr/local/hadoop/binj wengubuntu:/usr/lacal/hadoop/btn$ wenQubuntu:/usr/local/hadoop/bin$ Hi,girlsHt,boys wengubuntu:/usr/lacaL

21、/hadoop/btn$JAVA代碼:二 coruole 詔X %"terminated* HdrsApi_08 Java Application /usr/lib舟 vm/j 旳d-ToxQjdk電 mdi og4:WARN No appenders could be found (or logger (org apache.hadoDp<conf onligui og4WAR：N Please initialue the Iag4j system properly.WARN See hup：//1og4g 1.2/faq.hrnoconflg

22、 for more info, fifi 內(nèi)莽劉文樣未尾fuser" imy/input/iteMt txt(9) 刪除HDFS中指定的文件;Shell命令：enubuntui/usr/local/hadoop/bin$ hadoop fs -rm text+txt16/12/15 19:34:55 INFO fs.TrashPaltcyDefault： Nanenode trash configuration： Del etion inteWBl = 0 ninutes, Emptier interval = 0 minutes *Deleted text.txtWEnQubunt

23、u:/ u£/lotal/haMDOp/bi_n$ |JAVA結(jié)果:實驗2熟悉常用的HDFS操作<tecmlnated> HdfsApi_09 java Application)/usj/lib/jvm/java-7-openjdmd6/bir(10)刪除HDFS中指定的目錄，由用戶指定目錄中如果存在文件時是否刪除目錄;Shell命令：JAVA代碼:|og-3j：WARN wo jppendi>rs could be found for logger (o.apjcbe. hjdocp.conf.Confijjuration. g4j： WARN Please in

24、UkilLre the loE：| lyitem pro per fy.5鴉 http: "kt E創(chuàng)ng- apMchg- or蠱川0甘4|/1. Nfaq 一 hl mltfrwrcmftg for rngr?文祥?： /usef/tlnyAext.tKtConsole E3<terminated> HdhApi_1。日甘日 Application/usr/lib/jvm/java-7-openjdk-amd64/bin/java (2016-12-15 下午了:* lcg4'WAftN No ap penders could be found for log

25、ger (c rg.ap ache, ha do op. co nt Co nfLiratkon. deprecation).log4):WARN Please Initialize the Iog4j system p陽perR.log4):WARN See http:/k)/logJ/1.2/faq.html#ncconfig for more info.目錄已刪瞎：/userrt lny/d irl /dir2(11)在HDFS中，將文件從源路徑移動到目的路徑。Shell命令：JAVA結(jié)果:J Consoleterminated* HdFsApi i t

26、Java Application /usr/lib/jvm/java*7-openjdk-amd64/b11 0g4：WAfi；N No appenders <outd fou nd fo r ilogger (org. j p At h e. hdoc p co n f. C onf igu ign og4|.：WARN Pjeae inH 舊|昶 the 4og4| system properlyog4j：WARN Sw http-/loggjng. apAt.or1 2/faq htmJ*n«anfig for more mfo. 尋女件 hdfs； Wuset A my A exi < t xt 移功到 h dfs； Wu wr/< my/in(n«2.編程實現(xiàn)一個類"MyFSDatal nputStream ”，該類繼承"org.apache.hadoop.fs.FSData In put Stream”，要求如下：實現(xiàn)按行讀取 HDFS中指定文件的方法"readLine()"，如果讀到 文件末尾，則返回