2hdfs基礎操作丨教程it課程加

慕課網(wǎng)首 免費課 實戰(zhàn)課 金職 慕課專 手 從所有的詞條中查詢Java2HDFSJava操作初始

徐老師·更新于2020-08- 上一節(jié)1HDFS介 3Java操作HDFS下一HDFS的常見 操下面我們就來 下HDFS中的一些常見的 操其實hfs后面支持很多的參數(shù)，但是有很多是很少用的，在這里我們把一些常用的帶著大家一塊學下，如果大家后期有一些特殊的需求，可以試著來看一下hdfs的幫助文檔直接在命令行中輸入hsds，可以查看ds后面可以跟的所有參數(shù)注意：這里面的表示是必填項44 第5周-Hadoop之初識初始

[root@bigdata01hadoop-3.2.0]#hdfsUsage:hadoopfs[generic[-appendToFile<localsr> [-cat[-ignoreCrc]<src.[-checksum<src>[-chgrp[-R]GROUPPATH[-od[-R]<MODE[,MODE]...|OCTALMODE>[-chown[-R][OWNER][:[GROUP]][-copyFomLocal[-f][-p][-l][-d][-t<threadcount>]<localsrc>[-copyToLocal[-f][-p][-ignoreCrc][-crc]<src>...[-count[q][-h][-v][-t[<storagetype>]][-u][-x][-e]<path>[-cp[-f][-p|-p[topax]][-d]<src>...[-createSnapshot<snapshotDir>[deleteSnapshot<snapshotDir>[df[-h][<path>[-du[-s][-h][-v][-x]<path>[-[-find<path>...<expression>[-get[-f][-p][-ignoreCrc][-crc]<src>...[-getfacl[-R][-getfattr[-R]{-nname|-d}[-een][-getmerge[-nl][-skip-empty-file]<src>[-head[-help[cmd[-ls[-C][-d][-h][-q][-R][-t][-S][-r][-u][-e][<path>[-mkdir[-p]<path>[-moveFromLocal<localsrc>...[-moveToLocal<src>[-mv<src>...[-put[-f][-p][-l][-d]<localsrc>...[-renameSnapshot<snapshotDir><oldName>[-rm[-f][-r|-R][-skipTrash][-safely]<src>[-rmdir[--ignore-fail-on-non-empty]<dir>[-setfacl[-R][{-b|-k}{-m|-x<acl_spec>}<path>]|[--set[-setfattr{-nname[-vvalue]|-xname}[-setrep[-R][-w]<rep><path>[-stat[format]<path>[-tail[-f][-touch[-a][-m][-tTIMESTAMP][-c]<path>[-touchz<path>[-truncate[-w]<length><path>[-usage[cmdGenericoptionssupported-conf<configuration specifyanapplicationconfiguration-D defineavalueforagiven-fs<file:///|hdfs://namenode:port>specifydefaultfilesystemURLtouse,-jt<local|resourcemanager:port>specifya-files specifyacomma-separatedlistoffiles-libjars specifyacomma-separatedlistofjar-archives specifyacomma-separatedlistofThegeneralcommandlinesyntaxcommand[genericOptions]查看hdfs 下的內(nèi)容，什么都不顯示，因為默認情況下hdfs中什么都沒[root@bigdata01hadoop-3.2.0]#hdfsdfsls[root@bigdata01hadoop-其實后面hdfs的url這一串內(nèi)容在使用時默認是可以省略的，因為hdfs在執(zhí)行的時候會根HOOPHOME自動識別配置文件中的s.efltFS屬性所以這樣簡寫也是可以的[root@bigdata01hadoop-3.2.0]#hdfsdfs-ls[root@bigdat01hadoop-pu：從本地上傳文接下來我們向hdfs中上傳一個文件，使用Hadoop中的README.txt，直接上傳到hdfs的 即[root@bigdata01hadoop-3.2.0]#hdfsdfs-putREADME.txt確認一下剛才上傳的文件[root@bigdata01hadoop-3.2.0]#hdfsdfs-lsFound1-rw-r--r- 2root 13612020-04-0815:34-cat：查看HDFS文件內(nèi) [root@bigdata01hadoop-3.2.0]#hdfsdfs-cat ForthelatestinformationaboutHadoop,pleasevisitourwebsite3 5 andourwiki,7 -get：文件到本如果我們想把hdfs中的文件到本地linux文件系統(tǒng)中需要怎么做呢？使用get即可實[root@bigdata01hadoop-3.2.0]#hdfsdfs-get/README.txtget:`README.txt':File注意：這樣執(zhí)行報錯了，提示文件已存在，我這條命令的意思是要把HDFS中的README.xt當前 中，但是當前 中已經(jīng)有這個文件了，要么換到其它 ，要么給文件重命名[root@bigdata01hadoop-3.2.0]#dfsdfs-get/README.txt[root@bigdata01hadoop-3.2.0]#totaldrwxr-xr-x.21001 203Jan82019drwxr-xr-x.31001 20Jan82019drwxr-xr-x.21001 106Jan82019drwxr-xr-x.31001 20Jan82019drwxr-xr-x41001 4096Jan82019-rwrw 110011002150569Oct192018-rw-rw---11001100222125Oct192018-w-rw-r-11001 1361Oct192018rw-r-r--.1root 1361Apr815:41drwxr-xr-x.31001 4096Apr722:08drwxr-xr-x.41001 31Jan82019后期我們需要在s中很多文件，所以就需創(chuàng)建文件夾來進行類管理了下面我們來創(chuàng)建一個文件夾，s中使用kr命令[root@bigdata01hadoop-3.2.0]#hdfsdfs-mkdir[root@bigdata01hadoop-3.2.0]#hdfsdfs-lsFound2-rw-r--r- 2root 13612020-04-0815:34drwxr-xr- -root 02020-04-0815:43如果要遞歸創(chuàng)建多 ，還需要再指定-p參[root@bigdata01hadoop-3.2.0]#hdfsdfs-mkdir-pFound3-rw-r--r- 2root 13612020-04-0815:346drwxr-xr--root02020-04-0815:447drwxr-xr--root02020-04-0815:43想要遞歸顯示所 的信息，可以在ls后面添加-R參 [root@bigdata01hadoop-3.2.0]#hdfsdfs-ls-R2-rw-r--r-2root13612020-04-0815:343drwxr-xr--root02020-04-0815:444drwxr-xr--root02020-04-0815:445drwxr-xr--root02020-04-0815:43-rmr]：刪除文件/文件 [root@bigdata01hadoop-3.2.0]#hdfsdfs-rm/READMEDeleted刪 ，注意，刪 需要指定-r參[root@bigdata01hadoop-3.2.0]#dfsdfs-rmrm:`/test':Isa[root@bigdata01hadoop-3.2.0]#hdfsdfs-rm-rDeleted如果是多 ，可以遞歸刪除嗎？可[root@bigdata01hadoop-3.2.0]#hdfsdfs-rm-r/abcDeleted/abcHDFS案需求：統(tǒng)計HDFS我們先向HDFS中上傳幾個文件，把 中的幾個txt文件上傳上[root@bigdata01hadoop-3.2.0]#hdfsdfs-putLICENSE.txt[root@bigdata01hadoo