單元4 任務(wù)4.2 HDFS的文件系統(tǒng)操作

《大數(shù)據(jù)平臺部署與運維》單元4HDFS分布式文件系統(tǒng)任務(wù)4.2

HDFS的文件系統(tǒng)操作01HDFS的文件系統(tǒng)操作學(xué)習(xí)目標(biāo)任務(wù)4.2HDFS的文件系統(tǒng)操作【任務(wù)場景】經(jīng)理：小張，我們的大數(shù)據(jù)平臺上線后，需要將歷史數(shù)據(jù)導(dǎo)入HDFS中。小張：HDFS支持shell命令行操作，它的操作方式類似傳統(tǒng)文件操作系統(tǒng)的操作。同時，HDFS支持javaapi操作，這更有利于我們在業(yè)務(wù)系統(tǒng)中操作數(shù)據(jù)。我們可以先用HDFS的shell命令將歷史數(shù)據(jù)導(dǎo)入集群。經(jīng)理：那盡快制定任務(wù)把數(shù)據(jù)導(dǎo)入集群吧。小張：好的，我使用HDFS的shell命令，把例是數(shù)據(jù)導(dǎo)入到HDFS中。、任務(wù)4.2HDFS的文件系統(tǒng)操作【任務(wù)布置】使用HDFS命令行操作進行文件操作。將數(shù)據(jù)上傳到HDFS中，并修改文件權(quán)限。將處理后的數(shù)據(jù)從HDFS中下載到本地文件系統(tǒng)。任務(wù)4.2HDFS的文件系統(tǒng)操作當(dāng)啟動Hadoop集群時，可以通過WebUI來查看HDFS以及Yarn的狀態(tài),用來方便的查看集群運行的狀態(tài)。一些常見的默認端口端口如下：應(yīng)用Hadoop2.X端口Hadoop3.X端口NameNodeHttpWebUI500709870DataNodeHttpWebUI500759864ResourceManagerHttpWebUI80808080NodeManagerHttpWebUI80428042注意：本書搭建的環(huán)境使用的版本是Hadoop3.X。任務(wù)4.2HDFS的文件系統(tǒng)操作4.2.HDFS的文件系統(tǒng)操作文件系統(tǒng)(FS)shell包括各種類似shell的命令，它們直接與Hadoop分布式文件系統(tǒng)(HDFS)以及Hadoop支持的其他文件系統(tǒng)交互，例如本地FS、WebHDFS、S3FS等。FSshell通過以下方式調(diào)用：hdfsdfs<argus> 所有FSshell命令都將路徑URI作為參數(shù)。URI格式為scheme://authority/path。對于HDFS,scheme為hdfs,對于本地文件，scheme為file。常用操作如下：將單個或多個文件或目錄從本地文件系統(tǒng)復(fù)制到目標(biāo)文件系統(tǒng) hadoopfs-appendToFile<localsrc>...<dst>輸出文件內(nèi)容 hadoopfs-cat[-ignoreCrc]URI[URI...]

注：命令中-ignoreCrc選項禁用checkshum驗證。文件校驗

hadoopfs-checksum[-v]URI

注：命令中-v參數(shù)顯示文件中塊的信息。任務(wù)4.2HDFS的文件系統(tǒng)操作4.2.HDFS的文件系統(tǒng)操作更改文件屬組

hadoopfs-chgrp[-R]GROUPURI[URI...]

注：命令中-R選項將通過目錄結(jié)構(gòu)遞歸地進行更改。更改文件權(quán)限 hadoopfs-chown[-R][OWNER][:[GROUP]]URI[URI]

注：命令中-R選項將通過目錄結(jié)構(gòu)遞歸地進行更改。將文件從源地址復(fù)制到目標(biāo)地址hadoopfs-cp[-f][-p|-p[topax]]URI[URI...]<dest>注：命令中包含如下選項：-f選項將覆蓋目標(biāo)文件或目錄。-p選項將保留文件屬性[topx]（時間戳、所有權(quán)、權(quán)限、ACL、XAttr）。如果-p未指定arg，則保留時間戳、所有權(quán)、權(quán)限。如果指定了-pa，則保留權(quán)限也是因為ACL是權(quán)限的超集。任務(wù)4.2HDFS的文件系統(tǒng)操作4.2.HDFS的文件系統(tǒng)操作查看可用空間 hadoopfs-df[-h]URI[URI...]

注：命令中包含如下選項：-s選項將導(dǎo)致顯示文件長度的匯總摘要，而不是單個文件。如果沒有-s選項，計算是通過從給定路徑深入1級來完成的。-h選項將以“人類可讀”的方式格式化文件大?。ɡ?4.0m而不是67108864）-v選項將列名顯示為標(biāo)題行。-x選項將從結(jié)果計算中排除快照。如果沒有-x選項（默認），結(jié)果總是從所有INode計算，包括給定路徑下的所有快照。將文件復(fù)制到本地文件系統(tǒng) hadoopfs-get[-ignorecrc][-crc][-p][-f]<src><localdst>

注：命令中包含如下選項：-p：保留訪問和修改時間、所有權(quán)和權(quán)限。（假設(shè)權(quán)限可以跨文件系統(tǒng)傳播）-f：如果目標(biāo)已經(jīng)存在，則覆蓋目標(biāo)。-ignorercrc：對下載的文件跳過CRC檢查。-crc：為下載的文件寫入CRC校驗和。任務(wù)4.2HDFS的文件系統(tǒng)操作4.2.HDFS的文件系統(tǒng)操作列出文件的統(tǒng)計信息 hadoopfs-ls[-C][-d][-h][-q][-R][-t][-S][-r][-u][-e]<args>

注：命令中包含如下選項：-C：只顯示文件和目錄的路徑。-d：目錄被列為普通文件。-h：以人類可讀的方式格式化文件大?。ɡ?4.0m而不是67108864）。-q：不可輸出的字符使用“？”字符替代。-R：遞歸列出遇到的子目錄。-t：按修改時間排序輸出（最近的在前）。-S：按文件大小對輸出進行排序。-r：顛倒排序順序。-u：使用訪問時間而不是修改時間進行顯示和排序。-e：只顯示文件和目錄的糾刪碼策略。任務(wù)4.2HDFS的文件系統(tǒng)操作4.2.HDFS的文件系統(tǒng)操作

創(chuàng)建目錄 hadoopfs-mkdir[-p]<paths>

注：命令中-p選項的沿路徑創(chuàng)建父目錄移動文件或目錄 hadoopfs-mvURI[URI...]<dest>將文件從本地復(fù)制到目標(biāo)文件系統(tǒng) hadoopfs-put[-f][-p][-l][-d][-t<threadcount>][-|<localsrc1>..].<dst>

注：命令中包含如下選項-p：保留訪問和修改時間、所有權(quán)和權(quán)限。-f：如果目標(biāo)已經(jīng)存在，則覆蓋目標(biāo)。-t<threadcount>:要使用的線程數(shù)，默認為1。上傳包含1個以上文件的目錄時很有用。-l：允許DataNode將文件延遲保存到磁盤，強制復(fù)制因子為1。此標(biāo)志將導(dǎo)致持久性降低。小心使用。-d：跳過創(chuàng)建后綴為._COPYING_的臨時文件。 任務(wù)4.2HDFS的文件系統(tǒng)操作4.2.HDFS的文件系統(tǒng)操作刪除文件或目錄 hadoopfs-rm[-f][-r|-R][-skipTrash][-safely]URI[URI...]

注：命令中包含如下選項：如果文件不存在，-f選項將不會顯示錯誤消息。-R選項以遞歸方式刪除目錄及其下的任何內(nèi)容。-r選項等效于-R。-skipTrash跳過文件垃圾箱，立即刪除指定的文件。-safely選項在刪除文件總數(shù)大于hadoop.shell.delete.limit.num.files的目錄之前需要安全確認（在core-site.xml中，默認值：100）。它可以與-skipTrash一起使用以防止意外刪除大目錄。在確認之前遞歸遍歷大目錄以計算要刪除的文件數(shù)時預(yù)計會出現(xiàn)延遲輸出文本格式文件內(nèi)容hadoopfs-text<src>任務(wù)4.2HDFS的文件系統(tǒng)操作4.2.HDFS的文件系統(tǒng)操作創(chuàng)建文件hadoopfs-touch[-a][-m][-tTIMESTAMP][-c]URI[URI...]注：該命令包含如下選項使用-a選項僅更改訪問時間使用-m選項僅更改修改時間使用-t選項指定時間戳（格式為yyyyMMdd:HHmmss）而不是當(dāng)前時間如果文件不存在，請使用-c選項不創(chuàng)建文件 任務(wù)4.2HDFS的文件系統(tǒng)操作【工作流程】1.查看HDFS的根目錄的文件列表2.在HDFS中創(chuàng)建一個目錄3.將本地文件上傳到HDFS新建目錄中4.查看HDFS中文件的內(nèi)容5.修改HDFS新上傳文件的權(quán)限6.在HDFS新上傳的文件中追加字符串7.將HDFS上的文件下載到本地任務(wù)4.2HDFS的文件系統(tǒng)操作【操作步驟】1.查看HDFS的根目錄的文件列表：通過”hdfsdfs-ls”命令查看文件系統(tǒng)的文件列表[root@master01~]#hdfsdfs-ls/2.在HDFS中創(chuàng)建一個目錄在根目錄下創(chuàng)建一個名為“dir01”的文件夾[root@master01~]#hdfsdfs-mkdir/dir013.將本地文件上傳到HDFS新建目錄中創(chuàng)建一個名為“test.txt”的文件，文件內(nèi)容為“HelloHadoop”[root@master01~]#echo"HelloHadoop">test.txt將“test.txt”上傳到HDFS的”/dir01”目錄下。[root@master01~]#hdfsdfs-puttest.txt/dir01/[root@master01~]#hdfsdfs-ls/dir014.查看HDFS中文件的內(nèi)容通過”hdfsdfs-cat”命令查看文件的內(nèi)容[root@master01~]#hdfsdfs-cat/dir01/test.txt通過“hdfsdfs-text”命令查看文件的內(nèi)容[root@master01~]#hdfsdfs-text/dir01/test.txt任務(wù)4.2HDFS的文件系統(tǒng)操作【操作步驟】5.修改HDFS新上傳文件的權(quán)限修改HDFS上“/dir01/test.txt”文件的權(quán)限為777[root@master01~]#hdfsdfs-chmod777/dir01/test.txt6.在HDFS新上傳的文件中追加字符串通過“hdfsdfs-appendToFile”命令向文件追加內(nèi)容?！?”參數(shù)是將標(biāo)準(zhǔn)輸入（一般指鍵盤輸入）追加到文件中，并通過“Ctrl-c”結(jié)束輸入。[root@master01~]#hdfsdfs-appendToFile-/dir01/tes