Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實(shí)戰(zhàn)（微課版） 課件 4 HDFS

Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——HDFS簡(jiǎn)介目錄content0201HDFS簡(jiǎn)介HDFS實(shí)現(xiàn)目標(biāo)和自身局限性HDFS簡(jiǎn)介HDFS是Hadoop兩大核心組件之一。分布式存儲(chǔ)：HDFS分布式處理：MapReduceHDFS就是為了解決海量數(shù)據(jù)的分布式存儲(chǔ)問題。HadoopDistributedFileSystemHDFS簡(jiǎn)介--集群在大數(shù)據(jù)時(shí)代，數(shù)據(jù)量非常大，單個(gè)節(jié)點(diǎn)一臺(tái)計(jì)算機(jī)是無論如何完成不了海量數(shù)據(jù)的存儲(chǔ)，我們需要借助計(jì)算機(jī)集群存儲(chǔ)海量數(shù)據(jù)。單機(jī)無法存儲(chǔ)集群分布式存儲(chǔ)HDFS簡(jiǎn)介--集群每個(gè)豎排代表一個(gè)機(jī)架，每個(gè)機(jī)架上擺放了好多機(jī)器，每個(gè)機(jī)器稱為一個(gè)節(jié)點(diǎn)，在企業(yè)一個(gè)機(jī)架可以擺放30-40個(gè)節(jié)點(diǎn)，機(jī)架和機(jī)架之間是通過光纖交換機(jī)來完成彼此之間的網(wǎng)絡(luò)互聯(lián)。在這個(gè)集群中，HDFS把整個(gè)文件分布的存儲(chǔ)在這些機(jī)器里。HDFS簡(jiǎn)介分布式文件系統(tǒng)解決了大數(shù)據(jù)存儲(chǔ)問題，是橫跨在多臺(tái)計(jì)算機(jī)上的存儲(chǔ)系統(tǒng)；分布式文件系統(tǒng)在大數(shù)據(jù)時(shí)代有著廣泛的應(yīng)用前景，為存儲(chǔ)和處理超大規(guī)模數(shù)據(jù)提供擴(kuò)展能力；分布式文件系統(tǒng)適用于一次寫入，多次讀出的場(chǎng)景，且不支持文件的修改，適合用來做數(shù)據(jù)分析。HDFS的實(shí)現(xiàn)目標(biāo)成本低流式數(shù)據(jù)訪問適合處理大數(shù)據(jù)高容錯(cuò)性大文件存儲(chǔ)成本低HDFS集群可構(gòu)建在廉價(jià)計(jì)算機(jī)上，通過多副本機(jī)制，提高可靠性。個(gè)人計(jì)算機(jī)搭建大數(shù)據(jù)集群HDFS的實(shí)現(xiàn)目標(biāo)適合流式數(shù)據(jù)訪問HDFS的數(shù)據(jù)處理規(guī)模比較大，應(yīng)用程序一次需要訪問大量的數(shù)據(jù)，HDFS的設(shè)計(jì)目標(biāo)就是全部數(shù)據(jù)全部讀寫，它不適合訪問整個(gè)文件中的一個(gè)子集。HDFS是為滿足海量數(shù)據(jù)的批量處理而設(shè)計(jì)的。HDFS的實(shí)現(xiàn)目標(biāo)適合處理大數(shù)據(jù)HDFS可橫向擴(kuò)展，其存儲(chǔ)的數(shù)據(jù)規(guī)模：能夠處理數(shù)據(jù)規(guī)模達(dá)到PB級(jí)別的數(shù)據(jù)；文件規(guī)模：能夠處理百萬規(guī)模以上的文件數(shù)量；節(jié)點(diǎn)規(guī)模：能夠處理10K節(jié)點(diǎn)的規(guī)模。HDFS的實(shí)現(xiàn)目標(biāo)高容錯(cuò)性數(shù)據(jù)保存多個(gè)副本，副本丟失后自動(dòng)恢復(fù)；構(gòu)建在廉價(jià)的計(jì)算機(jī)上，容易實(shí)現(xiàn)線性擴(kuò)展，當(dāng)集群增加新節(jié)點(diǎn)之后，名稱節(jié)點(diǎn)（NameNode）也可以感知，進(jìn)行負(fù)載均衡，將數(shù)據(jù)分發(fā)和備份數(shù)據(jù)均衡到新的節(jié)點(diǎn)上。HDFS的實(shí)現(xiàn)目標(biāo)適合大文件存儲(chǔ)HDFS采用數(shù)據(jù)塊的方式存儲(chǔ)數(shù)據(jù)，將數(shù)據(jù)物理切分成多個(gè)小的數(shù)據(jù)塊；當(dāng)用戶讀取時(shí)，重新將多個(gè)小數(shù)據(jù)塊拼接起來。HDFS的實(shí)現(xiàn)目標(biāo)0203不適合低延遲數(shù)據(jù)訪問無法高效存儲(chǔ)大量小文件不支持多用戶寫入及文件隨機(jī)修改01HDFS自身的局限性不適合低延遲數(shù)據(jù)訪問HDFS不適合低延遲數(shù)據(jù)訪問，比如毫秒級(jí)以內(nèi)讀取數(shù)據(jù)或者存儲(chǔ)數(shù)據(jù)，HDFS是很難做到的。HDFS自身的局限性無法高效的對(duì)大量小文件進(jìn)行存儲(chǔ)文件存儲(chǔ)會(huì)占用名稱節(jié)點(diǎn)的內(nèi)存來存儲(chǔ)文件目錄和塊信息，存儲(chǔ)大量小文件就會(huì)耗費(fèi)大量的內(nèi)存，名稱節(jié)點(diǎn)的內(nèi)存總是有限的。HDFS自身的局限性HDFS自身的局限性HDFS不支持多用戶寫入和文件隨機(jī)修改HDFS目前不支持并發(fā)多用戶的寫操作和文件的隨機(jī)修改，寫操作只能在文件末尾追加數(shù)據(jù)，一個(gè)文件只能有一個(gè)寫，不允許多個(gè)線程同時(shí)寫。本章小結(jié)本節(jié)我們了解到HDFS是hadoop兼容最好的標(biāo)準(zhǔn)級(jí)分布式文件系統(tǒng)，主要是對(duì)數(shù)據(jù)進(jìn)行分布式儲(chǔ)存和讀取，探討了HDFS的實(shí)現(xiàn)目標(biāo)和自身的局限性。Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——HDFS體系結(jié)構(gòu)目錄content02數(shù)據(jù)節(jié)點(diǎn)塊0405第二名稱節(jié)點(diǎn)01HDFS體系結(jié)構(gòu)03名稱節(jié)點(diǎn)HDFS體系結(jié)構(gòu)HDFS的核心組件是名稱節(jié)點(diǎn)（NameNode）和數(shù)據(jù)節(jié)點(diǎn)（DataNode）。它是一個(gè)主/從（master/slave）架構(gòu)的系統(tǒng)，即一個(gè)HDFS集群由一個(gè)NameNode和若干DataNode組成。其中，名稱節(jié)點(diǎn)為主節(jié)點(diǎn)，數(shù)據(jù)節(jié)點(diǎn)為從節(jié)點(diǎn)。HDFS的體系結(jié)構(gòu)塊的概述Hadoop2.X版本默認(rèn)的塊大小為128M。塊是HDFS中的最小存儲(chǔ)單位，并且可以自定義大小。塊按實(shí)際大小存儲(chǔ)。拆分出來的塊會(huì)有它相應(yīng)的副本。塊的優(yōu)勢(shì)可以存儲(chǔ)任意大小的數(shù)據(jù)文件，不用再受單個(gè)節(jié)點(diǎn)磁盤容量大小的限制。簡(jiǎn)化了文件存儲(chǔ)子系統(tǒng)的設(shè)計(jì)，將元數(shù)據(jù)信息和文件數(shù)據(jù)信息分開存儲(chǔ)。有利于實(shí)現(xiàn)負(fù)載均衡并提高集群可靠性。有利于實(shí)現(xiàn)分布式文件系統(tǒng)的容錯(cuò)性。名稱節(jié)點(diǎn)概述名稱節(jié)點(diǎn)是整個(gè)HDFS集群的管家，名稱節(jié)點(diǎn)上存儲(chǔ)的元數(shù)據(jù)信息包括：數(shù)據(jù)塊到數(shù)據(jù)節(jié)點(diǎn)的映射信息。每個(gè)文件由哪些數(shù)據(jù)塊組成。文件目錄的所有者及其權(quán)限。文件名、目錄名及其層級(jí)關(guān)系。名稱節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)元數(shù)據(jù)信息可被持久化到本地磁盤的兩個(gè)文件中，分別是元數(shù)據(jù)鏡像文件（fsimage）和事務(wù)日志文件(edits）。fsimage存儲(chǔ)著文件系統(tǒng)的所有命名空間信息。edits存儲(chǔ)著HDFS數(shù)據(jù)的事務(wù)操作日志。名稱節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)所謂的持久化，就是指把數(shù)據(jù)保存到可永久保存存儲(chǔ)設(shè)備（如磁盤）中。數(shù)據(jù)節(jié)點(diǎn)概述每個(gè)數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)會(huì)被保存在各自節(jié)點(diǎn)的本地Linux文件系統(tǒng)中。負(fù)責(zé)為客戶端或名稱節(jié)點(diǎn)提供數(shù)據(jù)的檢索和讀寫服務(wù)，并通過“心跳”定期向名稱節(jié)點(diǎn)發(fā)送自己的塊列表信息。存儲(chǔ)著HDFS文件的真實(shí)數(shù)據(jù)，負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)和讀取第二名稱節(jié)點(diǎn)因?yàn)槭聞?wù)日志文件（edits）開始比較小，但隨著對(duì)數(shù)據(jù)的不斷修改，事務(wù)日志文件（edits）會(huì)不斷增大，大到一定程度的時(shí)候，又會(huì)影響整個(gè)系統(tǒng)的功能，由此引入第二名稱節(jié)點(diǎn)。1.對(duì)元數(shù)據(jù)鏡像文件（fsimage）和事務(wù)日志文件（edits）定期合并，縮短名稱節(jié)點(diǎn)（NameNode）的重啟時(shí)間，提高系統(tǒng)性能。2.是名稱節(jié)點(diǎn)的冷備份，因?yàn)槊Q節(jié)點(diǎn)有可能發(fā)生故障。為什么又引入第二名稱節(jié)點(diǎn)？第二名稱節(jié)點(diǎn)的功能：本節(jié)小結(jié)負(fù)責(zé)管理整個(gè)文件系統(tǒng)元數(shù)據(jù)。名稱節(jié)點(diǎn)負(fù)責(zé)管理具體文件數(shù)據(jù)塊存儲(chǔ)。數(shù)據(jù)節(jié)點(diǎn)協(xié)助名稱節(jié)點(diǎn)進(jìn)行元數(shù)據(jù)的備份。第二名稱節(jié)點(diǎn)Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——HDFS運(yùn)行機(jī)制05目錄content02高可用機(jī)制心跳機(jī)制06安全模式01副本機(jī)制03副本放置策略07垃圾回收機(jī)制聯(lián)邦機(jī)制04副本機(jī)制底層缺陷冗余數(shù)據(jù)保存不斷地出故障為了保證集群的容錯(cuò)性和可用性，HDFS采用了數(shù)據(jù)冗余存儲(chǔ)方式，即一個(gè)數(shù)據(jù)可以保存多個(gè)副本。副本機(jī)制01020304冗余保存副本數(shù)也可以進(jìn)行個(gè)性化設(shè)置默認(rèn)冗余副本數(shù)：3010203優(yōu)點(diǎn)01加快數(shù)據(jù)傳輸速度02很容易檢查數(shù)據(jù)錯(cuò)誤03保證數(shù)據(jù)可靠性心跳機(jī)制名稱節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)啟動(dòng)后，會(huì)主動(dòng)連接名稱節(jié)點(diǎn)，并在一定間隔（默認(rèn)為3s）主動(dòng)向名稱節(jié)點(diǎn)發(fā)送一個(gè)“心跳”，報(bào)告自己的狀態(tài)信息。心跳心跳名稱節(jié)點(diǎn)通過這個(gè)“心跳”向數(shù)據(jù)節(jié)點(diǎn)下達(dá)命令是一種形象化描述，指的是不間斷地發(fā)送一個(gè)自定義結(jié)構(gòu)體（“心跳包”或“心跳幀”）來證明自己節(jié)點(diǎn)的有效性。心跳？心跳機(jī)制出現(xiàn)故障名稱節(jié)點(diǎn)名稱節(jié)點(diǎn)長時(shí)間未收到某個(gè)數(shù)據(jù)節(jié)點(diǎn)的“心跳”；名稱節(jié)點(diǎn)名稱節(jié)點(diǎn)判定該數(shù)據(jù)節(jié)點(diǎn)為宕機(jī)；備份副本名稱節(jié)點(diǎn)檢查該數(shù)據(jù)節(jié)點(diǎn)上的塊副本數(shù)據(jù)并備份到其他的數(shù)據(jù)節(jié)點(diǎn)上。硬件故障或網(wǎng)絡(luò)問題；副本怎么恢復(fù)呢？HDFS是如何探測(cè)副本出現(xiàn)故障？心跳機(jī)制第一副本放到上傳文件的節(jié)點(diǎn)（機(jī)器）上第二副本放到和第一副本不同機(jī)架的任意節(jié)點(diǎn)上第三副本放到和第一副本相同機(jī)架的任意節(jié)點(diǎn)上副本放置策略這么多機(jī)器這么多的塊，副本是怎么存放的呢？如果還有副本，可以放到其它節(jié)點(diǎn)上，全部隨機(jī)。副本放置策略01第一副本放到上傳文件的節(jié)點(diǎn)上,可以較快地讀取,保證數(shù)據(jù)較好的本地性;0２第二個(gè)副本及更多的block副本放置在其他機(jī)架，當(dāng)整個(gè)結(jié)點(diǎn)失效時(shí)，HDFS將自動(dòng)通過遠(yuǎn)端機(jī)架上的數(shù)據(jù)將副本恢復(fù)到標(biāo)準(zhǔn)水平。0３Hadoop的副本放置策略在可靠性和帶寬中做了一個(gè)很好的平衡。高可用（HA）機(jī)制Hadoop1.XHadoop2.XHDFS框架只有一個(gè)名稱節(jié)點(diǎn)HDFS框架主備兩個(gè)名稱節(jié)點(diǎn)單點(diǎn)故障雙NameNode架構(gòu)HA機(jī)制高可用（HA）機(jī)制ActiveNameNodeStandbyNameNode負(fù)責(zé)HDFS的所有操作ZooKeeper確保主從名稱節(jié)點(diǎn)的狀態(tài)一致性主名稱節(jié)點(diǎn)的熱備份互為備份聯(lián)邦機(jī)制TWITTERYOUTUBESKYPEFACEBOOK在聯(lián)邦機(jī)制中，每個(gè)名稱節(jié)點(diǎn)分別管理文件系統(tǒng)命名空間的一部分；命名空間卷存放元數(shù)據(jù)和數(shù)據(jù)塊的塊池。

在Hadoop1.0，HDFS只有一個(gè)NameNode，計(jì)算機(jī)的內(nèi)存就成了NameNode的瓶頸；

各命名空間卷是相互獨(dú)立的，互不影響且互不通信

在Hadoop2.x引入了HDFS聯(lián)邦機(jī)制，即通過橫向擴(kuò)展的方式增加NameNode的數(shù)量；

1234安全模式只讀模式，不能對(duì)命名空間進(jìn)行修改，也不能創(chuàng)建、復(fù)制、追加和刪除數(shù)據(jù)；在HDFS啟動(dòng)時(shí)，首先會(huì)進(jìn)入安全模式，當(dāng)達(dá)到規(guī)定的要求時(shí)，會(huì)退出安全模式；當(dāng)集群中某些數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障,或者因?yàn)槟承┰蛟斐晌募到y(tǒng)處于不穩(wěn)定狀態(tài)時(shí),NameNode會(huì)自動(dòng)進(jìn)入安全模式。HDFS的一種保護(hù)模式，保證數(shù)據(jù)塊的安全性；該模式下，可以查看目錄及文件、下載文件等操作。垃圾回收機(jī)制當(dāng)用戶或應(yīng)用程序刪除某個(gè)文件時(shí)，文件并不會(huì)立即從HDFS中刪除，而是被移到了一個(gè)類似回收站的地方。當(dāng)文件的刪除時(shí)間超過一定期限，名稱節(jié)點(diǎn)就會(huì)自動(dòng)將該文件從命名空間中刪除，該文件相關(guān)的數(shù)據(jù)塊即被釋放。在HDFS集群中，如果一個(gè)文件被刪除，那么與該文件相關(guān)的數(shù)據(jù)塊自然也就成了垃圾。本節(jié)小結(jié)本節(jié)介紹了HDFS的副本機(jī)制、心跳機(jī)制、副本放置策略、高可用機(jī)制等，大家進(jìn)一步了解了HDFS，為后續(xù)HDFS操作奠定基礎(chǔ)。Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——HDFS命令行操作目錄content0201HDFS命令簡(jiǎn)介HDFS常用命令HDFS命令簡(jiǎn)介HDFS分布式文件系統(tǒng)中的基本操作與其他文件系統(tǒng)類似，包括目錄創(chuàng)建、目錄刪除、查看子目錄、文件創(chuàng)建、文件剪切、文件復(fù)制、文件重命名、文件刪除、文件上傳、文件下載等操作。HDFS的文件操作命令包括hadoopfs、hadoopdfs和hdfsdfs三種。fsdfs文件系統(tǒng)FileSystem分布式文件系統(tǒng)DistributedFileSystem分布式環(huán)境下，fs與dfs無區(qū)別(2)本地環(huán)境中，fs就是本地文件，dfs就不能用了(3)fs>dfs:fs的使用范圍更大HDFS命令簡(jiǎn)介hadoopfs命令是Hadoop通用文件系統(tǒng)的命令接口，可以操作HDFS文件系統(tǒng)，也可以操作其他支持的文件系統(tǒng)如本地文件系統(tǒng)、S3文件系統(tǒng)等。hdfsdfs命令是HDFS文件系統(tǒng)特定的命令接口，只可以操作HDFS文件系統(tǒng)，不支持其他文件系統(tǒng)。HDFS文件系統(tǒng)建議使用hdfsdfs命令；通用文件系統(tǒng)使用hadoopfs命令。HDFS命令簡(jiǎn)介HDFS命令：文件或目錄一定使用絕對(duì)路徑，“/”01本地Linux：文件或目錄可以是相對(duì)路徑也可以是絕對(duì)路徑02命令包括：目錄命令、文件命令、文件上傳下載等

03HDFS命令簡(jiǎn)介HDFS常用命令操作1.-help：查看HDFS文件系統(tǒng)支持的命令HDFS常用命令操作2.-ls：查看HDFS文件系統(tǒng)中根目錄下的文件和目錄HDFS常用命令操作3.-mkdir：在HDFS文件系統(tǒng)中創(chuàng)建目錄HDFS常用命令操作創(chuàng)建級(jí)聯(lián)目錄命令，需要使用參數(shù)-pHDFS常用命令操作4.-put：將本地Linux操作系統(tǒng)中的文件上傳到HDFS上hadoopfs-put./jdk.tar.gz/bigdata如果HDFS上已經(jīng)存在要上傳的文件，想覆蓋掉源文件，則需要使用參數(shù)-f。HDFS常用命令操作5.-rm:刪除HDFS文件系統(tǒng)上的文件或目錄hadoopfs-rm/jdk-8u211-linux-x64.tar.gztHDFS常用命令操作-rm:刪除目錄，則需要加上參數(shù)“-r”hadoopfs-rm-r/bigdata/bigdata1HDFS常用命令操作6.-get:將HDFS上的文件下載到本地（Linux操作系統(tǒng)）HDFS常用命令操作7.-cat:查看HDFS文件系統(tǒng)上的文件內(nèi)容hadoopfs-cat/test.txt查看HDFS文件系統(tǒng)上的文件內(nèi)容的前3行HDFS常用命令操作8.-ls:查看HDFS文件系統(tǒng)中根目錄下的文件和目錄HDFS常用命令操作9.-cp:復(fù)制HDFS文件系統(tǒng)上的文件HDFS常用命令操作10.-mv：移動(dòng)HDFS文件系統(tǒng)上的文件HDFS常用命令操作使用-mv也可以實(shí)現(xiàn)重命名功能hadoopfs-mv/bigdata/test.txt/bigdata/bigdata1/test2.txt本章小結(jié)本節(jié)介紹了使用HDFS命令行進(jìn)行文件創(chuàng)建、文件下載、文件重命名、文件刪除、目錄創(chuàng)建等操作，相信大家對(duì)HDFS命令有了一定理解，為我們后續(xù)學(xué)校HDFSJavaAPI打下了基礎(chǔ)。Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——HDFS命令行操作目錄content0201Hadoop集群部署方式Hadoop集群搭建HDFS文件操作命令HDFS的文件操作命令包括：hadoopfs使用范圍最廣，可以操作各種文件系統(tǒng)，如本地文件、HDFS文件、HFTP文件、S3文件等。hadoopdfs針對(duì)HDFS文件系統(tǒng)的操作命令。hdfsdfs與hadoopdfs類似，針對(duì)HDFS文件系統(tǒng)的操作。Hadoop集群的部署方式HDFS分布式文件系統(tǒng)中的基本操作與其他文件系統(tǒng)類似，包括文件創(chuàng)建、文件下載、文件重命名、文件刪除、目錄創(chuàng)建等操作。HDFS中的文件或者目錄一定使用絕對(duì)路徑，HDFS路徑從“/”開始。HDFS常用命令操作創(chuàng)建目錄命令HDFS常用命令操作創(chuàng)建級(jí)聯(lián)目錄命令HDFS常用命令操作兩個(gè)命令的區(qū)別hadoopfs-mkdir-p./bigdatahadoopfs-mkdir-p/bigdataHDFS常用命令操作上傳文件到HDFS上課外擴(kuò)展傳到HDFS上的數(shù)據(jù)，最終在哪里？HDFS常用命令操作刪除HDFS上的文件HDFS常用命令操作下載HDFS上的文件HDFS常用命令操作移動(dòng)文件HDFS常用命令操作查看HDFS文件系統(tǒng)上的文件內(nèi)容的前3行查看HDFS文件系統(tǒng)中根目錄下的文件和目錄HDFS常用命令操作復(fù)制文件HDFS常用命令操作復(fù)制文件HDFS常用命令操作刪除HDFS上文件或目錄本章小結(jié)本節(jié)介紹了使用HDFS命令行進(jìn)行文件創(chuàng)建、文件下載、文件重命名、文件刪除、目錄創(chuàng)建等操作，相信大家對(duì)HDFS命令有了一定理解，為我們后續(xù)學(xué)校HDFSJavaAPI打下了基礎(chǔ)。Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——HDFSAPI操作05目錄content02刪除文件引入依賴06移動(dòng)或重命名文件01搭建客戶端環(huán)境03上傳文件下載文件04搭建HDFS客戶端環(huán)境步驟1：將Windows操作系統(tǒng)下的Hadoop壓縮包解壓到E盤，文件夾名為hadoop。步驟2：配置HADOOP_HOME環(huán)境變量，如下所示：搭建HDFS客戶端環(huán)境步驟3：配置Path環(huán)境變量，如下所示：搭建HDFS客戶端環(huán)境步驟4：創(chuàng)建一個(gè)Maven工程，創(chuàng)建Maven工程過程如下所示，輸入所建Maven工程的名稱。搭建HDFS客戶端環(huán)境HDFSAPI準(zhǔn)備環(huán)境完成之后，編寫Java代碼，實(shí)現(xiàn)HDFS功能。引入依賴在編寫代碼之前，需要引入開發(fā)HDFSAPI客戶端相應(yīng)的依賴，如下所示：<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.9.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.9.2</version></dependency></dependencies>HDFS文件上傳將Windows系統(tǒng)上本地E盤下面report.txt文件上傳到HDFS集群，源代碼如下所示：該參數(shù)為：副本數(shù)和文件塊大??；(默認(rèn)副本數(shù)量為3，塊大小為128M）Fi