2023學年完整公開課版hdfs配置文件

hdfs的配置文件2一、hdfs的配置文件（hdfs-site.xml）3hdfs的配置文件（hdfs-site.xml）–.dir–NameNode元數(shù)據(jù)存放位置–默認值：使用core-site.xml中的hadoop.tmp.dir/dfs/name–dfs.block.size–對于新文件切分的大小，單位byte。默認是64M,建議是128M。每一個節(jié)點都要指定，包括客戶端。–默認值：671088644–dfs.data.dir–DataNode在本地磁盤存放block的位置，可以是以逗號分隔的目錄列表，DataNode循環(huán)向磁盤中寫入數(shù)據(jù)，每個DataNode可單獨指定與其它DataNode不一樣–默認值：${hadoop.tmp.dir}/dfs/datahdfs的配置文件（hdfs-site.xml）5–node.handler.count–NameNode用來處理來自DataNode的RPC請求的線程數(shù)量–建議設(shè)置為DataNode數(shù)量的10%，一般在10~200個之間–如設(shè)置太小，DataNode在傳輸數(shù)據(jù)的時候日志中會報告“connectonrefused"信息–在NameNode上設(shè)定–默認值：10hdfs的配置文件（hdfs-site.xml）6–dfs.datanode.handler.count–DataNode用來連接NameNode的RPC請求的線程數(shù)量–取決于系統(tǒng)的繁忙程度–設(shè)置太小會導致性能下降甚至報錯–在DataNode上設(shè)定–默認值：3hdfs的配置文件（hdfs-site.xml）7–dfs.datanode.max.xcievers–DataNode可以同時處理的數(shù)據(jù)傳輸連接數(shù)–默認值：256–建議值：4096hdfs的配置文件（hdfs-site.xml）8–dfs.permissions–如果是true則檢查權(quán)限，否則不檢查（每一個人都可以存取文件）–于NameNode上設(shè)定–默認值：truehdfs的配置文件（hdfs-site.xml）9–dfs.datanode.du.reserved–在每個卷上面HDFS不能使用的空間大小–在每個DataNode上面設(shè)定–默認值：0–建議為10737418240，即10G。需要結(jié)合MapReduce場景設(shè)置。hdfs的配置文件（hdfs-site.xml）10–dfs.datanode.failed.volumes.tolerated–DataNode可以容忍損塊的磁盤數(shù)量，超過這個數(shù)量DataNode將會離線，所有在這個節(jié)點上面的block將會被重新復制–默認是0，但是在有多塊磁盤的時候一般會增大這個值hdfs的配置文件（hdfs-site.xml）11–dfs.replication–在文件被寫入的時候，每一塊將要被復制多少份–默認是3份