2023學(xué)年完整公開課版HDFS存儲(chǔ)擴(kuò)容

HDFS存儲(chǔ)擴(kuò)容1、了解如何修改副本數(shù)

2、掌握hdfs如何進(jìn)行存儲(chǔ)擴(kuò)容1、修改副本數(shù)

2、修改data目錄的位置

3、存儲(chǔ)擴(kuò)容

在CM的HDFS配置中找到dfs.replication項(xiàng)，修改為2，重啟HDFS。但這樣只能保證新寫入的塊副本數(shù)變?yōu)?，原有塊仍然是3副本，因此還需要執(zhí)行命令hdfsdfs-setrep2-R-w/dw。其中/dw是指定的路徑，-R參數(shù)則表示包含子目錄。通過執(zhí)行hdfsfsck/dw命令，觀察“Averageblockreplication”一項(xiàng)，可以看出副本調(diào)整的過程是否已經(jīng)完成。修改副本數(shù)hadoopdfsadmin-report查看所有節(jié)點(diǎn)的空間占用情況在core-site.xml中hadoop.tmp.dir為新目錄如/mnt/sdbmount/data/tmp在hdfs-site.xml中.dir

為新目錄如/mnt/sdbmount/data/hdfs/dfsnamedfs.data.dir

為新目錄如/mnt/sdbmount/data/hdfs/dfsdata，多個(gè)目錄用都好分隔。修改data目錄的位置1、創(chuàng)建ext4文件系統(tǒng)執(zhí)行：mkfs-text4/dev/sdb。如果沒有創(chuàng)建文件系統(tǒng)，mount時(shí)會(huì)報(bào)錯(cuò)：Unknownfilesystemtype'(null)'。因?yàn)橛猛揪褪羌僅DFS存儲(chǔ)，無需分區(qū)，所以直接省略了fdisk的步驟。在Linux中，磁盤不分區(qū)也是可以用的。存儲(chǔ)擴(kuò)容2、創(chuàng)建數(shù)據(jù)目錄，并更改其權(quán)限和所有者執(zhí)行：mkdir-p/dfs_local/sdbchmod-R777/dfs_local/sdbchown-Rhdfs:hadoop/dfs_local/sdbhdfs-site.xml中默認(rèn)指定的權(quán)限是755，但可以通過dfs.datanode.data.dir.perm配置項(xiàng)來更改。存儲(chǔ)擴(kuò)容3、掛載簡(jiǎn)單地執(zhí)行mount命令就可以掛載。但穩(wěn)妥起見，應(yīng)該配置成開機(jī)自動(dòng)掛載。修改/etc/fstab文件，加入如下一行：/dev/sdb/dfs_local/sdbext4defaults00普通數(shù)據(jù)盤既不需要備份也不需要fsck檢查，因此dump和pass都設(shè)為0。保存后，執(zhí)行mount-a命令，使其立即生效。使用df-h可以查看是否成功掛載。存儲(chǔ)擴(kuò)容4、加入HDFS進(jìn)入CM界面，找到HDFS數(shù)據(jù)目錄的配置項(xiàng)dfs.data.dir，加入上面設(shè)定的掛載路徑，刷新配