設置歸檔存儲

主講：朱佳目錄01為HDFS配置多個存儲層02不同的存儲類型為HDFS配置多個存儲層1為HDFS配置多個存儲層為了能夠維護不同的存儲類型，Hadoop不僅使用磁盤進行存儲，還使用備用存儲介質（如SSD和內存）存儲?？梢詫⒉煌拇鎯Σ呗耘c備用存儲類型進行組合，以在環(huán)境中設置Hadoop歸檔存儲。為HDFS配置多個存儲層HDFS管理員必須配置一些用于實現HDFS異構存儲的東西。以下是需要在hdfs-site.xml文件中配置的配置參數。dfs.storage.policy.enabled：此參數用于啟用或禁用異構存儲策略。此參數的默認值為true。dfs.datanode.data.dir：在每個DataNode上設置此參數，應該為存儲位置分配一個指示存儲類型的標簽。這樣可根據存儲策略將數據塊放置在不同的存儲類型上。為HDFS配置多個存儲層一定要熟悉dfs.datanaode.data.dir參數——它指定HDFS使用的本地存儲目錄。在異構存儲策略下，可以添加一個名為StorageType的枚舉類型來指定存儲層，例如指定為ARCHIVE。只需使用[ARCHIVE]前綴修飾本地目錄位置即可表示此目錄屬于ARCHIVE存儲層。下面有幾個例子。注意：如果不標記存儲類型，DataNode的存儲位置的默認存儲類型是傳統的DISK存儲類型。為HDFS配置多個存儲層假設集群有50個節(jié)點，每個節(jié)點有100TB的存儲空間，那么總共提供了5PB的存儲空間。如果現在添加另外20個節(jié)點，每個具有100TB的存儲空間，則可以通過將此新存儲標記為ARCHIVE來形成ARCHIVE層。使用[ARCHIVE]為所有新的本地存儲目錄添加前綴來標記新存儲。現在，集群中有兩層存儲，DISK層中有5PB，ARCHIVE層中有2PB。不同的存儲類型2不同的存儲類型最初，只能使用一種物理存儲類型——DISK用于HDFS的數據存儲。DISK是默認存儲類型，但現在還可以使用ARCHIVE存儲類型，它具有非常高的存儲密度（PB級存儲)，但計算能力較低。除了DISK和ARCHIVE存儲類型外，還可以使用SSD和RAM_DISK作為替代存儲類型。SSD和RAM_DISK提供了比傳統磁盤存儲更好的性能。ARCHIVE存儲類型也是基于磁盤的存儲類型，其通過提供高存儲密度和低計算能力支持歸檔存儲。不同的存儲類型DISK：默認存儲類型，對應于HDFS使用的標準的基于磁盤的存儲。ARCHIVE：基于磁盤的存檔，使用密集存儲節(jié)點存儲歷史數據或使用頻率較低的數據。SSD：使用SSD存儲低延遲讀/寫工作負載數據的閃存存儲。RAM_DISK：向RAM提供單個副本寫入的內存存儲，對永久數據的磁盤進行異步寫入。不同的存儲類型從Hadoop2.5開始可以使用StorageType枚舉類型對這些存儲卷進行特定類型的存儲，例如歸檔存儲和閃存存儲。這里的關鍵思想是在DISK存儲層中以較高的計算能力在節(jié)點上存儲大量使用的（熱）數據。因此，如果使用默認的HDFS復制因子3，則可以保留熱數據的所有三個副本在DISK層。對于暖數據，可以在DISK層上保留三個副本中的兩個副本，并將其中一個副本移動到ARCHIVE層。對于冷數據，可以將兩個副本移動到