如何使用DisCp命令移動數(shù)據(jù)

主講：朱佳目錄0102DistCp簡介如何使用DistCp命令移動數(shù)據(jù)02DistCp簡介1DistCp簡介Hadoop提供了一個名為DistCp的工具，幫助我們在兩個Hadoop集群之間復(fù)制數(shù)據(jù)或?qū)?shù)據(jù)從HDFS中的一個位置復(fù)制到同一個Hadoop集群內(nèi)的另一個位置。最常見的是使用DistCp在兩個不同的集群之間復(fù)制數(shù)據(jù)。DistCp是相當強大的，因為它使用MapReduce作為底層機制進行并行數(shù)據(jù)加載。DistCp簡介DistCp非常適合在大批量(bulk)和批處理模式下移動大量數(shù)據(jù)。大批量(bulk)模式適合從數(shù)據(jù)源加載大量初始數(shù)據(jù)到集群，批處理模式適合定期向HDFS導(dǎo)入數(shù)據(jù)和從HDFS導(dǎo)出數(shù)據(jù)。如何使用DistCp命令移動數(shù)據(jù)2如何使用DistCp命令移動數(shù)據(jù)DistCp命令的語法很簡單:$distcpsrcdirdestdir其中:■srcdir是源目錄的全路徑。在集群之間移動數(shù)據(jù)時，路徑包括源集群的NameNode主機名和端口信息?！鰀estdir是目標目錄的全路徑。在集群之間移動數(shù)據(jù)時，路徑包括目標集群的NameNode主機名和端口信息。如何使用DistCp命令移動數(shù)據(jù)示例：$hadoopdistcphdfs://nn1:8020/sourcehdfs://nn2:8020/destination以下示例顯示如何使用DistCp將數(shù)據(jù)從一個集群移動到另一個集群:hadoopdistcphdfs://nnl:8020/user/hadoop/dir1/\dfs://nn2:8020/user/hadoop/dir2/請注意，必須指定HDFS數(shù)據(jù)的絕對路徑。如何使用DistCp命令移動數(shù)據(jù)可以指定多個源目錄，如下所示:hadoopdistcphdfs://nn1:8020/source/ahdfs://nn1:8020/source/bhdfs://nn2:8020/destination也可以在文本文件中指定多個源目錄，并將文件名作為參數(shù)傳遞給DistCp命令，如下所示:hadoopdistcp-fhdfs://nn1:8020/srclisthdfs://nn2:8020/destination如何使用DistCp命令移動數(shù)據(jù)如果要在已啟用NameNode高可用性的兩個集群之間使用DistCp移動數(shù)據(jù)，則正確指定NameNode的一種方法是，首先驗證兩個NameNode中的哪一個當前是活動的Namenode，并在DistCp命令中指定該NameNode的主機名。另一種方法是在DistCp命令中使用名稱服務(wù)而不是主機名?；叵胍幌拢?/p>