Java怎么實(shí)現(xiàn)HDFS文件上傳下載

第Java怎么實(shí)現(xiàn)HDFS文件上傳下載project.build.sourceEncodingUTF-8/project.build.sourceEncoding

piler.source1.8/piler.source

piler.target1.8/piler.target

hadoop.version3.1.3/hadoop.version

/properties

!--依賴(lài)庫(kù)--

dependencies

dependency

groupIdorg.apache.hadoop/groupId

artifactIdhadoop-common/artifactId

version${hadoop.version}/version

/dependency

dependency

groupIdorg.apache.hadoop/groupId

artifactIdhadoop-mapreduce-client-core/artifactId

version${hadoop.version}/version

/dependency

/dependencies

2、創(chuàng)建與刪除

importorg.apache.hadoop.conf.Configuration;

importorg.apache.hadoop.fs.FileSystem;

importorg.apache.hadoop.fs.Path;

importjava.io.IOException;

publicstaticvoidmAIn(String[]args){

//初始化hadoop文件系統(tǒng)的configration對(duì)象

Configurationconf=newConfiguration();

//將hadoop的configration信息傳入

conf.set(fs.defaultFS,hdfs://02:9000

//初始化Hadoop文件系統(tǒng)的句柄

FileSystemfs=null;

try{

//配置Hadoop的文件句柄信息

fs=FileSystem.get(conf);

//定義Hadoop的文件路徑

finalStringPATH=/test/kb16/hadoop/ratings.csv

//初始化Hadoop的路徑信息

Pathpath=newPath(PATH);

//如果文件路徑存在就刪除

if(fs.exists(path)){

System.out.println(DELETE+fs.delete(path,true));

}else{

//如果文件路徑不存在就創(chuàng)建

System.out.println(CREATE+fs.create(path));

}catch(IOExceptione){

e.printStackTrace();

}finally{

//結(jié)束的時(shí)候，句柄還沒(méi)有釋放就進(jìn)行釋放

if(fs!=null){

try{

fs.close();

}catch(IOExceptione){

e.printStackTrace();

}

3、文件上傳

importorg.apache.hadoop.conf.Configuration;

importorg.apache.hadoop.fs.FileSystem;

importorg.apache.hadoop.fs.Path;

importjava.io.File;

importjava.io.IOException;

publicstaticvoidmain(String[]args){

//定義本地上傳文件路徑

finalStringformPath=E:\\ratings.csv

//本地文件不存在就報(bào)錯(cuò)，并強(qiáng)制讓程序終止

if(!newFile(formPath).exists()){

System.out.println(formPath+doesntexits

return;

//初始化hadoop文件系統(tǒng)的configration對(duì)象

Configurationconf=newConfiguration();

//將hadoop的configration信息傳入

conf.set(fs.defaultFS,hdfs://02:9000

//初始化Hadoop文件系統(tǒng)的句柄

FileSystemfs=null;

try{

//將config信息傳入

fs=FileSystem.get(conf);

//定義上傳到HDFS的路徑

finalStringtoPath=/test/kb16/hive

//初始化路徑

Pathto=newPath(toPath);

//如果文件路徑存在不執(zhí)行，如果文件路徑不存在就嘗試創(chuàng)建，如果創(chuàng)建失敗就跳過(guò)

if(!fs.exists(to)!fs.mkdirs(to)){

System.out.println(toPath+doesntexitandcantbecreated

return;

//初始化上傳文件路徑

Pathfrom=newPath(formPath);

//利用方法將本地文件復(fù)制到HDFS中

fs.copyFromLocalFile(from,to);

System.out.println(succeedincopyingfrom+formPath+to+toPath);

}catch(IOExceptione){

e.printStackTrace();

System.out.println(FAILURE

}finally{

//如果結(jié)束Hadoop文件系統(tǒng)句柄沒(méi)有關(guān)閉，利用方法進(jìn)行句柄釋放

if(null!=fs){

try{

fs.close();

}catch(IOExceptione){

e.printStackTrace();

}

4、文件下載

importernal.cglib.core.$LocalVariablesSorter;

importxy.$Factory;

importorg.apache.hadoop.conf.Configuration;

importorg.apache.hadoop.fs.FileSystem;

importorg.apache.hadoop.fs.Path;

importjava.io.File;

importjava.io.IOException;

publicclassDownload{

publicstaticvoidmain(String[]args){

//定義文件下載路徑

finalStringtoPath=C:\\Users\\Jialin\\Desktop

//獲取路徑

Fileto=newFile(toPath);

//如果路存在或者文件路徑不存在但是創(chuàng)建成功就不執(zhí)行if方法

if(!to.exists()!to.mkdirs()){

System.err.println(toPath+doesntexistandcantbecreated

return;

//初始化hadoop文件系統(tǒng)的configration對(duì)象

Configurationconfig=newConfiguration();

//將hadoop的configration信息傳入

config.set(fs.defaultFS,hdfs://02:9000

//初始化Hadoop文件系統(tǒng)的句柄

FileSystemfs=null;

try{

//將config信息傳入

fs=FileSystem.get(config);

//定義下載文件路徑

finalStringfromPath=/test/kb16/hive/ratings.csv

//獲取路徑信息

Pathfrom=newPath(fromPath);

//如果指定下載文件不存在就退出

if(!fs.exists(from)){

System.err.println(toPath+doesntexist

return;

//獲取文件下載路徑信息

Path_to=newPath(toPath);

//利用方法將Hadoop文件下載到本地

fs.copyToLocalFile(from,_to);

System.out.println(succeedindownloadingfrom+fromPath+to+toPath);

}catch(IOExcepti