實(shí)驗(yàn)2-熟悉常用的HDFS操作

1、實(shí)驗(yàn)2熟悉常用的HDFS操作實(shí)驗(yàn)2熟悉常用的HDFS操作1 實(shí)驗(yàn)?zāi)康?.理解HDFS在Hadoop體系結(jié)構(gòu)中的角色；2.熟練使用HDFS操作常用的Shell命令；3.熟悉HDFS操作常用的Java API。2 實(shí)驗(yàn)平臺(tái)操作系統(tǒng)：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse3 實(shí)驗(yàn)內(nèi)容和要求1. 編程實(shí)現(xiàn)以下指定功能，并利用Hadoop提供的Shell命令完成相同任務(wù)：（1） 向HDFS中上傳任意文本文件，如果指定的文件在HDFS中已經(jīng)存在，由用戶指定是追加到原有文件末尾還是覆蓋原有的文件；（2） 從HDFS中下載指定文件，如果本地

2、文件與要下載的文件名稱相同，則自動(dòng)對(duì)下載的文件重命名； （3） 將HDFS中指定文件的內(nèi)容輸出到終端中；（4） 顯示HDFS中指定的文件的讀寫權(quán)限、大小、創(chuàng)建時(shí)間、路徑等信息；（5） 給定HDFS中某一個(gè)目錄，輸出該目錄下的所有文件的讀寫權(quán)限、大小、創(chuàng)建時(shí)間、路徑等信息，如果該文件是目錄，則遞歸輸出該目錄下所有文件相關(guān)信息；（6） 提供一個(gè)HDFS內(nèi)的文件的路徑，對(duì)該文件進(jìn)行創(chuàng)建和刪除操作。如果文件所在目錄不存在，則自動(dòng)創(chuàng)建目錄；（7） 提供一個(gè)HDFS的目錄的路徑，對(duì)該目錄進(jìn)行創(chuàng)建和刪除操作。創(chuàng)建目錄時(shí)，如果目錄文件所在目錄不存在則自動(dòng)創(chuàng)建相應(yīng)目錄；刪除目錄時(shí)，由用戶指定當(dāng)該目錄不為空時(shí)是否

3、還刪除該目錄；（8） 向HDFS中指定的文件追加內(nèi)容，由用戶指定內(nèi)容追加到原有文件的開頭或結(jié)尾；（9） 刪除HDFS中指定的文件；由于已經(jīng)刪除，所以會(huì)顯示操作失敗。（10） 刪除HDFS中指定的目錄，由用戶指定目錄中如果存在文件時(shí)是否刪除目錄；由于前面已經(jīng)刪除，所以顯示無該文件.（11） 在HDFS中，將文件從源路徑移動(dòng)到目的路徑。移動(dòng)成功：2. 編程實(shí)現(xiàn)一個(gè)類“MyFSDataInputStream”，該類繼承“”，要求如下：實(shí)現(xiàn)按行讀取HDFS中指定文件的方法“readLine()”，如果讀到文件末尾，則返回空，否則返回文件一行的文本。進(jìn)行文檔讀取如下：3. 查看Java幫助手冊(cè)或其它資料

4、，用“”和“”編程完成輸出HDFS中指定文件的文本到終端中。4 實(shí)驗(yàn)報(bào)告云計(jì)算課程機(jī)房上機(jī)實(shí)驗(yàn)報(bào)告題目：熟悉常用HDFS操作姓名包生友日期實(shí)驗(yàn)環(huán)境：操作系統(tǒng)：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse實(shí)驗(yàn)內(nèi)容與完成情況：在上面實(shí)驗(yàn)內(nèi)容中出現(xiàn)的問題：剛開始時(shí)出現(xiàn)HDFS命令未找到，沒有所操作的目錄，沒有所操作的文件等等。解決方案（列出遇到的問題和解決辦法，列出沒有解決的問題）：HDFS命令未找到：需要在前面加上在hdfs前面加上“./”,或者進(jìn)行環(huán)境變量配置找不到要操作的文件：沒有所操作的目錄：5 實(shí)驗(yàn)心得 這是第一次進(jìn)行云計(jì)算實(shí)驗(yàn)課，首次實(shí)驗(yàn)，感覺茫然不知所措，即便老師給了答案，但是還是有些問題想不明白，有些問題也還沒解決。但這次實(shí)驗(yàn)中，我對(duì)HDFS在Hadoop體系結(jié)構(gòu)中的角色熟練使用有了一