版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
HDFS寫(xiě)操作1.掌握HDFS寫(xiě)文件流程概述
2.掌握HDFS寫(xiě)操作的異常處理
3.掌握HDFS寫(xiě)文件方法
1.寫(xiě)文件流程概述
2.
HDFS寫(xiě)操作異常處理
3.
HDFS寫(xiě)文件方法寫(xiě)文件流程概述datanodeBufferdatanodeBufferdatanodeBuffernamenode
client1.請(qǐng)求上傳文件2.響應(yīng)3.請(qǐng)求上傳第一個(gè)block4.返回要上傳的datanode節(jié)點(diǎn)5.建立傳輸通道writepacket(64K)write
packet應(yīng)答應(yīng)答ack
packetack
packetwrite
packetPipelineDataQueueAckQueueBuffer緩存流式寫(xiě)入關(guān)閉pipeline為了防止丟包,ackqueue里的packet會(huì)同步到dataqueue里
把產(chǎn)生錯(cuò)誤的datanode上當(dāng)前在寫(xiě)但未完畢的block刪掉(或者重啟自檢刪除)block剩下的部分被寫(xiě)到剩下的兩個(gè)正常的datanode中client寫(xiě)數(shù)據(jù)完畢后調(diào)用close方法關(guān)閉寫(xiě)入流(dfs.replication.min=1)namenode找到新的datanode通過(guò)異步方式去創(chuàng)建這個(gè)塊的復(fù)制,這些操作對(duì)client來(lái)說(shuō)是無(wú)感知的。異常處理假設(shè)在寫(xiě)的過(guò)程中某個(gè)datanode突然通訊中斷或者斷電?寫(xiě)文件方法(一)HDFS
APIHDFS
Client
Cmd寫(xiě)文件方法(二)HDFS
APIHDFS
Client
Cmd寫(xiě)文件方法(三)/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html#putHDFS
APIHDFS
Client
Cmd1.文件寫(xiě)入流程
--Pipeline、DataQueue、AckQueue
2.異常處理
--斷電處理、補(bǔ)齊缺少
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 棋牌室收銀合同模板
- 河南購(gòu)房合同模板
- 租賃店鋪轉(zhuǎn)讓定金合同模板
- 蔬菜配送供應(yīng)合同模板
- 水管勞務(wù)合同范本
- 2024包機(jī)運(yùn)輸合同的格式
- 2024商業(yè)合同承諾書(shū)范文
- 圖書(shū)館(室)管理制度
- 展覽設(shè)計(jì)策劃購(gòu)銷(xiāo)合同范本
- 實(shí)驗(yàn)室施工承包合同范本
- 第7課 書(shū)法的點(diǎn)畫(huà)之美 (課件)-2024-2025學(xué)年初中美術(shù)七年級(jí)上冊(cè) ?湘美版
- 村莊保潔服務(wù) 投標(biāo)方案(技術(shù)標(biāo))
- 建筑施工安全生產(chǎn)治本攻堅(jiān)三年行動(dòng)方案(2024-2026年)
- 2024年變電一次安裝工技能競(jìng)賽理論考試題庫(kù)500題(含答案)
- 【中職專(zhuān)用】中職高考數(shù)學(xué)一輪復(fù)習(xí)講練測(cè)(講+練+測(cè))3.1函數(shù)及其定義域、值域、解析式(原卷版+解析)
- 2024年中國(guó)石化云南石油分公司加能站后備站長(zhǎng)招聘150人【重點(diǎn)基礎(chǔ)提升】模擬試題(共500題)附帶答案詳解
- 人教版小學(xué)英語(yǔ)單詞表(完整版)
- 2024年保安員證考試題庫(kù)附完整答案(全優(yōu))
- 自家停車(chē)位申請(qǐng)按照充電樁四方協(xié)議書(shū)
- 棋牌室運(yùn)營(yíng)方案策劃書(shū)
- 《中華民族大團(tuán)結(jié)》(初中)-第7課-共同創(chuàng)造科學(xué)成就-教案
評(píng)論
0/150
提交評(píng)論