存儲訪問層課件

1、存儲訪問層朱妤晴，衣國壘，楊義繁，李旭嘉模塊關(guān)系圖集中開發(fā)任務(wù)目標存儲訪問層任務(wù)目標改善底層數(shù)據(jù)丟失、不一致的問題提高可用性系統(tǒng)不宕機抽象出簡單統(tǒng)一的存儲訪問接口，提高易用性實現(xiàn)以下存儲性能目標局域網(wǎng)內(nèi)，普通單節(jié)點數(shù)據(jù)傳輸吞吐量5MB/s給定單用戶50kB/s的數(shù)據(jù)吞吐量，局域網(wǎng)內(nèi)普通單節(jié)點可承受并發(fā)用戶100個系統(tǒng)承載100TB以上數(shù)據(jù)主要工作提供抽象的存儲訪問系統(tǒng)以流的形式上傳和下載文件上傳和下載本機文件、文件夾將KV store的煩瑣調(diào)用接口簡化額外提供跨CF刪除整行的功能提供了存儲層的統(tǒng)一配置文件將MapReduce遷移到抽象存儲訪問系統(tǒng)基于抽象存儲訪問系統(tǒng) 抽象出統(tǒng)一的MapRedu

2、ce接口解決了MapReduce在抽象存儲系統(tǒng)上引發(fā)的數(shù)據(jù)遷移問題目前系統(tǒng)只有Master節(jié)點依賴于HDFS抽象存儲層接口StorageInterface提供6種存儲對象的統(tǒng)一增刪改查接口以流的形式上傳和下載對象上傳和下載本地文件、文件夾集中開發(fā)任務(wù)進度安排1、細化訪問接口；2、設(shè)計數(shù)據(jù)模型；3、配置開發(fā)環(huán)境；4、熟悉數(shù)據(jù)存儲接口；5、完成數(shù)據(jù)訪問ID設(shè)計1、實現(xiàn)建表、建CF功能；2、確定文件系統(tǒng)結(jié)構(gòu)；3、實現(xiàn)簡單文件的上傳、下載；4、接口討論與區(qū)分界定5、搭建MapReduce及Cassandra的合作環(huán)境1、UploadStream的格式確定和設(shè)計；2、DownloadStream的格式確

3、定和設(shè)計；3、完成put、get函數(shù)；1、根據(jù)其他模塊要求抽象出MapReduce所需Format；2、以流的形式封裝文件傳輸，實現(xiàn)文件夾的上傳、下載1、流緩存難題的解決；2、實現(xiàn)基于Cassandra的MapReduce基本功能；3、進行單機單元測試在Cassandra集群上進行調(diào)試、測試與系統(tǒng)其他模塊聯(lián)合調(diào)試，測試、修改訪問接口。1、細化訪問接口；2、設(shè)計數(shù)據(jù)模型；3、配置開發(fā)環(huán)境；4、熟悉數(shù)據(jù)存儲接口；5、完成數(shù)據(jù)訪問ID設(shè)計1、實現(xiàn)建表、建CF功能；2、確定文件系統(tǒng)結(jié)構(gòu)；3、實現(xiàn)簡單文件的上傳、下載；4、接口討論與區(qū)分界定5、搭建MapReduce及Cassandra的合作環(huán)境1、根據(jù)

4、上層調(diào)用模塊的需求，確定了UploadStream、DownloadStream 的設(shè)計，給出了相應(yīng)的接口定義和文檔，已經(jīng)分發(fā)給組內(nèi)同學。2、完成了表格定義，修改及數(shù)據(jù)訪問功能（除流方式以外）。3、完成了虛擬文件系統(tǒng)設(shè)計，功能已經(jīng)具備（還需要接口封裝，以及重要的性能調(diào)優(yōu)）。4、根據(jù)上層調(diào)用模塊的反饋需求，修改了資源訪問ID協(xié)議的定義。5、搭建了小組內(nèi)的協(xié)同開發(fā)環(huán)境，SVN。1）撰寫了部分存儲訪問接口說明文檔；2）調(diào)研了基于列內(nèi)容的查詢方案，確定短期內(nèi)不支持基于列內(nèi)容的查詢；3）根據(jù)特征提取的需求定義了MapReduce需要的Format；4）部分實現(xiàn)這些format；5）完成了文件上傳下載的4個接口實現(xiàn)，部分完成3個接口實現(xiàn)，尚有2個接口待實現(xiàn)1）完成了MapReduce基于Cassandra的封裝工作，已經(jīng)進入測試環(huán)節(jié)；2）完成了上傳流的封裝，下載流完成了部分；3）已完成數(shù)據(jù)訪問接口3個方法的單元測試1）完成所有接口的編碼；2）完成所有文件上傳下載接口的單