基于云存儲的教育資源中心設(shè)計(jì)

1、基于云存儲的教育資源中心設(shè)計(jì)班級： 姓名：黎佳雨 學(xué)號：隨著數(shù)據(jù)的暴增，傳統(tǒng)的存儲方式已經(jīng)不再滿足海量數(shù)據(jù)的存儲需求，云存儲技術(shù)的飛速發(fā)展，使得云存儲成為了一種新型的數(shù)據(jù)存儲解決方案。隨著我國教育資源飛速增長，大量數(shù)據(jù)的存儲已成為一個(gè)新的研究內(nèi)容。傳統(tǒng)存儲架構(gòu)存在資源利用率低、信息和資源無法有效共享等問題。本文在分析Hadoop分布式文件系統(tǒng)HDFS的基礎(chǔ)上提出將云存儲應(yīng)用到教學(xué)資源，實(shí)現(xiàn)教學(xué)資源共享。將提高學(xué)院現(xiàn)有的教學(xué)資源的利用率，避免相同資源的重復(fù)建設(shè)，滿足大量數(shù)據(jù)存儲和管理，從而降低教學(xué)資源建設(shè)和維護(hù)的成本。云存儲是解決海量數(shù)據(jù)存儲的最有效的手段。教育單位正在推廣模塊化，項(xiàng)目化教學(xué)改革

2、。采用基于工作過程的項(xiàng)目化課程體系，“教學(xué)做”一體，必需大量課件、視頻、模擬仿真軟件，強(qiáng)調(diào)通過在線考試，在線仿真實(shí)訓(xùn)操作，示范院校和骨干院校建設(shè)也需要上傳大量的教學(xué)資源。目前，主流的教學(xué)資源平臺是基于B/S模型的Web站點(diǎn)，這種模式存在的問題大致：（1）存儲容量不夠大：雖然現(xiàn)在硬盤的容量越來越大，價(jià)格也越來越低，但是還是不能滿足發(fā)展的需求。（2）數(shù)據(jù)安全性差：重要數(shù)據(jù)缺乏可靠的備份和恢復(fù)措施。（3）數(shù)據(jù)管理不規(guī)范：因?yàn)闆]有建立有效的管理制度；有時(shí)如果數(shù)據(jù)更新的方法不恰當(dāng)，就會(huì)造成數(shù)據(jù)的重復(fù)存放；需要大批量數(shù)據(jù)變化時(shí)，查找數(shù)據(jù)資源時(shí)就變得特別麻煩。（4）教學(xué)數(shù)據(jù)資源利用率整體不高：大量的數(shù)據(jù)是存

3、在于各任課教師的電腦里，這樣讓許多有用的資源沒有得到充分的利用，不能達(dá)到真正意義上的資源共享。云存儲的出現(xiàn)能夠解決這些問題。將云存儲整合到高職教學(xué)資源中，將為學(xué)校節(jié)省大筆投資費(fèi)用；把高職教學(xué)資源放在云中，還便于高職教學(xué)資源的共享，從而提高精品課程、示范特色專業(yè)等優(yōu)秀職教成果的輻射作用。目前，尚未見高職院校應(yīng)用云存儲技術(shù)開發(fā)自己的教學(xué)資源存儲與服務(wù)的云存儲產(chǎn)品之類的相關(guān)報(bào)道?；诖四康?，本文提出將云存儲應(yīng)用到教學(xué)資源管理平臺設(shè)計(jì)中。 云存儲系統(tǒng)的結(jié)構(gòu)模型由4層組成。存儲層，存儲層是云存儲最基礎(chǔ)的部分。存儲設(shè)備可以是FC光纖通道存儲設(shè)備，可以是NAS和iSCSI等IP存儲設(shè)備，也可以是SCSI或S

4、AS等DAS存儲設(shè)備。云存儲中的存儲設(shè)備往往數(shù)量龐大且分布多不同地域，彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者 FC光纖通道網(wǎng)絡(luò)連接在一起。存儲設(shè)備之上是一個(gè)統(tǒng)一存儲設(shè)備管理系統(tǒng)，可以實(shí)現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)。基礎(chǔ)管理層，基礎(chǔ)管理層是云存儲最核心的部分，也是云存儲中最難以實(shí)現(xiàn)的部分?；A(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲中多個(gè)存儲設(shè)備之間的協(xié)同工作，使多個(gè)的存儲設(shè)備可以對外提供同一種服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能。應(yīng)用接口層，應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運(yùn)營單位可以根據(jù)實(shí)際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服

5、務(wù)接口，提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺、IPTV和視頻點(diǎn)播應(yīng)用平臺、網(wǎng)絡(luò)硬盤引用平臺，遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺等。訪問層，任何一個(gè)授權(quán)用戶都可以通過標(biāo)準(zhǔn)的公用應(yīng)用接口來登錄云存儲系統(tǒng)，享受云存儲服務(wù)。云存儲運(yùn)營單位不同，云存儲提供的訪問類型和訪問手段也不同。云存儲就是通過集群應(yīng)用、網(wǎng)格技術(shù)等功能，將網(wǎng)格中大量不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來工作，并且共同對外提供數(shù)據(jù)存儲和訪問的系統(tǒng)?；诟咝＝逃奶攸c(diǎn)，高校教育資源云存儲平臺就是一個(gè)數(shù)據(jù)存儲和管理的云存儲系統(tǒng)，其主要是將各種數(shù)據(jù)拆分為較小的數(shù)據(jù)塊，然后交由計(jì)算機(jī)集群系統(tǒng)進(jìn)行分布式儲存?？梢哉f云存儲是高校教育平臺整合的關(guān)鍵，因?yàn)樵拼鎯?/p>

6、教育平臺能夠?qū)⒏鞣N文件復(fù)制在不同的服務(wù)器內(nèi)，避免因?yàn)槟硞€(gè)服務(wù)器硬件出現(xiàn)損壞等而導(dǎo)致相關(guān)文件的丟失；云存儲擴(kuò)容非常的簡單，而且云存儲會(huì)將不同的工作合理分配到不同的存儲服務(wù)器內(nèi)，避免資源的不合理分配。一、數(shù)據(jù)存儲平臺相關(guān)技術(shù) 云計(jì)算是一種通過Internet以服務(wù)的方式提供動(dòng)態(tài)可伸縮的虛擬化資源的計(jì)算模式。它是一種全新的商業(yè)模式。美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）定義：云計(jì)算是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問，進(jìn)入可配置的計(jì)算資源共享池，這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互?！霸朴?jì)算”概念被大量運(yùn)用到生產(chǎn)環(huán)境中，國內(nèi)的“阿

7、里云”與云谷公司的XenSystem。以及在國外已經(jīng)非常成熟的Intel和IBM，各種“云計(jì)算”的應(yīng)服務(wù)范圍正日漸擴(kuò)大，影響力也無可估量。 Hadoop平臺云計(jì)算是一種商業(yè)計(jì)算模式，其來源于分布式計(jì)算，并行計(jì)算和網(wǎng)格計(jì)算。本存儲平臺的設(shè)計(jì)主要使用了Hadoop分布式技術(shù)。Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)。Hadoop實(shí)現(xiàn)了Google的GFS和MapReduce算法，提供了簡單易用的編程接口。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。該技術(shù)為高職教學(xué)資源平臺提供了相關(guān)數(shù)據(jù)存儲和處理的模型。Hadoop作為云計(jì)算的核心技術(shù)，目前在工業(yè)界得到了廣泛的應(yīng)用

8、。Hadoop是Apache 開源組織按照MapReduce的工作原理設(shè)計(jì)的一種開源的分布式處理框架，也是云計(jì)算環(huán)境下最著名的開源軟件。在Hadoop系統(tǒng)中，應(yīng)用程序可以并行運(yùn)行在由大規(guī)模廉價(jià)硬件構(gòu)成的分布式系統(tǒng)中。Hadoop在內(nèi)部實(shí)現(xiàn)了容錯(cuò)和擴(kuò)展機(jī)制，可以構(gòu)建成高可靠性和高擴(kuò)展性的分布式系統(tǒng)。Hadoop主要有三部分組成：HDFS ( Hadoop Distributed File System)、MapReduce分布式計(jì)算模型和Hbase( Hadoop Database)。HDFS與谷歌的GFS相對應(yīng)，布署在廉價(jià)的硬件設(shè)備上，是Hadoop的最底層。它具有可伸縮性和高容錯(cuò)性、對硬件配

9、置要求不是很高等特點(diǎn)，它提供高傳輸率（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。除此以外它具有以下特點(diǎn)：擴(kuò)容能力、成本低、高效率、可靠性。這些特點(diǎn)使云存儲和高職教學(xué)資源整合更容易實(shí)現(xiàn)。 HDFS可以存儲TB級(甚至PB級)的海量數(shù)據(jù)，并為應(yīng)用程序提供高吞吐率的數(shù)據(jù)訪問。HDFS的數(shù)據(jù)訪問是順序的，適用于數(shù)據(jù)密集型的應(yīng)用。MapReduce是一種海量數(shù)據(jù)處理的分布式計(jì)算模型。在集群中運(yùn)行分布式應(yīng)用程序時(shí)，MapReduce編程模型簡單易用。Hadoop提供的MapReduce編程模型是谷歌MapReduce的開源實(shí)現(xiàn)。

10、在MapReduce編程模型中，開發(fā)者只需要編寫MapReduce函數(shù)，而任務(wù)調(diào)度、容錯(cuò)等機(jī)制由底層實(shí)現(xiàn)。因此，即使開發(fā)者沒有分布式系統(tǒng)的經(jīng)驗(yàn)也能編寫高效的分布式應(yīng)用程序。Hbase是Big Table的開源實(shí)現(xiàn)。Hbase構(gòu)建在HDFS之上，提供分布式數(shù)據(jù)庫服務(wù)。Hbas提供一種按列存儲的模型，用戶可以實(shí)時(shí)讀寫，也可以在大規(guī)模數(shù)據(jù)集上進(jìn)行隨機(jī)訪問。二、教學(xué)資源大量數(shù)據(jù)存儲平臺的總體設(shè)計(jì) 高校教育資源平臺總共包括：基礎(chǔ)層、應(yīng)用層、系統(tǒng)層、平臺層以及接入層?；A(chǔ)層處于云儲存平臺的最底層，主要是提供硬件技術(shù)支持的，其主要通過集群技術(shù)、網(wǎng)格技術(shù)、數(shù)據(jù)加密技術(shù)等實(shí)現(xiàn)云儲存設(shè)備的協(xié)調(diào)作業(yè)，并且提供統(tǒng)一的

11、存儲服務(wù)與訪問；資源層是云存儲教育平臺實(shí)現(xiàn)共享的重要組成部分，它主要是將各種數(shù)據(jù)資源等進(jìn)行整合，實(shí)現(xiàn)集中存儲管理，云計(jì)算數(shù)據(jù)中心主要是使用網(wǎng)絡(luò)服務(wù)和存儲服務(wù)，而不需要專門的服務(wù)器為終端提供服務(wù)；系統(tǒng)層，主要是針對云儲存平臺的應(yīng)用而言，其主要包括用戶管理模塊、任務(wù)管理模塊、安全管理模塊以及資源管理模塊等；應(yīng)用層也是云存儲教育平臺資源利用的主要形式，根據(jù)教育資源使用需求的要求，開發(fā)各種應(yīng)用服務(wù)接口；接入層，就是用戶以及管理員進(jìn)入云存儲平臺頁面的接口，其應(yīng)用人群主要是師生與社會(huì)人員。 平臺層（Hadoop平臺）：Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，Hadoop平臺是開源的云計(jì)算平臺，它主要由：HD

12、FS、MapReduce和Hbase組成。本平臺我們主要使用HDFS。教學(xué)資源平臺的主要功能模塊：教學(xué)資源系統(tǒng)提供了一個(gè)能存儲大量數(shù)據(jù)的教學(xué)資源管理平臺。主要功能模塊包括：系統(tǒng)管理員模塊、用戶管理模塊、系統(tǒng)平臺管理模塊和教學(xué)資源管理模塊。平臺的功能模塊設(shè)計(jì)： 系統(tǒng)管理員模塊：具有普通用戶的所有功能和權(quán)限管理、日志管理、用戶管理。 用戶管理模塊：文件上傳、下載、用戶登陸和文件刪除。 系統(tǒng)平臺管理模塊：服務(wù)器管理、故障管理、幫助手冊功能。 教學(xué)資源管理模塊：在線考試、課程教案、教學(xué)視頻、實(shí)訓(xùn)指導(dǎo)（仿真實(shí)訓(xùn)）、專業(yè)建設(shè)、骨干院校建設(shè)、精品課程建設(shè)等教學(xué)資源的存儲。 功能子模塊的實(shí)現(xiàn)基礎(chǔ)云存儲平臺系統(tǒng)

13、完成后就需要對各個(gè)功能子模塊進(jìn)行研究，這一部分也是云存儲平臺的核心，首先數(shù)字教育資源制作子系統(tǒng)的實(shí)現(xiàn)。此系統(tǒng)是給用戶提供各種學(xué)習(xí)資源的平臺，其主要包括：課件資源制作和云平臺資源注冊提交；其次數(shù)字教育資源管理和共享子系統(tǒng)的實(shí)現(xiàn)。此部分主要是對云存儲平臺進(jìn)行資源的檢索、刪除、編輯等。數(shù)字資源管理包括：超級管理員、審核員以及一般用戶；最后數(shù)字教育資源發(fā)布和服務(wù)子系統(tǒng)的實(shí)現(xiàn)。由于云存儲平臺的終端類型比較多，如何快速地傳輸云存儲信息就需要構(gòu)建成熟的數(shù)據(jù)傳輸優(yōu)化技術(shù)方案，目前比較成熟的技術(shù)方案是基于CDN 技術(shù)的數(shù)字內(nèi)容傳輸機(jī)制。該技術(shù)可以隨時(shí)監(jiān)測網(wǎng)絡(luò)流量，將教育資源發(fā)布到最接近用戶的網(wǎng)絡(luò)邊緣，有效地解決

14、了網(wǎng)絡(luò)擁堵的問題，提高了云存儲教育平臺的使用效率。系統(tǒng)平臺的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，海量的教學(xué)資源數(shù)據(jù)平臺的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)主要包括前端的用戶操作區(qū)和后端的數(shù)據(jù)共享服務(wù)區(qū)。其中數(shù)據(jù)共享服務(wù)區(qū)包括Hadoop 集群網(wǎng)絡(luò)的各類服務(wù)器。這些服務(wù)器可以分布在不同的區(qū)域。隨著數(shù)據(jù)量的增大和應(yīng)用需求的變化，平臺可以靈活地進(jìn)行擴(kuò)展，而這些操作對于用戶來說是透明的。平臺設(shè)計(jì)的總體原則，校園的教學(xué)資源有著數(shù)據(jù)量大、增長速度快的特點(diǎn)，以往的硬件平臺已經(jīng)無法滿足要求，本文設(shè)計(jì)的存儲平臺利用云存儲技術(shù)，能夠滿足海量數(shù)據(jù)資源的增長需求，并且隨著教學(xué)資源數(shù)據(jù)量的不斷增長，存儲設(shè)備也可以不斷地進(jìn)行擴(kuò)展，由此本文設(shè)計(jì)的存儲平臺需滿足以下原

15、則：(1) 高擴(kuò)展性。系統(tǒng)設(shè)備應(yīng)能夠根據(jù)實(shí)際需要進(jìn)行動(dòng)態(tài)的擴(kuò)展或伸縮，靈活地增加或者減少存儲節(jié)點(diǎn)，實(shí)現(xiàn)按需存儲的目的。(2) 高可靠性。存儲平臺具備高容錯(cuò)性和安全性。當(dāng)系統(tǒng)平臺的其中一個(gè)節(jié)點(diǎn)失效時(shí)，控制節(jié)點(diǎn)能夠自動(dòng)進(jìn)行合理調(diào)度，把工作負(fù)載交給其他空閑節(jié)點(diǎn)，從而不間斷服務(wù)。(3) 低成本性。平臺對設(shè)備資源的硬件要求不高，可以利用大量廉價(jià)的設(shè)備實(shí)現(xiàn)系統(tǒng)的高性能。(4) 備份、高遷移性。系統(tǒng)具有同步鏡像數(shù)據(jù)副本的安全策略，系統(tǒng)會(huì)根據(jù)需求進(jìn)行有計(jì)劃的數(shù)據(jù)備份，一旦出現(xiàn)故障，系統(tǒng)自動(dòng)將把數(shù)據(jù)遷移到其它節(jié)點(diǎn)，以保證系統(tǒng)的正常運(yùn)行。(5) 高資源共享率。本系統(tǒng)平臺的設(shè)計(jì)，以教學(xué)資源共享為前提，實(shí)現(xiàn)數(shù)據(jù)最大程

16、度上的共享，達(dá)到公共信息資源的公平獲取。3、 海量數(shù)據(jù)存儲策略文件系統(tǒng)的設(shè)計(jì)節(jié)點(diǎn)主要分為兩部分: 一種是數(shù)據(jù)節(jié)點(diǎn)，另外一種是非數(shù)據(jù)結(jié)點(diǎn)，其中系統(tǒng)中的主要成分都是數(shù)據(jù)節(jié)點(diǎn)，非數(shù)據(jù)節(jié)點(diǎn)主要指管理節(jié)點(diǎn)和監(jiān)控節(jié)點(diǎn)統(tǒng)一由Master節(jié)點(diǎn)表示，如右圖所示。Client節(jié)點(diǎn)。這個(gè)節(jié)點(diǎn)主要是指需要獲取海量分布式文件系統(tǒng)數(shù)據(jù)文件的應(yīng)用程序(訪問用戶)，可以是Web應(yīng)用業(yè)務(wù)服務(wù)器，也可以是其他通過當(dāng)前海量數(shù)據(jù)存儲系統(tǒng)的訪問接口進(jìn)行訪問的其他主機(jī)和服務(wù)器。DataNode節(jié)點(diǎn)。作為系統(tǒng)的主要構(gòu)成部分，DataNode節(jié)點(diǎn)負(fù)責(zé)了系統(tǒng)正常運(yùn)行的大部分任務(wù)，其中包括: 數(shù)據(jù)存儲、提供查詢和事務(wù)處理，并且在必要時(shí)根據(jù)系統(tǒng)的

17、需求提供計(jì)算能力。其中所有Node節(jié)點(diǎn)之間的關(guān)系也不完全是相同的，可以根據(jù)地域劃分鄰居節(jié)點(diǎn)和非鄰居節(jié)點(diǎn)，一般使得同一地域內(nèi)的節(jié)點(diǎn)都是鄰居節(jié)點(diǎn)，基于這種設(shè)計(jì)主要考慮到系統(tǒng)規(guī)模可能會(huì)隨著分布式數(shù)據(jù)應(yīng)用不斷增大，如果只有一層關(guān)系管理節(jié)點(diǎn)，將會(huì)變得很困難，并且在實(shí)際使用中，同一地域的節(jié)點(diǎn)之間的通信單價(jià)和質(zhì)量都是比較好的，所以讓系統(tǒng)的管理分為3層，一個(gè)Master以每個(gè)組的關(guān)系看待節(jié)點(diǎn)，而節(jié)點(diǎn)自己能夠區(qū)分是鄰居節(jié)點(diǎn)(同一組)還是遠(yuǎn)程節(jié)點(diǎn)(不同組的)。Master節(jié)點(diǎn)。Master主要負(fù)責(zé)系統(tǒng)的整體狀態(tài)的監(jiān)控其中包括: 整個(gè)系統(tǒng)的節(jié)點(diǎn)狀態(tài)、提供局部數(shù)據(jù)節(jié)點(diǎn)的查詢、保持文件塊的地址信息等。這里需要注意的是，

18、根據(jù)系統(tǒng)負(fù)載能力的需求Master節(jié)點(diǎn)本身不一定是單個(gè)PC機(jī)器，也可能有幾臺機(jī)器組成一個(gè)集群共同提供服務(wù)，這樣才能保證系統(tǒng)不會(huì)因?yàn)楣芾砉?jié)點(diǎn)的瓶頸而受到限制。文件塊存儲策略及副本策略設(shè)計(jì)在文件塊存儲設(shè)計(jì)時(shí)，規(guī)定每個(gè)文件塊都用一個(gè)主副本，即每次每個(gè)事務(wù)處理本文件塊的所有副本的更新都由主副本控制。每個(gè)文件塊除了本身包含的信息之外必須有以下控制信息塊。主副本所在節(jié)點(diǎn)編號。每個(gè)節(jié)點(diǎn)在加入系統(tǒng)時(shí)都從Master那里得到自己的唯一編號并且和自己的地址組成一個(gè)節(jié)點(diǎn)編號。副本個(gè)數(shù)。副本個(gè)數(shù)包括主副本和其他副本，如果為1說明沒有其他副本，如果為0說明此文件塊不存在。副本所在節(jié)點(diǎn)編號列表。保存所有節(jié)點(diǎn)編號，在必要的時(shí)候可以根據(jù)這里的節(jié)點(diǎn)編號找到保存了副本的節(jié)點(diǎn)的地址和系統(tǒng)編號以進(jìn)行訪問。在Master里面有一個(gè)根據(jù)系統(tǒng)的客戶信息生成的一個(gè)客戶編號的快照，并且有此快照構(gòu)成系統(tǒng)文件塊保存的地址信息的索引，在進(jìn)行全局查詢的時(shí)候，Master就是根據(jù)這個(gè)快照表的信息進(jìn)行客戶信息定位的。然后根據(jù)算法把相應(yīng)的文件塊的地址返回到應(yīng)用服務(wù)器，讓它自行直接去訪問相應(yīng)