教育資源服務(wù)下海量云存儲(chǔ)優(yōu)化機(jī)制的研究

1、教育資源服務(wù)下海量云存儲(chǔ)優(yōu)化機(jī)制的研摘要：目前教育資源的數(shù)據(jù)量以爆發(fā)式增長(zhǎng)，導(dǎo)致教育 資源服務(wù)面臨著海量數(shù)據(jù)管理困難、數(shù)據(jù)存儲(chǔ)成本高、響應(yīng) 速度慢等難題。本文嘗試從教育資源數(shù)據(jù)訪問(wèn)特性的角度出 發(fā)，采用基于模糊c均值的聚類(lèi)算法，建構(gòu)相應(yīng)的教育云存 儲(chǔ)的副本管理策略，以此來(lái)優(yōu)化云存儲(chǔ)的存儲(chǔ)機(jī)制，從而提 高教育資源的服務(wù)效率與質(zhì)量。關(guān)鍵詞：教育云存儲(chǔ)；聚類(lèi)分析；副本管理策中圖分類(lèi)號(hào)：tp315文獻(xiàn)標(biāo)志碼：a文章編號(hào):1673-8454 (2014) 13-0034-03一、引言提供快速、高效的教育資源服務(wù)一直是教育公共服務(wù)平 臺(tái)追求的目標(biāo)。早在2010年7月，教育部發(fā)布的國(guó)家中 長(zhǎng)期教育改革和發(fā)展

2、規(guī)劃綱要（2010-2020年）（公開(kāi)征求 意見(jiàn)稿）中就明確提出，"要建立開(kāi)放靈活的教育資源公共 服務(wù)平臺(tái)，促進(jìn)優(yōu)質(zhì)教育資源普及共享”。而在當(dāng)今21世 紀(jì)的信息時(shí)代，信息技術(shù)得到了飛速發(fā)展，如何應(yīng)用信息技 術(shù)提高教育資源服務(wù)的效率與質(zhì)量，進(jìn)而加快我國(guó)教育信息 化進(jìn)程是我國(guó)教育發(fā)展規(guī)劃中的一個(gè)重要命題。隨著教育信息化進(jìn)程的不斷深入，教學(xué)模式、教學(xué)內(nèi)容、 教學(xué)方法也以多樣化的形式發(fā)展，但隨之而來(lái)教育資源的數(shù) 據(jù)量也會(huì)以幾何級(jí)數(shù)增長(zhǎng)，導(dǎo)致教育資源服務(wù)面臨著海量數(shù) 據(jù)管理困難、數(shù)據(jù)存儲(chǔ)成本高、響應(yīng)速度慢等難題。而隨著 云計(jì)算的出現(xiàn)，其提供的云存儲(chǔ)是一個(gè)易于擴(kuò)展的、虛擬化 的存儲(chǔ)資源池，可以向

3、用戶提供海量的信息存儲(chǔ)，使國(guó)內(nèi)外 有關(guān)教育存儲(chǔ)的學(xué)者將研究的視角轉(zhuǎn)移到云存儲(chǔ)領(lǐng)域當(dāng)中。 但他們更多關(guān)注的是如何把云計(jì)算技術(shù)移植到教育領(lǐng)域中，忽略了教育資源本身具有的特性，如強(qiáng)交互性、多態(tài)性、個(gè) 性化等特點(diǎn)，而現(xiàn)有云計(jì)算提供通用的存儲(chǔ)機(jī)制難以滿足這 些教育特殊性的需求。因此，如何結(jié)合教育資源自身的特點(diǎn) 對(duì)云存儲(chǔ)的存儲(chǔ)機(jī)制進(jìn)行優(yōu)化則成為現(xiàn)代教育資源服務(wù)技 術(shù)迫切需要解決的重點(diǎn)問(wèn)題之一。本文嘗試從教育資源數(shù)據(jù) 訪問(wèn)特性的角度出發(fā)，采用基于模糊c均值的聚類(lèi)算法，建 構(gòu)相應(yīng)的教育云存儲(chǔ)的副本管理策略，以此來(lái)優(yōu)化云存儲(chǔ)的 存儲(chǔ)機(jī)制，從而提高教育資源的服務(wù)效率與質(zhì)量。二、相關(guān)研究1.云環(huán)境下的副本管理策略研

4、究海量數(shù)據(jù)的存儲(chǔ)與管理不僅給資源管理與調(diào)度帶來(lái)了 挑戰(zhàn)，對(duì)副本管理也提出了新的要求，良好的副本管理策略 不僅可以有效地提高海量數(shù)據(jù)處理平臺(tái)的性能，也能有效地 保障數(shù)據(jù)的可靠性，提高數(shù)據(jù)可用性和可擴(kuò)展性。為了提升 云存儲(chǔ)系統(tǒng)的效率與性能，許多學(xué)者都在關(guān)注副本機(jī)制的研 究。yijie wang等1對(duì)分布式系統(tǒng)中的數(shù)據(jù)副本技術(shù)提出 了間接副本算法，可以減少副本重復(fù)存儲(chǔ)和存儲(chǔ)開(kāi)銷(xiāo)，使存 儲(chǔ)系統(tǒng)的持久性和安全性提髙。mohamed y.eltabkh2等針 對(duì)hadoop缺少對(duì)同一組節(jié)點(diǎn)協(xié)同定位相關(guān)數(shù)據(jù)的能力，提 出了 cohadoop的數(shù)據(jù)放置策略。魏青松3等提出了 一種旨 在用最小的代價(jià)獲得最高的效

5、益，同時(shí)提高云存儲(chǔ)性能和負(fù) 載平衡的cdrm模型。許信等4提出了 一種面向可靠性副本 管理策略，該策略將副本放置的過(guò)程分為副本初次放置與自 適應(yīng)放置，在初次放置時(shí)主要考慮節(jié)點(diǎn)的存儲(chǔ)剩余空間、當(dāng) 前qos負(fù)載load、失效次數(shù)、歷史訪問(wèn)次數(shù)等參數(shù)，從而得 到副本放置傾向度，然后選擇傾向度最高的節(jié)點(diǎn)進(jìn)行放置。熊潤(rùn)群等5提出了基于qos偏好感知的副本選擇策略，該 策略使用了層次分析法建立了副本選擇的三維qos模型，并 使用模糊綜合法對(duì)節(jié)點(diǎn)進(jìn)行綜合評(píng)價(jià)，最終得到具有最高qos滿意度的副本節(jié)點(diǎn)，來(lái)為各類(lèi)個(gè)體服務(wù)質(zhì)量敏感的用戶 提供合理的副本策略?？梢钥闯觯S多學(xué)者提出的云存儲(chǔ)優(yōu) 化機(jī)制，通常都使用了副本

6、技術(shù)。副本技術(shù)是云存儲(chǔ)系統(tǒng)的 關(guān)鍵技術(shù)之一，通過(guò)研究對(duì)數(shù)據(jù)副本進(jìn)行合理的管理，可以 改進(jìn)客戶訪問(wèn)數(shù)據(jù)的性能，加快各種服務(wù)的反應(yīng)時(shí)間，同時(shí) 還可以平衡系統(tǒng)的負(fù)載。但以上提出的存儲(chǔ)優(yōu)化方案缺少領(lǐng) 域的針對(duì)性，目前結(jié)合教育資源特性來(lái)優(yōu)化云存儲(chǔ)的研究還 比較少，也缺乏相關(guān)的實(shí)踐驗(yàn)證。2 數(shù)據(jù)訪問(wèn)模式的研究隨著資源越來(lái)越數(shù)字化與網(wǎng)絡(luò)化，使資源的數(shù)據(jù)訪問(wèn)模式得到越來(lái)越多的關(guān)注，許多研究開(kāi)始關(guān)注資源數(shù)據(jù)訪問(wèn)特性來(lái)提高資源服務(wù)質(zhì)量，包括資源的重用性、相似性、聚集性、生存性等特性。francisco等6對(duì)校的移動(dòng)無(wú)線用戶聚集現(xiàn)象進(jìn)行了統(tǒng)計(jì)，經(jīng)過(guò)分析發(fā)現(xiàn)對(duì)于無(wú)線接入來(lái)說(shuō)13% 的網(wǎng)站占據(jù)了 70%的訪問(wèn)量，而且當(dāng)

7、地理位置比較接近的用 戶更有可能查詢(xún)相同數(shù)據(jù)，對(duì)于出現(xiàn)這種現(xiàn)象的環(huán)境具有查 詢(xún)和信息的空間聚集性。huang lan等7基于hadoop框架 從web日志數(shù)據(jù)中提取用戶信息，進(jìn)而分析用戶的訪問(wèn)行為， 這是云存儲(chǔ)中考慮用戶訪問(wèn)模式的一個(gè)重要研究。吳俊杰8 等對(duì)數(shù)據(jù)訪問(wèn)的重用性、相似性與親和性這三種特性進(jìn)行分 析與優(yōu)化，并基于這三種特性提出一種層次存儲(chǔ)的訪問(wèn)分析 與優(yōu)化方法，這是考慮解決存儲(chǔ)墻問(wèn)題的一個(gè)重要研究。李 夢(mèng)源9等從用戶體驗(yàn)質(zhì)量的角度，分析云環(huán)境下用戶訪問(wèn) 服務(wù)的行為，利用其訪問(wèn)服務(wù)的偏好性，提出基于用戶行為 特征的服務(wù)選擇策略，在保證較高性能的同時(shí)也提高了云服 務(wù)的質(zhì)量。根據(jù)以上分析，

8、可以看出目前的數(shù)據(jù)訪問(wèn)模式很 少有結(jié)合云存儲(chǔ)技術(shù)進(jìn)行研究的，即使有，也并沒(méi)有明確地 提出一個(gè)提高云存儲(chǔ)效率的解決方案。綜上所述，國(guó)內(nèi)外對(duì)海量資源優(yōu)化、功能服務(wù)的研究重 點(diǎn)是滿足通用性需求，但目前滿足教育領(lǐng)域資源云服務(wù)需要的研究比較少見(jiàn)，而結(jié)合教育資源數(shù)據(jù)訪問(wèn)模式研究云存儲(chǔ) 優(yōu)化策略更是少見(jiàn)。為此，探究如何結(jié)合教育資源自身的特 點(diǎn)對(duì)云存儲(chǔ)的存儲(chǔ)機(jī)制進(jìn)行優(yōu)化則成為現(xiàn)代教育資源服務(wù) 技術(shù)關(guān)注的研究熱點(diǎn)之一?；诮逃Y源數(shù)據(jù)訪問(wèn)特性的云存儲(chǔ)優(yōu)化策略的設(shè)本文提出的基于教育資源數(shù)據(jù)訪問(wèn)特性的云存儲(chǔ)優(yōu)化 策略的設(shè)計(jì)主要有兩個(gè)步驟：第一個(gè)步驟是先要對(duì)教育資源 數(shù)據(jù)訪問(wèn)特性進(jìn)行優(yōu)化；第二個(gè)步驟是對(duì)教育資源副本管

9、理 策略進(jìn)行優(yōu)化。其中，對(duì)教育資源數(shù)據(jù)訪問(wèn)特性的優(yōu)化結(jié)果 是副本管理策略?xún)?yōu)化的基礎(chǔ)，其存儲(chǔ)優(yōu)化的框架如圖1所示。1.基于模糊聚類(lèi)算法的教育資源數(shù)據(jù)訪問(wèn)特性?xún)?yōu)化策略的設(shè)計(jì)教育資源的數(shù)據(jù)訪問(wèn)模式與一般的科學(xué)計(jì)算的數(shù)據(jù)訪 問(wèn)模式有所不同，它屬于多屬性的訪問(wèn)模式，因?yàn)槊總€(gè)教育 資源都有與之對(duì)應(yīng)的元數(shù)據(jù)記錄，該元數(shù)據(jù)在用戶創(chuàng)建文件 上傳時(shí)，就描述了對(duì)應(yīng)文件的屬性，而每個(gè)屬性都可以作為 數(shù)據(jù)訪問(wèn)的一個(gè)特性。通過(guò)分析教育數(shù)據(jù)訪問(wèn)特性，發(fā)現(xiàn)影 響數(shù)據(jù)訪問(wèn)較大的特性有：一是數(shù)據(jù)的訪問(wèn)量（聚集性）； 二是數(shù)據(jù)訪問(wèn)的生存周期（生存性）。為了體現(xiàn)教育用戶對(duì) 教育資源需求是多方面的，利用模糊聚類(lèi)技術(shù)對(duì)用戶的數(shù)據(jù) 訪問(wèn)進(jìn)

10、行聚類(lèi)，就可以很好地體現(xiàn)用戶需求多興趣大的特 點(diǎn)，在進(jìn)行聚類(lèi)分析的時(shí)候能夠得到更有效的聚類(lèi)結(jié)果。本 文通過(guò)采用基于模糊c均值的聚類(lèi)算法對(duì)這兩個(gè)訪問(wèn)特性進(jìn) 行分析與優(yōu)化設(shè)計(jì)，并依據(jù)該優(yōu)化策略結(jié)合副本管理策略來(lái) 對(duì)云存儲(chǔ)機(jī)制進(jìn)行優(yōu)化。其基于模糊c均值的聚類(lèi)算法對(duì)數(shù) 據(jù)訪問(wèn)特性?xún)?yōu)化算法的設(shè)計(jì)如下：(1) 根據(jù)相應(yīng)的教育資源標(biāo)準(zhǔn)分類(lèi)法對(duì)教育資源進(jìn)行 分類(lèi)，如本文采用中圖法對(duì)教育資源進(jìn)行分類(lèi)。(2) 分析和統(tǒng)計(jì)資源數(shù)據(jù)訪問(wèn)量和訪問(wèn)的生存周期， 結(jié)合教育資源的分類(lèi)，生成用戶數(shù)據(jù)訪問(wèn)向量表，如表1所 示。由此得到資源分類(lèi)的向量：ui= (wil, wi2,， wik, -win),其中，wik表示用戶ui對(duì)

11、某種資源第k類(lèi)的 需求強(qiáng)度，n表示某種資源的類(lèi)別總數(shù)，且nk=lwik=l,其 需求強(qiáng)度wik=wvxv+wtxt, wv代表第k類(lèi)資源的用戶數(shù)據(jù) 訪問(wèn)量的權(quán)重，v代表第k類(lèi)資源的用戶數(shù)據(jù)訪問(wèn)次數(shù)，wt 代表第k類(lèi)資源的用戶數(shù)據(jù)訪問(wèn)的生存周期的權(quán)重，t代表 第k類(lèi)資源的用戶數(shù)據(jù)訪問(wèn)生存周期。(3) 相似用戶的聚類(lèi)計(jì)算，使用模糊c均值算法(fcm) 對(duì)相似用戶進(jìn)行計(jì)算，輸入?yún)?shù)為：聚類(lèi)數(shù)目c和用戶數(shù)據(jù) 訪問(wèn)向量表。其輸出結(jié)果：用戶在各聚類(lèi)中的隸屬度和各聚 類(lèi)的聚類(lèi)中心，從而可以獲得各資源類(lèi)別的熱度文件。通過(guò)以上算法設(shè)計(jì)，就可以對(duì)數(shù)據(jù)訪問(wèn)特性進(jìn)行優(yōu)化， 從而為下面云存儲(chǔ)副本管理策略?xún)?yōu)化提供優(yōu)化條件

12、的依據(jù)。2.云存儲(chǔ)副本管理策略?xún)?yōu)化的設(shè)計(jì)根據(jù)上述數(shù)據(jù)訪問(wèn)特性?xún)?yōu)化獲得各資源類(lèi)別的熱度文件，結(jié)合引入副本池對(duì)云存儲(chǔ)副本管理策略進(jìn)行優(yōu)化。引入 副本池，可以有效地提高用戶的訪問(wèn)熱點(diǎn)文件的傳輸質(zhì)量。本文的副本管理策略設(shè)計(jì)主要是由副本創(chuàng)建策略和空間替 換策略組成。副本創(chuàng)建策略主要是為了保證副本池中存在用 戶訪問(wèn)的熱度文件副本，而空間替換策略主要是為了新到的 副本創(chuàng)建請(qǐng)求提供存儲(chǔ)空間。其算法設(shè)計(jì)流程如下：(1) 定義副本池的更新周期和副本池?zé)岫任募纳?周期。更新周期的賦值主要通過(guò)判斷新的熱度文件是否達(dá)到 一定量來(lái)衡量。(2) 判斷是否達(dá)到副本池的更新周期，若不達(dá)到，則跳至(5)；若達(dá)到，則根據(jù)前面數(shù)

13、據(jù)訪問(wèn)特性?xún)?yōu)化得到的用 戶向量值，將本次更新周期的副本池的各類(lèi)熱度文件與上一 次更新周期的各類(lèi)熱度文件做比較，選擇出新的熱度文件加 入副本池的文件，并將這些文件設(shè)為文件集n。(3) 判斷副本池中副本存儲(chǔ)空間文件集n的存儲(chǔ)空間 大小，設(shè)副本池的可用空間大小為se,文件集n所需的存儲(chǔ) 空間大小為sn。若沒(méi)有，則跳至(4),若有，循環(huán)文件集n 中的每一個(gè)熱度文件，獲取每一個(gè)請(qǐng)求創(chuàng)建副本的熱度文 件，選擇相應(yīng)的資源類(lèi)別的服務(wù)節(jié)點(diǎn)si,然后通過(guò)副本定位 服務(wù)，找到該文件的存儲(chǔ)位置，然后通過(guò)空間替換策略，在 副本池中創(chuàng)建該熱度文件副本。(4) 選擇一個(gè)最長(zhǎng)時(shí)間沒(méi)有副本更新的節(jié)點(diǎn)，采用lru 的方法刪除該節(jié)

14、點(diǎn)中舊的副本，并更新副本池中可用存儲(chǔ)空 間的大小se。如果se<sn,則繼續(xù)執(zhí)行步驟(4),否則返回 步驟(3)繼續(xù)執(zhí)行。(5) 判斷服務(wù)器資源的使用情況，對(duì)服務(wù)器處于低能 耗的時(shí)間內(nèi)，執(zhí)行該步驟：對(duì)已達(dá)到生命周期的熱度文件進(jìn) 行刪除，以釋放副本池的存儲(chǔ)空間，并返回副本池，可用存 儲(chǔ)空間大小為seo通過(guò)以上優(yōu)化設(shè)計(jì)，可有效云存儲(chǔ)的各類(lèi)資源節(jié)點(diǎn)得到 充分利用，優(yōu)化云存儲(chǔ)的服務(wù)調(diào)度。四、結(jié)束語(yǔ) 教育云存儲(chǔ)機(jī)制的優(yōu)化是教育公共資源高度共享和資源的有效利用的關(guān)鍵技術(shù)之一，它一直是教育信息化發(fā)展的 主要研究?jī)?nèi)容和研究方向。本文嘗試從教育資源數(shù)據(jù)訪問(wèn)特 性的角度出發(fā)，采用基于模糊c均值的聚類(lèi)算法，建

15、構(gòu)相應(yīng) 的教育云存儲(chǔ)的副本管理策略，以此來(lái)優(yōu)化云存儲(chǔ)的存儲(chǔ)機(jī) 制。實(shí)驗(yàn)表明該方法可以有效地控制數(shù)據(jù)存儲(chǔ)成本，同時(shí)也 提高了用戶訪問(wèn)的響應(yīng)速度，從而提高教育資源的服務(wù)效率 與質(zhì)量。參考文獻(xiàn):1 yijie wang, si jun li. research and performance evaluation of data replication technology in distributed storage systems in 2006 computers and mathematics with applications, pages 1625-1632, 20062 giusepp

16、e de candia, deniz hastorun，madan jampani, gunavardhan kakulapati, avinash lakshman, alex pilchin , petervosshall , werner vogels swaminathan svasubramanian. dynamo: amazon? s highly available key-value storec. sosp，07, october 14-17, 2007.3 qingsong wei, bharadwaj veeravaili, bozhao gong, etc. cdrm

17、 : a cost-effective dynamic replication management scheme for cloud storage cluste譏c2010 ieee international conference on cluster computing.4 許信.云存儲(chǔ)系統(tǒng)服務(wù)質(zhì)量控制與可靠性技術(shù)研究 d浙江大學(xué)，2011. 1.5 熊潤(rùn)群，羅軍舟，宋愛(ài)波，金嘉暉.云計(jì)算環(huán)境下qos 偏好感知的副本選擇策略j.通信學(xué)報(bào)，2011 (7)： 32, 93-102.6 francisco chinchilla, mark lindsey, maria papadopouli analysis of wireless information locality and association pa