分級(jí)存儲(chǔ)管理中數(shù)據(jù)遷移的觸發(fā)條件

1、分級(jí)存儲(chǔ)管理中數(shù)據(jù)遷移的觸發(fā)條件    論文導(dǎo)讀：采用分級(jí)存儲(chǔ)的方式管理海量數(shù)據(jù)已經(jīng)獲得了存儲(chǔ)業(yè)界的廣泛共識(shí)。數(shù)據(jù)遷移模塊在分級(jí)存儲(chǔ)管理系統(tǒng)中起關(guān)鍵作用，而明確觸發(fā)數(shù)據(jù)遷移的主要條件則是成功實(shí)施數(shù)據(jù)遷移的首要問(wèn)題。 關(guān)鍵詞：分級(jí)存儲(chǔ)，數(shù)據(jù)遷移，觸發(fā)條件    1 引言 近年來(lái)，計(jì)算機(jī)數(shù)據(jù)信息呈爆炸性的增長(zhǎng)，越來(lái)越多的行業(yè)如氣象、圖書、電信等累積存儲(chǔ)了海量歷史數(shù)據(jù)。如何存儲(chǔ)和管理這些海量數(shù)據(jù)一直是存儲(chǔ)領(lǐng)域研究的熱點(diǎn)問(wèn)題。論文格式。采用分級(jí)存儲(chǔ)的方式管理海量數(shù)據(jù)已經(jīng)獲得了存儲(chǔ)業(yè)界的廣泛共識(shí)。 2 分級(jí)存儲(chǔ)的意義和方式

2、分級(jí)存儲(chǔ)是指根據(jù)數(shù)據(jù)不同的重要性、可用性、訪問(wèn)頻次、存儲(chǔ)成本等指標(biāo)，分別存放在相應(yīng)的存儲(chǔ)設(shè)備上。其工作原理是基于數(shù)據(jù)訪問(wèn)的局部性，通過(guò)將不經(jīng)常訪問(wèn)的數(shù)據(jù)自動(dòng)移到存儲(chǔ)層次中較低的層次，大大減少非重要性數(shù)據(jù)在一級(jí)磁盤所占用的空間，釋放出較高成本的存儲(chǔ)空間給更頻繁訪問(wèn)的數(shù)據(jù)，從而加快整個(gè)系統(tǒng)的存儲(chǔ)性能，獲得更好的總體性價(jià)比。在分級(jí)存儲(chǔ)系統(tǒng)中，一般分為在線存儲(chǔ)、近線存儲(chǔ)和離線存儲(chǔ)三級(jí)存儲(chǔ)方式。 21 在線存儲(chǔ) 在線存儲(chǔ)又稱工作級(jí)的存儲(chǔ)，是指將數(shù)據(jù)存放在高速的磁盤存儲(chǔ)設(shè)備上（如FC磁盤或SCSI磁盤陣列），其最大特征是存儲(chǔ)設(shè)備和所存儲(chǔ)的數(shù)據(jù)時(shí)刻保持“在線”狀態(tài)，可隨時(shí)讀取和修改，以滿足前端應(yīng)用服務(wù)器或數(shù)

3、據(jù)庫(kù)對(duì)數(shù)據(jù)訪問(wèn)的速度要求。在線存儲(chǔ)適合存儲(chǔ)那些需要經(jīng)常和快速訪問(wèn)的程序和文件，其存取速度快，性能好，存儲(chǔ)價(jià)格相對(duì)昂貴。 22 近線存儲(chǔ) 近線存儲(chǔ)是指將那些并不是經(jīng)常用到或者訪問(wèn)量并不大的數(shù)據(jù)存放在性能較低的存儲(chǔ)設(shè)備上。近線存儲(chǔ)外延比較廣泛，定位于用戶在線存儲(chǔ)和離線存儲(chǔ)之間的應(yīng)用，包括一些存取速度和價(jià)格介于高速磁盤與磁帶之間的低端磁盤設(shè)備，如SATA磁盤陣列、DVD-RAM光盤塔和光盤庫(kù)等。論文格式。近線存儲(chǔ)對(duì)性能總體要求相對(duì)不高，但要求能確保數(shù)據(jù)可靠、傳輸穩(wěn)定、適應(yīng)一般的數(shù)據(jù)訪問(wèn)負(fù)荷。論文格式。 23 離線存儲(chǔ) 離線存儲(chǔ)主要是用于對(duì)在線存儲(chǔ)的數(shù)據(jù)進(jìn)行備份，以防范可能發(fā)生的數(shù)據(jù)災(zāi)難，因此又稱備份

4、級(jí)的存儲(chǔ)。離線海量存儲(chǔ)的典型產(chǎn)品就是磁帶或磁帶庫(kù)，價(jià)格相對(duì)低廉,但是訪問(wèn)速度慢、效率低。離線存儲(chǔ)主要用于對(duì)在線存儲(chǔ)或近線存儲(chǔ)的數(shù)據(jù)進(jìn)行備份，以防范可能發(fā)生的數(shù)據(jù)災(zāi)難，因此又稱備份級(jí)存儲(chǔ)。 3分級(jí)存儲(chǔ)管理 對(duì)數(shù)據(jù)進(jìn)行分級(jí)存儲(chǔ)，有必要對(duì)分級(jí)存儲(chǔ)進(jìn)行有效的管理，讓數(shù)據(jù)在各個(gè)存儲(chǔ)層次間不斷的流動(dòng)才能實(shí)現(xiàn)其最大價(jià)值。 4數(shù)據(jù)遷移的觸發(fā)條件 數(shù)據(jù)遷移模塊在分級(jí)存儲(chǔ)管理系統(tǒng)中起關(guān)鍵作用，而明確觸發(fā)數(shù)據(jù)遷移的主要條件則是成功實(shí)施數(shù)據(jù)遷移的首要問(wèn)題。 41磁盤剩余空間 足夠的磁盤剩余空間是數(shù)據(jù)遷入的先決條件。在分級(jí)存儲(chǔ)管理中，需要重點(diǎn)考慮在線存儲(chǔ)的磁盤剩余空間：一方面是由于其性能高，價(jià)格昂貴，擴(kuò)展存儲(chǔ)空間有限度

5、；另一方面是由于新產(chǎn)生的數(shù)據(jù)一般采用在線存儲(chǔ)的方式，要預(yù)留足夠的存儲(chǔ)空間來(lái)應(yīng)對(duì)新數(shù)據(jù)存儲(chǔ)和訪問(wèn)的正常運(yùn)行。 在線存儲(chǔ)必須在磁盤剩余空間足夠時(shí)，才允許數(shù)據(jù)遷入，當(dāng)在線存儲(chǔ)容量不足時(shí)，不僅不能遷入數(shù)據(jù)，還得強(qiáng)制遷出一部分?jǐn)?shù)據(jù)，釋放存儲(chǔ)空間。當(dāng)次級(jí)存儲(chǔ)空間不足時(shí)，可有計(jì)劃、逐步地進(jìn)行擴(kuò)容，在增加存儲(chǔ)系統(tǒng)總體容量的同時(shí)也降低了數(shù)據(jù)管理的復(fù)雜性。 分級(jí)存儲(chǔ)管理系統(tǒng)需要實(shí)時(shí)監(jiān)控在線存儲(chǔ)的磁盤剩余空間，根據(jù)剩余空間占磁盤總空間大小比例的變化，設(shè)定的遷移閥值，參照閥值對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的遷入、遷出操作。例如，設(shè)定剩余空間的閥值范圍是30%10%，數(shù)據(jù)遷入、遷出的情況如下表：    &

6、#160; 磁盤空間飽和度    剩余空間    數(shù)據(jù)遷入    數(shù)據(jù)遷出     低    >30%    允許    允許     中    30%10%    暫停  

7、  允許     高    <10%    禁止    強(qiáng)制     在磁盤空間飽和度為低水位的前提下，按照一定的規(guī)則策略遷入數(shù)據(jù)，一般情況下從價(jià)值級(jí)別高、利用率高的數(shù)據(jù)開始遷入，磁盤空間的飽和度達(dá)到中等水位時(shí)停止遷入。對(duì)于強(qiáng)制遷出的數(shù)據(jù)則相反，應(yīng)從數(shù)據(jù)價(jià)值級(jí)別低、利用率低的數(shù)據(jù)開始遷出在線存儲(chǔ)直至磁盤空間飽和度由高水位降至低水位。 42數(shù)據(jù)的價(jià)值級(jí)別 數(shù)據(jù)并非生而平等，

8、某一些數(shù)據(jù)可能更為重要，其訪問(wèn)的性能要求、安全保護(hù)級(jí)別比其他數(shù)據(jù)要求高。即使是同一數(shù)據(jù)，通常它的價(jià)值也會(huì)隨著時(shí)間的推移而逐漸降低。除非對(duì)數(shù)據(jù)的價(jià)值級(jí)別進(jìn)行適當(dāng)?shù)拇鎯?chǔ)控制，否則對(duì)數(shù)據(jù)的搜索將會(huì)導(dǎo)致存儲(chǔ)管理效率的不斷降低。 判定數(shù)據(jù)價(jià)值級(jí)別的一個(gè)有效方法是對(duì)數(shù)據(jù)進(jìn)行信息生命周期管理（InformationLifecycle Management，ILM）。ILM理念認(rèn)為信息像生物一樣具有生命以及生命周期，會(huì)隨著在生命周期中所處的階段不同而起起落落，信息的生命周期可以劃分為6個(gè)階段：創(chuàng)建、保護(hù)、存取、訪問(wèn)、歸檔和回收2。信息處于不同的周期階段對(duì)用戶會(huì)有不同的價(jià)值。隨著信息價(jià)值所發(fā)生的變化，有必要將信

9、息轉(zhuǎn)移到不同的存儲(chǔ)介質(zhì)上。ILM根據(jù)應(yīng)用的要求、數(shù)據(jù)提供的時(shí)間及數(shù)據(jù)的等級(jí)，提供相適應(yīng)的數(shù)據(jù)產(chǎn)生、存儲(chǔ)和管理等服務(wù)，目的是在數(shù)據(jù)整個(gè)生命周期中以盡可能低的成本實(shí)現(xiàn)一種與其價(jià)值級(jí)別相應(yīng)的管理。 系統(tǒng)在數(shù)據(jù)創(chuàng)建時(shí)就應(yīng)當(dāng)獲得數(shù)據(jù)的類型、數(shù)據(jù)產(chǎn)生時(shí)間、數(shù)據(jù)有效期限、數(shù)據(jù)對(duì)業(yè)務(wù)的重要性、數(shù)據(jù)訪問(wèn)的性能要求、數(shù)據(jù)安全保護(hù)級(jí)別等相關(guān)信息。對(duì)數(shù)據(jù)進(jìn)行分類，劃分價(jià)值級(jí)別，依照數(shù)據(jù)價(jià)值級(jí)別設(shè)定數(shù)據(jù)的存儲(chǔ)級(jí)別，分配最優(yōu)化、最具成本效益的存儲(chǔ)資源。 分級(jí)存儲(chǔ)管理系統(tǒng)對(duì)數(shù)據(jù)價(jià)值級(jí)別進(jìn)行定期的掃描監(jiān)測(cè)，在時(shí)間點(diǎn)、數(shù)據(jù)價(jià)值級(jí)別、存儲(chǔ)層次三者之間建立對(duì)應(yīng)關(guān)系。一但經(jīng)過(guò)某個(gè)時(shí)間點(diǎn)數(shù)據(jù)的價(jià)值級(jí)別發(fā)生變化，即可觸發(fā)數(shù)據(jù)的遷移，自動(dòng)

10、將數(shù)據(jù)轉(zhuǎn)移到合適的存儲(chǔ)平臺(tái)之上。 43數(shù)據(jù)的利用率 在實(shí)際應(yīng)用中，判定為同等價(jià)值級(jí)別的各數(shù)據(jù)利用率卻并不一定相同，數(shù)據(jù)本身的利用率會(huì)由于各種因素而不斷變化。數(shù)據(jù)的利用率變化的兩種基本形式： 1、數(shù)據(jù)剛產(chǎn)生時(shí)，利用率最高，隨著時(shí)間的推移，利用率不斷下降，最后極少或不再被利用。數(shù)據(jù)存儲(chǔ)遷移方向?yàn)椋涸诰€?近線?離線。 2、數(shù)據(jù)產(chǎn)生后，利用率逐步上升，達(dá)到一個(gè)峰值階段后，再逐步下降，直到很少或不再被利用。由于數(shù)據(jù)的利用率是先上升后下降，只需要保證數(shù)據(jù)訪問(wèn)到達(dá)高峰的時(shí)段處于在線存儲(chǔ)的位置，則數(shù)據(jù)存儲(chǔ)遷移方向?yàn)椋航€?在線離線。 統(tǒng)計(jì)數(shù)據(jù)的利用率可采用增量掃描技術(shù)，通過(guò)周期性增量掃描獲取本周期內(nèi)數(shù)據(jù)的最近

11、訪問(wèn)時(shí)間，累加為總訪問(wèn)次數(shù)，從而判斷出數(shù)據(jù)在該周期利用率的高低。 44人為制定的條件 為了更好地輔助數(shù)據(jù)的管理，通常有人為制定的規(guī)章制度對(duì)數(shù)據(jù)存儲(chǔ)以及服務(wù)提出相應(yīng)的要求。其中最常見一類是根據(jù)數(shù)據(jù)的時(shí)間特性來(lái)制定的規(guī)則，例如，移動(dòng)公司一般向客戶提供最近5個(gè)月話費(fèi)詳單的網(wǎng)上查詢服務(wù)。針對(duì)這種服務(wù)規(guī)定，可以對(duì)于超過(guò)這個(gè)時(shí)間段的話費(fèi)詳單數(shù)據(jù)設(shè)定相應(yīng)的策略，自動(dòng)從在線存儲(chǔ)遷移到次級(jí)存儲(chǔ)。 除了制度化的規(guī)則外，人為預(yù)測(cè)也可能成為觸發(fā)遷移的條件。例如通過(guò)有計(jì)劃地宣傳推廣，可以事先預(yù)見相關(guān)數(shù)據(jù)將成為關(guān)注度高的熱點(diǎn)數(shù)據(jù)，訪問(wèn)率即將快速地增長(zhǎng)，那么按照人為制定的策略，應(yīng)主動(dòng)對(duì)這類數(shù)據(jù)提前進(jìn)行遷移，保證數(shù)據(jù)之后的訪問(wèn)速度。 由于人為設(shè)定的遷移條件往往優(yōu)先于系統(tǒng)判斷的條件，數(shù)據(jù)遷移模塊應(yīng)提供可供選擇的各