自動分層存儲美夢成真

1、自動分層存儲美夢成真盡管信息生命周期管理(ilm) 將數(shù)據(jù)管理理念提升到了一個新的境界,但實現(xiàn)它卻不那么容易,不但操作復(fù)雜,而且成本昂貴。不過,這種尷尬的局面正在改變,一種被稱為“自動分層存儲”的技術(shù)已經(jīng)出現(xiàn),它將使 ilm 的美夢變成現(xiàn)實。數(shù)據(jù)與設(shè)備要“門當(dāng)戶對”數(shù)據(jù)分三六九等,存儲設(shè)備有高低貴賤。 自動分層存儲就是要讓數(shù)據(jù)和設(shè)備“門當(dāng)戶對” 。數(shù)據(jù)有生命周期。 比如移動計費系統(tǒng),每月手機的話費數(shù)據(jù)可能在數(shù)據(jù)生成后的三個月內(nèi)被多次訪問 ,在一年內(nèi)偶爾被訪問 ,再往后可能就無人問津了,成為了歸檔數(shù)據(jù),但只有當(dāng)它到了規(guī)定的年限,才能被刪除。存儲設(shè)備有高低貴賤之分。性能好、可靠性高、讀寫速度快的設(shè)

2、備,自然價格就高 ;而性能較低、讀寫速度慢的設(shè)備,價格也就相對低廉。因此 ,就出現(xiàn)了數(shù)據(jù)分層存儲的概念。 “分層”是指,對數(shù)據(jù)的訪問需求增加或減少時,將數(shù)據(jù)在不同類型的存儲介質(zhì)之間遷移 , 即把那些不常被訪問的數(shù)據(jù)或過時的數(shù)據(jù)轉(zhuǎn)移到速度較慢、 成本較低的存儲介質(zhì)上,如 sata 磁盤或磁帶 ,以此來降低硬件成本;而把那些經(jīng)常被訪問或重要的數(shù)據(jù)放在速度較快、成本較高的光纖磁盤甚至固態(tài)硬盤（ssd）上,以此來提升性能。分層存儲的概念已經(jīng)出現(xiàn)好幾年了,并且這一概念被emc、stk（后被sun收購）等廠商升華為信息生命周期管理 （ilm） 。不過,這一數(shù)據(jù)管理的理想因為操作復(fù)雜、成本較高,實現(xiàn)起來卻不

3、那么理想 ,ilm 成了叫好不叫座的夢想。自動分層應(yīng)運而生以往 ,數(shù)據(jù)的分層存儲依靠存儲管理員的手工操作。 如今 , 這一過程實現(xiàn)了自動化 ,智能軟件可以自動將數(shù)據(jù)轉(zhuǎn)移到最經(jīng)濟高效的存儲介質(zhì)上。長期以來 ,存儲管理員盡管能在多個存儲層之間遷移數(shù)據(jù) ,但這個過程是他們必須手動執(zhí)行的,至少需要事先對數(shù)據(jù)進行分類 ,制定分層策略。 盡管最新的自動化分層軟件產(chǎn)品仍需要一部分制定策略的工作,但其目的卻是為了不需要或盡量不需要管理人員來做這些工作,包括監(jiān)控存儲系統(tǒng),找出需要重新分層的特定文件、卷或塊,然后進行手動轉(zhuǎn)移。智能化的自動分層軟件改變了這一局面。 不過 , 當(dāng)你考慮采用這一新技術(shù)時 ,請你先考慮清

4、楚以下問題:這個軟件是否提供文件級和塊級分層混合方案?由于性能或數(shù)據(jù)檢索方面的原因 ,你是否能暫時禁用自動分層技術(shù)?如果使用自動精簡配置或重復(fù)數(shù)據(jù)刪除等功能,它是否支持這些功能 ?它是否支持子lun 分層 ?產(chǎn)品的提供商是否有進一步自動化的升級計劃 ?it 管理人員還必須分析自動化軟件能夠考慮哪些標(biāo)準(zhǔn) （ 比如數(shù)據(jù)訪問頻率）, 以及它能不能評估及轉(zhuǎn)移單個的塊或文件 ,而不是只能評估及轉(zhuǎn)移較大的卷或lun 。一般來說,一個卷中可能只有10% 的塊很活躍, 因此 ,有必要將其轉(zhuǎn)移到速度較快、成本較高的存儲介質(zhì)上 ,如果能轉(zhuǎn)移到 ssd 上 ,則效果尤其明顯。需要考慮的其他因素包括:這一軟件發(fā)現(xiàn)及應(yīng)

5、對數(shù)據(jù)使用模式變化的速度有多快?如果自動化分層技術(shù)影響了應(yīng)用程序的性能,管理員能不能暫時禁用這項技術(shù)?管理員還能用它來預(yù)測何時需要某些數(shù)據(jù)（比如季度末所需的會計文件 ）,那樣分層軟件就能事先更新數(shù)據(jù)。 最后,管理員還要確定是否習(xí)慣把控制權(quán)拱手讓給這樣一款自動化工具。收效顯著多年來 ,it 部門一直在為實現(xiàn)ilm 而努力。那些對自動化數(shù)據(jù)分層技術(shù)率先 “嘗鮮” 的用戶表示,他們借助目前市面上現(xiàn)有的分層軟件,收到了相當(dāng)大的成效。大約5年前,美國司法部的it主管sandee sprang建立起了一個存儲區(qū)域網(wǎng)絡(luò)(san), 使用 compellent 公司的 dataprogression 軟件實現(xiàn)

6、了自動化分層技術(shù),因為她手下沒有人能確定需要把哪種類型的記錄放到最高效的存儲介質(zhì)上 , 以確保高速訪問。 為 compellent 系統(tǒng)制定策略僅用了約 4 個小時 ,她說 :“收到的效果太明顯了。 ”他們存儲管理的時間從以前每個星期 24 個小時縮短至2 個小時。她表示 ,compellent的塊級分層技術(shù)還有助于提高磁盤利用率 “; 它并不是把整個案件的檔案數(shù)據(jù)在多個存儲層上下遷移,遷移的只是你所訪問的某個案情摘要或者15 年前的某段文字記錄。 ”在索爾克生物研究院 (salk institute) 的計算神經(jīng)生物學(xué)實驗室 ,技術(shù)系統(tǒng)架構(gòu)師brian nielsen 所在的科學(xué)計算環(huán)境的工

7、作負(fù)載變化很大,因而他很重視avere 公司的 nas 存儲設(shè)備提供的實時分析和重新分層功能。 他表示 ,在測試并最終購買這款設(shè)備之前 ,遷移數(shù)據(jù)、確認(rèn)應(yīng)該遷移哪些數(shù)據(jù)很困難。不像早期的 ilm 產(chǎn)品只是零散地對數(shù)據(jù)進行重新分層 ,而且單單根據(jù)上一次訪問是什么時候來重新分層 ,nielsen 說 :“ avere 系統(tǒng)能夠識別許多不同的文件輸入/輸出屬性; 應(yīng)用程序需求發(fā)生變化后,可以動態(tài)地對數(shù)據(jù)進行分層?！泵绹?foster pepper pllc 律師事務(wù)所的網(wǎng)絡(luò)和系統(tǒng)運營經(jīng)理 brian bosserman 現(xiàn)正在試用 emc 公司的完全自動化存儲分層 (fast) 技術(shù) ,該律師事務(wù)所

8、的辦公室都在運行emccelerra ns-480 。他估計,該技術(shù)現(xiàn)在可以用來監(jiān)控服務(wù)器的存儲需求 ,然后做好規(guī)劃 ,對服務(wù)器間的虛擬機重新分層的時間能節(jié)省10%。他表示，借助fast,希望讓emc的rainfinity文件管理設(shè)備進行監(jiān)控 ,并 “根據(jù)我為它設(shè)定的策略” 進行數(shù)據(jù)遷移。 bosserman 說 ,fast 的安裝非常簡單, “它作為一個vmware 虛擬設(shè)備而出現(xiàn)。我只要導(dǎo)入fast 設(shè)備 ,把它作為unix 設(shè)備來啟動 ,然后通過網(wǎng)絡(luò)界面即可進入它 ,通過界面進行設(shè)置。 ”不過 , 自動化數(shù)據(jù)分層的確需要事先做一些工作,以便對數(shù)據(jù)進行分類,制定確定某些類型的數(shù)據(jù)何時需要轉(zhuǎn)

9、移的策略 （ 根據(jù)數(shù)據(jù)年限、應(yīng)用程序性能或者法律、 法規(guī)的要求來轉(zhuǎn)移 ） 。一般人的看法是,所有這些工作會破壞之前采用的“分層”方法 , 比如 ilm 。但至少有一個大用戶,即英特爾的ciodiane bryant, 卻在考慮自動化分層之前實施一套正規(guī)的 ilm流程。去年,bryant 著手開展 ilm 工作 ,希望減少英特爾年復(fù)合增長率高達35% 的存儲需求。到目前為止,這家公司49%的結(jié)構(gòu)化數(shù)據(jù)和 30% 的非結(jié)構(gòu)化數(shù)據(jù)已由ilm 來進行管理。sanford coker 是威爾康奈爾醫(yī)學(xué)院的unix 高級管理員,他正開始在其開發(fā)和測試環(huán)境使用 3par 公司的 policyadvisor

10、軟件。他表示,安裝很容易,制定每一項策略也只要大約 30分鐘 ,不過調(diào)整這些策略以獲得最佳性能又花了一個星期左右的時間。他表示,據(jù)自己非常保守的估計 ,把數(shù)據(jù)遷移到成本較低、 容量較大的 sata 磁盤上后 ,可以把正在使用的光纖磁盤減少 25% 。促進 ssd 應(yīng)用ssd 的出現(xiàn)使自動分層技術(shù)顯得更加有必要,它能使一個兩層甚至三層的存儲系統(tǒng)享有ssd 級的性能 ,同時 ,反過來又促進了ssd 的應(yīng)用。隨著自動化數(shù)據(jù)分層技術(shù)不斷成熟,它也許有助于促進ssd 的采用, 因為它可以幫助管理員將分層技術(shù)調(diào)整到足夠優(yōu)化的地步,從而確保能夠從性能最高但成本也最高的存儲介質(zhì)中獲得最大效益。不過,大家普遍認(rèn)

11、為 ,眼下 ssd 對大多數(shù)主流用戶來說還是成本過高。通過對磁盤驅(qū)動器“縮短行程” (short-stroking) 的方法 ,即有意只使用一部分存儲容量來提升性能,以犧牲存儲空間來換取性能的做法仍然比較經(jīng)濟高效。分層功能的價格有的免費( 比如現(xiàn)有產(chǎn)品中已經(jīng)內(nèi)含了分層軟件),有的高達5 萬美元以上 ,比如 avere 的 2300 fcn 等系統(tǒng)。當(dāng)然,用戶還必須考慮對數(shù)據(jù)進行分類、制定分層策略所需的成本。自動化數(shù)據(jù)分層不但可以自動轉(zhuǎn)移數(shù)據(jù),還可以讓這項任務(wù)實現(xiàn)自動化 :監(jiān)控數(shù)據(jù)在如何使用 ,確定哪些數(shù)據(jù)應(yīng)該放在哪一種存儲介質(zhì)上。 目前 ,這項自動化分層技術(shù)還沒有進入主流 ,原因是很少有廠商提

12、供這項技術(shù),而且事實證明,它目前還不適合非常高端的事務(wù)密集型環(huán)境。 另外,它通常只應(yīng)用于某家廠商的存儲陣列或文件系統(tǒng)里面,或者僅僅支持?jǐn)?shù)量有限的存儲協(xié)議或拓?fù)浣Y(jié)構(gòu)。但是對要求比較簡單的企業(yè)組織來說 ,如今市面上的自動化分層工具其表現(xiàn)已足夠好。emc 等主要供應(yīng)商正在致力于讓自動化數(shù)據(jù)分層技術(shù)增強 “識別應(yīng)用” 的功能 ,這意味著這種軟件將來能夠知道幾種流行應(yīng)用程序的輸入/輸出要求及其他使用模式,然后自動重新分層, 以滿足這些要求。這種互操作性需要為關(guān)于重新分層的數(shù)據(jù)的信息 (元數(shù)據(jù) ) 確定標(biāo)準(zhǔn)。據(jù)說,存儲網(wǎng)絡(luò)工業(yè)協(xié)會(snia) 正在開發(fā)這樣一項元數(shù)據(jù)標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)有助于實現(xiàn)更容易跨不同供應(yīng)

13、商生產(chǎn)的設(shè)備或文件系統(tǒng)進行分層 ,還有可能便于針對內(nèi)部數(shù)據(jù)中心和云存儲系統(tǒng)之間的數(shù)據(jù)進行分層。鏈接從數(shù)據(jù)自動分層中受益michael glenn 在浪費存儲資源,這點他自己也很清楚。文檔掃描項目帶來了一個容量高達1.4tb 的 lun, 這組磁盤里面放著以前的庭審記錄。 作為美國一家法庭的高級it管理人員 ,glenn 知道去年訪問過的文件只占區(qū)區(qū) 6%,也知道其余文件不該放在成本高昂的光纖磁盤上。他面臨的難題在于,決定什么時候把剩余94% 中的哪部分文件轉(zhuǎn)移到速度較慢、成本較低的 sata 磁盤上。幸運的是 ,他終于等到了所需的軟件,即動態(tài)存儲技術(shù)(dst), 這是他安裝的 novell open enterprise server 2 系統(tǒng)的一部分,可用來創(chuàng)建文件轉(zhuǎn)移策略,并根據(jù)文件上一次訪問的時間來自動轉(zhuǎn)移文件。glenn 表示 ,他今年春季花了一星期來調(diào)整配置后,他就不管這款軟件了 ,它一直很順暢地運行,并騰出了至少十幾個光纖磁盤的空間。 由于減少了活動文件的數(shù)量,他還將每