數(shù)據(jù)歸檔方案

1、數(shù)據(jù)歸檔方案大綱一、什么是數(shù)據(jù)歸檔1、數(shù)據(jù)歸檔定義數(shù)據(jù)存檔(data archiving)是將不再經(jīng)常使用的數(shù)據(jù)移到一個(gè)單 獨(dú)的存儲(chǔ)設(shè)備來(lái)進(jìn)行長(zhǎng)期保存的過(guò)程。 數(shù)據(jù)存檔由舊的數(shù)據(jù)組成， 但 它是以后參考所必需且很重要的數(shù)據(jù)，其數(shù)據(jù)必須遵從規(guī)則來(lái)保存。 數(shù)據(jù)存檔具有索引和搜索功能，這樣文件可以很容易地找到。二、為什么要進(jìn)行數(shù)據(jù)歸檔1、數(shù)據(jù)歸檔的好處IT 部門通常愿意將歸檔作為應(yīng)用相關(guān)加強(qiáng)的理由。 具體說(shuō)來(lái)，其 帶來(lái)的好處包含如下的幾個(gè)方面：節(jié)約成本 ：數(shù)據(jù)歸檔很大程度上都與降低成本的話題密不可分。并且作為每GB存儲(chǔ)所耗費(fèi)的成本相關(guān)。許多廠商會(huì)提供整體擁有成 本這樣的分析。 所有的諸如此類的分析都

2、將產(chǎn)生一個(gè)正面的結(jié)果， 其 前提是同意有關(guān)數(shù)據(jù)輸入及對(duì)該模型的假設(shè)?？s短備份窗口 ：即便是備份到磁盤上使用了數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù) 刪除技術(shù)，備份管理員往往會(huì)遇到備份窗口相關(guān)的壓力， 原因是數(shù)據(jù) 增長(zhǎng)實(shí)在是太快了， 年增長(zhǎng)率通常達(dá)到約 50%甚至更多。 因此備份完全沒有改動(dòng)的數(shù)據(jù)是沒有必要的。歸檔可以從備份任務(wù)中剝離數(shù)十TB的數(shù)據(jù)甚至更多。法規(guī)遵從 ：正如前文提到的那樣， 政府要求以及法律規(guī)定是履行 數(shù)據(jù)歸檔策略的重要因素之一。 即要滿足這樣的要求， 同時(shí)又要降低 成本并不是一件容易的事情。知識(shí)保留 ：在當(dāng)今大數(shù)據(jù)時(shí)代， 企業(yè)越來(lái)越意識(shí)到海量數(shù)據(jù)分析 的價(jià)值。 意識(shí)到這點(diǎn)并非難事， 但在如今的市場(chǎng)

3、保持有競(jìng)爭(zhēng)力的地位 并非易事。提升的性能 ：通過(guò)減少需要管理的數(shù)據(jù)量， 或者將非活躍數(shù)據(jù)從 活躍數(shù)據(jù)中剝離出來(lái)，企業(yè)可能會(huì)看到系統(tǒng)性能的微弱提升。2、數(shù)據(jù)歸檔的意義高效存儲(chǔ)管理的最佳實(shí)踐核心之一就是歸檔。 這種技術(shù)能夠釋放 出代價(jià)高昂的存儲(chǔ)資源， 改善性能，并有助于保護(hù)那些需要長(zhǎng)期保存 的數(shù)據(jù)。存在的問(wèn)題 ：通常我們?cè)谀撤N程度上會(huì)默認(rèn)將數(shù)據(jù)歸檔認(rèn)為是某 種形式的存儲(chǔ)基礎(chǔ)架構(gòu)。 在很早之前也確實(shí)如此， 即將陳舊的數(shù)據(jù)從 昂貴的磁盤上移除。通常這意味著將數(shù)據(jù)遷移到磁帶并就此將其遺 忘。一般保存期限是 7年，但恢復(fù)往往是問(wèn)題所在， 諸如磁帶的損壞、 應(yīng)用程序的廢棄以及數(shù)據(jù)格式的轉(zhuǎn)變。 企業(yè)為響應(yīng)各類

4、法律相關(guān)的電 子檢索頭疼不已， 因?yàn)樗麄儾坏貌粰z索、 恢復(fù)并讀取潛在的成百上千 盤磁帶來(lái)找尋其中的一小段數(shù)據(jù)，并且要在很短的時(shí)間內(nèi)完成。歸檔技術(shù)的雙重角色企業(yè)和法律的雙重需要 ：即便是在今 天，海量數(shù)據(jù)驅(qū)使陳舊的數(shù)據(jù)遷移到更低成本的媒介， 以獲取直接的 經(jīng)濟(jì)回報(bào)， 然而歸檔技術(shù)正逐漸成為存儲(chǔ)管理任務(wù)中的一項(xiàng)分支， 以 及驅(qū)動(dòng)業(yè)務(wù)的一種應(yīng)用。 作為業(yè)務(wù)應(yīng)用， 其主要使用場(chǎng)景仍然是出于 規(guī)范因素的數(shù)據(jù)保存； 但遷移后直接將其遺忘已經(jīng)遠(yuǎn)遠(yuǎn)不夠了。 以某 種格式進(jìn)行數(shù)據(jù)恢復(fù)成為必然， 而且這種格式是無(wú)法預(yù)期的， 取決于 合規(guī)審核者或法庭的一時(shí)興起。況且，某些數(shù)據(jù)，比如健康衛(wèi)生相關(guān) 的信息，需要在產(chǎn)生后

5、的20年中保存查找。由M牛、SharePoint以及其 它文件系統(tǒng)數(shù)據(jù)幾乎成為所有企業(yè)的問(wèn)題領(lǐng)域， 其過(guò)分消耗海量空間 并且受限于法律規(guī)范。由于各種新的需求， IT 經(jīng)理人在部署歸檔方案時(shí)需以合作的方 式，和業(yè)務(wù)及法務(wù)部門進(jìn)行協(xié)作。IT人員很難預(yù)計(jì)到法律規(guī)范的實(shí)際 要求，不過(guò)他們應(yīng)當(dāng)了解那些可以使歸檔部署有助于業(yè)務(wù)需求的技 術(shù)。我們將列舉出一些歸檔技術(shù)以使存儲(chǔ)經(jīng)理人認(rèn)識(shí)到市場(chǎng)上大量的 可選方案以及他們可以獲取到的功能。當(dāng)歸檔技術(shù)成為管理應(yīng)用時(shí) ：隨著歸檔的最終目的從存儲(chǔ)管理轉(zhuǎn) 變?yōu)閿?shù)據(jù)管理， 歸檔方案有了大量數(shù)據(jù)管理應(yīng)用的特性。 隨之而來(lái)的 是關(guān)鍵的使用者也發(fā)生了轉(zhuǎn)變。存儲(chǔ)經(jīng)理人不再是唯一的關(guān)

6、鍵用戶， 歸檔應(yīng)用還應(yīng)當(dāng)考慮CIO,合規(guī)主任和律師的感受。用戶的關(guān)注點(diǎn)也 傾向于更嚴(yán)格的行業(yè)規(guī)范，尤其是在財(cái)務(wù)和醫(yī)療行業(yè)。歸檔有從通用到專用的不同解決方案。 不過(guò)其中的絕大部分都包 含分類、遷移、 索引和數(shù)據(jù)發(fā)現(xiàn)特性。許多還會(huì)包含加速長(zhǎng)期數(shù)據(jù)恢復(fù)、數(shù)據(jù)銷毀、 數(shù)據(jù)重復(fù)刪除及壓縮、單一實(shí)例存儲(chǔ)和完整性檢查的 功能。而最終包含哪些特性通常由目標(biāo)用戶和使用場(chǎng)景決定。 由于早期的歸檔技術(shù)僅限于向離線備份磁帶遷移， 企業(yè)或許會(huì)將 新的歸檔應(yīng)用看成一塊“新的綠地” 。在絕大多數(shù)情況下，傳統(tǒng)磁帶 仍需要保存在庫(kù)中， 只是有不同的保留和過(guò)期策略。 存儲(chǔ)經(jīng)理人需要 確保備份策略不會(huì)和歸檔策略產(chǎn)生沖突。 過(guò)早銷毀

7、數(shù)據(jù)可能會(huì)使企業(yè) 陷于法規(guī)要求時(shí)無(wú)法滿足合規(guī)規(guī)范的危險(xiǎn)境地。 而另一方面， 將數(shù)據(jù) 多保留一些有助于電子發(fā)現(xiàn)工作， 即便這并非強(qiáng)制性的要求。 不管怎 樣，其結(jié)果對(duì)成本的影響都會(huì)讓企業(yè)在各自利弊之前權(quán)衡兩難。三、數(shù)據(jù)歸檔的標(biāo)準(zhǔn)和規(guī)范1、現(xiàn)代歸檔的總體特征最新技術(shù)的發(fā)展會(huì)對(duì)歸檔方式的效率產(chǎn)生巨大的積極影響， 以下 幾點(diǎn)特征需要牢記：低成本存儲(chǔ) ：節(jié)約成本仍然是尋求主存儲(chǔ)替代方案的主要?jiǎng)訖C(jī)。 數(shù)據(jù)耐用性 ：歸檔數(shù)據(jù)必須得到很好的保護(hù)， 對(duì)耐用性的需求包 括站點(diǎn)災(zāi)難以及存儲(chǔ)組件故障。 歸檔就是要保留數(shù)據(jù)， 而不是轉(zhuǎn)移數(shù) 據(jù)或丟失數(shù)據(jù)。方便存取數(shù)據(jù) ：歸檔數(shù)據(jù)必須能夠輕松存取如果不行， 那又 何必歸檔呢

8、？無(wú)線可擴(kuò)展性 ：當(dāng)今的架構(gòu)需要輕松擴(kuò)展，從而節(jié)約成本。 非破壞性的技術(shù)遷移 ：解決方案必須能夠無(wú)中斷地遷移到新的組件技術(shù)，從而提供長(zhǎng)期利益，并從當(dāng)前投資中實(shí)現(xiàn)成本節(jié)約2、歸檔存儲(chǔ)的新技術(shù)特性市面上出現(xiàn)了一些新的熱門技術(shù)選項(xiàng)， 實(shí)時(shí)歸檔策略時(shí)必須加以 考慮：擦除基于代碼的對(duì)象存儲(chǔ) ：磁盤歸檔食物鏈中有史以來(lái)最偉大 的事就是糾刪碼技術(shù)的出現(xiàn)， 它有效地創(chuàng)建了數(shù)據(jù)開銷， 以便在組件 故障時(shí)保護(hù)數(shù)據(jù)，這類似于“ RAID技術(shù)添加奇偶作為開銷”的方式。 然而，糾刪碼與RAID不同，糾刪碼技術(shù)以數(shù)據(jù)分散的形式增加了開 銷，而RAID技術(shù)則在一組固定的硬件組件上運(yùn)行。糾刪碼的分散算 法將單獨(dú)文件或?qū)ο筠D(zhuǎn)化

9、為許多數(shù)據(jù)元素， 每個(gè)數(shù)據(jù)元素都攜帶少量 冗余，這樣用戶只需要取回?cái)?shù)據(jù)元素的一部分來(lái)檢索完整對(duì)象。 當(dāng)擦 除基于代碼的對(duì)象存儲(chǔ)被部署時(shí)， 無(wú)需復(fù)制，數(shù)據(jù)自然就能得到保護(hù)， 以防止硬件組件故障。 此外，當(dāng)對(duì)象存儲(chǔ)分散在多個(gè)站點(diǎn)時(shí) （稱為“地 理分布”），數(shù)據(jù)會(huì)得到進(jìn)一步保護(hù)，防止站點(diǎn)級(jí)災(zāi)難，同樣也不要復(fù) 制。由于不需要數(shù)據(jù)復(fù)制，更不必說(shuō)硬件是用來(lái)存儲(chǔ)和保護(hù)數(shù)據(jù)的。 這就是為何從根本上來(lái)說(shuō)， 充分利用糾刪碼技術(shù)的數(shù)據(jù)存儲(chǔ)能夠大大 降低硬件成本。同時(shí)，由于只管理較少的數(shù)據(jù)，軟件成本也有可能下 降。最后，由于糾刪碼可在組件層面或驅(qū)動(dòng)器層面處理硬件故障，而 不是像RAID方式那樣只能在機(jī)柜或機(jī)箱層面處理

10、故障，我們很容易 就會(huì)發(fā)現(xiàn)，在糾刪碼環(huán)境中將組件升級(jí)到新技術(shù)并不需要破壞性的叉 車升級(jí)方式。LTF餉NAS磁帶：關(guān)于LTFS（線性磁帶文件系統(tǒng)），已經(jīng)有很多 傳言了。該技術(shù)于 2010 年推出，并能夠?qū)崿F(xiàn)全線的磁帶使用模式。 LTFS技術(shù)在磁帶盒上提供了一個(gè)完整的自我描述文件系統(tǒng)， 這使用戶 像是在自己的文件系統(tǒng)中將數(shù)據(jù)讀取和寫入到磁帶上， 用戶可以逐字 地將文件拖動(dòng)到磁帶上， 甚至永遠(yuǎn)不用再擔(dān)心 “必須使用專屬備份應(yīng) 用程序而在磁帶上讀寫數(shù)據(jù)”的問(wèn)題。當(dāng)今市面上有一些解決方案， 能夠讓大型磁帶庫(kù)像 NAS 共享一樣被訪問(wèn)，讀取磁帶上的數(shù)據(jù)會(huì)變 得多么輕松？越來(lái)越多的軟件解決方案現(xiàn)在就支持LT

11、FS格式，由于LTFS是作為SNIA組織的開放式標(biāo)準(zhǔn)而被推動(dòng)的，LTFS磁帶非常適合 長(zhǎng)期歸檔應(yīng)用程序， 這是因?yàn)殚_放式標(biāo)準(zhǔn)更有可能針對(duì)未來(lái)系統(tǒng)做好 準(zhǔn)備。LTFSt件能夠?qū)⒋艓蠑?shù)據(jù)的讀取和可移植性提升至全新的水 平。數(shù)據(jù)和磁帶完整性檢查 ：在磁帶領(lǐng)域， 數(shù)據(jù)耐用性的革命性特點(diǎn) 就是數(shù)據(jù)完整性檢查。 一些產(chǎn)品讓用戶能夠制定策略， 確定磁帶盒旋 轉(zhuǎn)到驅(qū)動(dòng)器里的頻率是多少， 以測(cè)試磁帶和磁帶上數(shù)據(jù)的完整性。 這 就像旋轉(zhuǎn)酒瓶進(jìn)行長(zhǎng)期保存一樣。然而，與旋轉(zhuǎn)酒瓶不同，用戶能夠 對(duì)可疑的磁帶采取行動(dòng)，防止數(shù)據(jù)丟失。3、選擇歸檔解決方案要素必要項(xiàng)：數(shù)據(jù)歸檔數(shù)據(jù)遷移數(shù)據(jù)索引 查找工具最好具有項(xiàng) ：數(shù)據(jù)消除

12、重復(fù)刪除壓縮單一實(shí)例存儲(chǔ)完整性檢查硬件特性 ：可擴(kuò)展性成本效益可靠性可變性（根據(jù)要求）完整性檢查最后一點(diǎn)需要強(qiáng)調(diào)的是， 歸檔軟件需要有自動(dòng)完成功能。 沒人希 望歸檔都是手工操作的。 一款設(shè)計(jì)良好的歸檔軟件需要能很好的適應(yīng) 企業(yè)的歸檔策略。 自動(dòng)化的歸檔進(jìn)程往往能幫助我們自動(dòng)執(zhí)行好企業(yè) 的歸檔策略并且保證不落下任何東西。 與此同時(shí)， 軟件也需要為歸檔 進(jìn)程創(chuàng)建詳細(xì)的日志說(shuō)明。四、我們的歸檔方案數(shù)據(jù)歸檔的好處IT 部門通常愿意將歸檔作為應(yīng)用相關(guān)加強(qiáng)的理由。 具體說(shuō)來(lái)，其 帶來(lái)的好處包含如下的幾個(gè)方面：節(jié)約成本 ：數(shù)據(jù)歸檔很大程度上都與降低成本的話題密不可分。 并且作為每 GB 存儲(chǔ)所耗費(fèi)的成本相關(guān)。許多廠商會(huì)提供整體擁有成 本這樣的分析。 所有的諸如此類的分析都將產(chǎn)生一個(gè)正面的結(jié)果， 其 前提是同意有關(guān)數(shù)據(jù)輸入及對(duì)該模型的假設(shè)?？s短備份窗口 ：即便是備份到磁盤上使用了數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù) 刪除技術(shù)， 備份管理員往往會(huì)遇到備份窗口相關(guān)的壓力， 原因是數(shù)據(jù) 增長(zhǎng)實(shí)在是太快了， 年增長(zhǎng)率通常達(dá)到約 50%甚至更多。 因此備份完 全沒有改動(dòng)的數(shù)據(jù)是沒有必要的。歸檔可以從備份任務(wù)中剝離數(shù)十 TB的數(shù)據(jù)甚至更多。法規(guī)遵從 ：正如前文提到的那樣， 政府要求以及法律規(guī)定是履行 數(shù)據(jù)歸檔