存儲(chǔ)方案整體設(shè)計(jì)

1、心rf|n胸?cái)?shù)據(jù)在掃描、加工處理過程中，會(huì)從核心存儲(chǔ)得到一個(gè)存儲(chǔ)空間用于文件臨時(shí)存放，隨著業(yè)務(wù)流程推進(jìn)，掃描數(shù)據(jù)最終變成了成品數(shù)據(jù)，核心存儲(chǔ)中會(huì)劃分一定的空間用于成品數(shù)據(jù)存放。由于整個(gè)系統(tǒng)數(shù)據(jù)量比較大，因此對(duì)系統(tǒng)的存儲(chǔ)容量、存儲(chǔ)的方式、數(shù)據(jù)的安全性、數(shù)1.存儲(chǔ)方案整體設(shè)計(jì)數(shù)據(jù)的存儲(chǔ)是檔案掃描系統(tǒng)的核心組成部分，肩負(fù)著中國第二歷史檔案館關(guān)鍵業(yè)務(wù)系統(tǒng)數(shù)據(jù)的存儲(chǔ)與保護(hù)功能。由于系統(tǒng)包含掃描、加工、應(yīng)用、數(shù)據(jù)庫等重要系統(tǒng)，我們將依據(jù)不同應(yīng)用特點(diǎn)進(jìn)行方案設(shè)計(jì)，按應(yīng)用性能需求、訪問方式等不同的特點(diǎn)提供不同的存儲(chǔ)方式。在本項(xiàng)目當(dāng)中，數(shù)據(jù)在進(jìn)行加工系統(tǒng)中，既需要將數(shù)據(jù)傳送到相應(yīng)的服務(wù)器，也需要將數(shù)據(jù)進(jìn)行本地存

2、儲(chǔ)。進(jìn)行本地存儲(chǔ)的好處是可以將得到的數(shù)據(jù)進(jìn)行本地再處理，也可以作為數(shù)據(jù)的備份。整體拓?fù)浣Y(jié)構(gòu)圖:制工存砧此匕、狡附異地1,二為外趣公司并植局叫卡以次/乖精方式同步玄敏打描.屣檢.數(shù)堀姓掂提登£瑞.集中存愜在邂扯售房中2.臺(tái)福成晶教據(jù)在機(jī)胸內(nèi)血10GE骨干網(wǎng)隊(duì)加Z存儲(chǔ)近移到情心t出用，存睛，叮嶗場線仃功從瓶需辟列中珞依據(jù)加期遷林至磁帶庫中r實(shí)現(xiàn)戮據(jù)世龍與輔成禹現(xiàn)各出但般棍髭學(xué)小儲(chǔ)相業(yè)俄生皖詁門4.斯打描tUT中河曲刻錄一套荒就介眈（DVEO,數(shù)據(jù)楙式為JPt.，近規(guī)敦州的高現(xiàn)片情或用柞疑地存健5.撲瓜公司通過也轉(zhuǎn)鴕計(jì)備.將驗(yàn)收合格敦布國爭事的君第皆聯(lián)片中實(shí)戰(zhàn)看掃長副存皓異地有放，1.存儲(chǔ)

3、方案整體設(shè)計(jì)1掃描H工區(qū)中心機(jī)房核心也必fdltTriC_JLIHMJLfi；|i的94BJ營喝I竹aiwififnci'W據(jù)的可用性就有較高的要求。數(shù)據(jù)存儲(chǔ)采用分級(jí)存放方式，分級(jí)存儲(chǔ)定義為三級(jí)：1.1 在線方式紙質(zhì)檔案的掃描工作是中國第二歷史檔案館的生產(chǎn)系統(tǒng)，為考慮到大量的數(shù)據(jù)的安全存放，我們建議采用EMCVNX7500統(tǒng)一存儲(chǔ)系統(tǒng)和EMCIsilonIQ108NL群集存儲(chǔ)設(shè)備作為數(shù)字檔案的集中存儲(chǔ)，并且該系統(tǒng)還需要為數(shù)據(jù)庫等核心業(yè)務(wù)系統(tǒng)提供高性能的存儲(chǔ)環(huán)境，同時(shí)也能為加工、檢索等業(yè)務(wù)提供NAS共享存儲(chǔ)環(huán)境。在線方式主要為應(yīng)用系統(tǒng)和業(yè)務(wù)系統(tǒng)提供存儲(chǔ)空間，如數(shù)據(jù)庫、應(yīng)用服務(wù)器。以及結(jié)合

4、后面的近線存儲(chǔ)方式，歸檔系統(tǒng)會(huì)根據(jù)制定的策略將數(shù)據(jù)分成頻繁訪問和非頻繁訪問數(shù)據(jù)，頻繁訪問的數(shù)據(jù)會(huì)存放在在線的磁盤陣列中。因此，存儲(chǔ)設(shè)備需要具備穩(wěn)定、安全、高效及可擴(kuò)展等諸多性能特點(diǎn)。結(jié)合我們的業(yè)務(wù)類型和數(shù)據(jù)文件類型，對(duì)存儲(chǔ)設(shè)備進(jìn)行了選型和定制。1.2 近線方式1.2.1 為什么要近線存儲(chǔ)掃描加工后的海量數(shù)據(jù)需求的增加速度比想象中的更快。所帶來的解決起來看似不難，只要購買更多的主存儲(chǔ)設(shè)備即可，但因此會(huì)產(chǎn)生更多的生產(chǎn)效率和成本問題。新的存儲(chǔ)系統(tǒng)可能很快地超載-以指數(shù)級(jí)速度增長的存儲(chǔ)設(shè)備使對(duì)之產(chǎn)生的需求預(yù)測越來越難。新購買的存儲(chǔ)系統(tǒng)很快就不夠用了備份窗口越來越長-隨著存儲(chǔ)量不斷的增加，備份時(shí)間窗口不

5、能滿足，管理員可能因此無法進(jìn)行完全的數(shù)據(jù)備份，只能選擇性地備份最重要的內(nèi)容。災(zāi)難恢復(fù)要花費(fèi)更長的時(shí)間-備份的時(shí)間越長，災(zāi)難發(fā)生時(shí)恢復(fù)的時(shí)間也越長，這樣就增加了宕機(jī)的時(shí)間，降低了生產(chǎn)效率。磁盤空間越大，查找數(shù)據(jù)花費(fèi)的時(shí)間就越長-如果用戶或是管理員不能及時(shí)獲取所需的相應(yīng)數(shù)據(jù)，那么備份系統(tǒng)還有什么價(jià)值呢？當(dāng)容量增加，相應(yīng)的查找文件的時(shí)間也會(huì)增加，生產(chǎn)效率則降低。過度存儲(chǔ)不僅浪費(fèi)成本，也不環(huán)保當(dāng)對(duì)存儲(chǔ)的需求快速增加時(shí)，與之對(duì)應(yīng)的用電量也急劇增加。除了存儲(chǔ)系統(tǒng)運(yùn)行所消耗的電量，另外還需要更多的電量用于冷卻系統(tǒng)。此舉不僅提高了成本，也不符合大多數(shù)企業(yè)所倡導(dǎo)的綠色存儲(chǔ)的理念。1.2.2 近線存儲(chǔ)的解決方案近

6、線存儲(chǔ)是將將年度加工的合格源數(shù)據(jù)的貯存，保存在磁帶庫中。用少量東西做更多事情的事情，實(shí)現(xiàn)控制成本并減少對(duì)主存儲(chǔ)的存儲(chǔ)需求總量。解決方案就是智能歸檔系統(tǒng)。對(duì)于昂貴的存儲(chǔ)資源來說，在主存儲(chǔ)上存儲(chǔ)非活動(dòng)數(shù)據(jù)是一個(gè)巨大的浪費(fèi)。針對(duì)現(xiàn)在越來越豐富的數(shù)據(jù)來說那是非常大的。另外，主存儲(chǔ)主要用于快速傳輸及處理過程數(shù)據(jù)，它基本上不能支持?jǐn)?shù)據(jù)恢復(fù)法規(guī)或在數(shù)據(jù)被寫入存儲(chǔ)若干年后，還能證實(shí)這一系列數(shù)據(jù)的完整性。這些都是歸檔存儲(chǔ)的重要要求。數(shù)據(jù)歸檔就是在二級(jí)存儲(chǔ)設(shè)備上存儲(chǔ)非活動(dòng)數(shù)據(jù)，如磁盤、磁帶等。這些數(shù)據(jù)是在將來可能需要的信息，因此不能刪除他們?？赡苡泻戏ǖ脑騺肀４孢@些數(shù)據(jù)，也可能是機(jī)構(gòu)需要，如市場研究或正當(dāng)?shù)睦碛?/p>

7、等。不管怎樣，最后的決定是存儲(chǔ)而不是將其刪除。保存數(shù)據(jù)的問題或者是由于合法原因，或者是“以防萬一”，也就是它必須保存在某個(gè)地方。為了實(shí)現(xiàn)數(shù)據(jù)智能歸檔管理，節(jié)約磁盤存儲(chǔ)成本，實(shí)現(xiàn)數(shù)據(jù)長期保存，通過專業(yè)歸檔軟件對(duì)采集或交換而來的文本數(shù)據(jù)、圖像數(shù)據(jù)等固定內(nèi)容進(jìn)行手工拖拽式歸檔和自動(dòng)歸檔管理。系統(tǒng)將原始數(shù)據(jù)處理完成后，對(duì)這些原始數(shù)據(jù)做歸檔處理，將數(shù)據(jù)自動(dòng)遷移到成本更低磁帶介質(zhì)上，實(shí)現(xiàn)這部分?jǐn)?shù)據(jù)的長期、自動(dòng)保存管理，以便今后查詢調(diào)用。靈活的歸檔設(shè)置可以基于各種文件固有屬性，也可以通過手工添加標(biāo)簽，歸檔后的數(shù)據(jù)繼續(xù)保持在線可訪問。對(duì)近線數(shù)據(jù)采用“智能歸檔軟件”徽理磁帶庫的硬件框架平臺(tái)來實(shí)現(xiàn)。智能歸檔系統(tǒng)是

8、將存儲(chǔ)在服務(wù)器上的數(shù)據(jù)檔案進(jìn)行智能處理的專業(yè)解決方案，通過自動(dòng)的、最終用戶觸發(fā)的、工作流集成的方式將數(shù)據(jù)歸檔到長期存儲(chǔ)平臺(tái)，并且滿足歸檔后的數(shù)據(jù)能夠?qū)崿F(xiàn)方便的應(yīng)用訪問和信息檢索。智能歸檔系統(tǒng)可將數(shù)據(jù)根據(jù)策略制定如：訪問頻繁程度、文件大小、最后修改的時(shí)間等方式進(jìn)行分類進(jìn)行歸檔。如認(rèn)定為3個(gè)月沒有訪問的數(shù)據(jù)為非頻繁訪問數(shù)據(jù)，系統(tǒng)將3個(gè)月來沒有任何訪問的數(shù)據(jù)遷移到磁帶庫中實(shí)現(xiàn)數(shù)據(jù)的近線存儲(chǔ)。在這期間如果有需要訪問歸檔后的數(shù)據(jù)，歸檔系統(tǒng)能將數(shù)據(jù)從磁帶庫中遷移當(dāng)磁盤中供應(yīng)用系統(tǒng)訪問。1.2.3 近線存儲(chǔ)的優(yōu)勢現(xiàn)有加工后的數(shù)據(jù)海量，通過智能歸檔后能大幅降低對(duì)主存儲(chǔ)空間的使用，并具有以下優(yōu)勢：減少資本投入-

9、由于節(jié)省了大量的主存儲(chǔ)空間，IT部門節(jié)約了硬軟件的投資，也極大地減少了能源消耗?？s短備份窗口-由于縮短了備份時(shí)間，IT管理員能更有效地保證所有數(shù)據(jù)都得到保護(hù)。加快了災(zāi)難恢復(fù)的速度-企業(yè)能大幅減少宕機(jī)時(shí)間和由意外而導(dǎo)致的用戶生產(chǎn)效率的損失。訪線存儲(chǔ)示章圖1.3 離線方式離線存儲(chǔ)：離線存儲(chǔ)是將數(shù)據(jù)通過光盤、移動(dòng)硬盤、磁帶實(shí)現(xiàn)一份數(shù)據(jù)三份備份介質(zhì)的離線存儲(chǔ)。并可將數(shù)據(jù)運(yùn)送到異地進(jìn)行保存（約合計(jì)1810萬）1、光盤離線方式通過光盤刻錄系統(tǒng)直接將數(shù)據(jù)刻錄到光盤上。優(yōu)缺點(diǎn)對(duì)比：光盤離線方式優(yōu)點(diǎn)：存儲(chǔ)密度高；體積小、重量輕；不怕光、不怕磁、不需占用太多的物理空間；制作簡單,可通過網(wǎng)絡(luò)傳輸信息，實(shí)現(xiàn)資源共享；

10、可隨機(jī)存取，信息的載噪比高；存儲(chǔ)和使用的壽命較長、單盤價(jià)格適中；適于存儲(chǔ)數(shù)據(jù)、文字、圖形、圖象、聲音等多種媒體信息；無機(jī)械磨損和刮傷，穩(wěn)定性好；光盤中的數(shù)據(jù)不易被修改。缺點(diǎn)：訪問時(shí)間較長；容量相對(duì)較小，備份大容量數(shù)據(jù)時(shí)，所需數(shù)量極大；備份速度慢、實(shí)時(shí)性差；備份編集麻煩，要湊空間；受光盤文件系統(tǒng)限制較多；定位數(shù)據(jù)繁瑣；盤片較多管理不方便、容易造成盤片磨損、訪問速度慢。2、磁盤離線方式通過大容量單體硬盤，將數(shù)據(jù)直接拷貝到硬盤上。優(yōu)缺點(diǎn)對(duì)比：磁盤離線方式優(yōu)點(diǎn)：容量大、傳輸速度高；使用方便、可靠；價(jià)格適中。磁盤離線方式缺點(diǎn)：數(shù)據(jù)過于集中；結(jié)構(gòu)過于復(fù)雜，除了盤片外，還有大量的電氣和機(jī)械機(jī)構(gòu)；在使用中容易

11、被更改或誤刪，有一定的風(fēng)險(xiǎn)；防震抗摔性差、功耗較高、有噪音等。工件口錄抓取、數(shù)據(jù)分?jǐn)?shù)據(jù)硬盤硬盤硬盤檢測目錄檢查、文件抽查、健康I描硬盤入庫3、磁帶離線方式通過智能歸檔軟件將數(shù)據(jù)通過磁帶庫上進(jìn)行多份備份，其中一份可以出倉進(jìn)行離線保存,并可運(yùn)輸?shù)疆惖剡M(jìn)行異地保存。優(yōu)缺點(diǎn)對(duì)比：磁帶離線方式優(yōu)點(diǎn)是：體積小巧、攜帶方便，易于轉(zhuǎn)移，可作為遠(yuǎn)程災(zāi)難恢復(fù)備份；容量大、成本低；耐用、壽命長，適應(yīng)各種氣候條件下存放；磁帶的無文件系統(tǒng)格式，不受病毒、黑客和自然災(zāi)難的安全威脅。缺點(diǎn)：屬線性記錄介質(zhì)，涉及過多機(jī)械物理操作；沒有校驗(yàn)操作，可靠性較差，效率較低；需要加載或倒帶，需在磁帶卷中搜索數(shù)據(jù)文件，維護(hù)磁帶庫費(fèi)人工。4、縮微膠片離線方式經(jīng)加工制成縮萎縮膠片存儲(chǔ)就是利用縮微復(fù)制技術(shù)將檔案原件縮小拍攝在感光膠片上,微品保存、傳播和使用。優(yōu)缺點(diǎn)對(duì)比：優(yōu)點(diǎn)：縮微技術(shù)工藝成熟，性能穩(wěn)定；存儲(chǔ)密度大，