非結(jié)構(gòu)化數(shù)據(jù)跨域整合實施方案

1、非結(jié)構(gòu)化數(shù)據(jù)跨域整合實施方案非結(jié)構(gòu)化數(shù)據(jù)相對于結(jié)構(gòu)化數(shù)據(jù)而言，不方便用數(shù)據(jù)庫二維 邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)，包括所有格式的辦 公文檔、文本、圖片、XML、HTML,各類報表、圖像和音頻/視 頻信息等等。非結(jié)構(gòu)化數(shù)據(jù)庫是指其字段長度可變，并且每個字段的記錄 又可以由可重復(fù)或不可重復(fù)的子字段構(gòu)成的數(shù)據(jù)庫，用它不僅 可以處理結(jié)構(gòu)化數(shù)據(jù)（如數(shù)字、符號等信息）而且更適合處理 非結(jié)構(gòu)化數(shù)據(jù)（全文文本、圖象、聲音、影視、超媒體等信 息）。非結(jié)構(gòu)化WEB數(shù)據(jù)庫主要是針對非結(jié)構(gòu)化數(shù)據(jù)而產(chǎn)生的，與 以往流行的關(guān)系數(shù)據(jù)庫相比，其最大區(qū)別在于它突破了關(guān)系數(shù) 據(jù)庫結(jié)構(gòu)定義不易改變和數(shù)據(jù)定長的限制，支持重復(fù)字

2、段、子 字段以及變長字段并實現(xiàn)了對變長數(shù)據(jù)和重復(fù)字段進行處理和 數(shù)據(jù)項的變長存儲管理，在處理連續(xù)信息（包括全文信息）和 非結(jié)構(gòu)化信息（包括各種多媒體信息）中有著傳統(tǒng)關(guān)系型數(shù)據(jù) 庫所無法比較的優(yōu)勢。非結(jié)構(gòu)化數(shù)據(jù)，顧名思義，是存儲在文件系統(tǒng)的信息，包括 視頻、音頻、圖片、圖像、文檔、文本等形式。非結(jié)構(gòu)化數(shù)據(jù) 一局部。它的角色并不是一個用于降低企業(yè)當前管理本錢的一 次性萬能靈藥。整合計劃應(yīng)該是一直不斷向前的，它應(yīng)該依企 業(yè)的需要而持續(xù)開展。還有一點很重要的是要把企業(yè)現(xiàn)有的數(shù)據(jù)操作特征聯(lián)系在一 起。在新的平臺上我們可以開掘出許多能夠改善企業(yè)數(shù)據(jù)操作 流程的功能。這些管理上的改善隨著時間的推移在存儲系統(tǒng)

3、不 斷擴展的過程中將始終不斷地展現(xiàn)出其價值。具有某種特定和持續(xù)的價值，這種價值在共享、檢索、分析等 使用過程中得到放大。如何管理好這80%的數(shù)據(jù)，是企業(yè)構(gòu)建協(xié)同生態(tài)的關(guān)鍵一 環(huán)。非結(jié)構(gòu)化數(shù)據(jù)的存儲和流轉(zhuǎn)，大都采用郵件、FTP以及QQ 等IM工具為主。這些工具傳遞文件時速度不穩(wěn)定，平安性得不 到保障，并且無法很好地滿足企業(yè)中一對多的高頻數(shù)據(jù)傳遞場 景。在數(shù)字化過程中需要處理大量報表、賬單、影像、電子文 檔、圖片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)難以用傳統(tǒng) 的關(guān)系型數(shù)據(jù)庫管理，內(nèi)容管理遂應(yīng)運而生。許多企業(yè)都正在 評估和選擇實現(xiàn)信息資源整合的最正確途徑，而其中絕大多數(shù)所 瞄準的都是基于文件結(jié)構(gòu)使用

4、SAN或NAS進行整合的這種方 式。數(shù)據(jù)整合的驅(qū)動因素進行存儲系統(tǒng)整合的根本目的是為了減少存儲資源的數(shù)量。 文件服務(wù)系統(tǒng)的規(guī)模會隨著新的企業(yè)應(yīng)用的部署和新的擴展需 求而不斷增長，最終會形成一個擁有越來越多文件服務(wù)器的龐 大的文件服務(wù)環(huán)境。.降低管理本錢系統(tǒng)整合所帶來的一個好處就是能夠減少企業(yè)的IT管理工 作。隨著需要管理的存儲設(shè)備的減少，處理這些管理任務(wù)所需 要用到的人力資源也可以相應(yīng)地減少。而如果任隨這些系統(tǒng)不 斷增長，隨著時間的推移，最終將積累起大量的文件服務(wù)器資 源，這些資源的維護對IT人員來說將是一個極大的負擔(dān)。.經(jīng)濟利益存儲系統(tǒng)整合的實現(xiàn)同樣會對企業(yè)的經(jīng)濟產(chǎn)生極大的正面促 進作用。當

5、企業(yè)將多個系統(tǒng)整合成一個之后，就能夠節(jié)省下多 余的軟件許可費用和磁盤空間，得以節(jié)省大量的IT本錢。更重 要的是，IT管理員花費在管理這些系統(tǒng)進行軟硬件更新和解決 相關(guān)問題上的時間也能夠得到極大的節(jié)省。.資產(chǎn)保護實現(xiàn)存儲系統(tǒng)整合的另一個基本的驅(qū)動因就是要更好地進行 企業(yè)資產(chǎn)的保護。備份機制是否為數(shù)據(jù)提供了足夠的保護？有 沒有合適的平安控制？如果這些過程都能夠從中央來統(tǒng)一進行 和控制，那么以前所必須要進行的備份過程的次數(shù)以及系統(tǒng)的 平安控制點都能夠大大減少，企業(yè)就將有機會確保企業(yè)資產(chǎn)都 得到了完善的保護。實現(xiàn)整合的不同方式目前在整合多個存儲系統(tǒng)時有多種不同的方式可供選擇。- 種方式企業(yè)購買一個大型

6、NAS設(shè)備并淘汰掉其他小型的存儲系 統(tǒng)，在整個企業(yè)范圍內(nèi)只存在一個存儲系統(tǒng)；另一種方式是采 用虛擬數(shù)據(jù)中心的方式，也就是說其他已有的小型存儲設(shè)備都 隱藏在一個中央存儲系統(tǒng)之后或分散在不同的物理地點，所有 的資源實際上和以往一樣都仍然存在，但只有一個單一的數(shù)據(jù) 界面需要管理。.文件服務(wù)器整合存儲系統(tǒng)整合的第一種類型是針對那些被部署用于解決某個 特定應(yīng)用需求的單獨的文件服務(wù)器。在原有的基礎(chǔ)架構(gòu)之下， 越來越多的文件服務(wù)器會隨著新的企業(yè)應(yīng)用的上線而被獨立部 署到企業(yè)IT環(huán)境中，企業(yè)的存儲系統(tǒng)將無法防止地變得越來越 膨脹。我們的目標是通過設(shè)施整合將系統(tǒng)控制在一個更小的機 構(gòu)，比方一個工作小組或一個部門

7、中統(tǒng)一集中起來。常見的處 理問題的方法是安裝部署一個“全功能盒子”或類似的設(shè)備將 這些多個文件服務(wù)器結(jié)合在一起并放到一個統(tǒng)一的平臺上去。通常，一個NAS設(shè)備盒可以整合5到10個文件服務(wù)器。在 一個數(shù)據(jù)中心環(huán)境中，企業(yè)的數(shù)據(jù)，也即存儲在這些文件服務(wù) 器上的信息將被整合到一個中央控制點，這些過程通常在數(shù)據(jù) 中心里處理和完成。文件服務(wù)器在完成整合之后，系統(tǒng)的可用 性和可靠性將比單獨的文件服務(wù)器的集合要高的多。.非結(jié)構(gòu)化數(shù)據(jù)的整合在向企業(yè)現(xiàn)有的系統(tǒng)中添加其他應(yīng)用時所要面臨的一個主要問題在于，系統(tǒng)是做為存儲資源的角色而存在的，如果一個應(yīng) 用本身有一些問題，那么對存儲信息的訪問就可能受到影響， 而部署了文

8、件區(qū)域網(wǎng)之后，這種情況將有效地得以防止。因此 非結(jié)構(gòu)化數(shù)據(jù)整合是一個具有更高系統(tǒng)可用性和可靠性的解決 方案。很顯然，企業(yè)之所以使用基于文件的存儲系統(tǒng)（如文件服務(wù) 器）的一個主要的目的就是為了進行數(shù)據(jù)的共享，而在實現(xiàn)非結(jié) 構(gòu)化整合之后，數(shù)據(jù)的訪問控制就能交由中央統(tǒng)一進行控制， 這個優(yōu)勢在某些情況下特別有用，一個典型的例子是它支持從 一個地方就能建立起所有的訪問權(quán)限策略而不必訪問多個存儲 點才能定義好數(shù)據(jù)的訪問級別。存儲系統(tǒng)整合的第二種類型其實反映出了存儲產(chǎn)業(yè)的一個逐 步成熟的過程。已經(jīng)擁有了多個NAS設(shè)備并部署了 NAS系統(tǒng)的 企業(yè)開始意識到現(xiàn)有的整合規(guī)?？赡苓€是太小了。從經(jīng)濟尺度 的角度來說，

9、一個更大的存儲系統(tǒng)或者一個中央化的存儲設(shè)備 將引發(fā)更多的投資和原有數(shù)據(jù)的遷移，因此建立虛擬的數(shù)據(jù)中 心將成為趨勢。這種類型的中央化整合或者說通過虛擬數(shù)據(jù)中心管理軟件可 以將數(shù)據(jù)中心的存儲設(shè)備與分散的文件服務(wù)器進行整合?，F(xiàn)在 企業(yè)普遍都有一個共同的認識，即一個更大型的NAS系統(tǒng)有助 于增強存儲系統(tǒng)擴容性方面的能力并且能夠消除分布各處的獨 立的存儲設(shè)備，但存在整合過程較為復(fù)雜以及本錢過高的問 題。建立虛擬的非結(jié)構(gòu)化數(shù)據(jù)中心將能夠統(tǒng)一管理分布在各個 物理地點的存儲設(shè)備，但為管理員和客戶提供唯一的訪問路 徑，顯然更加符合企業(yè)不斷擴展，多個物理數(shù)據(jù)中心并存的現(xiàn) 實狀況。其他需要考慮的因素企業(yè)在實現(xiàn)了存儲

10、系統(tǒng)的整合之后還是有一些其他的因素是 需要認真考慮的，其中包括系統(tǒng)的平安控制，數(shù)據(jù)的遷移和管 理過程上的變化等等。.訪問權(quán)限的管控即使實現(xiàn)了整合，原先存在的那些平安問題依舊還是會存 在。系統(tǒng)的整合并不意味著就不再需要對訪問控制列表的權(quán)限 進行設(shè)置了?？赡軐τ谀切┫鄬?fù)雜困難的平安過程的設(shè)置來 說，系統(tǒng)整合之后在這方面會比較有優(yōu)勢，或者在清理這些安 全過程所創(chuàng)立的一些訪問控制規(guī)那么時會更容易一些，但無論如 何平安控制的實現(xiàn)仍然是不可或缺的。.非結(jié)構(gòu)化數(shù)據(jù)的遷移，復(fù)制，分發(fā)整合之后的數(shù)據(jù)遷移過程同樣必不可少?，F(xiàn)在市場上有多種 數(shù)據(jù)遷移解決方案可供選擇，比方有一些硬件設(shè)備產(chǎn)品可以幫 助完成數(shù)據(jù)的遷移

11、，在這些設(shè)備內(nèi)部有一個數(shù)據(jù)轉(zhuǎn)移器，它在 把數(shù)據(jù)從一個系統(tǒng)轉(zhuǎn)到另一個系統(tǒng)的同時仍然可以為數(shù)據(jù)的訪問提供服務(wù)。另外也有一些主機服務(wù)軟件程序可以完成這個過程。最后，市場上還有一些只負責(zé)轉(zhuǎn)移數(shù)據(jù)的設(shè)備提供給用 戶。在數(shù)據(jù)從文件服務(wù)器或其他NAS設(shè)備上遷移到整合的中央平 臺后，比較理想的情況是訪問權(quán)限設(shè)置和控制列表等所有其他 東西也都能夠自動一起全部遷移過去。因此在實現(xiàn)整合的過程 中非常重要的需要認真考慮的一點是，象平安控制、訪問控制 等諸如此類的信息也都必須要被遷移到整合后的平臺上。Brocade公司的StorageX產(chǎn)品全面實現(xiàn)數(shù)據(jù)的遷移，權(quán)限的繼 承，路經(jīng)的自動更新等重要功能.數(shù)據(jù)操作流程的變化另

12、一個需要認真考慮的因素是在整合之后企業(yè)的數(shù)據(jù)操作流 程可能會發(fā)生變化。數(shù)據(jù)的備份方式將與以往有所不同。不管 是數(shù)據(jù)快照還是克隆，如果能夠在不同的存儲平臺上實現(xiàn)時間 點拷貝功能的話，就有機會把中央化整合做得更好一些。另外 在整合之后也將有機會能夠利用一些遠程數(shù)據(jù)功能來實現(xiàn)更好 的商業(yè)連續(xù)性。多數(shù)情況下，新平臺中做為標準功能提供的那 些新功能新特征在老的平臺上是找不到的，或者即使有也要更 昂貴得多。Brocade公司的StorageX產(chǎn)品和FLM產(chǎn)品將數(shù)據(jù)按 照重要性分類，提高備份的策略性和恢復(fù)的速度。在整合計劃實現(xiàn)的過程中有機會可以選擇去改變企業(yè)現(xiàn)有的 數(shù)據(jù)操作和管理模式，去發(fā)現(xiàn)整合系統(tǒng)所帶來的

13、這樣或那樣的 優(yōu)點，最終得出一個更好的數(shù)據(jù)操作流程從而實現(xiàn)更好的數(shù)據(jù) 平安保護和更高的數(shù)據(jù)可用性，以及縮短數(shù)據(jù)在備份時的系統(tǒng) 宕機時間等等。.非結(jié)構(gòu)化數(shù)據(jù)的虛擬數(shù)據(jù)中心符合集中管理分布使用的 需求在計劃存儲系統(tǒng)整合的時候還有一些比較特別的問題需要考 慮，那就是政策問題。一個企業(yè)里可能會有不同的部門或機 構(gòu)，而它們又都有自己獨有的控制域，因此在隔離各個控制域 的時候就有一些問題需要解決。某些解決方案可能會選擇在一 些平臺上安插某種類型的虛擬NAS設(shè)備來實現(xiàn)隔離。而如果企 業(yè)同時要求存儲系統(tǒng)支持更加全局化的數(shù)據(jù)訪問的話，那么在 這種情況下自然就會有其他一些政策因素需要考慮。在整合的過程中，很多時候

14、人們希望能夠基于不同組織對資 源的使用情況來對各個組織進行內(nèi)部收費。因此很重要的一點 是我們要弄清楚我們所選擇的平臺是否具有這方面的功能，比 如是否能夠根據(jù)不同組織在使用資源時對容量和訪問能力的不 同要求來確定應(yīng)該分配給對方多少資源回充率，以及是否能夠 支持細粒度的針對部門組織甚至個人的資源使用率收費等等。 通常這要求硬件設(shè)備能夠支持一些配套的軟件來收集這些信息 并加以利用。.評估存儲設(shè)備的承載力在制定整合計劃的時候，至關(guān)重要的一點是要立足于未來， 要花時間去仔細評估存儲系統(tǒng)的承載力是否具有向前開展的能 力。整合計劃的成功與否依賴于企業(yè)是否在各個方面都有經(jīng)過 周密的計算，包括是否該全部整合到一個設(shè)備上，這個設(shè)備能 夠滿足多長時間的需求，它是否具有必要的擴展能力等。其他 要問的問題包括存儲系統(tǒng)最終會到達什么樣一種規(guī)模，而現(xiàn)在 這種整合方式是否能夠到達那種規(guī)模等。在實現(xiàn)整合的時候，要確保整合后的系統(tǒng)可以支持所有的企 業(yè)所要求的訪問和條件，包括響應(yīng)時間和帶寬等等。正確地做 出這些決定是要求企業(yè)對系統(tǒng)的整合有一個全面且完整的了 解，不成熟或欠考慮的決定在日后可能會迅速變成一個瓶頸， 并出現(xiàn)在整合后資源時常過載的情況。這就是為什么在市場上 具有優(yōu)秀