非結(jié)構(gòu)化數(shù)據(jù)跨域整合實(shí)施方案

非結(jié)構(gòu)化數(shù)據(jù)跨域整合實(shí)施方案

非結(jié)構(gòu)化數(shù)據(jù)相對于結(jié)構(gòu)化數(shù)據(jù)而言，不方便用數(shù)據(jù)庫二維

邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)，包括所有格式的辦

公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視

頻信息等等。

非結(jié)構(gòu)化數(shù)據(jù)庫是指其字段長度可變，并且每個字段的記錄

又可以由可重復(fù)或不可重復(fù)的子字段構(gòu)成的數(shù)據(jù)庫，用它不僅

可以處理結(jié)構(gòu)化數(shù)據(jù)（如數(shù)字、符號等信息）而且更適合處理

非結(jié)構(gòu)化數(shù)據(jù)（全文文本、圖象、聲音、影視、超媒體等信

息）。

非結(jié)構(gòu)化WEB數(shù)據(jù)庫主要是針對非結(jié)構(gòu)化數(shù)據(jù)而產(chǎn)生的，與

以往流行的關(guān)系數(shù)據(jù)庫相比，其最大區(qū)別在于它突破了關(guān)系數(shù)

據(jù)庫結(jié)構(gòu)定義不易改變和數(shù)據(jù)定長的限制，支持重復(fù)字段、子

字段以及變長字段并實(shí)現(xiàn)了對變長數(shù)據(jù)和重復(fù)字段進(jìn)行處理和

數(shù)據(jù)項(xiàng)的變長存儲管理，在處理連續(xù)信息（包括全文信息）和

非結(jié)構(gòu)化信息（包括各種多媒體信息）中有著傳統(tǒng)關(guān)系型數(shù)據(jù)

庫所無法比擬的優(yōu)勢。

非結(jié)構(gòu)化數(shù)據(jù)，顧名思義，是存儲在文件系統(tǒng)的信息，包括

視頻、音頻、圖片、圖像、文檔、文本等形式。非結(jié)構(gòu)化數(shù)據(jù)

具有某種特定和持續(xù)的價(jià)值，這種價(jià)值在共享、檢索、分析等

使用過程中得到放大。

如何管理好這80%的數(shù)據(jù)，是企業(yè)構(gòu)建協(xié)同生態(tài)的關(guān)鍵一

環(huán)。非結(jié)構(gòu)化數(shù)據(jù)的存儲和流轉(zhuǎn)，大都采用郵件、FTP以及QQ

等IM工具為主。這些工具傳遞文件時(shí)速度不穩(wěn)定，安全性得不

到保障，并且無法很好地滿足企業(yè)中一對多的高頻數(shù)據(jù)傳遞場

景。

在數(shù)字化過程中需要處理大量報(bào)表、賬單、影像、電子文

檔、圖片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)難以用傳統(tǒng)

的關(guān)系型數(shù)據(jù)庫管理，內(nèi)容管理遂應(yīng)運(yùn)而生。許多企業(yè)都正在

評估和選擇實(shí)現(xiàn)信息資源整合的最佳途徑，而其中絕大多數(shù)所

瞄準(zhǔn)的都是基于文件結(jié)構(gòu)使用SAN或NAS進(jìn)行整合的這種方

式。

數(shù)據(jù)整合的驅(qū)動因素

進(jìn)行存儲系統(tǒng)整合的根本目的是為了減少存儲資源的數(shù)量。

文件服務(wù)系統(tǒng)的規(guī)模會隨著新的企業(yè)應(yīng)用的部署和新的擴(kuò)展需

求而不斷增長，最終會形成一個擁有越來越多文件服務(wù)器的龐

大的文件服務(wù)環(huán)境。

1.降低管理成本

系統(tǒng)整合所帶來的一個好處就是能夠減少企業(yè)的IT管理工

作。隨著需要管理的存儲設(shè)備的減少，處理這些管理任務(wù)所需

要用到的人力資源也可以相應(yīng)地減少。而如果任隨這些系統(tǒng)不

斷增長，隨著時(shí)間的推移，最終將積累起大量的文件服務(wù)器資

源，這些資源的維護(hù)對IT人員來說將是一個極大的負(fù)擔(dān)。

2.經(jīng)濟(jì)利益

存儲系統(tǒng)整合的實(shí)現(xiàn)同樣會對企業(yè)的經(jīng)濟(jì)產(chǎn)生極大的正面促

進(jìn)作用。當(dāng)企業(yè)將多個系統(tǒng)整合成一個之后，就能夠節(jié)省下多

余的軟件許可費(fèi)用和磁盤空間，得以節(jié)省大量的IT成本。更重

要的是，IT管理員花費(fèi)在管理這些系統(tǒng)進(jìn)行軟硬件更新和解決

相關(guān)問題上的時(shí)間也能夠得到極大的節(jié)省。

3.資產(chǎn)保護(hù)

實(shí)現(xiàn)存儲系統(tǒng)整合的另一個基本的驅(qū)動因就是要更好地進(jìn)行

企業(yè)資產(chǎn)的保護(hù)。備份機(jī)制是否為數(shù)據(jù)提供了足夠的保護(hù)？有

沒有合適的安全控制？如果這些過程都能夠從中央來統(tǒng)一進(jìn)行

和控制，那么以前所必須要進(jìn)行的備份過程的次數(shù)以及系統(tǒng)的

安全控制點(diǎn)都能夠大大減少，企業(yè)就將有機(jī)會確保企業(yè)資產(chǎn)都

得到了完善的保護(hù)。

實(shí)現(xiàn)整合的不同方式

目前在整合多個存儲系統(tǒng)時(shí)有多種不同的方式可供選擇。-

種方式企業(yè)購買一個大型NAS設(shè)備并淘汰掉其他小型的存儲系

統(tǒng)，在整個企業(yè)范圍內(nèi)只存在一個存儲系統(tǒng)；另一種方式是采

用虛擬數(shù)據(jù)中心的方式，也就是說其他已有的小型存儲設(shè)備都

隱藏在一個中央存儲系統(tǒng)之后或分散在不同的物理地點(diǎn)，所有

的資源實(shí)際上和以往一樣都仍然存在，但只有一個單一的數(shù)據(jù)

界面需要管理。

1.文件服務(wù)器整合

存儲系統(tǒng)整合的第一種類型是針對那些被部署用于解決某個

特定應(yīng)用需求的單獨(dú)的文件服務(wù)器。在原有的基礎(chǔ)架構(gòu)之下，

越來越多的文件服務(wù)器會隨著新的企業(yè)應(yīng)用的上線而被獨(dú)立部

署到企業(yè)IT環(huán)境中，企業(yè)的存儲系統(tǒng)將無法避免地變得越來越

膨脹。我們的目標(biāo)是通過設(shè)施整合將系統(tǒng)控制在一個更小的機(jī)

構(gòu)，比如一個工作小組或一個部門中統(tǒng)一集中起來。常見的處

理問題的方法是安裝部署一個“全功能盒子”或類似的設(shè)備將

這些多個文件服務(wù)器結(jié)合在一起并放到一個統(tǒng)一的平臺上去。

通常，一個NAS設(shè)備盒可以整合5到10個文件服務(wù)器。在

一個數(shù)據(jù)中心環(huán)境中，企業(yè)的數(shù)據(jù)，也即存儲在這些文件服務(wù)

器上的信息將被整合到一個中央控制點(diǎn)，這些過程通常在數(shù)據(jù)

中心里處理和完成。文件服務(wù)器在完成整合之后，系統(tǒng)的可用

性和可靠性將比單獨(dú)的文件服務(wù)器的集合要高的多。

2.非結(jié)構(gòu)化數(shù)據(jù)的整合

在向企業(yè)現(xiàn)有的系統(tǒng)中添加其他應(yīng)用時(shí)所要面臨的一個主要

問題在于，系統(tǒng)是做為存儲資源的角色而存在的，如果一個應(yīng)

用本身有一些問題，那么對存儲信息的訪問就可能受到影響，

而部署了文件區(qū)域網(wǎng)之后，這種情況將有效地得以避免。因此

非結(jié)構(gòu)化數(shù)據(jù)整合是一個具有更高系統(tǒng)可用性和可靠性的解決

方案。

很顯然，企業(yè)之所以使用基于文件的存儲系統(tǒng)（如文件服務(wù)

器）的一個主要的目的就是為了進(jìn)行數(shù)據(jù)的共享，而在實(shí)現(xiàn)非結(jié)

構(gòu)化整合之后，數(shù)據(jù)的訪問控制就能交由中央統(tǒng)一進(jìn)行控制，

這個優(yōu)勢在某些情況下特別有用，一個典型的例子是它支持從

一個地方就能建立起所有的訪問權(quán)限策略而不必訪問多個存儲

點(diǎn)才能定義好數(shù)據(jù)的訪問級別。

存儲系統(tǒng)整合的第二種類型其實(shí)反映出了存儲產(chǎn)業(yè)的一個逐

步成熟的過程。已經(jīng)擁有了多個NAS設(shè)備并部署了NAS系統(tǒng)的

企業(yè)開始意識到現(xiàn)有的整合規(guī)模可能還是太小了。從經(jīng)濟(jì)尺度

的角度來說，一個更大的存儲系統(tǒng)或者一個中央化的存儲設(shè)備

將引發(fā)更多的投資和原有數(shù)據(jù)的遷移，因此建立虛擬的數(shù)據(jù)中

心將成為趨勢。

這種類型的中央化整合或者說通過虛擬數(shù)據(jù)中心管理軟件可

以將數(shù)據(jù)中心的存儲設(shè)備與分散的文件服務(wù)器進(jìn)行整合?，F(xiàn)在

企業(yè)普遍都有一個共同的認(rèn)識，即一個更大型的NAS系統(tǒng)有助

于增強(qiáng)存儲系統(tǒng)擴(kuò)容性方面的能力并且能夠消除分布各處的獨(dú)

立的存儲設(shè)備，但存在整合過程較為復(fù)雜以及成本過高的問

題。建立虛擬的非結(jié)構(gòu)化數(shù)據(jù)中心將能夠統(tǒng)一管理分布在各個

物理地點(diǎn)的存儲設(shè)備，但為管理員和客戶提供唯一的訪問路

徑，顯然更加符合企業(yè)不斷擴(kuò)展，多個物理數(shù)據(jù)中心并存的現(xiàn)

實(shí)狀況。

其他需要考慮的因素

企業(yè)在實(shí)現(xiàn)了存儲系統(tǒng)的整合之后還是有一些其他的因素是

需要認(rèn)真考慮的，其中包括系統(tǒng)的安全控制，數(shù)據(jù)的遷移和管

理過程上的變化等等。

1.訪問權(quán)限的管控

即使實(shí)現(xiàn)了整合，原先存在的那些安全問題依舊還是會存

在。系統(tǒng)的整合并不意味著就不再需要對訪問控制列表的權(quán)限

進(jìn)行設(shè)置了?？赡軐τ谀切┫鄬?fù)雜困難的安全過程的設(shè)置來

說，系統(tǒng)整合之后在這方面會比較有優(yōu)勢，或者在清理這些安

全過程所創(chuàng)建的一些訪問控制規(guī)則時(shí)會更容易一些，但無論如

何安全控制的實(shí)現(xiàn)仍然是不可或缺的。

2.非結(jié)構(gòu)化數(shù)據(jù)的遷移，復(fù)制，分發(fā)

整合之后的數(shù)據(jù)遷移過程同樣必不可少?，F(xiàn)在市場上有多種

數(shù)據(jù)遷移解決方案可供選擇，比如有一些硬件設(shè)備產(chǎn)品可以幫

助完成數(shù)據(jù)的遷移，在這些設(shè)備內(nèi)部有一個數(shù)據(jù)轉(zhuǎn)移器，它在

把數(shù)據(jù)從一個系統(tǒng)轉(zhuǎn)到另一個系統(tǒng)的同時(shí)仍然可以為數(shù)據(jù)的訪

問提供服務(wù)。另外也有一些主機(jī)服務(wù)軟件程序可以完成這個過

程。最后，市場上還有一些只負(fù)責(zé)轉(zhuǎn)移數(shù)據(jù)的設(shè)備提供給用

戶。

在數(shù)據(jù)從文件服務(wù)器或其他NAS設(shè)備上遷移到整合的中央平

臺后，比較理想的情況是訪問權(quán)限設(shè)置和控制列表等所有其他

東西也都能夠自動一起全部遷移過去。因此在實(shí)現(xiàn)整合的過程

中非常重要的需要認(rèn)真考慮的一點(diǎn)是，象安全控制、訪問控制

等諸如此類的信息也都必須要被遷移到整合后的平臺上。

Brocade公司的StorageX產(chǎn)品全面實(shí)現(xiàn)數(shù)據(jù)的遷移，權(quán)限的繼

承，路經(jīng)的自動更新等重要功能

3.數(shù)據(jù)操作流程的變化

另一個需要認(rèn)真考慮的因素是在整合之后企業(yè)的數(shù)據(jù)操作流

程可能會發(fā)生變化。數(shù)據(jù)的備份方式將與以往有所不同。不管

是數(shù)據(jù)快照還是克隆，如果能夠在不同的存儲平臺上實(shí)現(xiàn)時(shí)間

點(diǎn)拷貝功能的話，就有機(jī)會把中央化整合做得更好一些。另外

在整合之后也將有機(jī)會能夠利用一些遠(yuǎn)程數(shù)據(jù)功能來實(shí)現(xiàn)更好

的商業(yè)連續(xù)性。多數(shù)情況下，新平臺中做為標(biāo)準(zhǔn)功能提供的那

些新功能新特征在老的平臺上是找不到的，或者即使有也要更

昂貴得多。Brocade公司的StorageX產(chǎn)品和FLM產(chǎn)品將數(shù)據(jù)按

照重要性分類，提高備份的策略性和恢復(fù)的速度。

在整合計(jì)劃實(shí)現(xiàn)的過程中有機(jī)會可以選擇去改變企業(yè)現(xiàn)有的

數(shù)據(jù)操作和管理模式，去發(fā)現(xiàn)整合系統(tǒng)所帶來的這樣或那樣的

優(yōu)點(diǎn)，最終得出一個更好的數(shù)據(jù)操作流程從而實(shí)現(xiàn)更好的數(shù)據(jù)

安全保護(hù)和更高的數(shù)據(jù)可用性，以及縮短數(shù)據(jù)在備份時(shí)的系統(tǒng)

宕機(jī)時(shí)間等等。

4.非結(jié)構(gòu)化數(shù)據(jù)的虛擬數(shù)據(jù)中心符合集中管理分布使用的

需求

在計(jì)劃存儲系統(tǒng)整合的時(shí)候還有一些比較特別的問題需要考

慮，那就是政策問題。一個企業(yè)里可能會有不同的部門或機(jī)

構(gòu)，而它們又都有自己獨(dú)有的控制域，因此在隔離各個控制域

的時(shí)候就有一些問題需要解決。某些解決方案可能會選擇在一

些平臺上安插某種類型的虛擬NAS設(shè)備來實(shí)現(xiàn)隔離。而如果企

業(yè)同時(shí)要求存儲系統(tǒng)支持更加全局化的數(shù)據(jù)訪問的話，那么在

這種情況下自然就會有其他一些政策因素需要考慮。

在整合的過程中，很多時(shí)候人們希望能夠基于不同組織對資

源的使用情況來對各個組織進(jìn)行內(nèi)部收費(fèi)。因此很重要的一點(diǎn)

是我們要弄清楚我們所選擇的平臺是否具有這方面的功能，比

如是否能夠根據(jù)不同組織在使用資源時(shí)對容量和訪問能力的不

同要求來確定應(yīng)該分配給對方多少資源回充率，以及是否能夠

支持細(xì)粒度的針對部門組織甚至個人的資源使用率收費(fèi)等等。

通常這要求硬件設(shè)備能夠支持一些配套的軟件來收集這些信息

并加以利用。

5.評估存儲設(shè)備的承載力

在制定整合計(jì)劃的時(shí)候，至關(guān)重要的一點(diǎn)是要立足于未來，

要花時(shí)間去仔細(xì)評估存儲系統(tǒng)的承載力是否具有向前發(fā)展的能

力。整合計(jì)劃的成功與否依賴于企業(yè)是否在各個方面都有經(jīng)過

周密的計(jì)算，包括是否該全部整合到一個設(shè)備上，這個設(shè)備能

夠滿足多長時(shí)間的需求，它是否具有必要的擴(kuò)展能力等。其他

要問的問題包括存儲系統(tǒng)最終會達(dá)到什么樣一種規(guī)模，而現(xiàn)在

這種整合方式是否能夠達(dá)到那種規(guī)模等。

在實(shí)現(xiàn)整合的時(shí)候，要確保整合后的系統(tǒng)可以支持所有的企

業(yè)所要求的訪問和條件，包括響應(yīng)時(shí)間和帶寬等等。正確地做

出這些決定是要求企業(yè)對系統(tǒng)的整合有一個全面且完整的了

解，不成熟或欠考慮的決定在日后可能會迅速變成一個瓶頸，

并出現(xiàn)在整合后資源時(shí)常過載的情況。這就是為什么在市場上

具有優(yōu)秀擴(kuò)展能力、能夠同時(shí)支持容量上的增加和系統(tǒng)性能上

的提升的解決方案顯得更加有吸引力的緣由。

總結(jié)

非結(jié)構(gòu)化數(shù)據(jù)的整合是一個能夠解決很多問題并讓很多事情

變得更加容易的解決方案。問題在于有時(shí)候人們并沒有足夠認(rèn)

真地對待它們。有些人在進(jìn)行了一部分調(diào)查之后就輕易放言

“你看，這個地方我可以很快地把它們整合起來”，但他們常