智能網(wǎng)絡(luò)存儲方案２

1、智能網(wǎng)絡(luò)存儲方案cellSpacing=0 cellPadding=0 width=750 align=center border=0智能網(wǎng)絡(luò)存儲方案一、概述 目前，數(shù)字視音頻網(wǎng)絡(luò)和數(shù)據(jù)網(wǎng)絡(luò)的大量應(yīng)用成為電視行業(yè)發(fā)展的必然趨勢，這就要求提供更大、更快、更有力的網(wǎng)絡(luò)數(shù)據(jù)存儲和共享途徑。網(wǎng)絡(luò)存儲技術(shù)無疑為我們提供了一個很好的選擇。 二、網(wǎng)絡(luò)存儲技術(shù)的分類目前的網(wǎng)絡(luò)存儲技術(shù)大致分為三類：1、 直接依附存儲系統(tǒng)（Direct Attached Storage, DAS） DAS又稱為以服務(wù)器為中心的存儲體系，如圖一所示。其特征為存儲設(shè)備為通用服務(wù)器的一部分，該服務(wù)器同時提供應(yīng)用程序的運(yùn)行，即數(shù)據(jù)訪問與

2、操作系統(tǒng)、文件系統(tǒng)和服務(wù)程序緊密相關(guān)。當(dāng)用戶數(shù)量增加或服務(wù)器正在提供服務(wù)時，其響應(yīng)速度會變慢。在網(wǎng)絡(luò)帶寬足夠的情況下，服務(wù)器本身成為數(shù)據(jù)輸入輸出的瓶頸?，F(xiàn)在已漸漸不能滿足用戶的需求，不再為大家所采用。2、 網(wǎng)絡(luò)依附存儲系統(tǒng)（Network Attached Storage, NAS）NAS的結(jié)構(gòu)是以網(wǎng)絡(luò)為中心，面向文件服務(wù)的。在這種存儲系統(tǒng)中，應(yīng)用和數(shù)據(jù)存儲部分不在同一服務(wù)器上，即有專用的應(yīng)用服務(wù)器和專用的數(shù)據(jù)服務(wù)器。其中專用數(shù)據(jù)服務(wù)器不再承擔(dān)應(yīng)用服務(wù)，稱之為瘦服務(wù)器（Thin Server）。數(shù)據(jù)服務(wù)器通過局域網(wǎng)的接口與應(yīng)用服務(wù)器連接，應(yīng)用服務(wù)器將數(shù)據(jù)服務(wù)器視做網(wǎng)絡(luò)文件系統(tǒng)，通過標(biāo)準(zhǔn)LAN進(jìn)

3、行訪問。由于采用局域網(wǎng)上通用數(shù)據(jù)傳輸協(xié)議，如NFS、CIFS等，所以NAS能夠在異構(gòu)的服務(wù)器之間共享數(shù)據(jù)，如Windows NT和UNIX混合系統(tǒng)。NAS系統(tǒng)的關(guān)鍵是文件服務(wù)器，一個經(jīng)過優(yōu)化的專用文件服務(wù)和存儲服務(wù)的服務(wù)器是文件系統(tǒng)所在地和NAS設(shè)備的控制中心，該服務(wù)器一般可以支持多個I/O節(jié)點(diǎn)和網(wǎng)絡(luò)接口，每個I/O節(jié)點(diǎn)都有自己的存儲設(shè)備。3、 存儲區(qū)域網(wǎng)絡(luò)（Storage Area Network, SAN） SAN是一種以光纖通道（Fiber Channel, FC）實(shí)現(xiàn)服務(wù)器和存儲設(shè)備之間通訊的網(wǎng)絡(luò)結(jié)構(gòu)，如圖三所示。SAN的核心是FC，其中的服務(wù)器和存儲系統(tǒng)各自獨(dú)立，地位平等，通過高帶寬

4、（傳輸速率為800Mb/s,雙全工時可達(dá)1.6Gb/ s）FC集線器或FC交換機(jī)相連，可避免大流量數(shù)據(jù)傳輸時發(fā)生阻塞和沖突。各應(yīng)用工作站通過局域網(wǎng)訪問服務(wù)器，在各存儲設(shè)備之間交換數(shù)據(jù)時可以不通過服務(wù)器，這樣就大大減輕了服務(wù)器承受的壓力。三、NAS與SAN的比較 NAS、SAN與傳統(tǒng)網(wǎng)絡(luò)存儲技術(shù)相比而言，無論是從網(wǎng)絡(luò)傳輸帶寬、數(shù)據(jù)共享性還是從存儲容量的可擴(kuò)充性、數(shù)據(jù)的一體化和安全性等個方面來說，其優(yōu)越性是不言而喻的。所以，現(xiàn)在眾多的用戶在對其存儲方案進(jìn)行選擇時，實(shí)際上也就成為對NAS和SAN的選擇了。 NAS和SAN有許多共同的特點(diǎn)。它們都提供集中化的數(shù)據(jù)存儲和整合優(yōu)化，都能有效的存取文件，都允

5、許在眾多的主機(jī)間共享并支持多種操作系統(tǒng)，都允許從應(yīng)用服務(wù)器上分離存儲。而且，它們都提供數(shù)據(jù)的高可用性，都能通過冗余部件和RAID保證數(shù)據(jù)的完整性。NAS和SAN也有著一些不同點(diǎn)。首先，實(shí)施和維護(hù)的難易程度不同。上面曾提到，NAS的存儲設(shè)備與眾多訪問客戶的連接是通過標(biāo)準(zhǔn)的LAN進(jìn)行的，也就是說，直接將NAS存儲設(shè)備接入LAN中就可以使用了，管理者所要做的只是來定義網(wǎng)絡(luò)寸取權(quán)限或?yàn)槊總€用戶定義磁盤限額。而且由于NAS采用了熱插拔和即插即用技術(shù)，所以在新設(shè)備接入時無需關(guān)閉數(shù)據(jù)服務(wù)器或進(jìn)行重新配置，新增的存儲空間可以立即為眾多的應(yīng)用服務(wù)器和客戶機(jī)所共享。而SAN的存儲設(shè)備與客戶之間的聯(lián)系是通過專用FC

6、集線器和交換機(jī)來進(jìn)行的，如果客戶端增加，就要對交換機(jī)進(jìn)行級連，這就大大增大了安裝與設(shè)置難度。其次，二者的設(shè)備管理難易成度不同。由于NAS中每一個I/O節(jié)點(diǎn)都有自己的存儲設(shè)備，而這些設(shè)備又沒有一個統(tǒng)一的管理的界面，所以管理人員就必須逐一管理每個NAS設(shè)備，從而使管理成本隨網(wǎng)絡(luò)上的NAS設(shè)備的增多而線性增加。而SAN對整個網(wǎng)絡(luò)中的存儲設(shè)備的管理，是采用SAN專用管理軟件來進(jìn)行集中式管理的，用戶可以通過簡單的圖形界面來管理不同平臺和介質(zhì)上的數(shù)據(jù)，也就是說，在SAN中，其整個存儲網(wǎng)絡(luò)成為了一個集中化的存儲池，這樣，管理人員管理起來就非常簡單了。再者，NAS和SAN是管理對象也不相同。SAN管理的是磁盤

7、空間，而NAS管理的是文件，也就是說，SAN是個磁盤工廠，而NAS只是一個文件服務(wù)器。最后，也是最重要的一點(diǎn)，那就是二者在性能上有所不同。NAS是基于傳統(tǒng)以太網(wǎng)絡(luò)的存取設(shè)備，雖然減輕了服務(wù)器所承擔(dān)的壓力，但勢必嚴(yán)重增加網(wǎng)絡(luò)的負(fù)荷。而且無論存儲磁盤的速度有多快，存取速度只可能與網(wǎng)絡(luò)帶寬所允許的速度一樣快。即NAS達(dá)到高性能的前提條件是網(wǎng)絡(luò)帶寬足夠，否則其性能將急劇下降。而如果為了解決帶寬問題而增設(shè)寬帶網(wǎng)段，就勢必喪失NAS價格較低、安裝設(shè)置容易的優(yōu)勢。與NAS不同，SAN構(gòu)建于基于光纖的專用數(shù)據(jù)網(wǎng)絡(luò)，可以提供極高的帶寬（新的FC標(biāo)準(zhǔn)可使帶寬達(dá)到4GB），不必?fù)?dān)心由于帶寬不足而引起的性能下降。 可

8、以說，NAS和SAN各有其長短之處，在實(shí)際應(yīng)用中也各有不同之處。對于經(jīng)濟(jì)實(shí)力不足，有傳統(tǒng)以太網(wǎng)絡(luò)，且急需擴(kuò)充存儲空間的用戶，NAS無疑是一種便宜、快速的方案。而對于擁有強(qiáng)大經(jīng)濟(jì)后盾，對網(wǎng)絡(luò)性能要求較高及未來發(fā)展勢頭強(qiáng)勁的用戶，則應(yīng)該選擇SAN。四、SAN的現(xiàn)狀和發(fā)展1、 現(xiàn)狀 由于自身所具有的高速、集中化存儲管理及幾近無限的擴(kuò)充能力這些特點(diǎn)，特別適合對海量數(shù)據(jù)的視音頻數(shù)據(jù)進(jìn)行存儲、傳輸和實(shí)時處理，所以采用FC技術(shù)的SAN目前在很多電視臺得到了推廣，甚至已成電視臺運(yùn)做的核心。在視頻處理領(lǐng)域里，SAN就像數(shù)字視頻網(wǎng)絡(luò)中的大本營，不但承擔(dān)著視頻數(shù)據(jù)的存貯、遷移、交換、共享，而且掌管著網(wǎng)絡(luò)設(shè)備的登記、

9、刪除、查詢、維護(hù)?？梢赃@么理解，SAN是電視臺視頻網(wǎng)絡(luò)的主干，在SAN網(wǎng)上可以掛接諸如新聞生產(chǎn)系統(tǒng)、非線性編輯系統(tǒng)、廣告非線性插播系統(tǒng)、數(shù)字化節(jié)目庫系統(tǒng)等。 SAN在日益廣泛的應(yīng)用中也暴露了一些缺點(diǎn)和不足。SAN網(wǎng)絡(luò)仍然采用傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行存儲操作，網(wǎng)絡(luò)結(jié)構(gòu)主要由交換機(jī)與集線器構(gòu)成，將這些傳統(tǒng)規(guī)范的硬件應(yīng)用于新的存儲結(jié)構(gòu)中，并應(yīng)用傳統(tǒng)的網(wǎng)絡(luò)管理技術(shù)進(jìn)行存儲管理，最終導(dǎo)致了系統(tǒng)的匹配問題。SAN系統(tǒng)出現(xiàn)之初，的確為我們解決了企業(yè)數(shù)據(jù)存儲與共享的問題。當(dāng)存儲數(shù)據(jù)達(dá)到TB級，高帶寬網(wǎng)絡(luò)站點(diǎn)（視頻工作站）很多時就會出現(xiàn)很多問題，導(dǎo)致系統(tǒng)性能嚴(yán)重下降。而第二代SAN-SDD（SAN Data Direc

10、tor）的出現(xiàn)，彌補(bǔ)了這些不足。2、 發(fā)展 新一代SAN，其結(jié)構(gòu)的核心是SDD，它不是一個更大的交換機(jī)，但它完成的功能更多。它將交換、緩存、RAID、I/O以及數(shù)據(jù)和文件的管理集于一身，并可以完成數(shù)據(jù)和網(wǎng)絡(luò)的管理，為數(shù)據(jù)交換提供高帶寬、高容錯的集中存儲訪問。SDD內(nèi)部有兩個完全相同的組件，稱之為HSTD（HSTD1、HSTD2），每個HSTD有四個100MB/S帶寬流量的數(shù)據(jù)交換端口，稱之為HOST。這樣，每個HSTD就有400MB/S的帶寬，一個SDD擁有兩個HSTD的800MB/S帶寬。HOST端口可直接與服務(wù)器、工作站相連，也可與交換機(jī)相連。每個HSTD還有一個60芯的數(shù)據(jù)總線用于和存儲

11、硬盤陣列相連完成數(shù)據(jù)交換。其結(jié)構(gòu)示意圖如圖四所示。SDD利用HSTD組件省去了復(fù)雜的交換機(jī)間連接，并將RAID控制器集成，前面的端口接服務(wù)器，也可以連接交換機(jī)，后面的端口連接硬盤柜。這樣一來，網(wǎng)絡(luò)結(jié)構(gòu)變得非常清晰、簡潔，可擴(kuò)展性強(qiáng)，并且SDD對傳輸通道、硬盤通道、硬盤多重冗余，不僅提高了帶寬，又增加了安全保障，系統(tǒng)幾乎永不死機(jī)。3、 對比 （1） 帶寬：在傳統(tǒng)SAN方案中，應(yīng)用FC而使帶寬達(dá)到了100M，且其采用的RAID控制器是專門為點(diǎn)對點(diǎn)通信而設(shè)計的,在較少站點(diǎn)同時訪問一個數(shù)據(jù)時有很好的性能表現(xiàn)，但當(dāng)有更多站點(diǎn)同時訪問一個數(shù)據(jù)時，帶寬將嚴(yán)重不足，使系統(tǒng)性能急劇下降。如果采用多硬盤塔來分擔(dān)網(wǎng)

12、絡(luò)帶寬的方案，勢必需要使用switch進(jìn)行級連，這樣不但使網(wǎng)絡(luò)的連接變得極為復(fù)雜（如圖五所示），而且switch之間的100M通道帶寬就成為了網(wǎng)絡(luò)的瓶頸。在SDD中，帶寬可達(dá)800M，并且采用新型RAID控制器，將switch的級連改為并聯(lián)，消除了大規(guī)模網(wǎng)絡(luò)傳輸中的瓶頸。 （2） 擴(kuò)展性：傳統(tǒng)SAN延用了C/S的結(jié)構(gòu)，其可升級性與智能化都很差,若想進(jìn)行系統(tǒng)升級則必須增加交換機(jī)、RAID控制器以及不同的控制軟件，而且只能使用交換機(jī)級連擴(kuò)展站點(diǎn)。這種情況在網(wǎng)絡(luò)規(guī)模較小（網(wǎng)絡(luò)中高帶寬訪問站點(diǎn)數(shù)在十個以下）時，影響不大。但當(dāng)網(wǎng)絡(luò)的高帶寬站點(diǎn)超過10個時，傳統(tǒng)SAN的系統(tǒng)性能將越來越低，以至于不能構(gòu)架大

13、型網(wǎng)絡(luò)。這是因?yàn)閭鹘y(tǒng)SAN的FC交換機(jī)速度高，但會在SAN中引入延時；為了增加接口而級連交換機(jī)也會產(chǎn)生延時，當(dāng)系統(tǒng)需要多臺交換機(jī)時延時將十分明顯，并將使數(shù)據(jù)處理性能下降。在SDD網(wǎng)絡(luò)中，F(xiàn)C交換機(jī)都與SDD控制器相連，處于并行工作狀態(tài)且互不影響。當(dāng)站點(diǎn)增加時，不用交換機(jī)級連，只需將新的FC交換機(jī)接入SDD即可，不用改動以前的連接。帶寬得到線性增長，能構(gòu)架大型網(wǎng)絡(luò)。 （3） 穩(wěn)定性、安全性：從圖四中可以看出大型網(wǎng)絡(luò)在站點(diǎn)增多后傳統(tǒng)SAN需要FC交換機(jī)二級連接，增加了連接點(diǎn)、RAID控制器、電纜等。故障發(fā)生點(diǎn)增多，同時故障源難以確定，維護(hù)難度大。而SDD網(wǎng)絡(luò)結(jié)構(gòu)簡單，連接點(diǎn)少，出錯的機(jī)率小，易判斷

14、出錯點(diǎn)，如圖五所示。比較圖五與圖四可以看出， 在相同網(wǎng)絡(luò)規(guī)模下，SDD網(wǎng)絡(luò)結(jié)構(gòu)連接簡單，故障點(diǎn)少。在存儲硬盤與SDD，F(xiàn)C交換機(jī)與SDD之間都采用雙鏈路備份，容錯能力強(qiáng)。 （4） RAID結(jié)構(gòu)：在一個傳統(tǒng)RAID環(huán)路中對磁盤的訪問是順序的，降低了RAID卷的讀寫能力。一個環(huán)路硬盤數(shù)量有限，硬盤卷的容量太小，當(dāng)總存儲容量達(dá)到TB級以上時，系統(tǒng)會出現(xiàn)十幾個盤符，降低了系統(tǒng)的穩(wěn)定性能，使管理難度加大。如果在NT下做帶區(qū)集，首先降低系統(tǒng)安全性，消耗系統(tǒng)資源，另外帶寬也會下降。 同時傳統(tǒng)RAID FC硬盤塔當(dāng)某一硬盤發(fā)生故障時，不會影響整個RAID組。但可怕的是如果盤塔發(fā)生故障，將導(dǎo)致其上整個RAID組

15、數(shù)據(jù)丟失。而SDD的RAID則是在盤塔之間做RAID。這樣當(dāng)一個盤塔發(fā)生故障時，整個RAID也不會出現(xiàn)問題，大大提高了存儲系統(tǒng)的容錯能力。同時，SDD是在10個磁盤通道上做RAID，讀寫一個RAID時，對磁盤的訪問是同時并發(fā)的；充分利用了系統(tǒng)的多通道、高帶寬的性能。 另外SDD的RAID結(jié)構(gòu)采用兩級RAID，即在RAID3的基礎(chǔ)上再將多個RAID組以RAID0方式捆綁。這樣做一方面單個盤符容量大大增加可達(dá)幾TB，使存儲數(shù)據(jù)得到充分共享；另一方面，帶寬集中利用，單個分區(qū)的帶寬可達(dá)360Mb/s以上。 （5）升級能力、性價比：由于隨著存儲容量、站點(diǎn)的增加，傳統(tǒng)SAN需要增加大量設(shè)備如：FC交換機(jī)、

16、硬盤塔、RAID控制器等，導(dǎo)致成本急劇上升。擴(kuò)展系統(tǒng)結(jié)構(gòu)復(fù)雜，又使維護(hù)成本上升。在SDD網(wǎng)絡(luò)擴(kuò)充時，只需增加少量交換機(jī)和硬盤。整個網(wǎng)絡(luò)結(jié)構(gòu)不變，維護(hù)成本不增加，有效保護(hù)了用戶的投資。另外SDD可以重新使用傳統(tǒng)結(jié)構(gòu)中的硬件以節(jié)省投資。除了以上性能提高，SDD還具有傳統(tǒng)SAN不具備的優(yōu)勢。 (1) ZONING（分區(qū)）能力 可以在SDD控制器中做ZONING，這樣可以指定工作站可以看到哪些LUN（邏輯單元設(shè)備號），提高系統(tǒng)的安全性，并使跨平臺連接的安全性得到保障。提供了SDD用戶注冊的審查，對非法注冊提出警告，全部的安全工作都將被記錄。 (2) CACHE的集中使用 SDD系統(tǒng)CACHE非常大，可達(dá)5GB，并且這些緩存集中使用，可當(dāng)應(yīng)急硬盤使用（這對于視音頻處理很重要），極大的提高利用率，提升系統(tǒng)性能。 而傳統(tǒng)SAN系統(tǒng)總的CACHE雖然也非常大，但卻是分散使用,每一塊對于視頻采集和回放都太小，沒有利用價值。