視頻監(jiān)控專屬存儲技術(shù)分析

1、視頻監(jiān)控專屬存儲技術(shù)分析一、視頻監(jiān)控存儲技術(shù)發(fā)展回顧(一)前端存儲技術(shù)九十年代末，隨著網(wǎng)絡(luò)帶寬、計算機(jī)處理能力和硬盤存儲容量的快速提高以及各種實(shí)用視頻處理技術(shù)的出現(xiàn)，視頻監(jiān)控和存儲步入了全數(shù)字化的時代。通過中心業(yè)務(wù)平臺進(jìn)行集中管理和控制，以DVS/DVR為代表的第一代存儲技術(shù)(前端存儲)得到廣泛部署。由于架構(gòu)合理、擴(kuò)展靈活、層次清晰，網(wǎng)絡(luò)視頻監(jiān)控給用戶帶來全新的安防應(yīng)用體驗(yàn)，從而迅速成為構(gòu)建新一代網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的主要形式。(二)網(wǎng)絡(luò)存儲技術(shù)由于近年來IPC尤其是高清IPC的蓬勃發(fā)展，前端存儲已經(jīng)無法滿足用戶日常的業(yè)務(wù)需求。分布式的前端和平臺架構(gòu)、集中化的管理和控制以及靈活便捷的用戶訪問，使得

2、網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的存儲部分也開始走向網(wǎng)絡(luò)化。網(wǎng)絡(luò)化存儲給視頻監(jiān)控帶來了全新的存儲架構(gòu)，一方面，用戶在存儲的部署上更加靈活，訪問管理也更簡單;另一方面，構(gòu)建需要實(shí)現(xiàn)大容量存儲的視頻監(jiān)控系統(tǒng)也更為便捷。同時，視頻錄像的管理、檢索、回放得到了有效的統(tǒng)一調(diào)度。第二代存儲技術(shù)，即以NAS和iSCSI為代表的IP存儲成為業(yè)界兩種主要的存儲模式。NAS(網(wǎng)絡(luò)訪問存儲)是專用的數(shù)據(jù)存儲服務(wù)器，包括存儲器件和內(nèi)嵌系統(tǒng)軟件，可提供跨平臺文件共享功能。NAS本身能夠支持多種協(xié)議(如NFS、CIFS、FTP、HTTP等)，而且能夠支持各種操作系統(tǒng)。NAS實(shí)現(xiàn)的是文件級的數(shù)據(jù)共享，因此NAS設(shè)備通常作為文件服務(wù)的設(shè)備，

3、由工作站或服務(wù)器通過網(wǎng)絡(luò)協(xié)議(如TCP/IP)和應(yīng)用程序(如網(wǎng)絡(luò)文件系統(tǒng)NFS或者通用Internet文件系統(tǒng)CIFS)來進(jìn)行文件訪問。iSCSI技術(shù)是一種新的IETF標(biāo)準(zhǔn)協(xié)議，它將現(xiàn)有SCSI接口與以太網(wǎng)技術(shù)結(jié)合，使服務(wù)器可與使用IP網(wǎng)絡(luò)的存儲設(shè)備交換數(shù)據(jù)。iSCSI實(shí)現(xiàn)的是網(wǎng)絡(luò)存儲設(shè)備中數(shù)據(jù)塊的共享，使SCSI數(shù)據(jù)包在以太網(wǎng)中傳輸成為可能，擺脫了SAN昂貴的光纖網(wǎng)絡(luò)，既降低了管理復(fù)雜度又降低了成本。iSCSI的這些特點(diǎn)非常契合現(xiàn)在的網(wǎng)絡(luò)視頻監(jiān)控發(fā)展的現(xiàn)狀和方向，特別是在運(yùn)營級視頻監(jiān)控領(lǐng)域，存儲的規(guī)模大、投入高，iSCSI技術(shù)無疑是一個比較好的參考。(三)視頻監(jiān)控存儲面臨的問題分析隨著視頻監(jiān)

4、控行業(yè)應(yīng)用的發(fā)展，通用IP存儲的弊端逐漸顯現(xiàn)：NAS采用文件共享模式，使用系統(tǒng)的文件系統(tǒng)方式實(shí)現(xiàn)數(shù)據(jù)的存儲;長時間的高速讀寫容易導(dǎo)致文件碎片，讀寫性能隨著時間的推移持續(xù)下降。同時海量的文件容易導(dǎo)致錄像檢索效率較低，安全性得不到保障。由于NAS是構(gòu)架在操作系統(tǒng)的文件系統(tǒng)之上的，意外斷電或者文件系統(tǒng)本身的bug會導(dǎo)致數(shù)據(jù)損壞。iSCSI的空間分配采用按路進(jìn)行專屬化管理，要預(yù)先進(jìn)行分配，很難動態(tài)擴(kuò)展，容易導(dǎo)致空間資源的浪費(fèi);iSCSI模式需要前端設(shè)備或存儲管理服務(wù)器進(jìn)行磁盤空間的管理，容易導(dǎo)致管理的不一致，格式無法統(tǒng)一，從而無法實(shí)現(xiàn)數(shù)據(jù)的共享。另外，目前大多數(shù)IPC均不支持iSCSI協(xié)議，難以支持I

5、PC直接寫入存儲設(shè)備，需要流媒體服務(wù)器進(jìn)行轉(zhuǎn)換，既增加了存儲系統(tǒng)的成本，又增加了管理的復(fù)雜度，降低了系統(tǒng)的穩(wěn)定性。從互聯(lián)網(wǎng)發(fā)展起來的云存儲技術(shù)，由于其數(shù)據(jù)六模型與視頻監(jiān)控數(shù)據(jù)流模型有本質(zhì)的差別，因此利用從互聯(lián)網(wǎng)發(fā)展起來的云存儲技術(shù)來構(gòu)建的視頻云存儲系統(tǒng)至今沒有步入正式商用階段，對于監(jiān)控行業(yè)的特點(diǎn)無法進(jìn)行高效的整合。究其本質(zhì)，無論是NAS，還是iSCSI，以及從互聯(lián)網(wǎng)發(fā)展起來的云存儲技術(shù)，都是針對數(shù)據(jù)存儲應(yīng)用進(jìn)行設(shè)計和優(yōu)化的，沒有考慮到視頻監(jiān)控流的特點(diǎn)，因此，始終難以徹底解決大規(guī)模網(wǎng)絡(luò)化視頻監(jiān)控系統(tǒng)中的存儲問題。二、網(wǎng)絡(luò)視頻監(jiān)控存儲特點(diǎn)分析在大規(guī)模網(wǎng)絡(luò)視頻監(jiān)控領(lǐng)域中，存儲系統(tǒng)有其自身的幾個特點(diǎn)：

6、1.視頻監(jiān)控系統(tǒng)一般攝像頭數(shù)量多，存儲容量需求巨大，因此視頻監(jiān)控系統(tǒng)存儲必須支持大容量、可擴(kuò)展，滿足長時間大容量視頻圖像存儲的需求。2.數(shù)據(jù)寫操作持續(xù)時間長，寫入的數(shù)據(jù)流量遠(yuǎn)遠(yuǎn)大于讀取的數(shù)據(jù)流量，這是與互聯(lián)網(wǎng)和一般數(shù)據(jù)應(yīng)用的一大區(qū)別。這就要求存儲具有超強(qiáng)的長時間寫入工作能力，保持長時間的穩(wěn)定性。3.數(shù)據(jù)保存周期短，數(shù)據(jù)循環(huán)覆蓋，一般的監(jiān)控場所數(shù)據(jù)保存一定時間(如15天1個月)以后便可以刪除。因此，其視頻流模型是海量的持續(xù)寫入與海量的持續(xù)刪除(覆蓋)，與互聯(lián)網(wǎng)和一般數(shù)據(jù)應(yīng)用的追加式寫入有本質(zhì)的區(qū)別。這要求存儲系統(tǒng)能在長時間海量的持續(xù)寫入與海量的持續(xù)刪除(覆蓋)情況下保持系統(tǒng)的穩(wěn)定性。4.由于視頻

7、監(jiān)控中使用的存儲規(guī)模很大、投入很高，因此與數(shù)據(jù)應(yīng)用不同，一般都是采用低廉硬件和一般商用硬盤、甚至更便宜的所謂監(jiān)控硬盤，在整個存儲系統(tǒng)的使用生命周期中，其穩(wěn)定性與可靠性僅靠單臺設(shè)備的RAID技術(shù)是不夠的，還需要從整個存儲系統(tǒng)角度來設(shè)計其穩(wěn)定性與可靠性，如整機(jī)備份切換或短時間多份數(shù)據(jù)保護(hù)等。5.視頻監(jiān)控存儲的目的是為了在有案事件發(fā)生時可以從視頻監(jiān)控錄像中找到相關(guān)的視頻線索信息，因此，確保視頻流數(shù)據(jù)能完整地保存下來是視頻監(jiān)控存儲系統(tǒng)的最基本的核心功能。但實(shí)際系統(tǒng)日常運(yùn)維中往往不清楚存儲系統(tǒng)是否把視頻流保存下來、有多少比例沒有保存下來等，因此視頻流數(shù)據(jù)存儲完整性管理是大規(guī)模視頻監(jiān)控存儲系統(tǒng)必須要具備的

8、基礎(chǔ)功能。6.視頻監(jiān)控系統(tǒng)應(yīng)用環(huán)境一般遠(yuǎn)遠(yuǎn)達(dá)不到商業(yè)數(shù)據(jù)中心的水平，在雙路供電、UPS供電時間、后備發(fā)電系統(tǒng)等方面的保證程度相對較弱，在實(shí)際系統(tǒng)中發(fā)生短時間局部突然掉電的幾率是較高的，因此，要求存儲系統(tǒng)要具備掉電保護(hù)、來電自恢復(fù)啟動功能，發(fā)生突然掉電不會導(dǎo)致以保存的視頻錄像數(shù)據(jù)丟失，來電后可以自動進(jìn)入正常的工作狀態(tài)。7.隨著視頻監(jiān)控應(yīng)用的不斷發(fā)展，應(yīng)用模式也逐步從“事后倒查為主”向“事中實(shí)時處置”的模式發(fā)展，對存儲系統(tǒng)提出了更多的應(yīng)用方便的要求。對視頻監(jiān)控應(yīng)用的支持已經(jīng)成為存儲系統(tǒng)發(fā)展的一個迫切需求，如在存儲系統(tǒng)提供秒級時移回放、倍速回放、視頻凍結(jié)、關(guān)聯(lián)查詢的功能。三、視頻監(jiān)控專屬存儲系統(tǒng)解決

9、方案從上述分析可以知道，視頻監(jiān)控需要有一套能滿足其自身特點(diǎn)的大規(guī)模存儲系統(tǒng)解決方案，我們把這類針對視頻監(jiān)控進(jìn)行專門優(yōu)化設(shè)計的存儲系統(tǒng)稱為視頻監(jiān)控專屬存儲系統(tǒng)(Video Surveillance-Specific Storage System)。正是從這個角度出發(fā)，我們提出了視頻監(jiān)控專屬存儲系統(tǒng)解決方案，整個解決方案由存儲管理服務(wù)器與視頻監(jiān)控專屬存儲單元(Surveillance-Specific Storage Unit，簡稱SSU)組成，存儲管理服務(wù)器與視頻監(jiān)控專屬存儲單元SSU之間通過寬帶IP網(wǎng)絡(luò)連通，視頻監(jiān)控專屬存儲單元SSU在物理上可以集中部署，也可以分布式部署，但在邏輯上是一個統(tǒng)一

10、的存儲系統(tǒng)，是一套分布式的集中存儲系統(tǒng)，可以很好地滿足大規(guī)模視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)的建設(shè)需求。存儲管理服務(wù)器主要負(fù)責(zé)對視頻監(jiān)控專屬存儲單元SSU的調(diào)度管理、錄像完整率等存儲管理以及對應(yīng)用系統(tǒng)提供服務(wù)支持。視頻監(jiān)控專屬存儲單元SSU負(fù)責(zé)具體視頻流的存儲。我們根據(jù)視頻監(jiān)控特點(diǎn)，對視頻監(jiān)控專屬存儲單元SSU進(jìn)行了特別設(shè)計，存儲方式采取基于索引+數(shù)據(jù)塊的存儲模式，這種模式是根據(jù)視頻流數(shù)據(jù)的時間定位到物理存儲位置，直接將流數(shù)據(jù)存入存儲系統(tǒng)。這種模式下視頻索引的循序就是數(shù)據(jù)的物理存儲循序。數(shù)據(jù)塊的存儲模式大大縮短了系統(tǒng)的圖像回放響應(yīng)時間，可實(shí)現(xiàn)歷史圖像信息的秒級監(jiān)控(見圖1)。圖1 基于索引+塊數(shù)據(jù)的存儲結(jié)構(gòu)S

11、SU采用模塊化設(shè)計，冗余電源，冗余風(fēng)扇，部分型號采用冗余控制器，支持熱插拔。所有產(chǎn)品型號均支持統(tǒng)一網(wǎng)管?？煞奖銓?shí)現(xiàn)錄像的快放、慢放、拖放、單幀放，還支持秒級定位與秒級時移回放。(一)創(chuàng)新性1.采用磁盤直寫技術(shù)，優(yōu)化磁盤使用模式，保障I/O為順序讀寫、極高提升吞吐量，減少了因異常關(guān)機(jī)、系統(tǒng)斷電以及文件系統(tǒng)崩潰等造成的錄像數(shù)據(jù)安全問題。系統(tǒng)減少數(shù)據(jù)傳輸環(huán)節(jié)，拋棄傳統(tǒng)的流媒體服務(wù)器和通用存儲技術(shù)，比如NAS或iSCSI，極大簡化存儲的系統(tǒng)結(jié)構(gòu)，提高IO處理能力和讀寫效率。2.采用了“時間索引+塊數(shù)據(jù)”的專用數(shù)據(jù)結(jié)構(gòu)，無文件系統(tǒng)，永無碎片，徹底避免文件系統(tǒng)原因而導(dǎo)致的錄像丟失問題，提高了數(shù)據(jù)的可管理性

12、和安全性。這種全新的數(shù)據(jù)結(jié)構(gòu)采用幀組作為存儲組織單元，時間作為組織單元的索引，并且把索引數(shù)據(jù)和錄像數(shù)據(jù)保存在物理上完全獨(dú)立的存儲空間，從而在保障索引數(shù)據(jù)可靠性的同時，大幅度提高錄像數(shù)據(jù)的管理效率和檢索速度。3.支持存儲系統(tǒng)的統(tǒng)一調(diào)度管理和統(tǒng)一網(wǎng)管，實(shí)現(xiàn)海量數(shù)據(jù)的全局管控。存儲和攝像頭實(shí)現(xiàn)嚴(yán)格的統(tǒng)一映射管理，視頻系統(tǒng)無存儲管理服務(wù)器，視頻數(shù)據(jù)由攝像頭直接寫入存儲，無系統(tǒng)性能瓶頸，易實(shí)現(xiàn)全局共享管理。(二)SSU特點(diǎn)和安全特性1.特點(diǎn)(1)針對監(jiān)控視頻數(shù)據(jù)進(jìn)行優(yōu)化存儲，數(shù)據(jù)流以塊式組織，無文件系統(tǒng)，永無碎片。(2)優(yōu)化磁盤使用模式，保障I/O為順序讀寫、極高提升吞吐量，減少了因異常關(guān)機(jī)、系統(tǒng)斷電以

13、及文件系統(tǒng)崩潰等造成的錄像數(shù)據(jù)安全問題。(3)不論前端集中存儲還是中心集中存儲，都由平臺統(tǒng)一進(jìn)行管理。(4)支持平臺統(tǒng)一網(wǎng)管。(5)支持錄像秒級定位和秒級時移回放和下載。(6)支持1/1616倍率的回放(例如：1/8、1/9、1.1x、1.2x、2x、4x、16x)，支持視頻回退播放。(7)支持前端設(shè)備的斷線存儲。2.安全特性(1)網(wǎng)絡(luò)安全：斷線故障，自動切換;連接故障，繼續(xù)存儲。(2)數(shù)據(jù)安全：數(shù)據(jù)流塊式組織，無碎片，無病毒;冗余控制：RAID 冗余，冗余電源，冗余風(fēng)扇。(3)系統(tǒng)冗余：全局N+(13)熱備。(4)屬性控制：SSU可配置讀寫屬性，包括“可讀可寫”和“只讀”，保證全局?jǐn)?shù)據(jù)安全。

14、(5)防斷電特性：硬件級和固件級的電源故障數(shù)據(jù)保護(hù)功能，它們具有電源故障檢測電路，保證每個數(shù)據(jù)的讀寫操作一致性。在非安全關(guān)閉期間，SSU中的固件例行程序?qū)﹄娫粗袛嘧龀鲰憫?yīng)，確保臨時緩沖區(qū)中的用戶數(shù)據(jù)和系統(tǒng)數(shù)據(jù)寫入介質(zhì)。SSU在軟件方面也針對掉電進(jìn)行了優(yōu)化，主要是針對視頻索引的數(shù)據(jù)庫進(jìn)行了事務(wù)控制。四、SSU應(yīng)用(一)讀寫安全SSU支持讀寫屬性配置，對于一些突發(fā)情況時需要對整臺SSU進(jìn)行保護(hù)時，可方便配置“只讀”屬性。對于重要的錄像，系統(tǒng)支持凍結(jié)功能，防止循環(huán)錄像時對重要錄像數(shù)據(jù)的覆蓋。(二)自動路由前端設(shè)備優(yōu)先直接連接SSU進(jìn)行錄像，如果設(shè)備直接訪問SSU不通時，系統(tǒng)將通過媒體轉(zhuǎn)發(fā)服務(wù)進(jìn)行錄像

15、存儲(見圖2)。圖2在用戶訪問SSU的錄像時(回放、下載)，系統(tǒng)優(yōu)先選擇用戶直接連接SSU;如果用戶和SSU之間鏈路不通，系統(tǒng)將通過媒體轉(zhuǎn)發(fā)服務(wù)器進(jìn)行自動路由(見圖3)。圖3(三)冗余自動切換系統(tǒng)支持N+(13)的熱備，一旦檢測到主用SSU故障時，錄像將直接切換到備用SSU。在主用SSU恢復(fù)后，重新切換相應(yīng)錄像(見圖4)。圖4(四)斷線繼續(xù)存儲設(shè)備正在錄像時，如果由于線路或平臺的原因?qū)е逻B接中斷。設(shè)備將不中止與SSU的錄像(見圖5)。圖5(五)在線剪輯系統(tǒng)支持錄像在線剪輯功能，用戶在可以隨意標(biāo)記和記錄感興趣的錄像片段。這些片段可以進(jìn)行編輯，回放和下載。(六)統(tǒng)一網(wǎng)管SSU支持系統(tǒng)統(tǒng)一網(wǎng)管，系統(tǒng)的錄像情況、運(yùn)行狀態(tài)一目了然。(七)錄像完整率統(tǒng)計業(yè)界首推錄像精細(xì)化管理，精確記錄每個攝像