ACTL：Mars DVR數(shù)字監(jiān)控信息存儲系統(tǒng)白皮書.doc

M2ars DVR數(shù)字監(jiān)控信息存儲系統(tǒng)第1章 概述安全生產和確保產品的高質量是現(xiàn)代企事業(yè)單位重要的生命線，建立完善的安全體系是其各項業(yè)務正常運轉的重要保證。伴隨IT技術的發(fā)展，可靠、先進的數(shù)字監(jiān)控與監(jiān)控數(shù)據(jù)存儲系統(tǒng)已經(jīng)成為確保安全生產的最重要手段之一。其中，監(jiān)控系統(tǒng)是業(yè)務應用的最前沿；而先進、穩(wěn)定的監(jiān)控數(shù)據(jù)存儲系統(tǒng)是整個業(yè)務應用的基礎支持平臺，有了強大的存儲管理系統(tǒng)，整個監(jiān)控業(yè)務數(shù)據(jù)才能夠被良好的保存，并進行方便的查詢與利用！在安全性要求很高的單位中，數(shù)字監(jiān)控錄像一般需要長時間的保存，以備業(yè)務需要，因此，如果存在多路監(jiān)控鏡頭，形成的數(shù)據(jù)量就會十分龐大，達到TB 甚至PB的海量級。M2ars DVR數(shù)字監(jiān)控信息存儲系統(tǒng)，是我公司專門針對數(shù)字監(jiān)控領域海量錄像資料存儲、檢索、回放的具體要求而提出的專業(yè)解決方案。由于本系統(tǒng)的存儲對象是海量級的視頻監(jiān)控錄像，僅使用單一的在線硬盤存儲方式是很不經(jīng)濟的，而且，并不是所有的歷史監(jiān)控數(shù)據(jù)都要求極快的檢索速度。因此，根據(jù)這種數(shù)據(jù)的存儲檢索要求，我們采用了在線硬盤陣列、近線自動磁帶庫、離線人工帶架相結合的多級存儲體系，通過設定的具體策略將數(shù)據(jù)從硬盤中歸檔到近線帶庫、進而到離線帶架中，使用的時候再進行恢復；網(wǎng)絡結構則以SAN 為主、LAN為輔助，數(shù)據(jù)在多級存儲之間的調度基于SAN，而LAN僅僅傳送控制信息，這樣使網(wǎng)絡效率達到最優(yōu)。此外，視頻錄像從監(jiān)控機到中心盤陣的傳送可以通過FC也可以通過以太網(wǎng)，完全取決于用戶的具體需要。第2章 Mars DVR的優(yōu)勢M2ars的命名源自多通道、多級歸檔 / 恢復系統(tǒng)（Multi-Channel Multi-Layer Archive & Restore System）的英文縮寫，因此其設計思想也充分體現(xiàn)了多級存儲和多通道存儲的理念。與其它競爭產品相比，我公司自行研發(fā)的M2ars DVR是專門面向海量監(jiān)控數(shù)據(jù)存儲的具體要求，并且選擇了多項先進技術，從而具備以下優(yōu)勢：2.1 能夠兼容各種監(jiān)控錄像機M2ars DVR的存儲體系開放，只要監(jiān)控錄像機采集的是視頻文件，系統(tǒng)都可以進行統(tǒng)一的管理與存儲。視頻錄像從監(jiān)控機到存儲盤陣的傳送方式可以采用多種形式，如：文件共享、FTP、視頻流傳送等等。2.2 面向對象的存儲方式支持特有的對象式存儲方式，可將相互關聯(lián)的多路鏡頭或單路鏡頭一段時間內的監(jiān)控數(shù)據(jù)歸為一個存儲對象，隔一定時間歸檔到同一數(shù)據(jù)磁帶上，便于檢索回調，提高工作效率。2.3 完善的存儲管理策略提供豐富和完善的監(jiān)控視頻對象歸檔以及恢復策略，包括對象訪問頻率、系統(tǒng)容量、對象完整性等，用戶可以根據(jù)需要自行組合出各種存儲管理策略。2.4 對多級存儲體系的支持完全支持海量監(jiān)控數(shù)據(jù)存儲所需要的數(shù)據(jù)在線、近線、離線等存儲形式相結合的多級存儲體系。系統(tǒng)覆蓋所有的各級存儲系統(tǒng)，完成監(jiān)控數(shù)據(jù)從在線到近線、近線到離線的歸檔遷移以及恢復。2.5 采用多通道存儲架構采用多通道的監(jiān)控視頻數(shù)據(jù)歸檔、恢復結構，負責數(shù)據(jù)在各級存儲設備之間進行歸檔、恢復的遷移器模塊采用多機并行的技術，在管理服務器的統(tǒng)一調度下協(xié)同工作。這種模式既保證了系統(tǒng)能夠穩(wěn)定的運行，又保證了數(shù)據(jù)歸檔/恢復工作的高效率性。2.6 開放的磁帶記錄格式選擇了開放式磁帶存儲格式，能夠給系統(tǒng)以充分的開放性。開放的磁帶標準允許用戶使用其他廠商的軟件對數(shù)據(jù)磁帶進行授權讀取，從而給用戶的單機恢復操作和異地恢復處理提供便利。2.7 獨特的糾錯冗余處理作為監(jiān)控錄像長時間歸檔存儲系統(tǒng)，確保存儲數(shù)據(jù)的安全是至關重要的。系統(tǒng)中提供了獨特的可移動存儲介質冗余數(shù)據(jù)保護方法來提高數(shù)據(jù)流磁帶的可靠性，進行冗余糾錯處理。2.8 直接控制帶庫機械手采用國際通用標準直接控制帶庫機械手，不依賴于第三方軟件，因此，具有最廣泛的硬件兼容性，目前已經(jīng)能夠支持ADIC 、STK、IBM、SPECTRA LOGIC、SONY等大多數(shù)廠商的帶庫產品。同時可以和第三方的機械手控制軟件相配合，來共享同一機械手，完成磁帶抓取任務。第3章 Mars DVR模塊功能描述Mars DVR具體軟件模塊的邏輯結構如下圖所示：3.1 監(jiān)控信息管理檢索模塊該模塊對整個監(jiān)控系統(tǒng)的存儲和檢索操作進行集中的管理，主要包括：監(jiān)控主機鏡頭管理、存儲策略設定、監(jiān)控錄像檢索查詢、用戶權限設置、架上磁帶管理、系統(tǒng)維護設置、操作日志記錄、檢測報警等功能。3.2 M2ars服務器主要作用是接受業(yè)務檢索層的系統(tǒng)指令，并把將監(jiān)控錄像文件在不同存儲設備間遷移的工作任務下達給 “M2ars遷移器” ，當系統(tǒng)中存在多個“M2ars遷移器”的時候，“M2ars服務器” 還負責在這多臺工作站之間進行任務的分配及調度等工作。本模塊同時提供Windows平臺和UNIX平臺的版本。3.3 服務器高可用性附件“M2ars服務器”是整個系統(tǒng)的控制、調度中心，其運行的穩(wěn)定性至關重要。本模塊的作用就是建立兩臺“M2ars服務器”之間的雙機熱備，在一臺主機發(fā)生故障的情況下，備份主機能夠及時接替其工作，以保障整個系統(tǒng)的不間斷正常運行。3.4 M2ars遷移器接受控制中心的命令，主要完成把監(jiān)控數(shù)據(jù)在在線、近線、離線設備之間搬移的工作，安裝有“M2ars遷移器”的工作站通過光纖通道或局域網(wǎng)分別連接本地的磁盤陣列、磁帶庫以及其它存儲設備，負責整個歸檔恢復過程的執(zhí)行操作。3.5 帶庫控制器負責操作控制自動磁帶庫的機械手，配合相應的歸檔/恢復命令，來操作機械手抓取磁帶并放入相應的驅動器，從而與“M2ars遷移器”配合來完成具體的歸檔/恢復任務。本模塊可以通過底層指令直接控制標準的基于SCSI控制的磁帶庫，也可以通過磁帶庫廠商提供的專用軟件來控制。3.6 M2ars系統(tǒng)管理中心完成系統(tǒng)中各種相關參數(shù)及用戶組設置，主要包括如下方面：對象路徑監(jiān)視、對象的設計組成、策略條件監(jiān)視、數(shù)據(jù)分類設置、存儲位置設置、遷移器設置、磁帶庫設置、以及冗余糾錯設置等等。3.7 冗余模塊存放在數(shù)據(jù)磁帶中的數(shù)據(jù)經(jīng)過一段時間后可能會出現(xiàn)問題，從而導致數(shù)據(jù)損壞，為了解決這種問題，M2ars提供專用的糾錯冗余模塊。 冗余模塊采用了專用的可移動存儲介質冗余數(shù)據(jù)保護方法。3.8 單機讀取模塊為了方便不同物理位置的遠線磁帶數(shù)據(jù)進行及時恢復，本模塊允許在帶架所處庫房安裝獨立的磁帶機，專門恢復本庫房中的數(shù)據(jù)磁帶，可以在不同物理位置的庫房中安裝多個M2ars單機讀取模塊，方便的進行多處離線帶架數(shù)據(jù)的回遷。第4章 Mars DVR的配置Mars DVR的物理結構示意圖如下：4.1 硬件要求M2ars服務器P4 1.7 GMHz CPU至少512M，建議1G 服務器內存至少5GB硬盤空間100M Ethernet網(wǎng)卡M2ars遷移器PIII 700 CPU 至少256M，建議512M內存至少10GB磁盤空間100M Ethernet網(wǎng)卡HBA光纖適配卡監(jiān)控資料檢索管理模塊P4 1.7 GMHz CPU至少256M，建議512M 服務器內存至少10GB硬盤空間100M Ethernet網(wǎng)卡M2ars磁帶庫控制器PIII 700 CPU 256M內存100M Ethernet網(wǎng)卡HBA光纖適配卡其它模塊PIII 700 CPU 256M內存100M Ethernet網(wǎng)卡網(wǎng)絡環(huán)境標準SAN環(huán)境；不低于100M以太網(wǎng)環(huán)境系統(tǒng)支持絕大多數(shù)使用標準SCSI接口和FC接口的磁帶庫，具體型號見下表：廠商名稱支持的磁帶庫ADICScalar 10KScalar i2000Scalar 1000Scalar 100Scalar 24FastStor 22FastStor DLTFastStor LTOStorage Technology CorporationStorageTek L700eStorageTek L180StorageTek L80StorageTek L40StorageTek L20TimberWolf 9740TimberWolf 9738TimberWolf 9730Spectra Logic, IncSpectra 64KSpectra 20KSpectra 10KSpectra 2KHewlett PackardHP StorageWorks ESL9000HP StorageWorksMSL5026DLXHP StorageWorks MSL5026S2HP StorageWorks MSL5026SLHP StorageWorks MSL5030L1HP StorageWorks MSL5052S2HP StorageWorks MSL5052SLHP StorageWorks MSL5060L1HP StorageWorks MSL6000HP StorageWorks SSL2020IBM3590 Enterprise Tape System UltraScalable Tape Library 3584Ultrium Scalable Tape Library 3583Ultrium Tape Library 35827332 4mm DDS QuantumATL P7000ATL P4000ATL M2500ATL M1800ATL M1500Sony CorporationLIB-302/A3LIB-302/A2LIB-152E/A3LIB-152E/A2LIB-152E/A1LIB-162/A3LIB-162/A2LIB-162/A1LIB-81/A3LIB-81/A2LIB-81/A1LIB-D81/A3LIB-D81/A2LIB-D81/A1一些專用的海量磁帶庫存儲設備并不是用SCSI或者FC進行控制，它們采用了RS-232或專用協(xié)議進行控制，M2ars對這些磁帶庫采用通過廠商提供的專用控制軟件的方式給予支持。具體帶庫型號如下：廠商名稱磁帶庫型號采用的磁帶庫控制軟件STKPowderHorn