一種多路圖像實(shí)時(shí)采集存儲(chǔ)系統(tǒng)的設(shè)計(jì)

一種多路圖像實(shí)時(shí)采集存儲(chǔ)系統(tǒng)的設(shè)計(jì)

1視頻監(jiān)控存儲(chǔ)在一些大型測(cè)量設(shè)備中，多傳感器集成，對(duì)設(shè)備的實(shí)時(shí)存儲(chǔ)能力提出了新的要求，這不僅要確保實(shí)時(shí)性，還要確保可靠性和圖像質(zhì)量。在這項(xiàng)工作中，我們?cè)O(shè)計(jì)了一種多才多藝的實(shí)時(shí)存儲(chǔ)系統(tǒng)。存儲(chǔ)系統(tǒng)由四個(gè)圖像實(shí)時(shí)采集存儲(chǔ)系統(tǒng)組成。該系統(tǒng)采用嵌入式存儲(chǔ)結(jié)構(gòu)，嵌入式實(shí)時(shí)操作系統(tǒng)用作軟件平臺(tái)，磁盤為存儲(chǔ)介質(zhì)，結(jié)束視頻圖像的存儲(chǔ)過程。系統(tǒng)工作過程中,系統(tǒng)接收到主控計(jì)算機(jī)控制命令后開始圖像存儲(chǔ)記錄,通過串口控制模塊實(shí)時(shí)接收時(shí)間、編碼器等信息,并將時(shí)間、編碼器信息與當(dāng)前幀的圖像一同記錄到存儲(chǔ)硬盤中。2系統(tǒng)組成和功能2.1數(shù)據(jù)交換機(jī)、上位機(jī)軟件存儲(chǔ)系統(tǒng)組成如圖1.1所示,系統(tǒng)主要由四個(gè)獨(dú)立的實(shí)時(shí)圖像存儲(chǔ)系統(tǒng)組成(其中包括1個(gè)SDI輸入圖像存儲(chǔ)系統(tǒng),3個(gè)CameraLink輸入圖像存儲(chǔ)系統(tǒng))、一個(gè)數(shù)據(jù)交換機(jī)、一套上位機(jī)軟件組成,四根串口線以及5根千兆網(wǎng)線組成。上位機(jī)軟件具有控制、實(shí)時(shí)顯示、回放,以及導(dǎo)出存儲(chǔ)視頻文件的功能;數(shù)據(jù)交換機(jī)與千兆網(wǎng)線配合使用將上位機(jī)與四套實(shí)時(shí)圖像存儲(chǔ)系統(tǒng)進(jìn)行集群式連接;存儲(chǔ)系統(tǒng)用于保存視頻文件;串口線可用于存儲(chǔ)系統(tǒng)實(shí)時(shí)接收疊加信息進(jìn)行存儲(chǔ)操作。圖像數(shù)據(jù)在采集系統(tǒng)的控制下完成圖像數(shù)據(jù)采集,同時(shí)存儲(chǔ)控制器接收綜合控制器發(fā)來的數(shù)據(jù)信息,將該信息按每幀與圖像對(duì)應(yīng)幀組成圖像與數(shù)據(jù)的整合幀,并將整合后的數(shù)據(jù)在存儲(chǔ)系統(tǒng)的控制下寫入SSD固態(tài)硬盤中,完成逐幀的數(shù)據(jù)記錄。2.2存儲(chǔ)圖像的信息(1)實(shí)時(shí)無損大容量存儲(chǔ)數(shù)字圖像;(2)接收主控計(jì)算機(jī)系統(tǒng)的控制命令,回送存儲(chǔ)狀態(tài)信息;(3)記錄數(shù)字圖像及相關(guān)信息,在存儲(chǔ)圖像中疊加與圖像對(duì)應(yīng)時(shí)刻的時(shí)間碼、編碼器等信息;(4)能通過計(jì)算機(jī)控制存儲(chǔ)系統(tǒng)開始記錄、停止和下載視頻圖像數(shù)據(jù);(5)下載的圖像可復(fù)原回放,顯示時(shí)疊加與圖像對(duì)應(yīng)的時(shí)間碼、方位角、高低角信息,可連續(xù)回放、單幀回放;(6)圖像格式轉(zhuǎn)換,把圖像數(shù)據(jù)及文件數(shù)據(jù)轉(zhuǎn)換成含有時(shí)間信息、方位角及高低角信息的標(biāo)準(zhǔn)BMP圖像;(7)具有自檢功能和故障診斷能力,故障診斷到線路板。3系統(tǒng)設(shè)計(jì)3.1基于sa3的sd-sd存儲(chǔ)圖像高速存儲(chǔ)系統(tǒng)以Xilinx公司最新的K7系列FPGA作為系統(tǒng)的核心處理器,實(shí)現(xiàn)數(shù)據(jù)的采集和解碼,并在FPGA中實(shí)現(xiàn)完整的SATA3協(xié)議,通過SATA3協(xié)議,將數(shù)據(jù)以RAID0或RAID1的形式存儲(chǔ)于后端所連接的SATA3固態(tài)硬盤中,該架構(gòu)的存儲(chǔ)速率可以完全滿足CamlinkFull工作模式,或HD-SDI工作模式。如果需要,可以進(jìn)行更多塊SSD的堆疊,在提高容量的同時(shí),線性提高讀寫帶寬。系統(tǒng)組成框圖如圖2.1所示。3.2fpga軟件的設(shè)計(jì)系統(tǒng)采用FPGA編程的方式進(jìn)行控制,FPGA軟件主要負(fù)責(zé)系統(tǒng)的相機(jī)解碼、串口收發(fā)、圖像存儲(chǔ)、圖像實(shí)時(shí)顯示和事后回顯導(dǎo)出等。軟件流程如圖2.2所示。4關(guān)鍵技術(shù)4.1支持千通網(wǎng)口通信該存儲(chǔ)系統(tǒng)是一套圖像實(shí)時(shí)采集存儲(chǔ)系統(tǒng),支持四路相機(jī)同時(shí)采集數(shù)據(jù),并對(duì)采集數(shù)據(jù)進(jìn)行回放、導(dǎo)出、刪除等操作;支持通過千兆網(wǎng)實(shí)時(shí)顯示圖像、導(dǎo)出采集數(shù)據(jù);支持串口通信方式、千兆網(wǎng)通信方式;支持串口、千兆網(wǎng)口控制存儲(chǔ)設(shè)備;支持系統(tǒng)自檢及誤碼計(jì)算功能。系統(tǒng)采用嵌入式存儲(chǔ)構(gòu)架,利用嵌入式實(shí)時(shí)操作系統(tǒng)作為軟件平臺(tái),磁盤為存儲(chǔ)介質(zhì),完成視頻圖像的存儲(chǔ)過程。4.2讀取或讀取圖像系統(tǒng)工作過程中,系統(tǒng)接收到主控計(jì)算機(jī)控制命令后開始圖像存儲(chǔ)記錄,通過串口控制模塊實(shí)時(shí)接收時(shí)間、編碼器等信息,并將時(shí)間、編碼器信息與當(dāng)前幀的圖像一同記錄到存儲(chǔ)硬盤中。記錄完成后,利用主控計(jì)算機(jī)通過網(wǎng)絡(luò)連接可以將存儲(chǔ)系統(tǒng)的圖像進(jìn)行下載、圖像回放。下載圖像數(shù)據(jù)經(jīng)格式轉(zhuǎn)換后生成規(guī)定格式圖像用于判讀。同時(shí)存儲(chǔ)系統(tǒng)設(shè)計(jì)成具有上電復(fù)位自檢功能,一方面檢查系統(tǒng)工作是否正常,另一方面檢查信道是否正常。一旦檢測(cè)到系統(tǒng)工作狀態(tài)不正常時(shí),輸出故障標(biāo)志,故障診斷到線路板級(jí)。4.3同幀畫與同幀空間同步圖像與當(dāng)幀時(shí)刻的時(shí)間嚴(yán)格對(duì)齊、對(duì)程序的時(shí)序和中斷處理等提出了較高的要求。圖像數(shù)據(jù)是在FPGA控制下進(jìn)行采集,FPGA實(shí)時(shí)檢測(cè)圖像數(shù)據(jù)的幀同步信息,而系統(tǒng)通過異步串口傳來的通訊數(shù)據(jù)也連接到FPGA上,FPGA負(fù)責(zé)解析異步通訊數(shù)據(jù)的起始時(shí)間位置,并記錄其檢測(cè)的圖像數(shù)據(jù)幀同步的特征時(shí)刻。通過軟件分析,如果串口通訊數(shù)據(jù)落在兩幀場(chǎng)同步之間,則認(rèn)為此時(shí)接收到的當(dāng)幀信息與當(dāng)幀圖像為同幀畫幅,并將數(shù)據(jù)與信息一同送入SDRAM的指定區(qū)域中,在接收到嵌入式處理器寫入命令時(shí)將該同幀畫幅送到SSD硬盤的DMA中。如果兩者時(shí)間超過規(guī)定域值,可以追溯問題產(chǎn)生的原因。4.4同步控制獲取同時(shí)記錄時(shí)間在系統(tǒng)正常工作時(shí),如果存在干擾(如場(chǎng)同步干擾、同步信息干擾),而系統(tǒng)僅完成圖像與信息的排序一一對(duì)應(yīng),會(huì)造成信息與圖像的錯(cuò)誤,而且無法恢復(fù),系統(tǒng)中采用多個(gè)自由計(jì)數(shù)器完成圖像同步與信息的起始時(shí)間的準(zhǔn)確記錄。系統(tǒng)中設(shè)置了場(chǎng)同步時(shí)刻計(jì)數(shù)器、嵌入式處理器相應(yīng)時(shí)刻計(jì)數(shù)器、同步信息起始位時(shí)刻等,每個(gè)計(jì)數(shù)器均為32位,計(jì)數(shù)器分辨率為1s,可以保證一次記錄時(shí)間不會(huì)溢出。在寫入圖像數(shù)據(jù)的同時(shí),將對(duì)應(yīng)該幀的每個(gè)計(jì)數(shù)器的值一同追加到信息中,當(dāng)下載的數(shù)據(jù)或圖像存在問題時(shí),可以通過這些計(jì)數(shù)器恢復(fù)同幀畫幅,也可以判定圖像受到干擾還是通訊受到干擾。4.5圖像幀格式的選擇待存儲(chǔ)的數(shù)據(jù)可以看成是有一定物理順序的數(shù)據(jù)流,由于數(shù)據(jù)傳輸過程中可能出現(xiàn)干擾等因素的影響而使得某幀圖像數(shù)據(jù)量改變,從而會(huì)導(dǎo)致后續(xù)的數(shù)據(jù)流物理順序的改變,會(huì)給圖像恢復(fù)造成很大影響。為了避免這種情況的發(fā)生,針對(duì)待采集的圖像幀格式,使得采集到的每一幀圖像都有固定的行列數(shù),而不受干擾的影響。具體實(shí)現(xiàn)的方法是通過狀態(tài)機(jī)在橫縱兩個(gè)方向上對(duì)二維圖像進(jìn)行嚴(yán)格的采集控制。4.6系統(tǒng)運(yùn)行區(qū)域設(shè)定為防止圖像存儲(chǔ)過程中意外斷電導(dǎo)致已存儲(chǔ)任務(wù)丟失,每次存儲(chǔ)啟動(dòng)后,系統(tǒng)預(yù)先為存儲(chǔ)任務(wù)分配安全區(qū)域(大小可預(yù)先設(shè)定),并記錄該區(qū)域起始結(jié)束扇區(qū)等參數(shù)。當(dāng)存儲(chǔ)進(jìn)行過程中意外斷電后,重新上電系統(tǒng)可通過已記錄的安全存儲(chǔ)區(qū)域參數(shù)保證已存儲(chǔ)數(shù)據(jù)不丟失。5統(tǒng)上位機(jī)軟件在硬件設(shè)計(jì)方面,核心技術(shù)采用FPGA編寫SSD接口時(shí)序,直接讀寫SSD,效率、可靠性都要比操作系統(tǒng)對(duì)SSD操作要高得多。而且相機(jī)采集的接口時(shí)序和串口等通訊功能,都由FPGA直接完成減少了系統(tǒng)的復(fù)雜度,降低了過多使用芯片帶來的不可靠性。軟件方面,本存儲(chǔ)系統(tǒng)上位機(jī)軟件采用MFC、OpenCV實(shí)現(xiàn),MFC是一個(gè)微軟公司提供的類庫(kù),以C++類的形式封裝了WindowsAPI,并且包含一個(gè)應(yīng)用程序框架,以減少應(yīng)用程序開發(fā)人員的工作量。其中包含的類包含大量Windows句柄封裝類和很多Windows的內(nèi)建控件和組件的封裝類。OpenCV是一個(gè)基于(開源)發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫(kù),可以運(yùn)行在Linux、Windows和MacOS操作系統(tǒng)上。它輕量級(jí)而且高效——由一系列C函數(shù)和少量C++類構(gòu)成,同時(shí)提供了Python、Ruby、MATLAB等語(yǔ)言的接口,實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。OpenCV用C++語(yǔ)言編寫,它的主要接口也是C++語(yǔ)言,但是依然保留了大量的C語(yǔ)言接口。該庫(kù)也有大量的Python,JavaandMATLAB/OCTAVE(版本2.5)的接口。這些語(yǔ)言的API接口函數(shù)可以通過在線文檔獲得。6支持多路機(jī)同時(shí)采集存儲(chǔ)本存儲(chǔ)系統(tǒng)采用嵌入式存儲(chǔ)構(gòu)架,利用FPGA做為核心處理器,磁盤為存儲(chǔ)介質(zhì),完成視頻圖像的采集、存儲(chǔ)過程。系統(tǒng)工作過程中,系統(tǒng)可接收到主控計(jì)算機(jī)控制命令后開始圖像存儲(chǔ)記錄,通過串口控制模塊實(shí)時(shí)接收時(shí)間、編碼器等信息,并將時(shí)間、編碼器信息與當(dāng)前幀的圖像一同記錄到存儲(chǔ)硬盤中。系統(tǒng)支持多路相機(jī)同時(shí)采集數(shù)據(jù),并對(duì)采集數(shù)據(jù)進(jìn)行回放、導(dǎo)出、刪除等操作