計算機(jī)視頻信號采集技術(shù)綜述

計算機(jī)視頻信號采集技術(shù)綜述

1社會領(lǐng)域的考量在很多應(yīng)用環(huán)境中，我們需要使用視頻資源。它涉及各種社會領(lǐng)域，如教育、醫(yī)療、通信、現(xiàn)代軍事領(lǐng)域，這包括計算機(jī)上顯示和壓縮信息。2視頻采集系統(tǒng)的分類根據(jù)視頻源類型的不同,視頻采集可分為模擬視頻采集和數(shù)字視頻采集。2.1傳統(tǒng)視頻監(jiān)控系統(tǒng)模擬視頻采集用于模擬視頻信號的采集,這類視頻信號由傳統(tǒng)的視頻設(shè)備所產(chǎn)生,如錄像機(jī)、攝像頭等。(1)視頻壓縮設(shè)備用于模擬視頻采集的設(shè)備大致可分為兩類,一類為帶壓縮功能的采集設(shè)備,通過這類設(shè)備可以直接將信號源轉(zhuǎn)換為MPEG1/MPEG2碼流,另一類為不帶壓縮功能的采集設(shè)備,通過這類設(shè)備只能將信號源采集為無壓縮或簡單壓縮的AVI文件,采集完成后再使用其它軟件或者硬件設(shè)備將AVI文件壓縮為期望的視頻格式,相對于前一種采集設(shè)備,這類設(shè)備的優(yōu)勢首先是價格低廉,其次后期的處理和制作更靈活,不僅可以將視頻壓縮成MPEG1/MPEG2碼流,也可以壓縮成MPEG4甚至是RM等流格式,特別是現(xiàn)在CPU的處理速度已經(jīng)足夠快,已經(jīng)可以在采集的同時將視頻實時地壓縮成MPEG1/MPEG2碼流,也就是以軟件的方式使這種設(shè)備也具有前一種設(shè)備的特性,因而從發(fā)展的趨勢來看這種設(shè)備的應(yīng)用更普遍。(2)復(fù)合視頻接口視頻源和采集設(shè)備的連接可通過復(fù)合視頻端子或者S-Video端子。復(fù)合視頻的構(gòu)成是:首先有一個基本的黑白視頻信號,然后在每個水平同步脈沖之后,加入一個顏色脈沖和一個亮度信號,由多種數(shù)據(jù)“疊加”起來形成彩色信號,故稱之為“復(fù)合視頻”。S-Video則是一種信號質(zhì)量更高的視頻接口,它取消了信號疊加的方法,將RGB三原色和亮度進(jìn)行分離處理,可有效避免一些無謂的質(zhì)量損失。復(fù)合視頻端子的水平清晰度約為280線,而S-Video端子的水平清晰度能達(dá)400線左右,因而在可能的范圍內(nèi),應(yīng)盡量使用S-Video端子連接視頻源和采集設(shè)備。(3)采集設(shè)備驅(qū)動設(shè)置選擇采集軟件時需要考慮以下一些因素:①長時間視頻采集支持。常用的FAT32文件系統(tǒng)有單個文件大小不能超過4G的限制,而視頻采集時數(shù)據(jù)量很大,以352x28825fps的最小采集應(yīng)用計算,在無壓縮時4G的容量僅能采集不到10分鐘的視頻,為了適應(yīng)較長時間視頻采集的需要,采集軟件在文件尺寸將要超過4G時,應(yīng)能自動建立新文件,透明地將后續(xù)的視頻保存在新文件中,以間接的方式突破FAT32的4G限制。②對應(yīng)的采集設(shè)備支持。一般情況下,采集軟件不應(yīng)該直接去控制采集設(shè)備,它應(yīng)該通過標(biāo)準(zhǔn)的調(diào)用接口將調(diào)用請求發(fā)送給設(shè)備的驅(qū)動程序,再由驅(qū)動程序去控制采集設(shè)備。Windows應(yīng)用環(huán)境下采集設(shè)備的驅(qū)動程序可以分為兩類:一類為VFW模式驅(qū)動模式,一類為WDM模式驅(qū)動模式,如果采集程序是基于VFW模式編寫,就不能調(diào)用基于WDM驅(qū)動模式的采集設(shè)備,反之依然,因而應(yīng)該根據(jù)自己設(shè)備提供的驅(qū)動程序的模式選擇合適的采集軟件,按照Microsoft公司的建議,設(shè)備應(yīng)盡量提供WDM模式的驅(qū)動程序,因而在無法確定的情況下,可優(yōu)先考慮使用基于WDM驅(qū)動模式的采集軟件,此外有些采集軟件只支持特定的采集芯片,這點(diǎn)在選擇采集軟件時也需要考慮。③良好的采集效果。有些采集軟件在進(jìn)行視頻采集的同時還可以對視頻源進(jìn)行一些處理,如反交錯、降噪等等,這些處理雖然需要占用額外的CPU時間,但其采集效果要明顯強(qiáng)于那些只能純粹采集的軟件,因而在計算機(jī)的處理速度允許的范圍內(nèi),應(yīng)盡量選用這類可以實時對視頻信號進(jìn)行處理的軟件。綜合考慮以上各種因素,如果你的采集設(shè)備提供的是基于VFW模式的驅(qū)動程序,可考慮選擇AVIIO或者VirtualDub做為采集軟件,如果你的采集設(shè)備提供的是基于WDM模式的驅(qū)動程序,可考慮選擇Fly2000TV做為采集軟件。(4)采集視頻分辨率確定應(yīng)根據(jù)自己的應(yīng)用需要選擇合適的采集分辨率,過大的視頻分辨率需要消耗更多的計算機(jī)資源,也會導(dǎo)致后期處理和壓縮的時間成倍增長,而過小的視頻分辨率,又會導(dǎo)致無法獲取滿意的的視頻質(zhì)量,視頻分辨率的一般確定原則為:如果你想把你的視頻流最終壓縮為MPEG1碼流,采集的視頻分辨率應(yīng)選擇352x288,如果想把視頻流壓縮為MPEG2碼流,采集的視頻分辨率應(yīng)選擇720x576,如果想把視頻流壓縮為MPEG4碼流,可考慮選擇720x576或者是512x384。(5)ycrcb色彩空間對一種顏色進(jìn)行編碼的方法統(tǒng)稱為“顏色空間”或“色域”,我們平時接觸得最多的是RGB色彩空間,RGB色彩空間主要用于計算機(jī)的顯示系統(tǒng),在這種色彩空間里每種顏色都可用三個變量來表示,這三個變量分別表示紅色、綠色以及藍(lán)色的強(qiáng)度,而在視頻領(lǐng)域一般是使用YUV色彩空間(亦稱YCrCb),它優(yōu)化了彩色視頻信號的傳輸,與RGB視頻信號傳輸相比,它最大的優(yōu)點(diǎn)在于只需占用極少的帶寬。其中“Y”表示明亮度(Luminance),而“U”和“V”表示的是色度(Chrominance),定義了顏色的兩個方面—色調(diào)與飽和度,分別用Cr和Cb來表示。其中,Cr反映了RGB輸入信號紅色部分與RGB信號亮度值之間的差異。而Cb反映的是RGB輸入信號藍(lán)色部分與RGB信號亮度值之同的差異。因為RGB色彩空間和YUV色彩空間并不完全兼容,顏色在RGB色彩空間和YUV色彩空間中進(jìn)行轉(zhuǎn)換時,有可能導(dǎo)致色彩損耗,因而在采集時,應(yīng)盡量將視頻采集為YUV格式,以方便以后的處理和壓縮。(6)視頻的壓縮方式編碼解碼器(Codec)的主要作用是對視頻信號進(jìn)行壓縮和解壓縮,早期因為計算機(jī)的運(yùn)算速度比較慢,所以這種編解碼的工作主要是由硬件來完成,隨著CPU運(yùn)算速度的大幅度提高,現(xiàn)在編解碼的任務(wù)更多的由軟件來完成。采集時對視頻進(jìn)行的壓縮是必須的,因為按照常用的24位色彩系統(tǒng)計算,在720x57625fps的采集分辨率下,每秒要傳輸高達(dá)30MB的信息,這么大的數(shù)據(jù)量不說如何存儲,就是數(shù)據(jù)的傳輸對計算機(jī)的存儲系統(tǒng)都是一個非常嚴(yán)峻的考驗,如果在采集的同時對視頻信號進(jìn)行實時壓縮,可以有效地解決這些問題,不過由于受CPU處理速度的限制,采集時使用的編碼解碼器首先考慮的是處理速度,其次才是壓縮比率,比較常用的是MJPEG壓縮,MJPEG壓縮就是借用JPEG的算法來對視頻進(jìn)行壓縮,它將視頻中的每一幀都作為一幅獨(dú)立的圖像來進(jìn)行壓縮,這種壓縮方法的最大優(yōu)點(diǎn)是處理速度快,壓縮后視頻的質(zhì)量非常高(可以媲美原始的畫面質(zhì)量),其缺點(diǎn)是相對而言壓縮比率不是特別高,適合于做中間壓縮方式而不適合做最終壓縮方式。2.2視頻采集接口數(shù)字視頻采集主要用于DV攝像機(jī)攝錄的視頻的采集,因為DV攝像機(jī)在攝錄的時候已經(jīng)將視頻信號直接轉(zhuǎn)換為數(shù)字信號并存放在DV帶上,因而這種采集比模擬視頻采集要容易得多,它只需要提供一個1394接口。1394接口是一種高速的數(shù)據(jù)傳送接口,它可以是一塊獨(dú)立的即插即用硬件卡,也可以直接集成在主板上,通過這個接口連接計算機(jī)和DV攝像機(jī),從而形成一個高速的視頻數(shù)據(jù)傳輸?shù)耐ǖ?。存放在DV帶上的數(shù)字視頻信號通過這個通道傳輸?shù)接嬎銠C(jī)中即可完成采集工作,采集完成之后的文件格式為AVI文件。計算機(jī)端的采集軟件上可采用著名的軟件AdobePremiere。3對已經(jīng)壓縮的視頻進(jìn)行壓縮/解壓縮前文提到,在視頻采集時應(yīng)該對視頻信號進(jìn)行壓縮,但是這種壓縮最主要是強(qiáng)調(diào)實時性,壓縮比率一般都不是特別高,因而在采集完成后,需要對已經(jīng)數(shù)字化的視頻信號再進(jìn)行壓縮,以便于視頻信號的存儲和傳輸。常用的壓縮格式有MPEG1、MPEG2、MPEG4,總體說來,MPEG在三方面優(yōu)于其他壓縮/解壓縮方案:首先,由于在一開始它就是做為一個國際化的標(biāo)準(zhǔn)來研究制定,所以,MPEG具有很好的兼容性。其次,MPEG能夠比其他算法提供更好的壓縮比,最高可達(dá)200:1。更重要的是,MPEG在提供高壓縮比的同時,對數(shù)據(jù)的損失很小。3.1視頻編碼格式MPEG1制定于1992年,使用固定視頻分辨率和固定碼流編碼,對于PAL制式的視頻,編碼的視頻分辨率固定為352x288,對于NTSC制式的視頻則為320x240,編碼時的視頻碼流固定為1.15Mbps,因為推出的時間比較早,不管是在壓縮比率上還是在畫面質(zhì)量上都無法同其后的幾個標(biāo)準(zhǔn)相比,其最大的優(yōu)點(diǎn)是壓縮速度快,主流的計算機(jī)使用純軟件的方式都可以在采集的時候也同時實時完成壓縮,此外它也擁有廣泛的回放基礎(chǔ)。3.2視頻分辨率及視頻碼流MPEG2制定于1994年,使用固定視頻分辨率和可變碼流編碼,對于PAL制式的視頻,編碼的視頻分辨率固定為720x576,對于NTSC制式的視頻則為720x480,編碼時的視頻碼流可在3-10Mbps變化,主要針對高清晰度電視(HDTV)的需要,由于MPEG2的出色性能表現(xiàn),已能適用于HDTV,使得原打算為HDTV設(shè)計的MPEG3,還沒出世就被拋棄了。3.3mpeg4編碼這是一種新興的壓縮格式,具有廣泛的應(yīng)用前景,它在提供高壓縮比率的同時,還能保證良好的畫面質(zhì)量,在提供和MPEG2相近的畫面質(zhì)量時,它所需要的編碼速率僅為MPEG2的一半或者更小。MPEG4沒有限制編碼時的視頻分辨率,你可以采用MPEG1的352x288的視頻分辨率,也可以采用MPEG2的720x576的視頻分辨率,一般比較常用的視頻分辨率為512x384,在這種視頻分辨率下既可以保證較好的畫面質(zhì)量,又可以有效地控制生成文件的尺寸。MPEG4編碼可采用一次編碼或者二次編碼,一次編碼是一種比較傳統(tǒng)的編碼方式,即使用一個固定的編碼碼率對整個視頻流進(jìn)行編碼,二次編碼分兩步完成編碼工作,第一步使用快速的編碼方式評估并記錄每幀視頻在獲取最佳視頻質(zhì)量時所需要的碼率,第二步根據(jù)第一步生成的結(jié)果再結(jié)合用戶指定的平均碼率對視頻進(jìn)行編碼,編碼時對各幀所使用的碼率進(jìn)行動態(tài)分配,這樣實際上是將那些只需要小碼率的簡單畫面所節(jié)省下來的碼流轉(zhuǎn)移到那些復(fù)雜畫面中使用,合理地利用了碼流,既可以保證較好的畫面質(zhì)量,又不會造成碼流的浪費(fèi)。MPEG4壓縮時應(yīng)合理設(shè)置關(guān)鍵幀,所謂關(guān)鍵幀就是記錄了完整畫面信息的幀,所有的MPEG影片都是由16x16見方的小方塊構(gòu)建的。在連續(xù)的兩幀中“基本相同”的小方塊內(nèi)的像素信息將不被后一幀記錄,以節(jié)省空間并得到更高的壓縮比例。但是在這種方式下,多數(shù)的幀都并不會記錄完整的畫面信息。例如要看第100幀的畫面,就必須讀取并處理前99幀的數(shù)據(jù)信息才可以得到,特別是像MPEG4這種高壓縮比率的編碼方式,每處理一幀都需要耗費(fèi)更多的時間,因而在一定時