基于內(nèi)容的視頻檢索

基于內(nèi)容的視頻檢索技術(shù)12計(jì)科（2）班2012329620050謝文倩問(wèn)題的引入近年來(lái)，數(shù)字視頻信息出現(xiàn)了飛速膨脹，新的視頻應(yīng)用，如數(shù)字圖書(shū)館、視頻點(diǎn)播、數(shù)字電視等，已經(jīng)為越來(lái)越多的人所接受和熟悉。面對(duì)海量的視頻數(shù)據(jù)，如何找到所需的視頻信息就成為了一個(gè)急需解決的問(wèn)題。2人們總是希望可以直接檢索到一段包含特定信息的視頻片段。足球比賽中的射門(mén)鏡頭、含有日出景色的片段3二十世紀(jì)九十年代以來(lái)，出現(xiàn)了基于內(nèi)容的視頻分析和檢索研究，其目的就是通過(guò)對(duì)視頻內(nèi)容進(jìn)行計(jì)算機(jī)處理、分析和理解，建立結(jié)構(gòu)和索引，以實(shí)現(xiàn)方便有效的視頻信息獲取?；趦?nèi)容的視頻分析與檢索研究從一開(kāi)始就得到了廣泛的重視并取得了豐碩的研究成果。4國(guó)內(nèi)外研究現(xiàn)狀：國(guó)外已經(jīng)研發(fā)出多個(gè)基于內(nèi)容的視頻檢索系統(tǒng)。IBM公司的QBIC系統(tǒng)意大利Plermo大學(xué)開(kāi)發(fā)的JAKOB美國(guó)哥倫比亞大學(xué)研究實(shí)現(xiàn)VideoQ系統(tǒng)Virage公司的VirageSearchEngine美國(guó)哥倫比亞大學(xué)圖像和高級(jí)電視實(shí)驗(yàn)室開(kāi)發(fā)的VisualSeek系統(tǒng)由UIUC開(kāi)發(fā)的MARS5國(guó)內(nèi)外研究現(xiàn)狀：國(guó)內(nèi)微軟亞洲研究院的張宏江博士所帶領(lǐng)的小組研制出Ifind信息檢索系統(tǒng)國(guó)防科技大學(xué)多媒體研究開(kāi)發(fā)中心研制開(kāi)發(fā)的NewVideoCAR國(guó)防科技大學(xué)系統(tǒng)工程系研制開(kāi)發(fā)的MIRC清華大學(xué)開(kāi)發(fā)TV-FI系統(tǒng)6視頻檢索概述傳統(tǒng)的視頻檢索方法：基于視頻文本描述信息：文件名、注釋等；Google視頻搜索基于內(nèi)容的視頻檢索簡(jiǎn)介我們需要研究的是，信息檢索系統(tǒng)如何適當(dāng)?shù)乇磉_(dá)用戶所要求的內(nèi)容，并在視頻數(shù)據(jù)庫(kù)中找出符合這個(gè)查詢要求的信息返回給用戶。根據(jù)視頻的內(nèi)容和上下文關(guān)系，對(duì)大規(guī)模視頻數(shù)據(jù)庫(kù)中的視頻數(shù)據(jù)進(jìn)行檢索提供這樣一種算法：在沒(méi)有人工參與的情況下，自動(dòng)提取并描述視頻的特征和內(nèi)容9目前，基于內(nèi)容的視頻檢索研究，除了識(shí)別和描述圖像的顏色、紋理、形狀和空間關(guān)系外，主要的研究集中在視頻分割、特征提取和描述（包括視覺(jué)特征、顏色、紋理和形狀及運(yùn)動(dòng)信息和對(duì)象信息等）、關(guān)鍵幀提取和結(jié)構(gòu)分析等方面10關(guān)鍵技術(shù)視頻鏡頭檢測(cè)技術(shù)關(guān)鍵幀提取技術(shù)視頻特征提取技術(shù)視頻瀏覽和檢索111.視頻鏡頭檢測(cè)技術(shù)對(duì)視頻建立索引，首先要將視頻分割為鏡頭鏡頭檢測(cè)的關(guān)鍵是確定從鏡頭到鏡頭的轉(zhuǎn)換處，并利用鏡頭之間的轉(zhuǎn)換方式找到鏡頭圖像之間的差別鏡頭的切換方式有兩種：突變和漸變

1213鏡頭切換方式：突變切換突變是指從一個(gè)鏡頭直接切變到另一個(gè)鏡頭鏡頭切換方式：漸變切換14漸變是指從一個(gè)鏡頭慢慢切變到另一個(gè)鏡頭關(guān)鍵技術(shù)視頻鏡頭檢測(cè)技術(shù)關(guān)鍵幀提取技術(shù)視頻特征提取技術(shù)視頻瀏覽和檢索152.關(guān)鍵幀提取技術(shù)關(guān)鍵幀的作用類似于文本檢索中的關(guān)鍵詞。用關(guān)鍵幀來(lái)代表鏡頭，使得對(duì)視頻鏡頭可用圖像的技術(shù)進(jìn)行檢索關(guān)鍵幀的選取的條件: 1.必須能夠反映鏡頭中的主要事件，因而描述應(yīng)盡可能準(zhǔn)確完全. 2.為便于管理，數(shù)據(jù)量應(yīng)盡量小，且計(jì)算不宜太復(fù)雜。16關(guān)鍵幀提取的基本方法特定幀法幀平均法和直方圖平均法基于光流的運(yùn)動(dòng)分析17特定幀法一段視頻被分割成若干鏡頭后，一種最直接、最簡(jiǎn)單的關(guān)鍵幀提取方法就是將每個(gè)鏡頭的首幀、中間幀以及末幀作為鏡頭的關(guān)鍵幀。特定幀法思路、實(shí)現(xiàn)都很簡(jiǎn)單，但這種方法不能反映鏡頭內(nèi)視頻內(nèi)容的變化，不適于用在視頻內(nèi)容變化較多的鏡頭內(nèi)提取代表幀18幀平均法和直方圖平均法幀平均法是取一個(gè)鏡頭中所有幀的某個(gè)位置上的像素值的平均值，將鏡頭中該點(diǎn)位置的像素值等于平均值的幀作為關(guān)鍵幀直方圖平均法則是將鏡頭中所有幀的統(tǒng)計(jì)直方圖取平均，然后選擇與該平均直方圖最接近的幀作為關(guān)鍵幀19基于光流的運(yùn)動(dòng)分析通過(guò)光流分析來(lái)計(jì)算鏡頭中的運(yùn)動(dòng)量，在運(yùn)動(dòng)量取局部最小值處選取關(guān)鍵幀，它反映了視頻數(shù)據(jù)中的一個(gè)“靜止”特點(diǎn)，視頻中通過(guò)攝像機(jī)在一個(gè)新的位置上停留或通過(guò)人物的某一運(yùn)動(dòng)的短暫停留來(lái)強(qiáng)調(diào)其重要性。20關(guān)鍵技術(shù)視頻鏡頭檢測(cè)技術(shù)關(guān)鍵幀提取技術(shù)視頻特征提取技術(shù)視頻瀏覽和檢索213.視頻特征提取技術(shù)視頻分割成鏡頭后就要對(duì)各個(gè)鏡頭進(jìn)行特征提取，得到一個(gè)盡可能充分反映鏡頭內(nèi)容的特征空間，這個(gè)特征空間將作為視頻聚類和檢索依據(jù)顏色特征紋理特征運(yùn)動(dòng)特征22顏色特征顏色是圖像最顯著的特征，與其它特征相比，顏色特征計(jì)算簡(jiǎn)單、性質(zhì)穩(wěn)定，對(duì)于旋轉(zhuǎn)、平移、尺度變化都不敏感，表現(xiàn)出很強(qiáng)的魯棒性。顏色特征包括顏色直方圖、主要顏色、平均亮度等。23紋理特征20世紀(jì)70年代初Haralick等人提出了紋理特征的共生矩陣表示法，即利用紋理在灰度級(jí)的空間相關(guān)性，先根據(jù)圖像像素間的方向和距離構(gòu)造一個(gè)共生矩陣，再?gòu)闹刑岢鲇幸饬x的統(tǒng)計(jì)數(shù)據(jù)作為紋理的特征表示。缺點(diǎn)：這些統(tǒng)計(jì)特征沒(méi)有和人在視覺(jué)上對(duì)紋理特征的感知之間建立對(duì)應(yīng)。24運(yùn)動(dòng)特征視頻除了具有一般靜態(tài)圖像的特征外，更具有動(dòng)態(tài)特征。而動(dòng)態(tài)特征往往也是視頻檢索時(shí)用戶給出的主