基于內(nèi)容的視頻檢索課件

1、基于內(nèi)容的視頻檢索技術(shù)12計(jì)科（2）班2012329620050謝文倩問(wèn)題的引入近年來(lái)，數(shù)字視頻信息出現(xiàn)了飛速膨脹，新的視頻應(yīng)用，如數(shù)字圖書館、視頻點(diǎn)播、數(shù)字電視等，已經(jīng)為越來(lái)越多的人所接受和熟悉。面對(duì)海量的視頻數(shù)據(jù)，如何找到所需的視頻信息就成為了一個(gè)急需解決的問(wèn)題。2人們總是希望可以直接檢索到一段包含特定信息的視頻片段。足球比賽中的射門鏡頭、含有日出景色的片段3二十世紀(jì)九十年代以來(lái)，出現(xiàn)了基于內(nèi)容的視頻分析和檢索研究，其目的就是通過(guò)對(duì)視頻內(nèi)容進(jìn)行計(jì)算機(jī)處理、分析和理解，建立結(jié)構(gòu)和索引，以實(shí)現(xiàn)方便有效的視頻信息獲取?；趦?nèi)容的視頻分析與檢索研究從一開始就得到了廣泛的重視并取得了豐碩的研究成果。

2、4國(guó)內(nèi)外研究現(xiàn)狀：國(guó)外已經(jīng)研發(fā)出多個(gè)基于內(nèi)容的視頻檢索系統(tǒng)。IBM公司的QBIC系統(tǒng)意大利Plermo大學(xué)開發(fā)的JAKOB美國(guó)哥倫比亞大學(xué)研究實(shí)現(xiàn)VideoQ系統(tǒng)Virage公司的Virage Search Engine美國(guó)哥倫比亞大學(xué)圖像和高級(jí)電視實(shí)驗(yàn)室開發(fā)的VisualSeek系統(tǒng)由UIUC開發(fā)的MARS5視頻檢索概述傳統(tǒng)的視頻檢索方法：基于視頻文本描述信息：文件名、注釋等；Google 視頻搜索目前，基于內(nèi)容的視頻檢索研究，除了識(shí)別和描述圖像的顏色、紋理、形狀和空間關(guān)系外，主要的研究集中在視頻分割、特征提取和描述（包括視覺(jué)特征、顏色、紋理和形狀及運(yùn)動(dòng)信息和對(duì)象信息等）、關(guān)鍵幀提取和結(jié)構(gòu)分

3、析等方面10關(guān)鍵技術(shù)視頻鏡頭檢測(cè)技術(shù)關(guān)鍵幀提取技術(shù)視頻特征提取技術(shù)視頻瀏覽和檢索111.視頻鏡頭檢測(cè)技術(shù)對(duì)視頻建立索引，首先要將視頻分割為鏡頭鏡頭檢測(cè)的關(guān)鍵是確定從鏡頭到鏡頭的轉(zhuǎn)換處，并利用鏡頭之間的轉(zhuǎn)換方式找到鏡頭圖像之間的差別鏡頭的切換方式有兩種：突變和漸變12鏡頭切換方式：漸變切換14漸變是指從一個(gè)鏡頭慢慢切變到另一個(gè)鏡頭關(guān)鍵技術(shù)視頻鏡頭檢測(cè)技術(shù)關(guān)鍵幀提取技術(shù)視頻特征提取技術(shù)視頻瀏覽和檢索15關(guān)鍵幀提取的基本方法特定幀法幀平均法和直方圖平均法基于光流的運(yùn)動(dòng)分析17特定幀法一段視頻被分割成若干鏡頭后，一種最直接、最簡(jiǎn)單的關(guān)鍵幀提取方法就是將每個(gè)鏡頭的首幀、中間幀以及末幀作為鏡頭的關(guān)鍵幀。特

4、定幀法思路、實(shí)現(xiàn)都很簡(jiǎn)單，但這種方法不能反映鏡頭內(nèi)視頻內(nèi)容的變化，不適于用在視頻內(nèi)容變化較多的鏡頭內(nèi)提取代表幀18幀平均法和直方圖平均法幀平均法是取一個(gè)鏡頭中所有幀的某個(gè)位置上的像素值的平均值，將鏡頭中該點(diǎn)位置的像素值等于平均值的幀作為關(guān)鍵幀直方圖平均法則是將鏡頭中所有幀的統(tǒng)計(jì)直方圖取平均，然后選擇與該平均直方圖最接近的幀作為關(guān)鍵幀19基于光流的運(yùn)動(dòng)分析通過(guò)光流分析來(lái)計(jì)算鏡頭中的運(yùn)動(dòng)量，在運(yùn)動(dòng)量取局部最小值處選取關(guān)鍵幀，它反映了視頻數(shù)據(jù)中的一個(gè)“靜止”特點(diǎn)，視頻中通過(guò)攝像機(jī)在一個(gè)新的位置上停留或通過(guò)人物的某一運(yùn)動(dòng)的短暫停留來(lái)強(qiáng)調(diào)其重要性。20關(guān)鍵技術(shù)視頻鏡頭檢測(cè)技術(shù)關(guān)鍵幀提取技術(shù)視頻特征提取技

5、術(shù)視頻瀏覽和檢索213.視頻特征提取技術(shù) 視頻分割成鏡頭后就要對(duì)各個(gè)鏡頭進(jìn)行特征提取，得到一個(gè)盡可能充分反映鏡頭內(nèi)容的特征空間，這個(gè)特征空間將作為視頻聚類和檢索依據(jù)顏色特征紋理特征運(yùn)動(dòng)特征22紋理特征20世紀(jì)70年代初Haralick等人提出了紋理特征的共生矩陣表示法，即利用紋理在灰度級(jí)的空間相關(guān)性，先根據(jù)圖像像素間的方向和距離構(gòu)造一個(gè)共生矩陣，再?gòu)闹刑岢鲇幸饬x的統(tǒng)計(jì)數(shù)據(jù)作為紋理的特征表示。缺點(diǎn)：這些統(tǒng)計(jì)特征沒(méi)有和人在視覺(jué)上對(duì)紋理特征的感知之間建立對(duì)應(yīng)。24運(yùn)動(dòng)特征視頻除了具有一般靜態(tài)圖像的特征外，更具有動(dòng)態(tài)特征。而動(dòng)態(tài)特征往往也是視頻檢索時(shí)用戶給出的主要內(nèi)容運(yùn)動(dòng)特征反映了視頻的時(shí)域變化。運(yùn)動(dòng)

6、分析的方法有基于光流方程的方法、基于塊的方法、像素遞歸方法和貝葉斯方法等，但這些方法計(jì)算量大。Tonomura等人提出了視頻X光圖像分析方法，可以用來(lái)檢測(cè)類似的運(yùn)動(dòng)。254.視頻檢索和瀏覽在對(duì)視頻流中各鏡頭提取關(guān)鍵幀并進(jìn)行特征提取后，還要建立基于視頻特征的索引。通過(guò)索引，就可利用基于關(guān)鍵幀特征，或是基于鏡頭動(dòng)態(tài)特征，或是將二者相結(jié)合進(jìn)行對(duì)視頻進(jìn)行檢索和瀏覽了?；趦?nèi)容的檢索是一個(gè)近似匹配，逐步求精的循環(huán)過(guò)程，主要包括初始查詢說(shuō)明、相似性匹配、返回結(jié)果、特征調(diào)整、人機(jī)交互、檢索反饋等步驟，直至獲得用戶滿意的查詢結(jié)果。27視頻檢索和瀏覽基于關(guān)鍵幀的檢索基于鏡頭動(dòng)態(tài)的檢索視頻瀏覽視頻的檢索反饋28基

7、于關(guān)鍵幀的檢索視頻被抽象為關(guān)鍵幀后，搜索就變成按照某種相似度來(lái)檢索數(shù)據(jù)庫(kù)中與查詢描述相似的關(guān)鍵幀。通常使用的查詢方法是通過(guò)目標(biāo)特征說(shuō)明（直接）的查詢和通過(guò)可視實(shí)例（示例）的查詢。檢索時(shí)，用戶也可以指定使用特定的特征集。如果檢索到關(guān)鍵幀，用戶就可以利用播放來(lái)觀看它說(shuō)代表的視頻片段。瀏覽可以跟隨檢索，作為檢驗(yàn)檢索到的關(guān)鍵幀的上下文邊界聯(lián)系。瀏覽也可以初始化查詢，即當(dāng)瀏覽時(shí)，用戶可以選擇一個(gè)圖像來(lái)查詢所有與該圖像相似的關(guān)鍵幀。29基于鏡頭動(dòng)態(tài)的檢索基于鏡頭和主體目標(biāo)的運(yùn)動(dòng)特征來(lái)檢索鏡頭是視頻查詢的進(jìn)一步要求。可以利用攝像機(jī)操作的表示來(lái)查詢鏡頭，可以利用運(yùn)動(dòng)方向和幅度特征來(lái)檢索運(yùn)動(dòng)的主體目標(biāo)。在查詢中

8、還可以將運(yùn)動(dòng)特征和關(guān)鍵幀特征結(jié)合起來(lái)，檢索出具有相似的動(dòng)態(tài)特征但靜態(tài)特征不同的鏡頭。30視頻瀏覽對(duì)于視頻來(lái)說(shuō)，瀏覽與有明確目的的檢索同樣重要。為了有效的瀏覽，視頻文檔的內(nèi)容應(yīng)表示成用戶易于理解的靜態(tài)畫面的形式，并且必須提供非線性的訪問(wèn)。通常每個(gè)鏡頭的關(guān)鍵幀被用來(lái)作為“濃縮”了的視頻序列。這種表現(xiàn)方式大大減輕了用戶需要從頭到尾觀看整部影片的負(fù)擔(dān)。31然而，在許多影片中，常常有幾百個(gè)鏡頭。另外僅用靜態(tài)的畫面常常不足以表示動(dòng)態(tài)的信息。因此僅將代表幀排列起來(lái)的方法無(wú)法滿足用戶有效的瀏覽要求。這對(duì)于頭一次看這部影片的用戶尤其如此，他們面對(duì)沒(méi)有組織的一堆畫面往往不知所云。32視頻的檢索反饋在檢索的實(shí)現(xiàn)中除利用圖像的視覺(jué)特征進(jìn)行檢索外，還應(yīng)根據(jù)用戶的反饋信息不斷學(xué)習(xí)改變閾值重新檢索，實(shí)現(xiàn)人機(jī)交互，直到達(dá)到用戶的檢索要求。33任然存在的問(wèn)題如何定義是