基于內(nèi)容的視頻檢索

問(wèn)題的引入國(guó)內(nèi)外研究現(xiàn)狀基于內(nèi)容的視頻檢索簡(jiǎn)介視頻結(jié)構(gòu)的分析視頻檢索和瀏覽當(dāng)前研究中存在的問(wèn)題及未來(lái)的發(fā)展趨勢(shì)2021/5/91一、問(wèn)題的引入近年來(lái)，數(shù)字視頻信息出現(xiàn)了飛速膨脹，新的視頻應(yīng)用，如數(shù)字圖書館、視頻點(diǎn)播、數(shù)字電視等，已經(jīng)為越來(lái)越多的人所接受和熟悉。面對(duì)海量的視頻數(shù)據(jù)，如何找到所需的視頻信息就成為了一個(gè)急需解決的問(wèn)題。2021/5/92人們總是希望可以直接檢索到一段包含特定信息的視頻片段。足球比賽中的射門鏡頭、含有日出景色的片段2021/5/93二十世紀(jì)九十年代以來(lái)，出現(xiàn)了基于內(nèi)容的視頻分析和檢索研究，其目的就是通過(guò)對(duì)視頻內(nèi)容進(jìn)行計(jì)算機(jī)處理、分析和理解，建立結(jié)構(gòu)和索引，以實(shí)現(xiàn)方便有效的視頻信息獲取基于內(nèi)容的視頻分析與檢索研究從一開始就得到了廣泛的重視并取得了豐碩的研究成果。2021/5/94二、國(guó)內(nèi)外研究現(xiàn)狀：國(guó)外已經(jīng)研發(fā)出多個(gè)基于內(nèi)容的視頻檢索系統(tǒng)。IBM公司的QBIC系統(tǒng)意大利Plermo大學(xué)開發(fā)的JAKOB美國(guó)哥倫比亞大學(xué)研究實(shí)現(xiàn)VideoQ系統(tǒng)Virage公司的VirageSearchEngine美國(guó)哥倫比亞大學(xué)圖像和高級(jí)電視實(shí)驗(yàn)室開發(fā)的VisualSeek系統(tǒng)由UIUC開發(fā)的MARS2021/5/95國(guó)內(nèi)外研究現(xiàn)狀：國(guó)內(nèi)微軟亞洲研究院的張宏江博士所帶領(lǐng)的小組研制出Ifind信息檢索系統(tǒng)國(guó)防科技大學(xué)多媒體研究開發(fā)中心研制開發(fā)的NewVideoCAR國(guó)防科技大學(xué)系統(tǒng)工程系研制開發(fā)的MIRC清華大學(xué)開發(fā)TV-FI系統(tǒng)2021/5/96值得一提的是MPEG-7，即“多媒體內(nèi)容描述接口”（MultimediaContentDescriptionInterface），作為MPEG組織提出的新標(biāo)準(zhǔn)，其目標(biāo)就是制定一組標(biāo)準(zhǔn)的描述符及其描述模式（定義描述子的結(jié)構(gòu)和相互關(guān)系），內(nèi)容描述與媒體內(nèi)容結(jié)合，使用戶能夠快速準(zhǔn)確地進(jìn)行檢索，這也注定了其在未來(lái)通用的視頻檢索中將扮演主要角色、發(fā)揮重要的橋梁作用。2021/5/97三、基于內(nèi)容的視頻檢索簡(jiǎn)介我們需要研究的是，信息檢索系統(tǒng)如何適當(dāng)?shù)乇磉_(dá)用戶所要求的內(nèi)容，并在視頻數(shù)據(jù)庫(kù)中找出符合這個(gè)查詢要求的信息返回給用戶。Content-BasedVideoRetrieval,CBVR根據(jù)視頻的內(nèi)容和上下文關(guān)系，對(duì)大規(guī)模視頻數(shù)據(jù)庫(kù)中的視頻數(shù)據(jù)進(jìn)行檢索提供這樣一種算法：在沒有人工參與的情況下，自動(dòng)提取并描述視頻的特征和內(nèi)容2021/5/98目前，基于內(nèi)容的視頻檢索研究，除了識(shí)別和描述圖像的顏色、紋理、形狀和空間關(guān)系外，主要的研究集中在視頻分割、特征提取和描述（包括視覺特征、顏色、紋理和形狀及運(yùn)動(dòng)信息和對(duì)象信息等）、關(guān)鍵幀提取和結(jié)構(gòu)分析等方面2021/5/99四、視頻結(jié)構(gòu)的分析幀/鏡頭/場(chǎng)景/視頻序列幀（Frame）：視頻數(shù)據(jù)的最小單元，是一副靜止的單幅影像畫面，相當(dāng)于電影膠片上的每一格鏡頭。在時(shí)間軸上幀表現(xiàn)為一格或一個(gè)標(biāo)記。視頻可以看做是一個(gè)連續(xù)靜態(tài)圖像的序列，其中的每一幅靜態(tài)圖像稱為一幀。2021/5/910鏡頭（Shot）：代表一個(gè)場(chǎng)景中在時(shí)間上和空間上連續(xù)的動(dòng)作，是攝像機(jī)的一次操作所記錄下來(lái)的一段連續(xù)的幀序列，只能拍攝相鄰地點(diǎn)連續(xù)發(fā)生的事情。任何一段視頻數(shù)據(jù)流都是由許多鏡頭組成的，鏡頭是視頻數(shù)據(jù)的基本組成單元2021/5/911關(guān)鍵幀：相當(dāng)于二維動(dòng)畫中的原畫。指角色或者物體運(yùn)動(dòng)或變化中的關(guān)鍵動(dòng)作所處的那一幀。一幅能描述鏡頭主要內(nèi)容的幀。根據(jù)內(nèi)容復(fù)雜度，一個(gè)鏡頭可以有一個(gè)或多個(gè)關(guān)鍵幀關(guān)鍵幀與關(guān)鍵幀之間的幀稱為過(guò)渡幀或者中間幀。2021/5/912場(chǎng)景（Scene）：由一些內(nèi)容相近的鏡頭組成，不一定在時(shí)間上連續(xù)。從不同的角度描述同一個(gè)事件。場(chǎng)景描述了一個(gè)獨(dú)立的故事單元，它是一段視頻的語(yǔ)義組成單元。2021/5/913視頻序列（Video）：由許多場(chǎng)景組成，敘述一個(gè)完整的故事結(jié)構(gòu)相同的場(chǎng)景經(jīng)過(guò)聚類后形成視頻序列視頻的最高語(yǔ)義就是視頻序列2021/5/914非結(jié)構(gòu)化：除了存在時(shí)間上的先后關(guān)系外，其本身并不具有任何結(jié)構(gòu)信息為了實(shí)現(xiàn)基于內(nèi)容的視頻檢索，必須為視頻建立不同層次的結(jié)構(gòu)索引，并進(jìn)一步為視頻的檢索和瀏覽提供基本訪問(wèn)單元2021/5/915視頻數(shù)據(jù)從結(jié)構(gòu)上自頂向下可分為視頻序列、視頻場(chǎng)景、鏡頭和幀一段視頻的典型結(jié)構(gòu)如圖1所示2021/5/9162021/5/917層中每一個(gè)視頻層次的數(shù)據(jù)都可以用一定的屬性加以描述。如：視頻序列的屬性，主要包括場(chǎng)景的個(gè)數(shù)和持續(xù)時(shí)間；場(chǎng)景的屬性，包括標(biāo)題、持續(xù)時(shí)間、鏡頭數(shù)目、開始鏡頭、結(jié)束鏡頭等；鏡頭的屬性，包括持續(xù)時(shí)間、開始幀號(hào)、結(jié)束幀號(hào)、代表幀集合、特征空間向量等；幀的屬性，幀有大量的屬性，包括直方圖、輪廓圖、DC及AC分量圖等。2021/5/918基于內(nèi)容的視頻處理從所有的幀中提取主要內(nèi)容，并從下至上地對(duì)視頻內(nèi)容進(jìn)行結(jié)構(gòu)化描述。為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們須對(duì)視頻進(jìn)行如下處理：視頻切分、特征提取和視頻內(nèi)容組織等。處理過(guò)程如下:2021/5/919圖2基于內(nèi)容的視頻處理過(guò)程動(dòng)態(tài)特征靜態(tài)特征2021/5/920基于內(nèi)容的視頻檢索步驟：

1.將視頻序列分割為鏡頭

2.在鏡頭內(nèi)選擇關(guān)鍵幀

3.提取鏡頭的特征及關(guān)鍵幀的視覺特征存入視頻數(shù)據(jù)庫(kù)2021/5/921五、關(guān)鍵技術(shù)視頻鏡頭檢測(cè)技術(shù)關(guān)鍵幀提取技術(shù)視頻特征提取技術(shù)鏡頭聚類和場(chǎng)景提取視頻瀏覽和檢索2021/5/9225.1視頻鏡頭檢測(cè)技術(shù)對(duì)視頻建立索引，首先要將視頻分割為鏡頭鏡頭檢測(cè)的關(guān)鍵是確定從鏡頭到鏡頭的轉(zhuǎn)換處，并利用鏡頭之間的轉(zhuǎn)換方式找到鏡頭圖像之間的差別鏡頭的切換方式有兩種：突變和漸變

2021/5/923鏡頭切換方式：突變切換突變是指從一個(gè)鏡頭直接切變到另一個(gè)鏡頭2021/5/924鏡頭切換方式：漸變切換漸變是指從一個(gè)鏡頭慢慢切變到另一個(gè)鏡頭2021/5/925常用的鏡頭檢測(cè)方法主要有以下幾種：基于像素的鏡頭檢測(cè)方法1.模板匹配法（對(duì)應(yīng)像素法）2.直方圖法基于邊緣的方法基于模型的方法2021/5/926模板匹配法（對(duì)應(yīng)像素法）將兩幀圖像對(duì)應(yīng)象素差的絕對(duì)值之和作為幀間差，如果前后兩幀的幀間差變化超出某個(gè)閾值，則認(rèn)為有鏡頭的切換。優(yōu)缺點(diǎn):對(duì)檢測(cè)突變鏡頭很有效，但對(duì)攝像機(jī)和物體的運(yùn)動(dòng)非常敏感，當(dāng)運(yùn)動(dòng)較大時(shí)，相鄰兩幀的差異往往會(huì)超過(guò)預(yù)定的閾值，從而產(chǎn)生誤檢。2021/5/927當(dāng)主體運(yùn)動(dòng)較大時(shí)，常發(fā)生誤檢2021/5/928直方圖法該方法利用幀與幀的直方圖比較來(lái)檢測(cè)鏡頭，是使用得較多的計(jì)算幀間差的方法?；驹恚簩㈩伾臻g分為一個(gè)個(gè)離散的顏色小區(qū)間，然后計(jì)算落人每個(gè)小區(qū)間的象素?cái)?shù)目，得到圖像的直方圖統(tǒng)計(jì)，通過(guò)比較兩幀圖像的直方圖統(tǒng)計(jì)得到幀間差。優(yōu)缺點(diǎn):不考慮像素的位置信息，抗噪聲能力比模板匹配法強(qiáng)。當(dāng)具有不同目標(biāo)的場(chǎng)景有近似的灰度或顏色直方圖時(shí)容易造成漏檢。2021/5/9292021/5/930基于邊緣的檢測(cè)方法該方法將兩幅圖的邊緣提取，利用鏡頭切換時(shí)出現(xiàn)的新邊緣與消失的舊邊緣的像素比例，若兩者最大值大于某閾值，則認(rèn)為有鏡頭切換。缺點(diǎn)：這種方法在圖像較暗或邊緣不明顯時(shí)往往會(huì)造成誤檢和漏檢。2021/5/931基于模型的方法利用對(duì)鏡頭編輯的先驗(yàn)知識(shí)，對(duì)各種鏡頭切換建立一定的數(shù)學(xué)模型，自頂向下地進(jìn)行鏡頭切換的檢測(cè)，對(duì)特定領(lǐng)域視頻可通過(guò)數(shù)學(xué)模型加上一定的限制條件來(lái)提高方法有效性。因此這種方法對(duì)鏡頭漸變的檢測(cè)往往能取得好的效果。建立數(shù)學(xué)模型過(guò)程較復(fù)雜，適用于專業(yè)領(lǐng)域2021/5/932模板匹配法、直方圖法、基于邊緣的方法都是利用幀間差自下而上來(lái)進(jìn)行鏡頭邊界的檢測(cè)，它對(duì)于突變檢測(cè)可以取得較好的效果，但是對(duì)于漸變檢測(cè)則有一定的困難，因?yàn)樗诤艽蟪潭壬虾雎粤藵u變切換中幀之間結(jié)構(gòu)上的相關(guān)性2021/5/9335.2關(guān)鍵幀提取技術(shù)關(guān)鍵幀的作用類似于文本檢索中的關(guān)鍵詞。用關(guān)鍵幀來(lái)代表鏡頭，使得對(duì)視頻鏡頭可用圖像的技術(shù)進(jìn)行檢索關(guān)鍵幀的選取的條件: 1.必須能夠反映鏡頭中的主要事件，因而描述應(yīng)盡可能準(zhǔn)確完全. 2.為便于管理，數(shù)據(jù)量應(yīng)盡量小，且計(jì)算不宜太復(fù)雜。2021/5/934關(guān)鍵幀提取的基本方法特定幀法幀平均法和直方圖平均法基于光流的運(yùn)動(dòng)分析2021/5/935特定幀法一段視頻被分割成若干鏡頭后，一種最直接、最簡(jiǎn)單的關(guān)鍵幀提取方法就是將每個(gè)鏡頭的首幀、中間幀以及末幀作為鏡頭的關(guān)鍵幀。特定幀法思路、實(shí)現(xiàn)都很簡(jiǎn)單，但這種方法不能反映鏡頭內(nèi)視頻內(nèi)容的變化，不適于用在視頻內(nèi)容變化較多的鏡頭內(nèi)提取代表幀2021/5/936幀平均法和直方圖平均法幀平均法是取一個(gè)鏡頭中所有幀的某個(gè)位置上的像素值的平均值，將鏡頭中該點(diǎn)位置的像素值等于平均值的幀作為關(guān)鍵幀直方圖平均法則是將鏡頭中所有幀的統(tǒng)計(jì)直方圖取平均，然后選擇與該平均直方圖最接近的幀作為關(guān)鍵幀2021/5/937優(yōu)缺點(diǎn)：使用幀平均法和直方圖平均法能在一定程度上反映視頻內(nèi)容，計(jì)算量也不大，所選取的幀具有平均代表意義，但是由于需要記錄每一幀每個(gè)像素的值或直方圖，所以要實(shí)現(xiàn)動(dòng)態(tài)選取，所需的存儲(chǔ)量較大。無(wú)法描述有多個(gè)物體運(yùn)動(dòng)的鏡頭。2021/5/938基于光流的運(yùn)動(dòng)分析上述方法都沒有考慮運(yùn)動(dòng)特征。通過(guò)光流分析來(lái)計(jì)算鏡頭中的運(yùn)動(dòng)量，在運(yùn)動(dòng)量取局部最小值處選取關(guān)鍵幀，它反映了視頻數(shù)據(jù)中的一個(gè)“靜止”特點(diǎn)，視頻中通過(guò)攝像機(jī)在一個(gè)新的位置上停留或通過(guò)人物的某一運(yùn)動(dòng)的短暫停留來(lái)強(qiáng)調(diào)其重要性。光流 光流場(chǎng)2021/5/939首先通過(guò)Horn-Schunck法計(jì)算光流，對(duì)每個(gè)像素光流分量的模求和，作為第k幀的運(yùn)動(dòng)量M(k)，即

其中Ox(i,j,k)是k幀內(nèi)(i,j)像素光流的X分量，Oy(i,j,k)是k幀內(nèi)像素(i,j)光流的Y分量。2021/5/940然后尋找M(k)的局部最小值:從k=0開始，掃描曲線M(k)，找到兩個(gè)局部最小值M(K1)和M(K2),M(K2)的值與M(K1)的值至少相差p%(由經(jīng)驗(yàn)設(shè)定)，如果M(Kj)=min(M(K)),K1<Kj<K2

則把Kj選為關(guān)鍵幀。然后把K2作為當(dāng)前的K1，繼續(xù)尋找下一個(gè)KjWolf的這種基于運(yùn)動(dòng)的方法可以根據(jù)鏡頭的結(jié)構(gòu)選擇相應(yīng)數(shù)目的關(guān)鍵幀。如果先把圖像中的運(yùn)動(dòng)對(duì)象從背景中取出，再計(jì)算對(duì)象所在位置的光流，可以取得更好的效果。2021/5/941存在問(wèn)題：1.由于算法依賴于局部信息，所以魯棒性不強(qiáng)；2.算法沒有足夠地總是由動(dòng)態(tài)累加帶來(lái)的內(nèi)容變化2021/5/9425.3視頻特征提取技術(shù)視頻分割成鏡頭后就要對(duì)各個(gè)鏡頭進(jìn)行特征提取，得到一個(gè)盡可能充分反映鏡頭內(nèi)容的特征空間，這個(gè)特征空間將作為視頻聚類和檢索依據(jù)顏色特征紋理特征運(yùn)動(dòng)特征2021/5/943顏色特征顏色是圖像最顯著的特征，與其它特征相比，顏色特征計(jì)算簡(jiǎn)單、性質(zhì)穩(wěn)定，對(duì)于旋轉(zhuǎn)、平移、尺度變化都不敏感，表現(xiàn)出很強(qiáng)的魯棒性。顏色特征包括顏色直方圖、主要顏色、平均亮度等。2021/5/944其中利用主要顏色和平均亮度進(jìn)行圖像的相似匹配是很粗略的，但是它們可以作為層次檢索方法的粗查，對(duì)粗查的結(jié)果再利用子塊劃分的顏色直方圖匹配進(jìn)行進(jìn)一步的細(xì)查。2021/5/945紋理特征20世紀(jì)70年代初Haralick等人提出了紋理特征的共生矩陣表示法，即利用紋理在灰度級(jí)的空間相關(guān)性，先根據(jù)圖像像素間的方向和距離構(gòu)造一個(gè)共生矩陣，再?gòu)闹刑岢鲇幸饬x的統(tǒng)計(jì)數(shù)據(jù)作為紋理的特征表示。缺點(diǎn)：這些統(tǒng)計(jì)特征沒有和人在視覺上對(duì)紋理特征的感知之間建立對(duì)應(yīng)。2021/5/946Tamura提出的紋理特征集可以很好地與人類視覺感知相對(duì)應(yīng)，這些特征包括：粗糙度、對(duì)比度、方向性、線向度、規(guī)則性、粗略度。其中最重要的特征是紋理粗糙度、對(duì)比度和方向性。因?yàn)槿藢?duì)紋理的視覺特征的認(rèn)識(shí)非常主觀，目前還沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)來(lái)精確地表示紋理的特征2021/5/947運(yùn)動(dòng)特征視頻除了具有一般靜態(tài)圖像的特征外，更具有動(dòng)態(tài)特征。而動(dòng)態(tài)特征往往也是視頻檢索時(shí)用戶給出的主要內(nèi)容運(yùn)動(dòng)特征反映了視頻的時(shí)域變化。運(yùn)動(dòng)分析的方法有基于光流方程的方法、基于塊的方法、像素遞歸方法和貝葉斯方法等，但這些方法計(jì)算量大。Tonomura等人提出了視頻X光圖像分析方法，可以用來(lái)檢測(cè)類似的運(yùn)動(dòng)。。2021/5/948運(yùn)動(dòng)特征將整個(gè)視頻序列沿時(shí)間軸進(jìn)行切片，從切片圖像中分析運(yùn)動(dòng)情況。視頻的運(yùn)動(dòng)變化在切片上將變現(xiàn)為一系列有序的條紋變化。通過(guò)對(duì)視頻的研究發(fā)現(xiàn)，當(dāng)目標(biāo)運(yùn)動(dòng)時(shí)，其北京往往變化迅速，而目標(biāo)在大小上的不斷變化表現(xiàn)為像素色彩的擴(kuò)張。因此，可采用視頻切片技術(shù)，通過(guò)追蹤某一位置線上圖像目標(biāo)的色彩變化來(lái)得到運(yùn)動(dòng)目標(biāo)的大小變化2021/5/949張宏江等人用計(jì)算鏡頭內(nèi)各幀平均亮度和主要顏色的均值和方差作為鏡頭運(yùn)動(dòng)量大小的度量，在新聞視頻中取得了較好的效果。2021/5/9505.4鏡頭聚類和場(chǎng)景提取場(chǎng)景可以通過(guò)對(duì)鏡頭的聚類來(lái)生成。在鏡頭聚類及場(chǎng)景生成過(guò)程中，鏡頭不僅在時(shí)間上是連續(xù)的，更重要的是它們?cè)趦?nèi)容含義上是一致的，這是鏡頭聚類的關(guān)鍵可按時(shí)間順序和關(guān)鍵幀的相似度進(jìn)行聚類，最簡(jiǎn)單的方法可以用內(nèi)容上相關(guān)的鏡頭中的關(guān)鍵幀來(lái)代表情節(jié)2021/5/951把鏡頭聚類為故事單元后，其數(shù)量明顯減少。例如對(duì)于一部典型的連續(xù)劇，半小時(shí)的節(jié)目中約有300個(gè)鏡頭，經(jīng)過(guò)聚類后可形成約20個(gè)故事單元。2021/5/952根據(jù)鏡頭的重復(fù)程度，視頻一般可分2類

1.對(duì)話型

2.動(dòng)作型對(duì)話型視頻:是指一段實(shí)際的對(duì)話或者象對(duì)話一樣由兩個(gè)或多個(gè)鏡頭重復(fù)交替出現(xiàn)的視頻。動(dòng)作型視頻:反應(yīng)故事的展開，鏡頭不是固定在一個(gè)地點(diǎn)或跟隨一個(gè)事件，因而很少發(fā)生鏡頭的重復(fù)。2021/5/953一個(gè)有13個(gè)鏡頭的視頻序列，各鏡頭分別標(biāo)記為：

ABABABAB

CDEFG其中，前8個(gè)鏡頭可認(rèn)為是對(duì)話型的，而后5個(gè)則是動(dòng)作型的。通過(guò)視頻聚類可以縮小檢索的范圍，提高檢索的效率。2021/5/954六、視頻檢索和瀏覽在對(duì)視頻流中各鏡頭提取關(guān)鍵幀并進(jìn)行特征提取后，還要建立基于視頻特征的索引。通過(guò)索引，就可利用基于關(guān)鍵幀特征，或是基于鏡頭動(dòng)態(tài)特征，或是將二者相結(jié)合進(jìn)行對(duì)視頻進(jìn)行檢索和瀏覽了?；趦?nèi)容的檢索是一個(gè)近似匹配，逐步求精的循環(huán)過(guò)程，主要包括初始查詢說(shuō)明、相似性匹配、返回結(jié)果、特征調(diào)整、人機(jī)交互、檢索反饋等步驟，直至獲得用戶滿意的查詢結(jié)果。2021/5/955視頻檢索和瀏覽基于關(guān)鍵幀的檢索基于鏡頭動(dòng)態(tài)的檢索視頻瀏覽視頻的檢索反饋2021/5/9566.1基于關(guān)鍵幀的檢索視頻被抽象為關(guān)鍵幀后，搜索就變成按照某種相似度來(lái)檢索數(shù)據(jù)庫(kù)中與查詢描述相似的關(guān)鍵幀。通常使用的查詢方法是通過(guò)目標(biāo)特征說(shuō)明（直接）的查詢和通過(guò)可視實(shí)例（示例）的查詢。檢索時(shí)，用戶也可以指定使用特定的特征集。如果檢索到關(guān)鍵幀，用戶就可以利用播放來(lái)觀看它說(shuō)代表的視頻片段。瀏覽可以跟隨檢索，作為檢驗(yàn)檢索到的關(guān)鍵幀的上下文邊界聯(lián)系。瀏覽也可以初始化查詢，即當(dāng)瀏覽時(shí)，用戶可以選擇一個(gè)圖像來(lái)查詢所有與該圖像相似的關(guān)鍵幀。2021/5/9576.2基于鏡頭動(dòng)態(tài)的檢索基于鏡頭和主體目標(biāo)的運(yùn)動(dòng)特征來(lái)檢索鏡頭是視頻查詢的進(jìn)一步要求?？梢岳脭z像機(jī)操作的表示來(lái)查詢鏡頭，可以利用運(yùn)動(dòng)方向和幅度特征來(lái)檢索運(yùn)動(dòng)的主體目標(biāo)。在查詢中還可以將運(yùn)動(dòng)特征和關(guān)鍵幀特征結(jié)合起來(lái)，檢索出具有相似的動(dòng)態(tài)特征但靜態(tài)特征不同的鏡頭。2021/5/9586.3視頻瀏覽對(duì)于視頻來(lái)說(shuō)，瀏覽與有明確目的的檢索同樣重要。為了有效的瀏覽，視頻文檔的內(nèi)容應(yīng)表示成用戶易于理解的靜態(tài)畫面的形式，并且必須提供非線性的訪問(wèn)。通常每個(gè)鏡頭的關(guān)鍵幀被用來(lái)作為“濃縮”了的視頻序列。這種表現(xiàn)方式大大減輕了用戶需要從頭到尾觀看整部影片的負(fù)擔(dān)。2021/5/959然而，在許多影片中，常常有幾百個(gè)鏡頭。另外僅用靜態(tài)的畫面常常不足以表示動(dòng)態(tài)的信息。因此僅將代表幀排列起來(lái)的方法無(wú)法滿足用戶有效的瀏覽要求。這對(duì)于頭一次看這部影片的用戶尤其如此，他們面對(duì)沒有組織的一堆畫面往往不知所云。2021/5/9606.4視頻的檢索反饋在檢索的實(shí)現(xiàn)中除利用圖像的視覺特征進(jìn)行檢索外，還應(yīng)根據(jù)用戶的反饋信息不斷學(xué)習(xí)改變閾值重新檢索，實(shí)現(xiàn)人機(jī)交互，直到達(dá)到用戶的檢索要求。如何定義是否兩個(gè)視頻相似，仍然是尚未解決的問(wèn)題，限制了檢索系統(tǒng)的應(yīng)用范圍。而且由于視頻內(nèi)容的復(fù)雜性，不同用戶在檢索過(guò)程中，即使對(duì)同一部視頻，其注重的角度也有可能不同，因此接受用戶的反饋意見，當(dāng)用戶對(duì)查詢結(jié)果不滿意時(shí)可以優(yōu)化查詢結(jié)果，突出用戶的需要。2021/5/961七、當(dāng)前研究存在的問(wèn)題及未來(lái)的發(fā)展趨勢(shì)視頻的結(jié)構(gòu)化問(wèn)題有效的特征提取問(wèn)題視頻的底層特征和高層語(yǔ)義的結(jié)合問(wèn)題未來(lái)發(fā)展趨勢(shì)2021/5/9627.1視頻的結(jié)構(gòu)化問(wèn)題視頻具有非結(jié)構(gòu)化的特點(diǎn)，這就要求在基于內(nèi)容的檢索系統(tǒng)的設(shè)計(jì)過(guò)程中首先解決視頻的結(jié)構(gòu)化問(wèn)題。合理的結(jié)構(gòu)化表示將有助于后續(xù)的特征和內(nèi)容分析及用戶檢索，但是怎樣劃分具體的結(jié)構(gòu)仍然是值得探討的問(wèn)題。2021/5/963閾值的選擇：閾值選擇是利用幀間差的鏡頭分割算法的一個(gè)重要問(wèn)題。閾值過(guò)大會(huì)漏掉鏡頭轉(zhuǎn)換，閾值太小會(huì)引起誤檢測(cè)，則把鏡頭內(nèi)攝像機(jī)或物體的運(yùn)動(dòng)（此時(shí)幀間差值增大）誤檢為鏡頭轉(zhuǎn)換。當(dāng)前的研究中大多數(shù)算法都采用依靠經(jīng)驗(yàn)人工選擇閾值的方法，這不利于鏡頭分割的實(shí)現(xiàn)。2021/5/964漸變與鏡頭運(yùn)動(dòng)的區(qū)別：漸變與鏡頭運(yùn)動(dòng)都會(huì)造成幀間差連續(xù)的增大，從本質(zhì)上說(shuō)利用幀間差的方法無(wú)法從根本上區(qū)別漸變和鏡頭運(yùn)動(dòng)基于模型的方法是一種可能的途徑，但是為各種漸變建立起模型也非常困難2