Group09基于內(nèi)容的視頻索引與檢索最終

組長(zhǎng)：晁祥東20111120097組員：吳逸塵20111120080賈井泉20111120040沈董擎20111120056陳嫻靜20111120138專(zhuān)業(yè)：數(shù)字媒體技術(shù)教師：李震雄基于內(nèi)容的視頻索引與檢索提要簡(jiǎn)介和問(wèn)題描述12應(yīng)用舉例34總結(jié)5提問(wèn)解決方案的原理和技術(shù)簡(jiǎn)介和問(wèn)題描述簡(jiǎn)介和問(wèn)題描述隨著多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，視頻在多個(gè)領(lǐng)域得到廣泛地應(yīng)用。對(duì)這些海量的而且包含大量非結(jié)構(gòu)化信息的數(shù)據(jù)進(jìn)行組織、表達(dá)、管理、查詢(xún)和檢索成為迫切的需求。因此基于內(nèi)容的視頻檢索(Content-BasedVideoRetrieval，CBVR)成為近年來(lái)研究的熱點(diǎn)。簡(jiǎn)介和問(wèn)題描述視頻數(shù)據(jù)特點(diǎn)1.較高的信息分辨率2.關(guān)系復(fù)雜，數(shù)據(jù)組織非結(jié)構(gòu)化3.多樣性及模糊性解決方案的原理和技術(shù)視頻索引與檢索的方法1.基于元數(shù)據(jù)的方法2.基于文本的方法3.基于音頻的方法4.基于內(nèi)容的方法5.綜合的方法解決方案的原理和技術(shù)基于鏡頭的視頻索引與檢索視頻結(jié)構(gòu)化圖解決方案的原理和技術(shù)基于鏡頭的視頻索引和檢索過(guò)程關(guān)鍵技術(shù)鏡頭分段特征分析關(guān)鍵幀提取視頻結(jié)構(gòu)分析提問(wèn)基于鏡頭的視頻索引和檢索關(guān)鍵技術(shù)有哪些？鏡頭檢測(cè)和分段姓名：陳嫻靜專(zhuān)業(yè)：數(shù)字媒體技術(shù)教師：李震雄鏡頭檢測(cè)和分段視頻是一種時(shí)間媒體數(shù)據(jù)，他不容易被管理，在視頻數(shù)據(jù)由粗到細(xì)的順序劃分為四個(gè)層次：視頻場(chǎng)景鏡頭幀而鏡頭是視頻數(shù)據(jù)的基本單元鏡頭檢測(cè)和分段

一般來(lái)說(shuō)，在視頻情節(jié)內(nèi)容發(fā)生變化時(shí)，會(huì)出現(xiàn)鏡頭切換，即從一個(gè)鏡頭切換到另一組鏡頭內(nèi)容。因此，通過(guò)視頻檢索實(shí)現(xiàn)對(duì)視頻鏡頭的切分，就是將原始連續(xù)視頻分成長(zhǎng)短不一的鏡頭單元。鏡頭切分的好壞會(huì)直接影響下一步視頻檢索結(jié)果的準(zhǔn)確性。鏡頭檢測(cè)和分段在鏡頭切換時(shí)，切換點(diǎn)前、后兩幀通常在內(nèi)容上變化很大，鏡頭的分段就需要一個(gè)合適的鏡頭切分閾值來(lái)判斷是否出現(xiàn)了鏡頭切換，是否需要鏡頭切分。（閾值是否合適，沒(méi)有一種客觀的方法，通常都需要依靠主觀判斷，人為的選取合適的閾值）鏡頭切換鏡頭的切換有兩種：突變和漸變突變（AbruptTransitionAT）：是指前一個(gè)鏡頭的尾幀被下一個(gè)鏡頭的首幀快速代替，是兩個(gè)鏡頭之間最簡(jiǎn)單的切換漸變（GradualTransitionGT）：從視頻編輯的角度看，漸變主要是通過(guò)色彩編輯和空間編輯得到，是指前一個(gè)鏡頭的尾幀緩慢的被下一個(gè)鏡頭的首幀代替，其中包括淡入淡出，隱現(xiàn)等。鏡頭內(nèi)的運(yùn)動(dòng)在體育節(jié)目的轉(zhuǎn)播，新聞，銀行監(jiān)控視頻當(dāng)中，幾乎沒(méi)有鏡頭的切換，對(duì)于這些視頻，人們關(guān)心的主要是鏡頭內(nèi)物體的運(yùn)動(dòng)鏡頭內(nèi)的運(yùn)動(dòng)常見(jiàn)的幾種對(duì)象運(yùn)動(dòng)歸納如下：出現(xiàn)，消失，進(jìn)入，退出，運(yùn)動(dòng)，停止通過(guò)對(duì)以上對(duì)象運(yùn)動(dòng)的分析，可實(shí)現(xiàn)對(duì)監(jiān)控視頻的基于內(nèi)容的檢索突變鏡頭檢測(cè)幀間差值：利用顏色空間HSV，色調(diào)Hue，飽和度Saturation和亮度值Value顏色直方圖計(jì)算相鄰兩幀之間的差值突變鏡頭檢測(cè)邊界檢測(cè)一般地，一個(gè)鏡頭內(nèi)部的各幀之間的差異不會(huì)太大，相鄰幀間的差值相對(duì)穩(wěn)定在某一個(gè)范圍之內(nèi)，即圍繞某個(gè)均值上下波動(dòng)。而當(dāng)發(fā)生鏡頭轉(zhuǎn)換時(shí)，相鄰幀之間差值的這種穩(wěn)定性將被打破，產(chǎn)生較大的幀間差值?？梢岳苗R頭內(nèi)的這種穩(wěn)定性進(jìn)行突變鏡頭的邊界檢測(cè)。突變鏡頭邊界檢測(cè)算法在進(jìn)行鏡頭切換檢測(cè)時(shí)，只考慮當(dāng)前幀之前有限長(zhǎng)度內(nèi)的幀間差值信息。這個(gè)長(zhǎng)度通常是前一鏡頭結(jié)束后的第1幀至當(dāng)前幀的前1幀，可以認(rèn)為這是一個(gè)可變長(zhǎng)度的滑動(dòng)窗口。突變鏡頭邊界檢測(cè)算法計(jì)算這一窗口內(nèi)的幀間差值的平均值，可以認(rèn)為這一平均值近似的反映了整個(gè)鏡頭的幀間差值的平均值，且隨著窗口長(zhǎng)度的增加，這種近似的程度越來(lái)越高。如果當(dāng)前計(jì)算得到的幀間差值與這一平均差值之間差異達(dá)到一定程度（也可以說(shuō)是某一閾值），就認(rèn)為當(dāng)前幀是下一個(gè)鏡頭的起始幀。突變鏡頭邊界檢測(cè)算法設(shè)窗口內(nèi)相鄰幀間差值的平均值為Mean當(dāng)前幀間差值為DF可變窗口長(zhǎng)度為winmulti為一預(yù)先設(shè)定的比例系數(shù)(它體現(xiàn)了當(dāng)前幀間差值和窗口內(nèi)幀間差值的平均值之間相差的程度)突變鏡頭邊界檢測(cè)算法(1)如滿(mǎn)足DF≥multi×Mean，則認(rèn)為當(dāng)前幀為下一鏡頭的起始幀，設(shè)置窗口的起點(diǎn)，并且設(shè)頂Mean=0，win=1；(2)否則，win=win+1，重新計(jì)算窗口內(nèi)的幀問(wèn)差值平均值；(3)繼續(xù)處理下一幀視頻圖像?；诰垲?lèi)的關(guān)鍵幀提取方法姓名：吳逸塵專(zhuān)業(yè)：數(shù)字媒體技術(shù)教師：李震雄基于聚類(lèi)的關(guān)鍵幀提取方法常見(jiàn)的關(guān)鍵幀提取方法·基于顏色特征按順序排列幀序列，對(duì)相鄰幀使用顏色直方圖進(jìn)行分析·基于運(yùn)動(dòng)分析對(duì)攝影機(jī)運(yùn)動(dòng)分為焦距變化和角度變化，比較重疊范圍·基于聚類(lèi)基于聚類(lèi)的關(guān)鍵幀提取方法·基于聚類(lèi)的方法聚類(lèi)：將物理或抽象對(duì)象的集合分成由類(lèi)似的對(duì)象組成的多個(gè)類(lèi)的過(guò)程方法： （1）選取聚類(lèi)質(zhì)心，設(shè)定閾值 （2）對(duì)非聚類(lèi)質(zhì)心的幀與當(dāng)前存在的聚類(lèi)質(zhì)心進(jìn)行相似度鑒定，鑒定標(biāo) 準(zhǔn)為閾值 （3）相似度高于閾值的加入聚類(lèi) （4）若相似度低于所有已存在聚類(lèi)質(zhì)心，則形成一個(gè)新的聚類(lèi)質(zhì)心 （5）重復(fù)3、4步驟，直到所有幀被分配。形成多個(gè)聚類(lèi)。 （6）選擇距離聚類(lèi)中心作為關(guān)鍵幀，如果聚類(lèi)形成的簇內(nèi)變化較大，則 選取中心和距離中心最遠(yuǎn)的幀作為關(guān)鍵幀基于聚類(lèi)的關(guān)鍵幀提取方法·一個(gè)典型的基于聚類(lèi)的關(guān)鍵幀提取算法K-MEANS算法算法簡(jiǎn)要步驟： (1)從n個(gè)數(shù)據(jù)對(duì)象中任意選擇k個(gè)對(duì)象作為初始聚類(lèi)中心; (2)計(jì)算每個(gè)數(shù)據(jù)對(duì)象與各個(gè)中心的距離,根據(jù)最小距離準(zhǔn)則將他們進(jìn)行 分類(lèi); (3)根據(jù)每個(gè)聚類(lèi)中所有對(duì)象的均值(中心對(duì)象),計(jì)算樣本集中每個(gè)對(duì)象 與這些中心對(duì)象的距離,如同第二步再次進(jìn)行分類(lèi); (4)重復(fù)二、三步,直到聚類(lèi)中心的變化小于某個(gè)給定的閾值,停止運(yùn)算, 得到最后的聚類(lèi)結(jié)果。存在可優(yōu)化方案：該算法中對(duì)于k是任意選擇的，也就是依賴(lài)于人工提供，結(jié)果帶有隨機(jī)性缺少效率基于聚類(lèi)的關(guān)鍵幀提取方法·一個(gè)對(duì)于常規(guī)K均值聚類(lèi)算法的改進(jìn)方案基于自適應(yīng)K均值聚類(lèi)的關(guān)鍵幀提取算法簡(jiǎn)要步驟： (1)對(duì)鏡頭劃分子鏡頭，對(duì)子鏡頭進(jìn)行分析，分類(lèi)為“變化較大”和“變化較小”兩種。 (2)對(duì)于變化較大的子鏡頭進(jìn)行聚類(lèi)分析，同時(shí)給定一個(gè)較大的k值，選取 前k個(gè)數(shù)據(jù)對(duì)象作為聚類(lèi)中心 (3)其余數(shù)據(jù)依據(jù)相似度取最大的那個(gè)加入對(duì)應(yīng)聚類(lèi)，計(jì)算聚類(lèi)中心之間 的相似度，大于閾值的合并聚類(lèi)，同時(shí)k-1 (4)對(duì)聚類(lèi)內(nèi)進(jìn)行判定，與平均相似度距離最小的兩個(gè)對(duì)象選擇一個(gè)成為 新的聚類(lèi)中心

（5）生成的k個(gè)聚類(lèi)中心成為關(guān)鍵幀，變化較小的子鏡頭選尾幀做關(guān)鍵幀基于聚類(lèi)的關(guān)鍵幀提取方法·一個(gè)關(guān)鍵幀提取的應(yīng)用實(shí)例——視頻壓縮編碼I幀：關(guān)鍵幀，視頻編碼時(shí)保留完整數(shù)據(jù)P幀：向前參考幀，保留與前一張圖像的差值，作為參考幀。B幀：向前后參考幀（參考I、P幀），保留與前后差值，B幀越多，壓縮比越高，不作為參考幀常見(jiàn)BD50與網(wǎng)絡(luò)上盜版重編碼高清電影，都屬于有損壓縮，且方法相同，導(dǎo)致體積巨大差異原因在于碼率（采樣率）不同運(yùn)動(dòng)特征提取與索引姓名：沈董擎專(zhuān)業(yè)：數(shù)字媒體技術(shù)教師：李震雄視頻中運(yùn)動(dòng)目標(biāo)的特征提取視頻中的特征提取大致分為五個(gè)步驟：1.用GMM方法進(jìn)行運(yùn)動(dòng)區(qū)域預(yù)檢測(cè)2.用IB方法對(duì)備選運(yùn)動(dòng)區(qū)域進(jìn)行分割聚類(lèi)3.用UKFB方法對(duì)每一個(gè)可能的運(yùn)動(dòng)目標(biāo)區(qū)域進(jìn)行跟蹤4.對(duì)運(yùn)動(dòng)目標(biāo)子區(qū)域聚類(lèi)5.提取運(yùn)動(dòng)目標(biāo)子區(qū)域的統(tǒng)計(jì)特征作為運(yùn)動(dòng)目標(biāo)的特征沈董擎基于混合高斯模型的運(yùn)動(dòng)區(qū)域檢測(cè)采用GMM的運(yùn)動(dòng)檢測(cè)應(yīng)用在背景變化較小的情況，即攝像機(jī)不動(dòng)，背景變化就會(huì)較小，也就是所謂的局部運(yùn)動(dòng)特征提取技術(shù)。而攝像機(jī)運(yùn)動(dòng)，也就是背景會(huì)發(fā)生較大的全局運(yùn)動(dòng)特征提取技術(shù)，在此不做多提。GMM算法原理對(duì)圖像背景建立高斯模型的原理及過(guò)程：圖像灰度直方圖反映的是圖像中某個(gè)灰度值出現(xiàn)的頻次，也可以認(rèn)為是圖像灰度概率密度的估計(jì)。如果圖像所包含的目標(biāo)區(qū)域和背景區(qū)域相比比較大，且背景區(qū)域和目標(biāo)區(qū)域在灰度上有一定的差異，那么該圖像的灰度直方圖呈現(xiàn)雙峰-谷形狀，其中一個(gè)峰對(duì)應(yīng)于目標(biāo)，另一個(gè)峰對(duì)應(yīng)于背景的中心灰度。對(duì)于復(fù)雜的圖像，尤其是醫(yī)學(xué)圖像，一般是多峰的。通過(guò)將直方圖的多峰特性看作是多個(gè)高斯分布的疊加，可以解決圖像的分割問(wèn)題。在智能監(jiān)控系統(tǒng)中，對(duì)于運(yùn)動(dòng)目標(biāo)的檢測(cè)是中心內(nèi)容，而在運(yùn)動(dòng)目標(biāo)檢測(cè)提取中，背景目標(biāo)對(duì)于目標(biāo)的識(shí)別和跟蹤至關(guān)重要。而建模正是背景目標(biāo)提取的一個(gè)重要環(huán)節(jié)。我們首先要提起背景和前景的概念，前景是指在假設(shè)背景為靜止的情況下，任何有意義的運(yùn)動(dòng)物體即為前景。建模的基本思想是從當(dāng)前幀中提取前景，其目的是使背景更接近當(dāng)前視頻幀的背景。即利用當(dāng)前幀和視頻序列中的當(dāng)前背景幀進(jìn)行加權(quán)平均來(lái)更新背景,但是由于光照突變以及其他外界環(huán)境的影響，一般的建模后的背景并非十分干凈清晰，而高斯混合模型是是建模最為成功的方法之一。混合高斯模型使用K（基本為3到5個(gè)）個(gè)高斯模型來(lái)表征圖像中各個(gè)像素點(diǎn)的特征,在新一幀圖像獲得后更新混合高斯模型,用當(dāng)前圖像中的每個(gè)像素點(diǎn)與混合高斯模型匹配,如果成功則判定該點(diǎn)為背景點(diǎn),否則為前景點(diǎn)。通觀整個(gè)高斯模型，主要是有方差和均值兩個(gè)參數(shù)決定，對(duì)均值和方差的學(xué)習(xí)，采取不同的學(xué)習(xí)機(jī)制,將直接影響到模型的穩(wěn)定性、精確性和收斂性。由于我們是對(duì)運(yùn)動(dòng)目標(biāo)的背景提取建模，因此需要對(duì)高斯模型中方差和均值兩個(gè)參數(shù)實(shí)時(shí)更新。為提高模型的學(xué)習(xí)能力,改進(jìn)方法對(duì)均值和方差的更新采用不同的學(xué)習(xí)率;為提高在繁忙的場(chǎng)景下,大而慢的運(yùn)動(dòng)目標(biāo)的檢測(cè)效果,引入權(quán)值均值的概念,建立背景圖像并實(shí)時(shí)更新,然后結(jié)合權(quán)值、權(quán)值均值和背景圖像對(duì)像素點(diǎn)進(jìn)行前景和背景的分類(lèi)。1、為圖像的每個(gè)像素點(diǎn)指定一個(gè)初始的均值、標(biāo)準(zhǔn)差以及權(quán)重。2、收集N（一般取200以上，否則很難得到像樣的結(jié)果）幀圖像利用在線EM算法得到每個(gè)像素點(diǎn)的均值、標(biāo)準(zhǔn)差以及權(quán)重。3、從N+1幀開(kāi)始檢測(cè)，檢測(cè)的方法：對(duì)每個(gè)像素點(diǎn)：1）將所有的高斯核按照

ω

/

σ

降序排序2）選擇滿(mǎn)足下式的前M個(gè)高斯核：M

=argmin(ω

/

σ

>

T)3）如果當(dāng)前像素點(diǎn)的像素值在中有一個(gè)滿(mǎn)足：就可以認(rèn)為其為背景點(diǎn)。4、更新背景圖像，用在線EM算法。提問(wèn)視頻對(duì)象特征提取和視頻分割技術(shù)

姓名：賈井泉專(zhuān)業(yè)：數(shù)字媒體技術(shù)教師：李震雄提要簡(jiǎn)介和問(wèn)題描述12應(yīng)用舉例34總結(jié)5提問(wèn)解決方案的原理和技術(shù)簡(jiǎn)介和問(wèn)題描述1、視頻對(duì)象特征提取和視頻分割技術(shù)2、視頻對(duì)象分割的一般步驟3、視頻對(duì)象分割的主要方法解決方案的原理和技術(shù)視頻對(duì)象分割的一般步驟1、對(duì)原始視頻數(shù)據(jù)進(jìn)行簡(jiǎn)化2、對(duì)視頻數(shù)據(jù)進(jìn)行特征提取3、基于某種均勻性標(biāo)準(zhǔn)來(lái)確定分割決策,根據(jù)所提取特征將視頻數(shù)據(jù)歸類(lèi)4、進(jìn)行相關(guān)后處理,以實(shí)現(xiàn)