視覺(jué)詞袋技術(shù)介紹.ppt

BoVW模型介紹,BoVW模型介紹,主要內(nèi)容 一、提出背景 二、框架 三、關(guān)鍵步驟 四、應(yīng)用領(lǐng)域 五、存在問(wèn)題及改進(jìn)分析,BoVW模型介紹,一、提出背景 詞袋模型最先是由Josef等基于自然語(yǔ)言處理模型而提出的。 類(lèi)比一篇文章由很多文字 (textual words) 組合而成，如果將一張圖片表示成由許多 視覺(jué)單詞（visual words） 組合而成，就能將過(guò)去在文本檢索（text retrieval）領(lǐng)域的技巧直接利用在圖像檢索（image retrieval）中，以文字檢索系統(tǒng)現(xiàn)在的效率，圖像表示的“文字化”也有助于大規(guī)模(large-scale)圖像檢索系統(tǒng)的效率。,BoVW模型介紹,一、提出背景,與文本文檔進(jìn)行類(lèi)比,BoVW模型介紹,二、框架,視覺(jué)詞典,生成sift描述子,生成視覺(jué)單詞,視覺(jué)單詞直方圖,BoVW模型介紹,二、BoVW模型框架,視覺(jué)詞典生成流程,圖像視覺(jué)單詞直方圖生成過(guò)程,BoVW模型介紹,BoVW模型介紹,三 關(guān)鍵步驟 (i) 自動(dòng)檢測(cè)特征興趣的區(qū)域/點(diǎn)； (ii) 計(jì)算該特征區(qū)域/點(diǎn)的描述子； (iii) 利用視覺(jué)詞典(visual vocabulary)將特征描述子映射為視覺(jué)單詞； (iv) 統(tǒng)計(jì)每個(gè)visual word在圖像中的出現(xiàn)頻率，生成視覺(jué)單詞直方圖。,BoVW模型介紹,三 關(guān)鍵步驟 3.1 關(guān)鍵區(qū)域/點(diǎn)檢測(cè) 3.1.1 Harris-Laplace 檢測(cè)子 旋轉(zhuǎn)和尺度不變量,檢測(cè)角點(diǎn)結(jié)構(gòu)特征。,BoVW模型介紹,三 關(guān)鍵步驟 3.1 關(guān)鍵區(qū)域/點(diǎn)檢測(cè) 3.1.2 DoG 檢測(cè)子 檢測(cè)高斯差分尺度空間的局部極值點(diǎn)區(qū)域。該檢測(cè)子適合發(fā)現(xiàn)斑狀結(jié)構(gòu)（blob-like structures)。另外，DoG 點(diǎn)檢測(cè)子目前在各類(lèi)應(yīng)用中性能很好，能夠比其他檢測(cè)子運(yùn)算速度更快，同時(shí)根據(jù)壓縮性（檢測(cè)的特征點(diǎn)數(shù)更少）。,BoVW模型介紹,三 關(guān)鍵步驟 3.1 關(guān)鍵區(qū)域/點(diǎn)檢測(cè) 3.1.3 Hessian-Laplace 檢測(cè)子 與DoG檢測(cè)近似，但是在尺度空間能獲得更高的準(zhǔn)確度，并且在尺度選擇上的準(zhǔn)確度也高于Harris-Laplace 。,BoVW模型介紹,三 關(guān)鍵步驟 3.1 關(guān)鍵區(qū)域/點(diǎn)檢測(cè) 3.1.4 顯著區(qū)域（Salient regions）檢測(cè)子 3.1.5 Maximally stable extremal regions (MSERs),BoVW模型介紹,三 關(guān)鍵步驟 3.2 局部描述子SIFT 1999年British Columbia大學(xué)大衛(wèi).勞伊（David G.Lowe）教授總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測(cè)方法，并正式提出了一種基于尺度空間的、對(duì)圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子SIFT（尺度不變特征變換），這種算法在2004年被加以完善。,BoVW模型介紹,三 關(guān)鍵步驟 3.2 局部描述子 sift 3.2.1 sift的特點(diǎn) 獨(dú)特性好，信息量豐富，適用于在海量特征數(shù)據(jù)庫(kù)中進(jìn)行快速、準(zhǔn)確的匹配。 多量性，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量SIFT特征向量。,BoVW模型介紹,三 關(guān)鍵步驟 3.2 局部描述子 sift 3.2.1 sift的特點(diǎn)(cont.) 經(jīng)過(guò)優(yōu)化的SIFT算法可滿足一定的速度需求。 可擴(kuò)展性，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。,BoVW模型介紹,三 關(guān)鍵步驟 3.2.2 SIFT算法可以解決的問(wèn)題 目標(biāo)的旋轉(zhuǎn)、縮放、平移（RST） 圖像仿射/投影變換（視點(diǎn)viewpoint） 光照影響（illumination） 目標(biāo)遮擋（occlusion） 雜物場(chǎng)景（clutter） 噪聲,BoVW模型介紹,三 關(guān)鍵步驟 3.2.3 sift算法主要步驟 a) 尺度空間的生成,BoVW模型介紹,三 關(guān)鍵步驟 3.2.3 sift算法主要步驟 b) 檢測(cè)尺度空間極值點(diǎn),BoVW模型介紹,三 關(guān)鍵步驟 3.2.3 sift算法主要步驟 C) 精確定位極值點(diǎn) D) 為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù),梯度直方圖,BoVW模型介紹,三 關(guān)鍵步驟 3.2.3 sift算法主要步驟 e) 關(guān)鍵點(diǎn)描述子的生成,BoVW模型介紹,Sift檢測(cè)效果圖,BoVW模型介紹,三 關(guān)鍵步驟 3.3 視覺(jué)單詞的產(chǎn)生 3.3.1 聚類(lèi)方法 最常用、最簡(jiǎn)單的方法是K_means，其他還有x_means,層次聚類(lèi)等方法。 3.3.2 權(quán)重機(jī)制 TF、TF-IDF（term frequency and term frequency-inverse document Frequency）、binary weighting.,BoVW模型介紹,三 關(guān)鍵步驟 3.3 視覺(jué)單詞的產(chǎn)生 3.3.3 軟權(quán)重方法(soft_weighting) 3.3.4 停詞(stop word)消除 Sivic and Zisserman 認(rèn)為圖像中最常見(jiàn)的視覺(jué)單詞也是停詞 ，可以從詞典中刪除。但目前沒(méi)有實(shí)驗(yàn)表明刪除視覺(jué)詞典中的停詞后有助于分類(lèi)性能提升。,BoVW模型介紹,三 關(guān)鍵步驟 3.3 視覺(jué)單詞的產(chǎn)生 3.3.5 視覺(jué)單詞的選取 五種特征選取評(píng)判準(zhǔn)則： i) document frequency (DF) 表示包含某視覺(jué)單詞的圖片的數(shù)目，在文本分類(lèi)任務(wù)中，具有較小DF的單詞會(huì)被刪掉，因?yàn)樵谖谋痉诸?lèi)中較小DF的單詞可能對(duì)分類(lèi)而言沒(méi)有多大意義。,BoVW模型介紹,BoVW模型介紹,BoVW模型介紹,iii) Information gain (IG) 信息增益是測(cè)量?jī)蓚€(gè)隨機(jī)變量獨(dú)立性的又一種方法。 單詞t和類(lèi)標(biāo)簽ci的信息增益計(jì)算如下：,然后計(jì)算平均信息增益，將低于平均信息增益的單詞刪除。,BoVW模型介紹,iv) Mutual information (MI),視覺(jué)單詞小于平均MI值的將從視覺(jué)詞典中剔除。,與信息增益有關(guān)，其計(jì)算方法如下：,BoVW模型介紹,四、應(yīng)用領(lǐng)域 （1）視頻/圖像檢索(Content-based image retrieval) （2）圖像自動(dòng)標(biāo)注( image annotation) （3）物體識(shí)別(object recognize) （4）場(chǎng)景分類(lèi)(scene classify),BoVW模型介紹,五、存在問(wèn)題及改進(jìn)分析 （1）空間信息的缺失：BoW模型一個(gè)很大的缺點(diǎn)是缺少特征點(diǎn)的空間關(guān)系信息，但這卻是一個(gè)很重要的圖片信息。 一些改進(jìn)方