圖像分類算法應(yīng)用研究課件

1、圖像分類算法與應(yīng)用研究報(bào)告人： 張德園導(dǎo) 師：王曉龍教授圖像分類算法與應(yīng)用研究報(bào)告人： 張德園目錄研究背景相關(guān)研究工作已有工作基礎(chǔ)論文主要研究?jī)?nèi)容目錄研究背景課題來(lái)源本課題來(lái)源于國(guó)家八六三計(jì)劃目標(biāo)導(dǎo)向類課題“基于NLP的智能搜索引擎”(項(xiàng)目編號(hào)：2006AA01Z197)。課題來(lái)源本課題來(lái)源于國(guó)家八六三計(jì)劃目標(biāo)導(dǎo)向類課題“基于NLP實(shí)際意義按照語(yǔ)義內(nèi)容進(jìn)行圖像管理/圖像瀏覽減少人工標(biāo)注時(shí)間(Flickr, Picasa)輔助圖像檢索(Google, Baidu, Picsearch)實(shí)際意義按照語(yǔ)義內(nèi)容進(jìn)行圖像管理/圖像瀏覽圖像分類的語(yǔ)義層次James Wang：1.語(yǔ)義類別（例如照片或者剪貼

2、畫(huà)，室外）2.物體的羅列（人，籃球架，樓）3.抽象的語(yǔ)義（運(yùn)動(dòng)，打籃球）4.具體的語(yǔ)義（具體的描述一個(gè)圖像） 圖像分類的語(yǔ)義層次James Wang：場(chǎng)景分類場(chǎng)景分類物體分類Caltech 101物體分類Caltech 101圖像分類 海灘 恐龍 非洲 圖像分類 海灘 恐龍 非洲 圖像分類的挑戰(zhàn)尺度變化光照變化圖像分類的挑戰(zhàn)尺度變化光照變化圖像分類的挑戰(zhàn)類內(nèi)差異類間差異圖像分類的挑戰(zhàn)類內(nèi)差異類間差異研究現(xiàn)狀圖像表示底層視覺(jué)特征表示語(yǔ)義圖像表示詞包模型表示機(jī)器學(xué)習(xí)算法多示例學(xué)習(xí)算法研究現(xiàn)狀圖像表示底層視覺(jué)特征表示底層視覺(jué)特征表示Vailaya 6類假日?qǐng)D片 層次分類 貝葉斯分類器Chang 全局

3、特征，SVM分類器付巖 3類圖片 3種顏色特征對(duì)比 SVM分類器Torralba 收集了8000萬(wàn)張32*32的圖片，用最近鄰方法進(jìn)行分類Szummer和Picard 分類“室內(nèi)”/“室外” 顏色和紋理特征 K-NN 投票Serrano SVM分類 SVM輸出結(jié)果相加Paek和Chang 圖像分割 使用貝葉斯網(wǎng)絡(luò)Vailaya 6類假日?qǐng)D片 層次分類 貝葉斯分類器Sz語(yǔ)義圖像表示(全局)Spatial Envelope -Oliva和Torralba提出NaturalnessOpennessRoughnessExpansionRuggedness語(yǔ)義圖像表示(全局)Spatial Envelo

4、pe Nat語(yǔ)義圖像表示(局部)Vogel和Schiele提出語(yǔ)義圖像表示(局部)Vogel和Schiele提出詞包模型詞包模型DenseHarris-LaplaceHessian-LaplaceHarrisHessianEdge-LaplaceHaar-HessianDoG( Difference of Gaussian)PatchSIFTgradient location and orientation histogram (GLOH)shape contextsteerable filtersmoment invariantsSURF感興趣區(qū)域檢測(cè)器描述子DensePatch感興趣區(qū)域檢

5、測(cè)器描述子State of Art方法詞匯表的構(gòu)造(K-Means,GMM,VQ,pLSA)圖像相似性的度量(Distance Metric Learning, Kernel Methods(PMK,EMD) )多特征融合(Random Forest/Ferns,SVM)圖像空間信息的利用(Spatial Pyramid, ABS-pLSA,TSI-pLSA,LDA(Fei-Fei) )感興趣區(qū)域選取(Anna Bosch)State of Art方法詞匯表的構(gòu)造(K-Means,G多示例學(xué)習(xí)多示例訓(xùn)練集由包(bag)組成，每個(gè)包里面包含多個(gè)實(shí)例(instance)。如果一個(gè)包為正例，則包中至

6、少有一個(gè)實(shí)例為正例；如果一個(gè)包為反例，則包中所有的實(shí)例均為反例。 方法：MaronDiverse DensityAndrew Mi-SVM以及MI-SVMChen DD-SVM以及MILESQi DD-SVM變種周志華MIML框架(Multi-Instance Multi-Label)多示例學(xué)習(xí)多示例訓(xùn)練集由包(bag)組成，每個(gè)包里面包含多個(gè)已有工作基礎(chǔ)支持向量機(jī)(SVM)進(jìn)行圖像分類融合多分類器的圖像分類已有工作基礎(chǔ)支持向量機(jī)(SVM)進(jìn)行圖像分類SVM進(jìn)行圖像分類SVM進(jìn)行圖像分類常用核函數(shù)高斯核（Gaussian RBF）: 拉普拉斯核（Laplacian RBF）：多項(xiàng)式核（poly

7、nomial）: 無(wú)限多項(xiàng)式核（infinite polynomials）：常用核函數(shù)高斯核（Gaussian RBF）: 拉普拉斯核（Svetlana Lazebnik-Spatial Pyramid Matching Kernel(空間金字塔匹配核)Spatial Pyramid RBF Gaussian KernelSpatial Pyramid 2 KernelSvetlana Lazebnik-Spatial PyraEvaluationCorel圖像庫(kù)中的10類Libsvm，5折交叉驗(yàn)證C= 2-3, 2-1, , 215=2-15,2-13,25EvaluationCorel圖像

8、庫(kù)中的10類Libsvm，Spatial Pyramid RBF Gaussian KernelSpatial Pyramid 2 Kernel以上兩種核的結(jié)果都有所提高1+4的形式最好自動(dòng)學(xué)習(xí)出權(quán)重Spatial Pyramid RBF Gaussian K多分類器融合的圖像分類多分類器融合框架多分類器融合的圖像分類多分類器融合框架模糊積分函數(shù)g : 2T 0,1叫做g模糊測(cè)度，如果它滿足如下性質(zhì)：(I) g()=0; (II) g(T)=1;(III) g(A)g(B), if AB 并且 A, BT(IV) 對(duì)于所有的A, BT并且 AB = g(AB) = g(A) + g(B) +g

9、(A)g(B) 對(duì)于某一個(gè) -1模糊積分函數(shù)g : 2T 0,1叫做g模糊測(cè)度，如模糊積分訓(xùn)練傳統(tǒng)的Reward-Punishment算法設(shè)置初始gi對(duì)訓(xùn)練樣本的分類進(jìn)行Reward和Punishment對(duì)初始gi依賴，陷入局部最優(yōu)解改進(jìn)設(shè)置多組初始gi本文選取gi=t/N 模糊積分訓(xùn)練結(jié)果特征名特征長(zhǎng)度描述CH-RGB644bins R4bins G4bins BCH-HSV9632bins H+32bins S+ 32bins VCH-Lab10032bins L+32bins a+36bins bCCV1284bins R4bins G4bins B2Edge Histogram80PW

10、T27Corel圖像庫(kù)中的10類Libsvm，線性核C=2-5,2-4,2105折交叉驗(yàn)證結(jié)果特征名特征長(zhǎng)度描述CH-RGB644bins R4bi結(jié)果比較平均精度我的方法84.66%DD-SVM81.5%Hist-SVM66.7%(Chen) 79.8%(Qi)CCV80.52%MILES82.6%Qi88.8%DD-SVM(Qi)82%結(jié)果比較平均精度我的方法84.66%DD-SVM81.5%H “海灘”被誤分為“山川”“山川”被誤分為“海灘”經(jīng)常被誤分的圖片 “海灘”被誤分為“山川”“山川”被誤分為“海灘”經(jīng)常被誤分融合方法與子分類器的精度對(duì)照融合方法與子分類器的精度對(duì)照不同訓(xùn)練樣本下的

11、精度對(duì)照改進(jìn)：自動(dòng)拋棄性能較差的分類器不同訓(xùn)練樣本下的精度對(duì)照改進(jìn)：主要研究?jī)?nèi)容，實(shí)施方案與可行性論證組合多分類器框架的研究最優(yōu)詞匯表構(gòu)造的研究最優(yōu)空間信息進(jìn)行圖像分類的研究Internet圖像挖掘研究主要研究?jī)?nèi)容，實(shí)施方案與可行性論證組合多分類器框架的研究組合多分類器框架的研究組合分類器框架選擇分類器權(quán)重計(jì)算分類器選擇組合多分類器框架的研究組合分類器框架選擇最優(yōu)詞匯表構(gòu)造的研究Filter方法預(yù)計(jì)方法：生成一個(gè)較大的詞匯表(5000-10000)根據(jù)每個(gè)詞匯的對(duì)類別的判別能力控制聚類最優(yōu)詞匯表構(gòu)造的研究Filter方法最優(yōu)空間信息進(jìn)行圖像分類的研究Kernel MethodsGaussian

12、, 2 ,Histogram Intersection根據(jù)訓(xùn)練圖像學(xué)習(xí)出金字塔每個(gè)層次的最優(yōu)權(quán)重最優(yōu)空間信息進(jìn)行圖像分類的研究Kernel MethodsInternet圖像挖掘研究現(xiàn)有圖像挖掘方法的不足：訓(xùn)練數(shù)據(jù)存在噪聲不能很好的突破搜索引擎返回結(jié)果數(shù)量的限制解決方案：查詢擴(kuò)展多個(gè)搜索引擎結(jié)果集成文本分類技術(shù)與圖像分類技術(shù)結(jié)合少量標(biāo)記樣本半監(jiān)督學(xué)習(xí)Internet圖像挖掘研究現(xiàn)有圖像挖掘方法的不足：論文進(jìn)度安排2006年9月-2007年7月：閱讀相關(guān)文獻(xiàn)，分析圖像分類在國(guó)內(nèi)外的研究現(xiàn)狀2007年9月-2008年6月：進(jìn)行組合多分類器方面的研究，發(fā)表一篇以上學(xué)術(shù)論文2008年8月-2008年1

13、2月： 進(jìn)行最優(yōu)空間信息進(jìn)行圖像分類的研究，發(fā)表一篇以上學(xué)術(shù)論文2009年1月-2009年5月：進(jìn)行最優(yōu)詞匯表構(gòu)造的研究，發(fā)表一篇以上學(xué)術(shù)論文2009年6月-2009年12月：進(jìn)行網(wǎng)絡(luò)分類挖掘的研究，發(fā)表一篇學(xué)術(shù)論文2010年1月-2010年4月：總結(jié)博士階段所做的工作，撰寫(xiě)博士論文2010年5月-2010年7月：準(zhǔn)備答辯論文進(jìn)度安排2006年9月-2007年7月：閱讀相關(guān)文獻(xiàn)，分預(yù)期達(dá)到目標(biāo)建立通用的圖像分類系統(tǒng)，達(dá)到如下指標(biāo)：Caltech101 80% Caltech256 45% Corel十類90%建立網(wǎng)絡(luò)圖像挖掘系統(tǒng)，該系統(tǒng)的準(zhǔn)確率比現(xiàn)有的搜索引擎高50%以上預(yù)期達(dá)到目標(biāo)建立通用的

14、圖像分類系統(tǒng)，達(dá)到如下指標(biāo)：Calte圖像分類算法應(yīng)用研究課件圖像分類算法應(yīng)用研究課件為完成課題已具備和所需的條件圖像庫(kù)：Caltech 101, Caltech 256, Corel十類圖像庫(kù), MIT CBCL, PASCAL等圖像庫(kù)LabelME 等大規(guī)模圖像資源庫(kù)常用的圖像特征提取算法：顏色直方圖，顏色一致向量，邊緣直方圖，SIFT特征等開(kāi)源機(jī)器學(xué)習(xí)工具包libsvm等為完成課題已具備和所需的條件圖像庫(kù)：Caltech 101,遇到的困難以及解決辦法圖像處理以及計(jì)算機(jī)視覺(jué)知識(shí)的缺乏機(jī)器學(xué)習(xí)理論功底不足多搜索引擎的網(wǎng)絡(luò)爬蟲(chóng)遇到的困難以及解決辦法圖像處理以及計(jì)算機(jī)視覺(jué)知識(shí)的缺乏已發(fā)表的論文De-Yuan Z