大腦皮層視覺通路計(jì)算模型的物體識(shí)別課件

題目:RobustObjectRecognitionwithCortex-LikeMechanisms作者：ThomasSerre,TomasoPoggio講解人：SuYu1大腦皮層視覺通路計(jì)算模型的物體識(shí)別作者的相關(guān)信息ThomasSerre2005年獲得博士學(xué)位computationalneuroscienceMIT,BrainandCognitiveScienceDept,Cambridge,MA.Advisor:TomasoPoggio所在機(jī)構(gòu)PostdoctoralassociateattheCenterforBiologicalandComputationalLearning(CBCL)atMIT

主要研究方向Biologicalvision,machinevision,objectrecognition,computationalneuroscience,learningincortex主要的學(xué)術(shù)貢獻(xiàn)點(diǎn)提出了一個(gè)關(guān)于視覺皮層腹部通路(ventralstreamofvisualcortex)中回路和計(jì)算的定量模型。提出了一個(gè)component-based的人臉檢測(cè)/識(shí)別模型。2大腦皮層視覺通路計(jì)算模型的物體識(shí)別作者的相關(guān)信息

TomasoPoggio所在機(jī)構(gòu)DepartmentofBrain&CognitiveSciencesandArtificialIntelligenceLaboratory,MassachusettsInstituteofTechnology主要研究方向theprocessesbywhichthebrainlearnstorecognizeandcategorizevisualobjects3大腦皮層視覺通路計(jì)算模型的物體識(shí)別文章的相關(guān)信息PAMI2007.3相關(guān)文獻(xiàn)M.RiesenhuberandT.Poggio,“HierarchicalModelsofObjectRecognitioninCortex,”NatureNeuroscience,vol.2,no.11,pp.1019-1025,1999.T.Serre,M.Kouh,C.Cadieu,U.Knoblich,G.Kreiman,andT.Poggio,“ATheoryofObjectRecognition:ComputationsandCircuitsintheFeedforwardPathoftheVentralStreaminPrimateVisualCortex,”AIMemo2005-036/CBCLMemo259,MassachusettsInst.ofTechnology,Cambridge,2005.4大腦皮層視覺通路計(jì)算模型的物體識(shí)別文章摘要受生物學(xué)的啟發(fā)，我們提出了一種識(shí)別復(fù)雜視覺場(chǎng)景的新的通用框架。在這個(gè)框架中，我們描述了一個(gè)與視覺皮層組織結(jié)構(gòu)非常相似的一個(gè)層次化模型，并且通過交替進(jìn)行模板匹配(templatematching)和最大化操作(maximumpoolingoperation)，得到復(fù)雜性和不變性越來越高的特征表示。我們?cè)诙鄠€(gè)識(shí)別任務(wù)上驗(yàn)證了這種方法的正確性，包括復(fù)雜場(chǎng)景中單類或多類物體的識(shí)別，以及依賴于識(shí)別shape-based和texture-based物體的復(fù)雜場(chǎng)景理解。在滿足一些生物學(xué)限制條件的情況下，這種方法的性能非常好：它可以從少量訓(xùn)練樣本中進(jìn)行學(xué)習(xí)，并且與目前最好的系統(tǒng)旗鼓相當(dāng)。除了與計(jì)算機(jī)視覺的相關(guān)性，這種方法的成功證明了大腦皮層中物體識(shí)別前饋模型的正確性。5大腦皮層視覺通路計(jì)算模型的物體識(shí)別研究背景和研究意義研究背景研究大腦視覺皮層中物體識(shí)別的過程對(duì)于神經(jīng)科學(xué)（Neuroscience）來說是一個(gè)關(guān)鍵的問題。計(jì)算機(jī)視覺中神經(jīng)科學(xué)的應(yīng)用局限在推導(dǎo)立體視(stereo)算法和驗(yàn)證DoG以及Gabor的正確性。一些基于仿生的高層次特征沒有在實(shí)際的圖像數(shù)據(jù)庫(kù)上驗(yàn)證。研究意義人類和哺乳動(dòng)物的視覺系統(tǒng)優(yōu)于目前的機(jī)器視覺的系統(tǒng)，因此模仿大腦皮層中物體識(shí)別的過程就變得非常有吸引力。6大腦皮層視覺通路計(jì)算模型的物體識(shí)別前人相關(guān)工作的介紹相關(guān)工作層次化結(jié)構(gòu)ConstellationmodelMultilayeredconvolutionalnetworks。。。物體表示方法Appearance-based區(qū)分性強(qiáng)但缺乏不變性。Histogram-based不變性強(qiáng)但缺乏區(qū)分性。7大腦皮層視覺通路計(jì)算模型的物體識(shí)別本文所研究問題的提出問題的提出不變性（Invariance）和區(qū)分性（Selective）對(duì)于物體識(shí)別來說都是很重要的。本文提出一種新的物體描述方式，能夠很好地平衡不變性和區(qū)分性。8大腦皮層視覺通路計(jì)算模型的物體識(shí)別本文解決思路的基本思想模擬大腦視覺皮層的處理過程通過一種層次結(jié)構(gòu)定量地模擬了大腦視覺皮層腹部通路前100-200毫秒的處理過程。系統(tǒng)共分4個(gè)層次，包括兩個(gè)simpleSunits和兩個(gè)complexCunits。兼顧可分性(Sunits)和不變性(Cunits)9大腦皮層視覺通路計(jì)算模型的物體識(shí)別文章的組織結(jié)構(gòu)IntroductionDetailedImplementationEmpiricalEvaluationDiscussion10大腦皮層視覺通路計(jì)算模型的物體識(shí)別基礎(chǔ)知識(shí)相關(guān)學(xué)科神經(jīng)科學(xué)(Neuroscience)腦研究的綜合學(xué)科。應(yīng)用生命科學(xué)和物理科學(xué)，信息科學(xué)的綜合途徑，從分子、細(xì)胞到計(jì)算網(wǎng)絡(luò)、心理多個(gè)水平，對(duì)神經(jīng)系統(tǒng)的形成，正常功能和異常病變進(jìn)行研究。認(rèn)知科學(xué)(CognitiveScience)是研究人、動(dòng)物和機(jī)器的智能的本質(zhì)和規(guī)律的科學(xué)，目標(biāo)是揭示人腦認(rèn)知過程的機(jī)制，用計(jì)算機(jī)程序?qū)崿F(xiàn)這一機(jī)制并加以驗(yàn)證。11大腦皮層視覺通路計(jì)算模型的物體識(shí)別基礎(chǔ)知識(shí)人類視覺感知系統(tǒng)視覺信息在大腦中按照一定的通路傳輸視網(wǎng)膜接受外界信號(hào)信號(hào)通過視神經(jīng)交叉和視束傳到中樞的側(cè)膝體信息到達(dá)大腦皮層細(xì)胞大腦皮層由簡(jiǎn)單到復(fù)雜，由低級(jí)到高級(jí)SimpleCell->ComplexCell->HypercomplexCell->...12大腦皮層視覺通路計(jì)算模型的物體識(shí)別基礎(chǔ)知識(shí)視覺信息處理特點(diǎn)兩條通路腹部通路(ventralstream)，又稱what通路背部通路(dorsalstream)，又稱where通路層次結(jié)構(gòu)視網(wǎng)膜->側(cè)膝體->視皮層反饋連接高層區(qū)域->視覺初級(jí)皮層區(qū)高級(jí)行為也會(huì)對(duì)低層神經(jīng)元活動(dòng)產(chǎn)生影響感受野等級(jí)特性神經(jīng)細(xì)胞越復(fù)雜，對(duì)應(yīng)視網(wǎng)膜上區(qū)域越大。注意選擇機(jī)制學(xué)習(xí)機(jī)制13大腦皮層視覺通路計(jì)算模型的物體識(shí)別系統(tǒng)框架14大腦皮層視覺通路計(jì)算模型的物體識(shí)別S1unitsGabor-模擬簡(jiǎn)單視覺細(xì)胞的感受野。多方向，多尺度。提取具有區(qū)分能力的底層特征。15大腦皮層視覺通路計(jì)算模型的物體識(shí)別C1units較大的感受野-對(duì)感受野內(nèi)不同位置，不同尺寸的邊緣都會(huì)有響應(yīng)。通過尺度和空間鄰域的局部最大值操作（LocalMaximum）來實(shí)現(xiàn)。體現(xiàn)了平移和尺度不變性。16大腦皮層視覺通路計(jì)算模型的物體識(shí)別C1unitsC1maxmax17大腦皮層視覺通路計(jì)算模型的物體識(shí)別C1unitsC1S118大腦皮層視覺通路計(jì)算模型的物體識(shí)別S1和C1具體參數(shù)19大腦皮層視覺通路計(jì)算模型的物體識(shí)別S2units與從訓(xùn)練集中學(xué)到的patch進(jìn)行模板匹配。Patch20大腦皮層視覺通路計(jì)算模型的物體識(shí)別S2unitsrRBFXPi=21大腦皮層視覺通路計(jì)算模型的物體識(shí)別C2units在所有尺度，所有位置上取最大值。22大腦皮層視覺通路計(jì)算模型的物體識(shí)別TheLearningStage選擇若干具有代表性的patch從訓(xùn)練圖像(C1level)中隨機(jī)采樣每類物體有自己的代表patch23大腦皮層視覺通路計(jì)算模型的物體識(shí)別TheClassificationStage特征Standardmodelfeatures(SMFs):C1orC2分類器SVMBoosting24大腦皮層視覺通路計(jì)算模型的物體識(shí)別實(shí)驗(yàn)ObjectRecognitioninClutterObjectRecognitionwithoutClutter25大腦皮層視覺通路計(jì)算模型的物體識(shí)別ObjectRecognitioninClutter測(cè)試條件目標(biāo)物體沒有分割，位置和尺度也不同采用的特征scaleandposition-invariantC2SMFs測(cè)試數(shù)據(jù)庫(kù)CalTech5,CalTech101,andMIT-CBCL26大腦皮層視覺通路計(jì)算模型的物體識(shí)別ObjectRecognitioninClutterComparisonwithbenchmarksystems[19]，[20]：constellationmodels[17]：hierarchicalSVM[18]：fragments+gentleBoost27大腦皮層視覺通路計(jì)算模型的物體識(shí)別ObjectRecognitioninClutterComparisonwithSIFTfeatures28大腦皮層視覺通路計(jì)算模型的物體識(shí)別ObjectRecognitioninClutterNumberoffeaturesandtrainingexamples29大腦皮層視覺通路計(jì)算模型的物體識(shí)別ObjectRecognitionwithoutClutter測(cè)試條件和滑動(dòng)窗結(jié)合—從圖像的不同位置和不同尺度提取圖像窗，resize到同樣大小。沒有位置和尺度的變化沒有clutter采用的特征C1和C2均可，但C1優(yōu)于C2測(cè)試數(shù)據(jù)庫(kù)StreetScenesscene-understandingdataset30大腦皮層視覺通路計(jì)算模型的物體識(shí)別ObjectRecognitionwithoutClutter31大腦皮層視覺通路計(jì)算模型的物體識(shí)別ObjectRecognitionwithoutClutter32大腦皮層視覺通路計(jì)算模型的物體識(shí)別ObjectRecognitionwithoutClutter33大腦皮層視覺通路計(jì)算模型的物體識(shí)別總結(jié)本文提出了一種基于大腦皮層視覺通路計(jì)算模型的物體識(shí)別方法，并應(yīng)用到多種不同的識(shí)別任務(wù)中，取得了不錯(cuò)的效果。