感知-智能科學(xué)與人工智能課件

智能科學(xué)

IntelligenceScience第五章知覺表達(dá)史忠植

中國科學(xué)院計算技術(shù)研究所http:///

2023/6/51史忠植感知過程內(nèi)容提要一、概述二、知覺理論三、知覺組織四、Marr視覺計算理論五、知覺有效編碼理論六、結(jié)束語2023/6/52史忠植感知過程概述感知是客觀外界直接作用于人的感覺器官而產(chǎn)生的，在發(fā)展中經(jīng)歷三種基本形式：感覺知覺表象2023/6/53史忠植感知過程認(rèn)識的辯證過程關(guān)于人的認(rèn)識的發(fā)展過程，列寧曾作過這樣的概括；“從生動的直觀到抽象的思維，并從抽象的思維到實踐，這就是認(rèn)識真理、認(rèn)識客觀實在的辯證的途徑?！泵珴蓶|也指出：“一切比較完全的知識都是由兩個階段構(gòu)成的，第一階段是感性知識，第二階段是理性知識，理性知識是感性知識的高級發(fā)展階段。”2023/6/54史忠植感知過程認(rèn)識的辯證過程感覺是客觀事物的個別屬性、特性在人腦中的反映。知覺是各種感覺的綜合，是客觀事物整體在人腦中的反映，它比感覺全面和復(fù)雜。在知覺的基礎(chǔ)上，產(chǎn)生表象。表象即印象，是通過回憶、聯(lián)想使這些印象再現(xiàn)出來。它與感覺、知覺不同，是在過去對同一事物或同類事物多次感知的基礎(chǔ)上形成的，具有一定的間接性和概括性。但表象只是概括感性材料的最簡單的形式，它還不能揭露事物的本質(zhì)和規(guī)律，2023/6/55史忠植感知過程從低級感知到高級感知Atthelowerlevel,theworldisbrokendownintoprimitivefeaturesWeperceivetheworldasaunifiedwholeTheseholisticperceptionsaretheresultofhigherperceptualfunctionsoperatingonthesefeatureprimitivesPerceivingtheworldisconnectedwithourknowledgeoftheworldAsystemthatlinkstheproductsoflowerperceptiontomemory2023/6/56史忠植感知過程感覺和知覺感覺Sensation:

Consciousoutcomeofsenseorgansandprojectionregions.(“Idetectsomething”,notnecessarilyconscious)知覺Perception:meansbywhichinformationacquiredfromtheenvironmentviathesenseorgansistransformed(organized)intoexperiencesofobjects,events,sounds,tastes,etc.(“Iknow,recognize,appreciatewhatIamsensing”)2023/6/57史忠植感知過程知覺組織Twocomplementaryissues:組織Organizing

coherentobjectsandeventsoutofsegregatedsensory/perceptualinputs(“binding”)分析“Parsing”

theperceptualworld;understandingwhichinputsbelongtogetherandwhichcomefromseparateobjects2023/6/58史忠植感知過程知覺組織Perceptualorganizationandparsingaccomplishedbyavarietyofvisualsubsystems2023/6/59史忠植感知過程Objectvs.SpatialVisionGeneralprinciple:inferiorlesions

produce

perceptualimpairments;

superiorlesions

producesyndromes

dominatedby

spatialimpairment2023/6/510史忠植感知過程知覺組織SizeandShapeConstancies:reflectmechanismswherebyperceptionofadistalobjectstaysthesamedespiteproximal

changesintheperceptionDepthCues:

monocularorbinocularsourcesofinformationthatconveyinformationaboutrelativedistanceofobjectsfromviewer2023/6/511史忠植感知過程知覺理論

TheoriesofPerception間接知覺“Indirect”perception:perceptionistheresultofinteractiveprocessesfromwithoutandfromwithin–useofinternalrepresentationsbasedon“top-down”and“bottom-up”processing直接知覺“Direct”perception(Gibson):informationfromthevisualworldissufficienttopermitperceptionwithouttheinvolvementofinternalrepresentations-focusin“bottom-up”processing2023/6/512史忠植感知過程吉布森生態(tài)學(xué)理論

GibsonianTheory美國心理學(xué)家吉布森(J．J．Gibson)因其對知覺的研究而聞名于學(xué)術(shù)界。1950年他提出生態(tài)知覺理論。他認(rèn)為知覺是直接的，沒有任何推理步驟、中介變量或聯(lián)想。生態(tài)學(xué)理論（刺激物說）與構(gòu)造理論（假設(shè)考驗說）相反，主張知覺只具有直接性質(zhì)，否認(rèn)已有知識經(jīng)驗的作用。2023/6/513史忠植感知過程吉布森生態(tài)學(xué)理論

GibsonianTheory吉布森(J．J．Gibson)認(rèn)為，自然界的刺激是完整的，可以提供非常豐富的信息，人完全可以利用這些信息，直接產(chǎn)生與作用于感官的刺激相對應(yīng)的知覺經(jīng)驗，根本不需要在過去經(jīng)驗基礎(chǔ)上形成假設(shè)并進(jìn)行考驗。根據(jù)他的生態(tài)知覺理論，知覺是和外部世界保持接觸的過程，是刺激的直接作用。他把這種直接的刺激作用解釋為感官對之作出反應(yīng)的物理能量的類型和變量。知覺是環(huán)境直接作用的產(chǎn)物這一觀點，是和傳統(tǒng)的知覺理論相背離的。吉布森把表示一個人周圍刺激的“刺激生態(tài)學(xué)”概念用公式來表示，它們包括傾斜的和反射的表面的關(guān)系，以及人們在走路、坐著和躺下時都感受到的引力，他堅信知覺不變，因此當(dāng)環(huán)境提供給活躍的有機體連續(xù)而穩(wěn)定的信息流時，有機體能夠?qū)Υ俗鞒龇磻?yīng)。2023/6/514史忠植感知過程吉布森生態(tài)學(xué)理論

GibsonianTheory吉布森(J．J．Gibson)的知覺理論之所以冠之以“生態(tài)知覺理論”，原因在于它強調(diào)與生物適應(yīng)最有關(guān)系的環(huán)境事實。對吉布森而言，感覺是因演進(jìn)而對環(huán)境的適應(yīng)，而且環(huán)境中有些重要現(xiàn)象,如重力、晝夜循環(huán)和天地對比等,在進(jìn)化史上都是不變的。2023/6/515史忠植感知過程直接觀點

“Direct”View(Gibson)“Opticarray”containsallnecessaryvisualinformationLayoutofobjectsinspacegivenbytexturegradients,opticflowpatterns,andaffordances(impliedmeaningofobjects)Perceptioninvolves“pickingup”informationthrough“resonance”HashadhistoricalimpactinrestoringinterestintheperceptualenvironmentHasbeencriticizedasbeingunderspecified,andneglectsroleofknowledgeinstimulusexploration2023/6/516史忠植感知過程間接觀點Contexteffectsinperception:whatisseendependsuponsurroundEffectsofemotionVisualillusions:ideaisthatgeneralknowledgeaboutobjectsisappliedinappropriatelytotheperceptionoftwo-dimensionalfigures(e.g.,Muller-Lyer)2023/6/517史忠植感知過程構(gòu)造理論

布魯納（J.S.Bruner）提出構(gòu)造理論，認(rèn)為所有感知都受到人們的經(jīng)驗和期望的影響。構(gòu)造論者關(guān)于知覺的看法是把記憶的作用賦予極大的重要性。他們認(rèn)為先前經(jīng)驗的記憶痕跡，加到此時此地被刺激誘導(dǎo)出來的感覺中去，因此就構(gòu)造出一個知覺象。而且，構(gòu)造論者主張有組織的知覺基礎(chǔ)是從一個人的記憶中選擇、分析并添加刺激信息的過程,而不是格式塔論者所主張的大腦組織的天生定律所引起的自然操作作用。2023/6/518史忠植感知過程構(gòu)造理論

已有的知識經(jīng)驗對知覺的影響是多方面的，最引人注目的是體現(xiàn)為上下文的作用。當(dāng)前一些心理學(xué)家認(rèn)為，總的看來，過去的知識經(jīng)驗主要是以假設(shè)、期望或因式的形式在知覺中起作用的。人在知覺時，接收感覺輸入，在已經(jīng)驗的基礎(chǔ)上，形成關(guān)于當(dāng)前的刺激是什么或者激活一定的知識單元而形成對某種客體的期望。知覺是在這些假設(shè)、期望等的引導(dǎo)和規(guī)劃下進(jìn)行的。依照格雷哥里(Gregory)的看法，知覺是一種包含假設(shè)考驗的構(gòu)造過程。人通過接收信息、形成和考驗假設(shè)，再接收或搜尋信息，再考驗假設(shè)，直至驗證某個假設(shè)，從而對感覺刺激作出正確的解釋，這被稱作知覺的假設(shè)考驗說。照這個學(xué)說看來，感覺刺激的物理特征、刺激的上下文和有關(guān)的概念都可激活長時記憶中的有關(guān)知識而形成各種假設(shè)。知覺因而是以假設(shè)為紐帶的現(xiàn)實刺激信息和記憶信息相結(jié)合的再造。在通常情況下，人們在知覺時意識不到假設(shè)的參與，但在某些特殊條件下，如在弱的照明下看東西，有時是可以體驗到這種假設(shè)考驗的。2023/6/519史忠植感知過程構(gòu)造理論

假設(shè)考驗說賦予知覺過程以主動性和智慧性的色彩，是目前在認(rèn)知心理學(xué)中有相當(dāng)影響的知覺理論知覺的假設(shè)考驗說是一種建立在過去經(jīng)驗作用基礎(chǔ)上的知覺理論。支持這個理論的還有其他的重要論據(jù)。例如，外部刺激與知覺經(jīng)驗并沒有一對一的關(guān)系，同一刺激可引起不同的知覺，不同的刺激卻又可以引起相同的知覺。2023/6/520史忠植感知過程格式塔理論

格式塔（Gestalt）心理學(xué)誕生于1912年。它強調(diào)經(jīng)驗和行為的整體性，反對當(dāng)時流行的構(gòu)造主義元素學(xué)說和行為主義“刺激－反應(yīng)”公式，認(rèn)為整體不等于部分之和，意識不等于感覺元素的集合，行為不等于反射弧的循環(huán)。盡管格式塔原理不只是一種知覺的學(xué)說，但它卻導(dǎo)源于對知覺的研究，而且一些重要的格式塔原理，大多是由知覺研究所提供的。2023/6/521史忠植感知過程格式塔心理學(xué)知覺的形成是基于先驗知識的刺激組織2023/6/522史忠植感知過程格式塔心理學(xué)格式塔理論認(rèn)為，知覺問題涉及到比較和判斷。Picasso’spanting2023/6/523史忠植感知過程

知覺組織法則Wertheimer等格式塔心理學(xué)家說明了人類知覺組織能歸結(jié)為幾個重要的法則：

1）鄰近性。彼此緊密接近的刺激物比相隔較遠(yuǎn)的刺激物有較大的組合傾向。接近可能是空間的，也可能是時間的。按不規(guī)則的時間間隔發(fā)生的一系列輕拍響聲中，在時間上接近的響聲傾向于組合在一起。由于接近而組合成的刺激不必都是同一種感覺形式的；例如，夏天下雨時，雷電交加，我們就把它們知覺為一個整體，即知覺為同一事件的組成部分。2023/6/524史忠植感知過程

知覺組織法則2）相似性

彼此相似的刺激物比不相似的刺激物有較大的組合傾向。相似意味著強度、顏色、大小、形狀等這樣一些物理屬性上的類似。俗話說：“物以類聚，人以群分”，也就包含這種原則?！?/p>

2023/6/525史忠植感知過程

知覺組織法則

3）好的連續(xù)性一種傾向，即一些成分和其它成分以這樣一種方式連接在一起，以便有可能使一條直線、一條曲線或者一個動作沿著已經(jīng)確立的方向繼續(xù)下去。

2023/6/526史忠植感知過程

知覺組織法則

4）封閉性

一些成分以這樣一種方式組合，以便有助于形成一個更加緊密和更加完整的圖形。

KanizsaFigures2023/6/527史忠植感知過程

知覺組織法則

5）對稱性一種條件，有利于這樣一些組合，即導(dǎo)致對稱或平衡的整體而不是非對稱的整體。

2023/6/528史忠植感知過程

知覺組織法則

6）共同的命運：在一個共同的方向上移動或變化的那些成分的組合，而與視域里朝其它方向運動或變化的成分相區(qū)別。這個組合原則本質(zhì)上是相似組合在運動物體上的應(yīng)用，它是舞蹈設(shè)計中的一個重要手段。7）常見的形狀2023/6/529史忠植感知過程知覺組織的理論架構(gòu)Wilson和Boaz(2000)提出了知覺組織的一個理論架構(gòu)，認(rèn)為知覺組織由四個部分組成：層次表示、基元的探測、圖像各部分間相似性和差異性的探測和圖像各部分的分組機制。

2023/6/530史忠植感知過程

知覺組織的理論架構(gòu)層次表示它描述了知覺組織許多層次上“部分”到“整體”的關(guān)系。即：一個層次上的“整體”常是下一層的“部分”。然而，有證據(jù)表明，層次表示生成的過程并不嚴(yán)格遵循從局部到全局或從全局到局部的方式執(zhí)行。2023/6/531史忠植感知過程

知覺組織的理論架構(gòu)

基元的探測：感受野匹配

視覺皮層的簡單細(xì)胞和復(fù)雜細(xì)胞的感受野近似于一個過濾器。一個簡單細(xì)胞的興奮反應(yīng)表明存在一個具有一定位置、朝向、大小和相位相似于它的感受野屬性的局部圖像圖案。感受野匹配也可能出現(xiàn)在除了主視覺皮層外的其它區(qū)域，可能包含除了局部亮度或色彩輪廓外的其它圖像結(jié)構(gòu)的探測，例如相位不連續(xù)結(jié)構(gòu)和簡單的極端對稱圖案

感受野匹配為后續(xù)的知覺組織機制提供基元。2023/6/532史忠植感知過程

知覺組織的理論架構(gòu)相似性/差異性探測機制

變形匹配其思想是把一個圖像區(qū)域用作與另一個圖像區(qū)域比較的變形模板。如果應(yīng)用一個合理的變形下，使得區(qū)域匹配很好，那么圖像區(qū)域間的的一定的相似性被探測。而且，產(chǎn)生最佳匹配的某個變形提供了圖像區(qū)域間差異性的信息。屬性匹配另一個比較分組的有名的方法是測度這些分組的屬性，然后通過被測度屬性上的差異表示各分組間的差異。這些屬性可能是簡單的測量，如一個分組中基元的顏色、位置、朝向或大小的均值和方差，或者可能是更復(fù)雜的測量，如不變形狀矩

2023/6/533史忠植感知過程知覺組織的理論架構(gòu)

分組機制

根據(jù)圖像各部分間的相似性和差異性，這些部分可組織成整體，或者被重新分割成不同的部分的集合。廣義唯一性原理傳遞分組、非傳遞分組和多級分組。2023/6/534史忠植感知過程

知覺組織的理論架構(gòu)2023/6/535史忠植感知過程

AnsweringthisquestiontakeslongerwiththedisplayontherightSuggestsGestaltprocessesareinfluencedbysemanticprocesses分割中自頂向下的影響Vecera&Farah,1997Isthe“x”onthesameordifferentobject?2023/6/536史忠植感知過程深度知覺決定絕對和相對深度單眼線索圖形線索(e.g.,線性遠(yuǎn)景)空中遠(yuǎn)景(差別對比)紋理梯度

插入中間底紋相對尺寸運動視差2023/6/537史忠植感知過程深度線索:收斂線2023/6/538史忠植感知過程導(dǎo)致“Ponzo

錯覺!”2023/6/539史忠植感知過程相對尺寸Dependson“shapeconstancy”2023/6/540史忠植感知過程視覺不變性如果你認(rèn)識了一個人，那么無論他穿什么衣服，離你或遠(yuǎn)或近，甚至沒有面對著你，你是否都能把他認(rèn)出來？2023/6/541史忠植感知過程插入中間Objectsthatarenearershouldoccludeobjectsthatarefartheraway2023/6/542史忠植感知過程濃淡遠(yuǎn)近法Relativeclarityoffartherversusnearerobjects2023/6/543史忠植感知過程紋理梯度Closerobjectsshowmoredetail,articulationthanthosefartheraway2023/6/544史忠植感知過程運動視差Closerobjectsappeartomovefasterthanthosefartheraway2023/6/545史忠植感知過程M.C.Escher:Waterfall單目深度產(chǎn)生錯覺2023/6/546史忠植感知過程深度知覺BinocularCuestoDepthBinoculardisparity:differentimagestoeacheyeasafunctionofobjectcloseness;basisofstereoscopicvisionBinocularconvergence:rotationofeyesdependingonobjectcloseness;brainreceivesefferentmotorsignalsandinterpretsdistanceaccordingly2023/6/547史忠植感知過程深度線索組合添加Additively?優(yōu)先Preferentially?倍增Multiplicatively?2023/6/548史忠植感知過程多重視覺區(qū)(Zeki)V1andV2:responsivetocolorandformV3andV3A:formandmotionV4:colorV5:motion2023/6/549史忠植感知過程(“l(fā)arge-bodied”)(“small-bodied”)多重視覺區(qū)(Zeki)2023/6/550史忠植感知過程關(guān)鍵問題綁定問題The“bindingproblem”:ifperceptionofgivenobjectisdistributedthroughoutvisualareas,howdoesthebraincombinefeaturestoproduceunitarypercept?意識與無意識知覺Consciousvs.unconsciousperception:perceptionofobjectorobjectqualitiesmayproceedpre-consciously2023/6/551史忠植感知過程一般答案Perception=Memory:Patternedco-occurrenceinnetworkbindsfeaturestogetherprobabilistically(e.g.,learninginparallelnetworks)PerceptionbeforeMemory:“Unbound”perceptmatchedwithstoredrepresentations(perception)2023/6/552史忠植感知過程物體識別Whendoesoneobjectendandanotherbegin?ViewpointindependenceHowdoweknowthatdogsaredogsandnotcats?2023/6/553史忠植感知過程模式識別的模板理論Templatetheories:aminiaturecopyortemplateofeachknownpatternisstoredinlong-termmemorystraightforwardtemplatetheorynormalizedtemplatetheoryProblemsnotadaptableimposelargestoragerequirements2023/6/554史忠植感知過程運用模板2023/6/555史忠植感知過程模式識別的特征理論Featuretheories:patternsconsistofasetofspecificfeaturesorattributesAdvantages:elementaryfeaturescancombinetoformmultipleobjects2023/6/556史忠植感知過程模式識別的原型理論Individualinstancesarenotstored;whatisstoredisan“exemplar”orrepresentativeelementofacategoryRecognitionbasedon“distance”betweenperceiveditemandprototypeNatureofcomputationstillrelativelyunknown2023/6/557史忠植感知過程匹配2023/6/558史忠植感知過程GlobalProcessingPrecedence?Navon(1977):IsthelargeletteranHoranS?ArethesmalllettersH’sorS’s?Decisionspeedforsmalllettersgreatlyaffectedbywhetherlargeletterwasthesameordifferent;decisionspeedforlargeletttersunaffectedbysmallletters全局處理過程2023/6/559史忠植感知過程視覺處理Image(s)ThevisionblackboxRipebananasMarbletorsoFeatureextraction:texturestereodisparitycolorcontrastmotionflowedgels….Surfaceshape,scenedepth,spatialrelationships,3DmotionGrouping:imageregionsPerceptualorganization:2.5Dsketch:boundaries,junctions,foregrnd,bckgrndRecognition,surfacepropertiestrainbuildingImageprocessingRegionsandsurfacesObjects,verbs,categories…motorcognition2023/6/560史忠植感知過程馬爾關(guān)于視覺的計算理論視覺是個信息處理任務(wù)視覺是一種處理過程,經(jīng)過這個過程從圖象中發(fā)現(xiàn)外部世界中有什么東西和它們在什么地方信息處理有三個研究層次第一個層次是信息處理的計論理論研究的是對什么信息進(jìn)行計算和為什么要進(jìn)行這些計算第二個層次是算法如何進(jìn)行所要求的計算，也就是要設(shè)計特定的算法；第三個層次是實現(xiàn)算法的機制或硬件研究完成某一特定算法的計算機構(gòu)。2023/6/561史忠植感知過程視覺系統(tǒng)的表象（representation）表象是指一種能把某種實體或某幾類信息表達(dá)清楚的形式化系統(tǒng)，以及說明該系統(tǒng)如何行使其職能的若干規(guī)則例如，阿拉伯?dāng)?shù)制，二進(jìn)制數(shù)制叁拾柒等于3×101+7×100變成37從圖象推得形狀信息的過程分成三個表象階段：初始簡圖（primalsketch）2.5維簡圖（2.5dimensionalsketch）三維模型（3Dmodel）2023/6/562史忠植感知過程視覺系統(tǒng)的三個表象層次2023/6/563史忠植感知過程Marr’s視覺理論GreyleveldescriptionPrimalsketch.2.5Dimensionalsketch.3Dimensionalmodelsketch2023/6/564史忠植感知過程初始簡圖（primalsketch)初始簡圖--是一種基元表象，它由兩部分組成第一部分，用邊緣段（edgesegments）、線（bar）、斑點（blob）和端點（terminations）這些基元構(gòu)成對圖象中亮度變化的描述，這被稱為未處理的初始簡圖.第二部分利用虛似線來完全而明確地表示幾何關(guān)系，并且通過用各種方式對原始的基元進(jìn)行選擇。聚合和概括等過程來構(gòu)成的更大、更為抽象的標(biāo)記（tokens）。最后得到的描述層次可以復(fù)蓋某一尺度范圍。這被稱為完全的初始簡圖2023/6/565史忠植感知過程初始簡圖

在灰度圖像中，包含兩種重要的信息：圖像中存在的灰度變化和局部的幾何特征。初始簡圖是一種基元表示法，它可以完全而清楚地表示這些信息。初始簡圖所包含的大部分信息集中在與實際的邊緣以及邊緣的終止點有關(guān)的急劇的灰度變化上。粗略地說，初始簡圖是以勾劃草圖的形式來表示圖像中的灰度變化。2023/6/566史忠植感知過程

2.5維簡圖

物體表面的局部特性可以用所謂的內(nèi)在特性來描述。典型的內(nèi)在特性包括表面方向、觀察者到表面的距離，反射和入射光照、表面的紋理和材料特性。內(nèi)在圖像由圖像中各點的某項單獨的內(nèi)在特性值，以及關(guān)于這項內(nèi)在特性在什么地方產(chǎn)生不連續(xù)的信息所組成。二維半簡圖可以看成是某些內(nèi)在圖像的混合物。簡而言之，二維半簡圖完全而清楚地表示關(guān)于物體表面的信息。2023/6/567史忠植感知過程

2.5維簡圖

2023/6/568史忠植感知過程在表中：

—相對深度（按垂直投影），就是觀察者到表面點的距離

—的連續(xù)或小的變化

—的不連續(xù)點

—局部表面方向

—的連續(xù)或小的變化

—的不連續(xù)點2.5維簡圖2023/6/569史忠植感知過程

三維模型在三維模型表象中，以一個形狀的標(biāo)準(zhǔn)軸線為基礎(chǔ)的分解最容易得到。在這些軸線中，每條軸線都和一個粗略的空間關(guān)系相聯(lián)系;這種關(guān)系對包含在該空間關(guān)系范圍內(nèi)的主要的形狀組元軸線提供了一種自然的組合方式。用這種方法定義的模塊我們稱之為三維模型。由三維模型分級組合構(gòu)成的人體表象系統(tǒng)2023/6/570史忠植感知過程

三維模型

2.5維簡圖采用以觀察者為中心的坐標(biāo)系適合于識別的形狀表象應(yīng)該建立在以物體為中心的坐標(biāo)系中，這樣就不隨觀察的方位而改變，有兩種以物體為中心的坐標(biāo)系。--一種是用單一坐標(biāo)系來確定物體上所有點的位置--第二種是分布的坐標(biāo)系。對物體上的每一個部分或單獨的形狀特性都有一個局部的坐標(biāo)系。由三維模型分級組合構(gòu)成的人體表象系統(tǒng)2023/6/571史忠植感知過程圖2.19

截面大小不固定及軸線不是直線時的廣義錐三維模型2023/6/572史忠植感知過程關(guān)于Marr的視覺計算理論的討論關(guān)于Marr的視覺計算理論的特點:完全不考慮視覺中的選擇性和整體性（holistic)把低層視覺研究的目標(biāo)確定為按照各種物理模型和附加約束條件，根據(jù)圖象中各點的亮度或其它測量結(jié)果恢復(fù)景物中表面的各種有關(guān)特性，如表面方向、距離、反射率等,即重構(gòu)景物的三維結(jié)構(gòu)在低層視覺信息處理中不需要關(guān)于圖象中包含內(nèi)容的先驗知識面臨的困難圖象中某點的測量值與相應(yīng)表面點性質(zhì)之間的關(guān)系是不確定和多義性的。若要根據(jù)圖象數(shù)據(jù)確定表面點的特性值必須增加附加的約束條件是以逐點計算方式進(jìn)行處理帶來的難以承受的巨大計算量2023/6/573史忠植感知過程Marr-Hildreth

算法AttemptstoaccountfordevelopmentofprimalsketchIdeaof“blurredrepresentations”“Zero-crossings”identifyedgeswithinavisualimageOnly‘reliable’zero-cross-ingsarekeptFourtypesoftokens:edge-segments,bars,terminations,andblobsIntensitychangeRateofchange(1stD)Zero-crossing(2ndD)2023/6/574史忠植感知過程Marr&Nishihara(1978)Developmentof3-Dsketchbasedonprocessingofmoreelementaryshapeprimitives(basicprimitiveisacylinderwithamajoraxis)HierarchicalorganizationofprimitivesConcavitiesimportantinsegmentingparts2023/6/575史忠植感知過程2023/6/576史忠植感知過程Biederman’sRBCTheoryObjectsbuiltfromprimitivescalled“geons”(n=36)MustdecideappropriatewayavisualobjectistobesegmentedintogeonsTwokeycomponentsofdecision:locatingconcavitydecidingwhichedgeinformationremainsinvariantacrossdifferentviewingangles(invariantpropertieslikecurvature,parallelism,etc.)2023/6/577史忠植感知過程2023/6/578史忠植感知過程OverviewofBiederman’sModel2023/6/579史忠植感知過程A:completestimuliB:stimulipreservingconcavityinformationC:stimulilackingconcavityinformationA

BC2023/6/580史忠植感知過程2023/6/581史忠植感知過程KeySimilaritiesEdgecodingGroupingintohigherorderfeaturesMatchingtostoredstructuralknowledgeAccesstosemanticknowledgeNaming2023/6/582史忠植感知過程物體識別中的公共元素

CommonElementsinObjectRecognitionTheoriesEdgecodingGroupingorencodingintohigher-orderfeaturesMatchingtoastored“structuralrepresentation”Accesstosemanticknowledge2023/6/583史忠植感知過程結(jié)構(gòu)描述StructuralDescriptionsStructuraldescriptions

consistofpropositionswhich“describethenatureofthecomponentsofaconfigurationandmakeexplicitthespatialarrangementoftheseparts”(Bruce&Green,1990)Perceptualrepresentationsystemsforfaces,objects,etc.Evidenceforseparatesystems:category-specificrecognitiondefects2023/6/584史忠植感知過程視覺處理2023/6/585史忠植感知過程視覺處理2023/6/586史忠植感知過程影調(diào)提供形狀的信息2023/6/587史忠植感知過程底紋2023/6/588史忠植感知過程由不同光照下的圖象重構(gòu)3D形狀2023/6/589史忠植感知過程三維重建

一般圓柱體的三維重建:在圓柱體的橫截面和真實的邊緣被遮擋的情況下,從圖像中重建一般圓柱體2023/6/590史忠植感知過程InputImagesEdgesExtractionNURBSFittingSymmetriesExtractionAxisMatchingReconstructionofAxisRefinementofPlanarAxisReconstructionofLimbEdge3DFullDescriptionsofGC系統(tǒng)框架2023/6/591史忠植感知過程參數(shù)化跟蹤

人體輪廓的參數(shù)化跟蹤:在局部被遮擋的情況下,在序列圖像中有效地跟蹤人體的輪廓原始序列被跟蹤結(jié)果2023/6/592史忠植感知過程圖象序列穩(wěn)定系統(tǒng)總體結(jié)構(gòu)2023/6/593史忠植感知過程

有效編碼研究動機

怎么聯(lián)系？2023/6/594史忠植感知過程稀疏編碼發(fā)展歷程視覺感知的目標(biāo)就是產(chǎn)生一個外部輸入信號的有效表示（Attneave1954）；有效編碼假設(shè)：初級視皮層神經(jīng)細(xì)胞的主要功能就是去除輸入刺激的統(tǒng)計相關(guān)性（Barlow1961）；稀疏編碼理論：初級視皮層神經(jīng)細(xì)胞對自然圖像刺激進(jìn)行稀疏響應(yīng)（Olhausen&Field,Nature,1996）。2023/6/595史忠植感知過程有效編碼機理測試從生物機理上，在自然圖像刺激條件下檢測神經(jīng)細(xì)胞的響應(yīng)特性Vinje2000年在science上類似的成果表明：短尾猿視皮層（V1區(qū)）用稀疏編碼有效表示自然場景Nirenberg等2001年在nature上發(fā)表的研究結(jié)果表明，在冗余性測度和自然刺激條件下，一組視網(wǎng)膜神經(jīng)節(jié)對外界刺激獨立編碼。模型仿真利用自然圖像的統(tǒng)計特性，建立模型模擬早期視覺系統(tǒng)的神經(jīng)細(xì)胞編碼機制2023/6/596史忠植感知過程稀疏編碼模型在作用于同一刺激的神經(jīng)元群中僅有少數(shù)的神經(jīng)元被激活；某一神經(jīng)元響應(yīng)值的分布具有稀疏特性：即大部分值都分布在0附近，而激活的概率很少；2023/6/597史忠植感知過程稀疏編碼模型（續(xù)）神經(jīng)生物學(xué)角度：測試神經(jīng)元細(xì)胞在自然圖像刺激下響應(yīng)的統(tǒng)計特征Sparsecodinganddecorrelationinprimaryvisualcortexduringnaturalvision.Science,287:1273-1276,Feb2000.Retinalganglioncellsactlargelyasindependentencoders.Nature,411:698{701,June2001.計算模型角度：利用自然圖像的統(tǒng)計特性，構(gòu)造初級視皮層神經(jīng)元的信息處理模型基于稀疏性準(zhǔn)則的模型

Emergenceofsimple-cellreceptivefieldpropertiesbylearningasparsecodefornaturalimages.Nature,381:607-609,1996.基于獨立性條件的模型

The'independentcomponents'ofnaturalscenesareedgefilters.VisionResearch,3723):3327-3338,1997.

2023/6/598史忠植感知過程有效編碼研究機制－模型仿真基于外部環(huán)境刺激的的統(tǒng)計特性，根據(jù)特定的優(yōu)化準(zhǔn)則建立響應(yīng)模型，模擬初級視皮層中神經(jīng)細(xì)胞的響應(yīng)特性（神經(jīng)生理學(xué)）。

2023/6/599史忠植感知過程基于二階統(tǒng)計的線性有效編碼模型

2023/6/5100史忠植感知過程基于高階統(tǒng)計的線性有效編碼模型

2023/6/5101史忠植感知過程區(qū)分空間編碼2023/6/5102史忠植感知過程面向分類任務(wù)的有效編碼模型－基本模型線性疊加模型稀疏編碼模型2023/6/5103史忠植感知過程面向分類任務(wù)的有效編碼模型－定義訓(xùn)練數(shù)據(jù)和編碼系數(shù)距離函數(shù)類間距離類內(nèi)距離2023/6/5104史忠植感知過程面向分類任務(wù)的有效編碼模型－定義類別距離目標(biāo)函數(shù)2023/6/5105史忠植感知過程面向分類任務(wù)的有效編碼模型－學(xué)習(xí)過程優(yōu)化目標(biāo)

Min(E)兩層優(yōu)化過程：內(nèi)層外層2023/6/5106史忠植感知過程注意機制注意是心理活動或意識在某一時刻所處狀態(tài)，表現(xiàn)為對一定對象的指向與集中。在大多數(shù)時候人們可以有意識地控制自己的注意方向。注意有兩個明顯的特點：指向性和集中性。注意的指向性是指人在每一瞬間的心理活動或意識選擇了某個對象，而忽略了其余對象。2023/6/5107史忠植感知過程注意機制

視覺注意機制是大腦神經(jīng)系統(tǒng)信息處理過程中的一種重要策略，在大腦信息處理過程中無處不在。視覺刺激信息量巨大；視覺信息并不是同等重要；視覺神經(jīng)系統(tǒng)計算能力的有限性。稀疏編碼模型必須引入注意機制。我們研究發(fā)現(xiàn)，在稀疏編碼模型中被激活的神經(jīng)元比例很大（大于70％）；一個視覺刺激中包含著不同的模式，但并不是所有的模式都必須得到表示。2023/6/5108史忠植感知過程

雞尾酒會2023/6/5109史忠植感知過程

過濾器模型該模型最早由英國著名心理學(xué)家布羅德貝特（D.Broadbent）于1958年提出。是關(guān)于注意的一個較早的理論模型。

2023/6/5110史忠植感知過程

衰減模型衰減模型是美國心理學(xué)家特瑞斯曼(A．Treisman)于1960年在修正過濾模型的基礎(chǔ)上提出來的．2023/6/5111史忠植感知過程

反應(yīng)選擇模型1963年德意志(J.Deutsch)提出反應(yīng)選擇模型[112]。該模型認(rèn)為，注意并不在于選擇知覺刺激，而在于選擇對刺激的反應(yīng)。2023/6/5112史忠植感知過程

資源分配模型1973年卡尼曼(D.Kahneman)提出資源分配模型。資源分配模型認(rèn)為，注意是人能用于執(zhí)行任務(wù)的數(shù)量有限的資源。2023/6/5113史忠植感知過程ResourceAllocationModel(Kahneman)WhatAffectsAllocation?ResourcesArousalAvailableCapacityOtherEffectsEnduringDispositionsMomentaryIntentions2023/6/5114史忠植感知過程探照燈理論“注意的探照燈理論”（SpotlightMetaphor）