感知-智能科學(xué)與人工智能課件

智能科學(xué)

IntelligenceScience第五章知覺表達(dá)史忠植

中國科學(xué)院計(jì)算技術(shù)研究所http:///

2023/6/51史忠植感知過程內(nèi)容提要一、概述二、知覺理論三、知覺組織四、Marr視覺計(jì)算理論五、知覺有效編碼理論六、結(jié)束語2023/6/52史忠植感知過程概述感知是客觀外界直接作用于人的感覺器官而產(chǎn)生的，在發(fā)展中經(jīng)歷三種基本形式：感覺知覺表象2023/6/53史忠植感知過程認(rèn)識(shí)的辯證過程關(guān)于人的認(rèn)識(shí)的發(fā)展過程，列寧曾作過這樣的概括；“從生動(dòng)的直觀到抽象的思維，并從抽象的思維到實(shí)踐，這就是認(rèn)識(shí)真理、認(rèn)識(shí)客觀實(shí)在的辯證的途徑。”毛澤東也指出：“一切比較完全的知識(shí)都是由兩個(gè)階段構(gòu)成的，第一階段是感性知識(shí)，第二階段是理性知識(shí)，理性知識(shí)是感性知識(shí)的高級(jí)發(fā)展階段?！?023/6/54史忠植感知過程認(rèn)識(shí)的辯證過程感覺是客觀事物的個(gè)別屬性、特性在人腦中的反映。知覺是各種感覺的綜合，是客觀事物整體在人腦中的反映，它比感覺全面和復(fù)雜。在知覺的基礎(chǔ)上，產(chǎn)生表象。表象即印象，是通過回憶、聯(lián)想使這些印象再現(xiàn)出來。它與感覺、知覺不同，是在過去對(duì)同一事物或同類事物多次感知的基礎(chǔ)上形成的，具有一定的間接性和概括性。但表象只是概括感性材料的最簡(jiǎn)單的形式，它還不能揭露事物的本質(zhì)和規(guī)律，2023/6/55史忠植感知過程從低級(jí)感知到高級(jí)感知Atthelowerlevel,theworldisbrokendownintoprimitivefeaturesWeperceivetheworldasaunifiedwholeTheseholisticperceptionsaretheresultofhigherperceptualfunctionsoperatingonthesefeatureprimitivesPerceivingtheworldisconnectedwithourknowledgeoftheworldAsystemthatlinkstheproductsoflowerperceptiontomemory2023/6/56史忠植感知過程感覺和知覺感覺Sensation:

Consciousoutcomeofsenseorgansandprojectionregions.(“Idetectsomething”,notnecessarilyconscious)知覺Perception:meansbywhichinformationacquiredfromtheenvironmentviathesenseorgansistransformed(organized)intoexperiencesofobjects,events,sounds,tastes,etc.(“Iknow,recognize,appreciatewhatIamsensing”)2023/6/57史忠植感知過程知覺組織Twocomplementaryissues:組織Organizing

coherentobjectsandeventsoutofsegregatedsensory/perceptualinputs(“binding”)分析“Parsing”

theperceptualworld;understandingwhichinputsbelongtogetherandwhichcomefromseparateobjects2023/6/58史忠植感知過程知覺組織Perceptualorganizationandparsingaccomplishedbyavarietyofvisualsubsystems2023/6/59史忠植感知過程Objectvs.SpatialVisionGeneralprinciple:inferiorlesions

produce

perceptualimpairments;

superiorlesions

producesyndromes

dominatedby

spatialimpairment2023/6/510史忠植感知過程知覺組織SizeandShapeConstancies:reflectmechanismswherebyperceptionofadistalobjectstaysthesamedespiteproximal

changesintheperceptionDepthCues:

monocularorbinocularsourcesofinformationthatconveyinformationaboutrelativedistanceofobjectsfromviewer2023/6/511史忠植感知過程知覺理論

TheoriesofPerception間接知覺“Indirect”perception:perceptionistheresultofinteractiveprocessesfromwithoutandfromwithin–useofinternalrepresentationsbasedon“top-down”and“bottom-up”processing直接知覺“Direct”perception(Gibson):informationfromthevisualworldissufficienttopermitperceptionwithouttheinvolvementofinternalrepresentations-focusin“bottom-up”processing2023/6/512史忠植感知過程吉布森生態(tài)學(xué)理論

GibsonianTheory美國心理學(xué)家吉布森(J．J．Gibson)因其對(duì)知覺的研究而聞名于學(xué)術(shù)界。1950年他提出生態(tài)知覺理論。他認(rèn)為知覺是直接的，沒有任何推理步驟、中介變量或聯(lián)想。生態(tài)學(xué)理論（刺激物說）與構(gòu)造理論（假設(shè)考驗(yàn)說）相反，主張知覺只具有直接性質(zhì)，否認(rèn)已有知識(shí)經(jīng)驗(yàn)的作用。2023/6/513史忠植感知過程吉布森生態(tài)學(xué)理論

GibsonianTheory吉布森(J．J．Gibson)認(rèn)為，自然界的刺激是完整的，可以提供非常豐富的信息，人完全可以利用這些信息，直接產(chǎn)生與作用于感官的刺激相對(duì)應(yīng)的知覺經(jīng)驗(yàn)，根本不需要在過去經(jīng)驗(yàn)基礎(chǔ)上形成假設(shè)并進(jìn)行考驗(yàn)。根據(jù)他的生態(tài)知覺理論，知覺是和外部世界保持接觸的過程，是刺激的直接作用。他把這種直接的刺激作用解釋為感官對(duì)之作出反應(yīng)的物理能量的類型和變量。知覺是環(huán)境直接作用的產(chǎn)物這一觀點(diǎn)，是和傳統(tǒng)的知覺理論相背離的。吉布森把表示一個(gè)人周圍刺激的“刺激生態(tài)學(xué)”概念用公式來表示，它們包括傾斜的和反射的表面的關(guān)系，以及人們?cè)谧呗?、坐著和躺下時(shí)都感受到的引力，他堅(jiān)信知覺不變，因此當(dāng)環(huán)境提供給活躍的有機(jī)體連續(xù)而穩(wěn)定的信息流時(shí)，有機(jī)體能夠?qū)Υ俗鞒龇磻?yīng)。2023/6/514史忠植感知過程吉布森生態(tài)學(xué)理論

GibsonianTheory吉布森(J．J．Gibson)的知覺理論之所以冠之以“生態(tài)知覺理論”，原因在于它強(qiáng)調(diào)與生物適應(yīng)最有關(guān)系的環(huán)境事實(shí)。對(duì)吉布森而言，感覺是因演進(jìn)而對(duì)環(huán)境的適應(yīng)，而且環(huán)境中有些重要現(xiàn)象,如重力、晝夜循環(huán)和天地對(duì)比等,在進(jìn)化史上都是不變的。2023/6/515史忠植感知過程直接觀點(diǎn)

“Direct”View(Gibson)“Opticarray”containsallnecessaryvisualinformationLayoutofobjectsinspacegivenbytexturegradients,opticflowpatterns,andaffordances(impliedmeaningofobjects)Perceptioninvolves“pickingup”informationthrough“resonance”HashadhistoricalimpactinrestoringinterestintheperceptualenvironmentHasbeencriticizedasbeingunderspecified,andneglectsroleofknowledgeinstimulusexploration2023/6/516史忠植感知過程間接觀點(diǎn)Contexteffectsinperception:whatisseendependsuponsurroundEffectsofemotionVisualillusions:ideaisthatgeneralknowledgeaboutobjectsisappliedinappropriatelytotheperceptionoftwo-dimensionalfigures(e.g.,Muller-Lyer)2023/6/517史忠植感知過程構(gòu)造理論

布魯納（J.S.Bruner）提出構(gòu)造理論，認(rèn)為所有感知都受到人們的經(jīng)驗(yàn)和期望的影響。構(gòu)造論者關(guān)于知覺的看法是把記憶的作用賦予極大的重要性。他們認(rèn)為先前經(jīng)驗(yàn)的記憶痕跡，加到此時(shí)此地被刺激誘導(dǎo)出來的感覺中去，因此就構(gòu)造出一個(gè)知覺象。而且，構(gòu)造論者主張有組織的知覺基礎(chǔ)是從一個(gè)人的記憶中選擇、分析并添加刺激信息的過程,而不是格式塔論者所主張的大腦組織的天生定律所引起的自然操作作用。2023/6/518史忠植感知過程構(gòu)造理論

已有的知識(shí)經(jīng)驗(yàn)對(duì)知覺的影響是多方面的，最引人注目的是體現(xiàn)為上下文的作用。當(dāng)前一些心理學(xué)家認(rèn)為，總的看來，過去的知識(shí)經(jīng)驗(yàn)主要是以假設(shè)、期望或因式的形式在知覺中起作用的。人在知覺時(shí)，接收感覺輸入，在已經(jīng)驗(yàn)的基礎(chǔ)上，形成關(guān)于當(dāng)前的刺激是什么或者激活一定的知識(shí)單元而形成對(duì)某種客體的期望。知覺是在這些假設(shè)、期望等的引導(dǎo)和規(guī)劃下進(jìn)行的。依照格雷哥里(Gregory)的看法，知覺是一種包含假設(shè)考驗(yàn)的構(gòu)造過程。人通過接收信息、形成和考驗(yàn)假設(shè)，再接收或搜尋信息，再考驗(yàn)假設(shè)，直至驗(yàn)證某個(gè)假設(shè)，從而對(duì)感覺刺激作出正確的解釋，這被稱作知覺的假設(shè)考驗(yàn)說。照這個(gè)學(xué)說看來，感覺刺激的物理特征、刺激的上下文和有關(guān)的概念都可激活長時(shí)記憶中的有關(guān)知識(shí)而形成各種假設(shè)。知覺因而是以假設(shè)為紐帶的現(xiàn)實(shí)刺激信息和記憶信息相結(jié)合的再造。在通常情況下，人們?cè)谥X時(shí)意識(shí)不到假設(shè)的參與，但在某些特殊條件下，如在弱的照明下看東西，有時(shí)是可以體驗(yàn)到這種假設(shè)考驗(yàn)的。2023/6/519史忠植感知過程構(gòu)造理論

假設(shè)考驗(yàn)說賦予知覺過程以主動(dòng)性和智慧性的色彩，是目前在認(rèn)知心理學(xué)中有相當(dāng)影響的知覺理論知覺的假設(shè)考驗(yàn)說是一種建立在過去經(jīng)驗(yàn)作用基礎(chǔ)上的知覺理論。支持這個(gè)理論的還有其他的重要論據(jù)。例如，外部刺激與知覺經(jīng)驗(yàn)并沒有一對(duì)一的關(guān)系，同一刺激可引起不同的知覺，不同的刺激卻又可以引起相同的知覺。2023/6/520史忠植感知過程格式塔理論

格式塔（Gestalt）心理學(xué)誕生于1912年。它強(qiáng)調(diào)經(jīng)驗(yàn)和行為的整體性，反對(duì)當(dāng)時(shí)流行的構(gòu)造主義元素學(xué)說和行為主義“刺激－反應(yīng)”公式，認(rèn)為整體不等于部分之和，意識(shí)不等于感覺元素的集合，行為不等于反射弧的循環(huán)。盡管格式塔原理不只是一種知覺的學(xué)說，但它卻導(dǎo)源于對(duì)知覺的研究，而且一些重要的格式塔原理，大多是由知覺研究所提供的。2023/6/521史忠植感知過程格式塔心理學(xué)知覺的形成是基于先驗(yàn)知識(shí)的刺激組織2023/6/522史忠植感知過程格式塔心理學(xué)格式塔理論認(rèn)為，知覺問題涉及到比較和判斷。Picasso’spanting2023/6/523史忠植感知過程

知覺組織法則Wertheimer等格式塔心理學(xué)家說明了人類知覺組織能歸結(jié)為幾個(gè)重要的法則：

1）鄰近性。彼此緊密接近的刺激物比相隔較遠(yuǎn)的刺激物有較大的組合傾向。接近可能是空間的，也可能是時(shí)間的。按不規(guī)則的時(shí)間間隔發(fā)生的一系列輕拍響聲中，在時(shí)間上接近的響聲傾向于組合在一起。由于接近而組合成的刺激不必都是同一種感覺形式的；例如，夏天下雨時(shí)，雷電交加，我們就把它們知覺為一個(gè)整體，即知覺為同一事件的組成部分。2023/6/524史忠植感知過程

知覺組織法則2）相似性

彼此相似的刺激物比不相似的刺激物有較大的組合傾向。相似意味著強(qiáng)度、顏色、大小、形狀等這樣一些物理屬性上的類似。俗話說：“物以類聚，人以群分”，也就包含這種原則?！?/p>

2023/6/525史忠植感知過程

知覺組織法則

3）好的連續(xù)性一種傾向，即一些成分和其它成分以這樣一種方式連接在一起，以便有可能使一條直線、一條曲線或者一個(gè)動(dòng)作沿著已經(jīng)確立的方向繼續(xù)下去。

2023/6/526史忠植感知過程

知覺組織法則

4）封閉性

一些成分以這樣一種方式組合，以便有助于形成一個(gè)更加緊密和更加完整的圖形。

KanizsaFigures2023/6/527史忠植感知過程

知覺組織法則

5）對(duì)稱性一種條件，有利于這樣一些組合，即導(dǎo)致對(duì)稱或平衡的整體而不是非對(duì)稱的整體。

2023/6/528史忠植感知過程

知覺組織法則

6）共同的命運(yùn)：在一個(gè)共同的方向上移動(dòng)或變化的那些成分的組合，而與視域里朝其它方向運(yùn)動(dòng)或變化的成分相區(qū)別。這個(gè)組合原則本質(zhì)上是相似組合在運(yùn)動(dòng)物體上的應(yīng)用，它是舞蹈設(shè)計(jì)中的一個(gè)重要手段。7）常見的形狀2023/6/529史忠植感知過程知覺組織的理論架構(gòu)Wilson和Boaz(2000)提出了知覺組織的一個(gè)理論架構(gòu)，認(rèn)為知覺組織由四個(gè)部分組成：層次表示、基元的探測(cè)、圖像各部分間相似性和差異性的探測(cè)和圖像各部分的分組機(jī)制。

2023/6/530史忠植感知過程

知覺組織的理論架構(gòu)層次表示它描述了知覺組織許多層次上“部分”到“整體”的關(guān)系。即：一個(gè)層次上的“整體”常是下一層的“部分”。然而，有證據(jù)表明，層次表示生成的過程并不嚴(yán)格遵循從局部到全局或從全局到局部的方式執(zhí)行。2023/6/531史忠植感知過程

知覺組織的理論架構(gòu)

基元的探測(cè)：感受野匹配

視覺皮層的簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞的感受野近似于一個(gè)過濾器。一個(gè)簡(jiǎn)單細(xì)胞的興奮反應(yīng)表明存在一個(gè)具有一定位置、朝向、大小和相位相似于它的感受野屬性的局部圖像圖案。感受野匹配也可能出現(xiàn)在除了主視覺皮層外的其它區(qū)域，可能包含除了局部亮度或色彩輪廓外的其它圖像結(jié)構(gòu)的探測(cè)，例如相位不連續(xù)結(jié)構(gòu)和簡(jiǎn)單的極端對(duì)稱圖案

感受野匹配為后續(xù)的知覺組織機(jī)制提供基元。2023/6/532史忠植感知過程

知覺組織的理論架構(gòu)相似性/差異性探測(cè)機(jī)制

變形匹配其思想是把一個(gè)圖像區(qū)域用作與另一個(gè)圖像區(qū)域比較的變形模板。如果應(yīng)用一個(gè)合理的變形下，使得區(qū)域匹配很好，那么圖像區(qū)域間的的一定的相似性被探測(cè)。而且，產(chǎn)生最佳匹配的某個(gè)變形提供了圖像區(qū)域間差異性的信息。屬性匹配另一個(gè)比較分組的有名的方法是測(cè)度這些分組的屬性，然后通過被測(cè)度屬性上的差異表示各分組間的差異。這些屬性可能是簡(jiǎn)單的測(cè)量，如一個(gè)分組中基元的顏色、位置、朝向或大小的均值和方差，或者可能是更復(fù)雜的測(cè)量，如不變形狀矩

2023/6/533史忠植感知過程知覺組織的理論架構(gòu)

分組機(jī)制

根據(jù)圖像各部分間的相似性和差異性，這些部分可組織成整體，或者被重新分割成不同的部分的集合。廣義唯一性原理傳遞分組、非傳遞分組和多級(jí)分組。2023/6/534史忠植感知過程

知覺組織的理論架構(gòu)2023/6/535史忠植感知過程

AnsweringthisquestiontakeslongerwiththedisplayontherightSuggestsGestaltprocessesareinfluencedbysemanticprocesses分割中自頂向下的影響Vecera&Farah,1997Isthe“x”onthesameordifferentobject?2023/6/536史忠植感知過程深度知覺決定絕對(duì)和相對(duì)深度單眼線索圖形線索(e.g.,線性遠(yuǎn)景)空中遠(yuǎn)景(差別對(duì)比)紋理梯度

插入中間底紋相對(duì)尺寸運(yùn)動(dòng)視差2023/6/537史忠植感知過程深度線索:收斂線2023/6/538史忠植感知過程導(dǎo)致“Ponzo

錯(cuò)覺!”2023/6/539史忠植感知過程相對(duì)尺寸Dependson“shapeconstancy”2023/6/540史忠植感知過程視覺不變性如果你認(rèn)識(shí)了一個(gè)人，那么無論他穿什么衣服，離你或遠(yuǎn)或近，甚至沒有面對(duì)著你，你是否都能把他認(rèn)出來？2023/6/541史忠植感知過程插入中間Objectsthatarenearershouldoccludeobjectsthatarefartheraway2023/6/542史忠植感知過程濃淡遠(yuǎn)近法Relativeclarityoffartherversusnearerobjects2023/6/543史忠植感知過程紋理梯度Closerobjectsshowmoredetail,articulationthanthosefartheraway2023/6/544史忠植感知過程運(yùn)動(dòng)視差Closerobjectsappeartomovefasterthanthosefartheraway2023/6/545史忠植感知過程M.C.Escher:Waterfall單目深度產(chǎn)生錯(cuò)覺2023/6/546史忠植感知過程深度知覺BinocularCuestoDepthBinoculardisparity:differentimagestoeacheyeasafunctionofobjectcloseness;basisofstereoscopicvisionBinocularconvergence:rotationofeyesdependingonobjectcloseness;brainreceivesefferentmotorsignalsandinterpretsdistanceaccordingly2023/6/547史忠植感知過程深度線索組合添加Additively?優(yōu)先Preferentially?倍增Multiplicatively?2023/6/548史忠植感知過程多重視覺區(qū)(Zeki)V1andV2:responsivetocolorandformV3andV3A:formandmotionV4:colorV5:motion2023/6/549史忠植感知過程(“l(fā)arge-bodied”)(“small-bodied”)多重視覺區(qū)(Zeki)2023/6/550史忠植感知過程關(guān)鍵問題綁定問題The“bindingproblem”:ifperceptionofgivenobjectisdistributedthroughoutvisualareas,howdoesthebraincombinefeaturestoproduceunitarypercept?意識(shí)與無意識(shí)知覺Consciousvs.unconsciousperception:perceptionofobjectorobjectqualitiesmayproceedpre-consciously2023/6/551史忠植感知過程一般答案Perception=Memory:Patternedco-occurrenceinnetworkbindsfeaturestogetherprobabilistically(e.g.,learninginparallelnetworks)PerceptionbeforeMemory:“Unbound”perceptmatchedwithstoredrepresentations(perception)2023/6/552史忠植感知過程物體識(shí)別Whendoesoneobjectendandanotherbegin?ViewpointindependenceHowdoweknowthatdogsaredogsandnotcats?2023/6/553史忠植感知過程模式識(shí)別的模板理論Templatetheories:aminiaturecopyortemplateofeachknownpatternisstoredinlong-termmemorystraightforwardtemplatetheorynormalizedtemplatetheoryProblemsnotadaptableimposelargestoragerequirements2023/6/554史忠植感知過程運(yùn)用模板2023/6/555史忠植感知過程模式識(shí)別的特征理論Featuretheories:patternsconsistofasetofspecificfeaturesorattributesAdvantages:elementaryfeaturescancombinetoformmultipleobjects2023/6/556史忠植感知過程模式識(shí)別的原型理論Individualinstancesarenotstored;whatisstoredisan“exemplar”orrepresentativeelementofacategoryRecognitionbasedon“distance”betweenperceiveditemandprototypeNatureofcomputationstillrelativelyunknown2023/6/557史忠植感知過程匹配2023/6/558史忠植感知過程GlobalProcessingPrecedence?Navon(1977):IsthelargeletteranHoranS?ArethesmalllettersH’sorS’s?Decisionspeedforsmalllettersgreatlyaffectedbywhetherlargeletterwasthesameordifferent;decisionspeedforlargeletttersunaffectedbysmallletters全局處理過程2023/6/559史忠植感知過程視覺處理Image(s)ThevisionblackboxRipebananasMarbletorsoFeatureextraction:texturestereodisparitycolorcontrastmotionflowedgels….Surfaceshape,scenedepth,spatialrelationships,3DmotionGrouping:imageregionsPerceptualorganization:2.5Dsketch:boundaries,junctions,foregrnd,bckgrndRecognition,surfacepropertiestrainbuildingImageprocessingRegionsandsurfacesObjects,verbs,categories…motorcognition2023/6/560史忠植感知過程馬爾關(guān)于視覺的計(jì)算理論視覺是個(gè)信息處理任務(wù)視覺是一種處理過程,經(jīng)過這個(gè)過程從圖象中發(fā)現(xiàn)外部世界中有什么東西和它們?cè)谑裁吹胤叫畔⑻幚碛腥齻€(gè)研究層次第一個(gè)層次是信息處理的計(jì)論理論研究的是對(duì)什么信息進(jìn)行計(jì)算和為什么要進(jìn)行這些計(jì)算第二個(gè)層次是算法如何進(jìn)行所要求的計(jì)算，也就是要設(shè)計(jì)特定的算法；第三個(gè)層次是實(shí)現(xiàn)算法的機(jī)制或硬件研究完成某一特定算法的計(jì)算機(jī)構(gòu)。2023/6/561史忠植感知過程視覺系統(tǒng)的表象（representation）表象是指一種能把某種實(shí)體或某幾類信息表達(dá)清楚的形式化系統(tǒng)，以及說明該系統(tǒng)如何行使其職能的若干規(guī)則例如，阿拉伯?dāng)?shù)制，二進(jìn)制數(shù)制叁拾柒等于3×101+7×100變成37從圖象推得形狀信息的過程分成三個(gè)表象階段：初始簡(jiǎn)圖（primalsketch）2.5維簡(jiǎn)圖（2.5dimensionalsketch）三維模型（3Dmodel）2023/6/562史忠植感知過程視覺系統(tǒng)的三個(gè)表象層次2023/6/563史忠植感知過程Marr’s視覺理論GreyleveldescriptionPrimalsketch.2.5Dimensionalsketch.3Dimensionalmodelsketch2023/6/564史忠植感知過程初始簡(jiǎn)圖（primalsketch)初始簡(jiǎn)圖--是一種基元表象，它由兩部分組成第一部分，用邊緣段（edgesegments）、線（bar）、斑點(diǎn)（blob）和端點(diǎn)（terminations）這些基元構(gòu)成對(duì)圖象中亮度變化的描述，這被稱為未處理的初始簡(jiǎn)圖.第二部分利用虛似線來完全而明確地表示幾何關(guān)系，并且通過用各種方式對(duì)原始的基元進(jìn)行選擇。聚合和概括等過程來構(gòu)成的更大、更為抽象的標(biāo)記（tokens）。最后得到的描述層次可以復(fù)蓋某一尺度范圍。這被稱為完全的初始簡(jiǎn)圖2023/6/565史忠植感知過程初始簡(jiǎn)圖

在灰度圖像中，包含兩種重要的信息：圖像中存在的灰度變化和局部的幾何特征。初始簡(jiǎn)圖是一種基元表示法，它可以完全而清楚地表示這些信息。初始簡(jiǎn)圖所包含的大部分信息集中在與實(shí)際的邊緣以及邊緣的終止點(diǎn)有關(guān)的急劇的灰度變化上。粗略地說，初始簡(jiǎn)圖是以勾劃草圖的形式來表示圖像中的灰度變化。2023/6/566史忠植感知過程

2.5維簡(jiǎn)圖

物體表面的局部特性可以用所謂的內(nèi)在特性來描述。典型的內(nèi)在特性包括表面方向、觀察者到表面的距離，反射和入射光照、表面的紋理和材料特性。內(nèi)在圖像由圖像中各點(diǎn)的某項(xiàng)單獨(dú)的內(nèi)在特性值，以及關(guān)于這項(xiàng)內(nèi)在特性在什么地方產(chǎn)生不連續(xù)的信息所組成。二維半簡(jiǎn)圖可以看成是某些內(nèi)在圖像的混合物。簡(jiǎn)而言之，二維半簡(jiǎn)圖完全而清楚地表示關(guān)于物體表面的信息。2023/6/567史忠植感知過程

2.5維簡(jiǎn)圖

2023/6/568史忠植感知過程在表中：

—相對(duì)深度（按垂直投影），就是觀察者到表面點(diǎn)的距離

—的連續(xù)或小的變化

—的不連續(xù)點(diǎn)

—局部表面方向

—的連續(xù)或小的變化

—的不連續(xù)點(diǎn)2.5維簡(jiǎn)圖2023/6/569史忠植感知過程

三維模型在三維模型表象中，以一個(gè)形狀的標(biāo)準(zhǔn)軸線為基礎(chǔ)的分解最容易得到。在這些軸線中，每條軸線都和一個(gè)粗略的空間關(guān)系相聯(lián)系;這種關(guān)系對(duì)包含在該空間關(guān)系范圍內(nèi)的主要的形狀組元軸線提供了一種自然的組合方式。用這種方法定義的模塊我們稱之為三維模型。由三維模型分級(jí)組合構(gòu)成的人體表象系統(tǒng)2023/6/570史忠植感知過程

三維模型

2.5維簡(jiǎn)圖采用以觀察者為中心的坐標(biāo)系適合于識(shí)別的形狀表象應(yīng)該建立在以物體為中心的坐標(biāo)系中，這樣就不隨觀察的方位而改變，有兩種以物體為中心的坐標(biāo)系。--一種是用單一坐標(biāo)系來確定物體上所有點(diǎn)的位置--第二種是分布的坐標(biāo)系。對(duì)物體上的每一個(gè)部分或單獨(dú)的形狀特性都有一個(gè)局部的坐標(biāo)系。由三維模型分級(jí)組合構(gòu)成的人體表象系統(tǒng)2023/6/571史忠植感知過程圖2.19

截面大小不固定及軸線不是直線時(shí)的廣義錐三維模型2023/6/572史忠植感知過程關(guān)于Marr的視覺計(jì)算理論的討論關(guān)于Marr的視覺計(jì)算理論的特點(diǎn):完全不考慮視覺中的選擇性和整體性（holistic)把低層視覺研究的目標(biāo)確定為按照各種物理模型和附加約束條件，根據(jù)圖象中各點(diǎn)的亮度或其它測(cè)量結(jié)果恢復(fù)景物中表面的各種有關(guān)特性，如表面方向、距離、反射率等,即重構(gòu)景物的三維結(jié)構(gòu)在低層視覺信息處理中不需要關(guān)于圖象中包含內(nèi)容的先驗(yàn)知識(shí)面臨的困難圖象中某點(diǎn)的測(cè)量值與相應(yīng)表面點(diǎn)性質(zhì)之間的關(guān)系是不確定和多義性的。若要根據(jù)圖象數(shù)據(jù)確定表面點(diǎn)的特性值必須增加附加的約束條件是以逐點(diǎn)計(jì)算方式進(jìn)行處理帶來的難以承受的巨大計(jì)算量2023/6/573史忠植感知過程Marr-Hildreth

算法AttemptstoaccountfordevelopmentofprimalsketchIdeaof“blurredrepresentations”“Zero-crossings”identifyedgeswithinavisualimageOnly‘reliable’zero-cross-ingsarekeptFourtypesoftokens:edge-segments,bars,terminations,andblobsIntensitychangeRateofchange(1stD)Zero-crossing(2ndD)2023/6/574史忠植感知過程Marr&Nishihara(1978)Developmentof3-Dsketchbasedonprocessingofmoreelementaryshapeprimitives(basicprimitiveisacylinderwithamajoraxis)HierarchicalorganizationofprimitivesConcavitiesimportantinsegmentingparts2023/6/575史忠植感知過程2023/6/576史忠植感知過程Biederman’sRBCTheoryObjectsbuiltfromprimitivescalled“geons”(n=36)MustdecideappropriatewayavisualobjectistobesegmentedintogeonsTwokeycomponentsofdecision:locatingconcavitydecidingwhichedgeinformationremainsinvariantacrossdifferentviewingangles(invariantpropertieslikecurvature,parallelism,etc.)2023/6/577史忠植感知過程2023/6/578史忠植感知過程OverviewofBiederman’sModel2023/6/579史忠植感知過程A:completestimuliB:stimulipreservingconcavityinformationC:stimulilackingconcavityinformationA

BC2023/6/580史忠植感知過程2023/6/581史忠植感知過程KeySimilaritiesEdgecodingGroupingintohigherorderfeaturesMatchingtostoredstructuralknowledgeAccesstosemanticknowledgeNaming2023/6/582史忠植感知過程物體識(shí)別中的公共元素

CommonElementsinObjectRecognitionTheoriesEdgecodingGroupingorencodingintohigher-orderfeaturesMatchingtoastored“structuralrepresentation”Accesstosemanticknowledge2023/6/583史忠植感知過程結(jié)構(gòu)描述StructuralDescriptionsStructuraldescriptions

consistofpropositionswhich“describethenatureofthecomponentsofaconfigurationandmakeexplicitthespatialarrangementoftheseparts”(Bruce&Green,1990)Perceptualrepresentationsystemsforfaces,objects,etc.Evidenceforseparatesystems:category-specificrecognitiondefects2023/6/584史忠植感知過程視覺處理2023/6/585史忠植感知過程視覺處理2023/6/586史忠植感知過程影調(diào)提供形狀的信息2023/6/587史忠植感知過程底紋2023/6/588史忠植感知過程由不同光照下的圖象重構(gòu)3D形狀2023/6/589史忠植感知過程三維重建

一般圓柱體的三維重建:在圓柱體的橫截面和真實(shí)的邊緣被遮擋的情況下,從圖像中重建一般圓柱體2023/6/590史忠植感知過程InputImagesEdgesExtractionNURBSFittingSymmetriesExtractionAxisMatchingReconstructionofAxisRefinementofPlanarAxisReconstructionofLimbEdge3DFullDescriptionsofGC系統(tǒng)框架2023/6/591史忠植感知過程參數(shù)化跟蹤

人體輪廓的參數(shù)化跟蹤:在局部被遮擋的情況下,在序列圖像中有效地跟蹤人體的輪廓原始序列被跟蹤結(jié)果2023/6/592史忠植感知過程圖象序列穩(wěn)定系統(tǒng)總體結(jié)構(gòu)2023/6/593史忠植感知過程

有效編碼研究動(dòng)機(jī)

怎么聯(lián)系？2023/6/594史忠植感知過程稀疏編碼發(fā)展歷程視覺感知的目標(biāo)就是產(chǎn)生一個(gè)外部輸入信號(hào)的有效表示（Attneave1954）；有效編碼假設(shè)：初級(jí)視皮層神經(jīng)細(xì)胞的主要功能就是去除輸入刺激的統(tǒng)計(jì)相關(guān)性（Barlow1961）；稀疏編碼理論：初級(jí)視皮層神經(jīng)細(xì)胞對(duì)自然圖像刺激進(jìn)行稀疏響應(yīng)（Olhausen&Field,Nature,1996）。2023/6/595史忠植感知過程有效編碼機(jī)理測(cè)試從生物機(jī)理上，在自然圖像刺激條件下檢測(cè)神經(jīng)細(xì)胞的響應(yīng)特性Vinje2000年在science上類似的成果表明：短尾猿視皮層（V1區(qū)）用稀疏編碼有效表示自然場(chǎng)景Nirenberg等2001年在nature上發(fā)表的研究結(jié)果表明，在冗余性測(cè)度和自然刺激條件下，一組視網(wǎng)膜神經(jīng)節(jié)對(duì)外界刺激獨(dú)立編碼。模型仿真利用自然圖像的統(tǒng)計(jì)特性，建立模型模擬早期視覺系統(tǒng)的神經(jīng)細(xì)胞編碼機(jī)制2023/6/596史忠植感知過程稀疏編碼模型在作用于同一刺激的神經(jīng)元群中僅有少數(shù)的神經(jīng)元被激活；某一神經(jīng)元響應(yīng)值的分布具有稀疏特性：即大部分值都分布在0附近，而激活的概率很少；2023/6/597史忠植感知過程稀疏編碼模型（續(xù)）神經(jīng)生物學(xué)角度：測(cè)試神經(jīng)元細(xì)胞在自然圖像刺激下響應(yīng)的統(tǒng)計(jì)特征Sparsecodinganddecorrelationinprimaryvisualcortexduringnaturalvision.Science,287:1273-1276,Feb2000.Retinalganglioncellsactlargelyasindependentencoders.Nature,411:698{701,June2001.計(jì)算模型角度：利用自然圖像的統(tǒng)計(jì)特性，構(gòu)造初級(jí)視皮層神經(jīng)元的信息處理模型基于稀疏性準(zhǔn)則的模型

Emergenceofsimple-cellreceptivefieldpropertiesbylearningasparsecodefornaturalimages.Nature,381:607-609,1996.基于獨(dú)立性條件的模型

The'independentcomponents'ofnaturalscenesareedgefilters.VisionResearch,3723):3327-3338,1997.

2023/6/598史忠植感知過程有效編碼研究機(jī)制－模型仿真基于外部環(huán)境刺激的的統(tǒng)計(jì)特性，根據(jù)特定的優(yōu)化準(zhǔn)則建立響應(yīng)模型，模擬初級(jí)視皮層中神經(jīng)細(xì)胞的響應(yīng)特性（神經(jīng)生理學(xué)）。

2023/6/599史忠植感知過程基于二階統(tǒng)計(jì)的線性有效編碼模型

2023/6/5100史忠植感知過程基于高階統(tǒng)計(jì)的線性有效編碼模型

2023/6/5101史忠植感知過程區(qū)分空間編碼2023/6/5102史忠植感知過程面向分類任務(wù)的有效編碼模型－基本模型線性疊加模型稀疏編碼模型2023/6/5103史忠植感知過程面向分類任務(wù)的有效編碼模型－定義訓(xùn)練數(shù)據(jù)和編碼系數(shù)距離函數(shù)類間距離類內(nèi)距離2023/6/5104史忠植感知過程面向分類任務(wù)的有效編碼模型－定義類別距離目標(biāo)函數(shù)2023/6/5105史忠植感知過程面向分類任務(wù)的有效編碼模型－學(xué)習(xí)過程優(yōu)化目標(biāo)

Min(E)兩層優(yōu)化過程：內(nèi)層外層2023/6/5106史忠植感知過程注意機(jī)制注意是心理活動(dòng)或意識(shí)在某一時(shí)刻所處狀態(tài)，表現(xiàn)為對(duì)一定對(duì)象的指向與集中。在大多數(shù)時(shí)候人們可以有意識(shí)地控制自己的注意方向。注意有兩個(gè)明顯的特點(diǎn)：指向性和集中性。注意的指向性是指人在每一瞬間的心理活動(dòng)或意識(shí)選擇了某個(gè)對(duì)象，而忽略了其余對(duì)象。2023/6/5107史忠植感知過程注意機(jī)制

視覺注意機(jī)制是大腦神經(jīng)系統(tǒng)信息處理過程中的一種重要策略，在大腦信息處理過程中無處不在。視覺刺激信息量巨大；視覺信息并不是同等重要；視覺神經(jīng)系統(tǒng)計(jì)算能力的有限性。稀疏編碼模型必須引入注意機(jī)制。我們研究發(fā)現(xiàn)，在稀疏編碼模型中被激活的神經(jīng)元比例很大（大于70％）；一個(gè)視覺刺激中包含著不同的模式，但并不是所有的模式都必須得到表示。2023/6/5108史忠植感知過程

雞尾酒會(huì)2023/6/5109史忠植感知過程

過濾器模型該模型最早由英國著名心理學(xué)家布羅德貝特（D.Broadbent）于1958年提出。是關(guān)于注意的一個(gè)較早的理論模型。

2023/6/5110史忠植感知過程

衰減模型衰減模型是美國心理學(xué)家特瑞斯曼(A．Treisman)于1960年在修正過濾模型的基礎(chǔ)上提出來的．2023/6/5111史忠植感知過程

反應(yīng)選擇模型1963年德意志(J.Deutsch)提出反應(yīng)選擇模型[112]。該模型認(rèn)為，注意并不在于選擇知覺刺激，而在于選擇對(duì)刺激的反應(yīng)。2023/6/5112史忠植感知過程

資源分配模型1973年卡尼曼(D.Kahneman)提出資源分配模型。資源分配模型認(rèn)為，注意是人能用于執(zhí)行任務(wù)的數(shù)量有限的資源。2023/6/5113史忠植感知過程ResourceAllocationModel(Kahneman)WhatAffectsAllocation?ResourcesArousalAvailableCapacityOtherEffectsEnduringDispositionsMomentaryIntentions2023/6/5114史忠植感知過程探照燈理論“注意的探照燈理論”（SpotlightMetaphor）