唇動對視聽語言知覺的影響

1、LOGO報告人：張青格，鄧雅菱，雷寰宇唇動現(xiàn)象對嬰兒視聽語言知覺的唇動現(xiàn)象對嬰兒視聽語言知覺的影響影響整理課件LOGO結(jié)構(gòu)引言與實驗設計實驗方法與結(jié)果討論與實驗結(jié)論整理課件整理課件LOGO引言v嬰兒視覺聽覺通道很早建立連接。v行為研究：嬰兒注視說話者的時間長于傾聽者。(Kuhl & Meltzoff, 1982, 1984; Kuhl, Williams, & Meltzoff, 1991; MacKain, Studdert-Kennedy, Spieker, & Stern, 1983; Patterson & Werker, 1999, 2003).v電生

2、理研究：當視覺聽覺相匹配時，大腦出現(xiàn)獨特 的電生理電位。(Bristow et al., 2009) 整理課件整理課件LOGO引言v視聽通道連接的作用機制是什么呢？v一種假設認為視覺聽覺通道通過口齒清晰發(fā)音構(gòu)建語言信息。 (Kent & Vorperian, 2007; Kuhl & Meltzoff, 1984, 1988)v嬰兒在視覺聽覺語言環(huán)境下出現(xiàn)一致的口型。(Kuhl & Meltzoff, 1982, 1984, 1996; Legerstee, 1990; Patterson & Werker, 1999)v 嬰兒階段唇動是否與語言知覺有關(guān)呢？整理

3、課件整理課件LOGO引言v對成人的研究是雙向的。v只呈現(xiàn)視覺或聽覺語言會影響語言的輸(Galantucci, Fowler, & Goldstein, 2009; Kerzel & Bekkering, 2000)； 動作口型反過來也能影響視覺或聽覺的語言知覺(Sams, Mttnen, & Sihvonen, 2005)。v對嬰兒的研究是單向的。v母語聲音模式影響新生兒的哭泣 (Mampe, Friederici, Christophe, & Wermke, 2009)或嬰兒的發(fā)音(Ruzza, Rocca, Boero, & Lenti, 2006)

4、。v本研究是一種以往單項研究的不足。整理課件整理課件LOGO引言v成人研究中嘴型和語言知覺的對應關(guān)系是明確的，但是在嬰兒階段是否有同樣的語言機制存在是有待研究的。v對于視聽通道連接的作用，前人提出視覺-聽覺匹配的研究方法(Baier, Idsardi, & Lidz, 2007; Kuhl & Meltzoff, 1982, 1984; Kuhl et al., 1991; Patterson & Werker, 1999, 2003)。v具體研究問題：嬰兒不同嘴型會不會影響對于視覺聽覺相匹配任務的注視。整理課件整理課件LOGO引言v嬰兒時期的語言運動動作還不成熟。不能

5、發(fā)出清晰語音。唇動是非語言口型。v如何利用非語言口型的知覺動作進行測查。v嬰兒咀嚼與吮吸的動作，是與成人的圓唇、扁唇相似性很高的。利用含著東西的方法，模擬不同的口型。整理課件整理課件LOGO實驗設計v實驗假設v發(fā)音同化效應 唇音匹配時，激活與所聽到元音相一致的嘴型，抑制不一致的嘴型。 唇動扁唇，聽到i，注視視覺/i/的時間增長。v發(fā)音對比效應 導致相反的知覺偏向，注視新異刺激。 嘴唇扁唇，聽到i，注視視覺/u/的時間增長。整理課件整理課件LOGO實驗設計v自變量： 唇動與聲音匹配 唇動與聲音匹配 嬰兒唇動口型：扁唇/i/，圓唇/u/。 聽覺聲音刺激：元音/i/，元音/u/。v因變量： 兒童注視

6、時間，利用眼動設備測量。被試間變量整理課件整理課件LOGO整理課件整理課件被試v96v4個月-5個月，平均4個月18天v三個組： 基線組（32）：嘴里什么也沒有，無嘴型 唇音匹配組（32）：嬰兒嘴型與聽到的發(fā)音一致 唇音不匹配組（32）：嬰兒嘴型與聽到的發(fā)音不一致LOGO整理課件整理課件實驗設計v實驗流程v口型“u”9s，左v口型“i”9s，右v一起v無聲v3秒黑屏v2分鐘有聲v其中一個匹配v嬰兒間平衡LOGO整理課件整理課件實驗設計v小嬰兒：3232LOGO整理課件整理課件結(jié)果v比較兩張面孔的注視點時間v3（組別：基線、匹配、不匹配）2（性別：男、女）2（聽到的發(fā)音：i、u）2（匹配方向：左

7、、右）方差分析LOGO整理課件整理課件結(jié)果v看每張面孔的比例（描述統(tǒng)計結(jié)果）LOGO整理課件整理課件結(jié)果v方差分析結(jié)果：只有組別效應v看與聲音匹配的面孔的比例LOGO整理課件整理課件實驗一討論pattern1基線組：看嘴型與發(fā)音匹配的比例更大contrast effectpattern2不匹配組：同基線組，看嘴型不匹配組：同基線組，看嘴型與發(fā)音匹配的比例更大與發(fā)音匹配的比例更大no facilitation effectLOGO整理課件整理課件實驗二v目的：什么導致了對比效應？v同樣的程序，不同的嬰兒，32v把音頻換成了“a” 2AV-motor interaction：不同實驗一：不同實驗一

8、 1facial-expression matching：結(jié)果同實驗一LOGO整理課件整理課件實驗二結(jié)果v把實驗一有嘴型組嬰兒的結(jié)果一起比較v因變量：嬰兒看與自己嘴型相同的面孔的時間v實驗的主效應顯著v實驗一中很少看與自己嘴型匹配的面孔，實驗二相反LOGO整理課件整理課件討論Text in here 沒有表現(xiàn)出對不匹配嘴型的面孔的偏向 說明：實驗1的結(jié)果不是面孔表情匹配的結(jié)果，是存在交互作用的LOGO整理課件整理課件討論討論感覺信息在嬰兒早期就與視聽言語加工有著直接的關(guān)系感覺信息在嬰兒早期就與視聽言語加工有著直接的關(guān)系 實驗1表明在匹配組存在選擇性偏向，在不匹配組退回到基線水平 實驗2表明這些結(jié)果能夠反應一種視聽覺與動作技能的交互效應LOGO整理課件整理課件v本研究觀察到的對比效應不同于成人：成人的言語信息是由于他們發(fā)音清晰發(fā)音清晰才會有所偏向性v本研究與之前文獻相一致：在視覺感知和身體動作上都有對比效應。v圓唇或者扁唇對于視聽言語都有相似的影響，會使感覺信息偏向于相對的元音LOGO整理課件整理課件討論v不同的任務要求可能會選擇性地誘發(fā)對比效應和同化效應v這些注視模式可能作為發(fā)展水平的函數(shù)而變化：當嬰兒掌握很多技能，對比效應就不穩(wěn)定了，可能在某年消失，然后作為同化效應再出現(xiàn)LOGO結(jié)論v視聽言語技能與動作技能是有交互作用的。v發(fā)音器官的粗略感覺信息對于感知系