唇動(dòng)對(duì)視聽語言知覺的影響

1、LOGO報(bào)告人：張青格，鄧雅菱，雷寰宇唇動(dòng)現(xiàn)象對(duì)嬰兒視聽語言知覺的唇動(dòng)現(xiàn)象對(duì)嬰兒視聽語言知覺的影響影響整理課件LOGO結(jié)構(gòu)引言與實(shí)驗(yàn)設(shè)計(jì)實(shí)驗(yàn)方法與結(jié)果討論與實(shí)驗(yàn)結(jié)論整理課件整理課件LOGO引言v嬰兒視覺聽覺通道很早建立連接。v行為研究：嬰兒注視說話者的時(shí)間長于傾聽者。(Kuhl & Meltzoff, 1982, 1984; Kuhl, Williams, & Meltzoff, 1991; MacKain, Studdert-Kennedy, Spieker, & Stern, 1983; Patterson & Werker, 1999, 2003).v電生

2、理研究：當(dāng)視覺聽覺相匹配時(shí)，大腦出現(xiàn)獨(dú)特 的電生理電位。(Bristow et al., 2009) 整理課件整理課件LOGO引言v視聽通道連接的作用機(jī)制是什么呢？v一種假設(shè)認(rèn)為視覺聽覺通道通過口齒清晰發(fā)音構(gòu)建語言信息。 (Kent & Vorperian, 2007; Kuhl & Meltzoff, 1984, 1988)v嬰兒在視覺聽覺語言環(huán)境下出現(xiàn)一致的口型。(Kuhl & Meltzoff, 1982, 1984, 1996; Legerstee, 1990; Patterson & Werker, 1999)v 嬰兒階段唇動(dòng)是否與語言知覺有關(guān)呢？整理

3、課件整理課件LOGO引言v對(duì)成人的研究是雙向的。v只呈現(xiàn)視覺或聽覺語言會(huì)影響語言的輸(Galantucci, Fowler, & Goldstein, 2009; Kerzel & Bekkering, 2000)； 動(dòng)作口型反過來也能影響視覺或聽覺的語言知覺(Sams, Mttnen, & Sihvonen, 2005)。v對(duì)嬰兒的研究是單向的。v母語聲音模式影響新生兒的哭泣 (Mampe, Friederici, Christophe, & Wermke, 2009)或嬰兒的發(fā)音(Ruzza, Rocca, Boero, & Lenti, 2006)

4、。v本研究是一種以往單項(xiàng)研究的不足。整理課件整理課件LOGO引言v成人研究中嘴型和語言知覺的對(duì)應(yīng)關(guān)系是明確的，但是在嬰兒階段是否有同樣的語言機(jī)制存在是有待研究的。v對(duì)于視聽通道連接的作用，前人提出視覺-聽覺匹配的研究方法(Baier, Idsardi, & Lidz, 2007; Kuhl & Meltzoff, 1982, 1984; Kuhl et al., 1991; Patterson & Werker, 1999, 2003)。v具體研究問題：嬰兒不同嘴型會(huì)不會(huì)影響對(duì)于視覺聽覺相匹配任務(wù)的注視。整理課件整理課件LOGO引言v嬰兒時(shí)期的語言運(yùn)動(dòng)動(dòng)作還不成熟。不能

5、發(fā)出清晰語音。唇動(dòng)是非語言口型。v如何利用非語言口型的知覺動(dòng)作進(jìn)行測(cè)查。v嬰兒咀嚼與吮吸的動(dòng)作，是與成人的圓唇、扁唇相似性很高的。利用含著東西的方法，模擬不同的口型。整理課件整理課件LOGO實(shí)驗(yàn)設(shè)計(jì)v實(shí)驗(yàn)假設(shè)v發(fā)音同化效應(yīng) 唇音匹配時(shí)，激活與所聽到元音相一致的嘴型，抑制不一致的嘴型。 唇動(dòng)扁唇，聽到i，注視視覺/i/的時(shí)間增長。v發(fā)音對(duì)比效應(yīng) 導(dǎo)致相反的知覺偏向，注視新異刺激。 嘴唇扁唇，聽到i，注視視覺/u/的時(shí)間增長。整理課件整理課件LOGO實(shí)驗(yàn)設(shè)計(jì)v自變量： 唇動(dòng)與聲音匹配 唇動(dòng)與聲音匹配 嬰兒唇動(dòng)口型：扁唇/i/，圓唇/u/。 聽覺聲音刺激：元音/i/，元音/u/。v因變量： 兒童注視

6、時(shí)間，利用眼動(dòng)設(shè)備測(cè)量。被試間變量整理課件整理課件LOGO整理課件整理課件被試v96v4個(gè)月-5個(gè)月，平均4個(gè)月18天v三個(gè)組： 基線組（32）：嘴里什么也沒有，無嘴型 唇音匹配組（32）：嬰兒嘴型與聽到的發(fā)音一致 唇音不匹配組（32）：嬰兒嘴型與聽到的發(fā)音不一致LOGO整理課件整理課件實(shí)驗(yàn)設(shè)計(jì)v實(shí)驗(yàn)流程v口型“u”9s，左v口型“i”9s，右v一起v無聲v3秒黑屏v2分鐘有聲v其中一個(gè)匹配v嬰兒間平衡LOGO整理課件整理課件實(shí)驗(yàn)設(shè)計(jì)v小嬰兒：3232LOGO整理課件整理課件結(jié)果v比較兩張面孔的注視點(diǎn)時(shí)間v3（組別：基線、匹配、不匹配）2（性別：男、女）2（聽到的發(fā)音：i、u）2（匹配方向：左

7、、右）方差分析LOGO整理課件整理課件結(jié)果v看每張面孔的比例（描述統(tǒng)計(jì)結(jié)果）LOGO整理課件整理課件結(jié)果v方差分析結(jié)果：只有組別效應(yīng)v看與聲音匹配的面孔的比例LOGO整理課件整理課件實(shí)驗(yàn)一討論pattern1基線組：看嘴型與發(fā)音匹配的比例更大contrast effectpattern2不匹配組：同基線組，看嘴型不匹配組：同基線組，看嘴型與發(fā)音匹配的比例更大與發(fā)音匹配的比例更大no facilitation effectLOGO整理課件整理課件實(shí)驗(yàn)二v目的：什么導(dǎo)致了對(duì)比效應(yīng)？v同樣的程序，不同的嬰兒，32v把音頻換成了“a” 2AV-motor interaction：不同實(shí)驗(yàn)一：不同實(shí)驗(yàn)一

8、 1facial-expression matching：結(jié)果同實(shí)驗(yàn)一LOGO整理課件整理課件實(shí)驗(yàn)二結(jié)果v把實(shí)驗(yàn)一有嘴型組嬰兒的結(jié)果一起比較v因變量：嬰兒看與自己嘴型相同的面孔的時(shí)間v實(shí)驗(yàn)的主效應(yīng)顯著v實(shí)驗(yàn)一中很少看與自己嘴型匹配的面孔，實(shí)驗(yàn)二相反LOGO整理課件整理課件討論Text in here 沒有表現(xiàn)出對(duì)不匹配嘴型的面孔的偏向 說明：實(shí)驗(yàn)1的結(jié)果不是面孔表情匹配的結(jié)果，是存在交互作用的LOGO整理課件整理課件討論討論感覺信息在嬰兒早期就與視聽言語加工有著直接的關(guān)系感覺信息在嬰兒早期就與視聽言語加工有著直接的關(guān)系 實(shí)驗(yàn)1表明在匹配組存在選擇性偏向，在不匹配組退回到基線水平 實(shí)驗(yàn)2表明這些結(jié)果能夠反應(yīng)一種視聽覺與動(dòng)作技能的交互效應(yīng)LOGO整理課件整理課件v本研究觀察到的對(duì)比效應(yīng)不同于成人：成人的言語信息是由于他們發(fā)音清晰發(fā)音清晰才會(huì)有所偏向性v本研究與之前文獻(xiàn)相一致：在視覺感知和身體動(dòng)作上都有對(duì)比效應(yīng)。v圓唇或者扁唇對(duì)于視聽言語都有相似的影響，會(huì)使感覺信息偏向于相對(duì)的元音LOGO整理課件整理課件討論v不同的任務(wù)要求可能會(huì)選擇性地誘發(fā)對(duì)比效應(yīng)和同化效應(yīng)v這些注視模式可能作為發(fā)展水平的函數(shù)而變化：當(dāng)嬰兒掌握很多技能，對(duì)比效應(yīng)就不穩(wěn)定了，可能在某年消失，然后作為同化效應(yīng)再出現(xiàn)LOGO結(jié)論v視聽言語技能與動(dòng)作技能是有交互作用的。v發(fā)音器官的粗略感覺信息對(duì)于感知系