多模態(tài)理論在大學(xué)英語教學(xué)中的應(yīng)用

多模態(tài)理論在大學(xué)英語教學(xué)中的應(yīng)用

在語言分析和研究中，發(fā)現(xiàn)僅研究語言的純文本分析和研究無法深入全面地分析和研究。特別是隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，語言的許多含義是由非語言因素反映的，如語言特征、身體特征、教材、實(shí)驗(yàn)室、計(jì)算機(jī)、網(wǎng)絡(luò)、周圍環(huán)境因素等。在這種情況下,交際不是利用一種模式進(jìn)行,如說話是口頭,書寫是文字等,而是用兩種或者多種模式同時(shí)進(jìn)行,如用PPT上課則是圖像、文字、口語同時(shí)進(jìn)行的。這種以多種交際方式產(chǎn)生的話語就是多模態(tài)話語。本文重點(diǎn)探討不同話語模態(tài)之間在人類交際中的相互作用以及在外語教學(xué)中的體現(xiàn),以期對(duì)多模態(tài)話語分析以及外語教學(xué)理論和實(shí)踐的發(fā)展有一定啟示。多模態(tài)話語指運(yùn)用聽覺、視覺、觸覺等多種感覺,通過語言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象。話語的多模態(tài)性一直沒有受到人們的重視,只是到了現(xiàn)代語言學(xué),人們才開始從非語言特征和伴隨語言特征的角度研究它,不過只作為一種語言的輔助表達(dá)系統(tǒng),沒有作為意義表達(dá)模態(tài)來研究。隨著多媒體的產(chǎn)生,人們逐步認(rèn)識(shí)到其重要性,并作為一個(gè)獨(dú)立的學(xué)術(shù)領(lǐng)域進(jìn)行研究。多模態(tài)話語最合適的理論模式是系統(tǒng)功能語言學(xué)的社會(huì)符號(hào)學(xué)理論。Halliday(1973:1-2)把語言看做一個(gè)社會(huì)符號(hào)系統(tǒng)(socialsemiotic),即一個(gè)表義系統(tǒng)。語言外的其他表義系統(tǒng)還有繪畫、雕刻、音樂、舞蹈等,這些表義系統(tǒng)與語言共同實(shí)現(xiàn)社會(huì)意義。這種觀點(diǎn)是系統(tǒng)功能語言學(xué)的社會(huì)符號(hào)學(xué)理論的基礎(chǔ),也為多模態(tài)話語分析理論發(fā)展奠定了理論基礎(chǔ)。近十幾年來,許多系統(tǒng)功能語言學(xué)家開始研究多模態(tài)話語理論,取得了比較突出的成果(O’Toole1994,Kress&vanLeeuven1996,VanLeeuven1999,Baldry2000,Kressetal2001,Kress&vanLeeuven2001,VanLeeuven&Jewitt2001,Ventolaetal2004,O’Halloran2004,Kressetal2005,Baldry&Thibault2006,Royce&Bowcher2007)。多模態(tài)話語分析理論主要基于系統(tǒng)功能語言學(xué)理論,由5個(gè)層面的系統(tǒng)組成(Martin1992),分別是:(1)文化層面,包括作為文化的主要存在形式的意識(shí)形態(tài)和作為話語模式選擇潛勢(shì)的體裁或者體裁結(jié)構(gòu)潛勢(shì);(2)語境層面,包括由話語范圍、話語基調(diào)和話語方式組成的語境構(gòu)型;(3)意義層面,包括由幾個(gè)部分組成的話語意義,即概念意義、人際意義和謀篇意義;(4)形式層面,實(shí)現(xiàn)意義的不同形式系統(tǒng),包括語言的詞匯語法系統(tǒng)和其他各種模態(tài)的表意形體和語法系統(tǒng)以及各個(gè)模態(tài)的語法之間的關(guān)系;(5)媒體層面,是話語最終在物質(zhì)世界表現(xiàn)的物質(zhì)形式。多模態(tài)話語主要在形式和媒體層面擴(kuò)大了語言學(xué)的研究范圍,所以下面首先探討媒體層面可以實(shí)現(xiàn)意義的媒體形式,然后探討在形式層面可以實(shí)現(xiàn)的意義的模態(tài)及其之間的關(guān)系。1模態(tài)與媒體我們?cè)诮浑H中直接接觸和使用的工具是交際媒體,所以要探討模態(tài)之間的關(guān)系,就須要區(qū)分模態(tài)(mode)和媒體(medium)。根據(jù)Scollon&Levine(2004)的觀點(diǎn),模態(tài)是可對(duì)比、可對(duì)立的符號(hào)系統(tǒng),媒體是符號(hào)分布印跡的物質(zhì)手段,如產(chǎn)生語篇采用的印刷或手寫的手段,說話時(shí)發(fā)出的聲音,身體動(dòng)作或計(jì)算機(jī)顯示器上的光脈沖。Kress(2001)探討教學(xué)中多模態(tài)交際時(shí)認(rèn)為,信息傳遞有三個(gè)理論基礎(chǔ)。首先,物質(zhì)的媒體經(jīng)過社會(huì)長時(shí)間塑造,成為意義產(chǎn)生的資源,可表達(dá)不同社團(tuán)所交流的意義,這就成了模態(tài)。其次,作為口語的語言模態(tài)和作為書面語的語言模態(tài)以及其他模態(tài)往往是交織在一起的,在信息傳遞語境中它們同時(shí)存在,同時(shí)運(yùn)作。這種互動(dòng)本身就產(chǎn)生意義。最后,使用者經(jīng)常對(duì)表達(dá)和信息傳遞的模態(tài)加以改變,以適應(yīng)社會(huì)的信息傳遞需要。這樣,已有的模態(tài)被改造,新模態(tài)被創(chuàng)造。可見,模態(tài)是以媒體為物質(zhì)基礎(chǔ)的。沒有媒體,模態(tài)就無從談起。所以,在探討模態(tài)之間的關(guān)系之前,須要探討媒體的分類和作用。媒體在此指所有符號(hào)系統(tǒng)的媒體,但由于語言在人類交際中的特殊地位和作用,我們首先把媒體分為語言媒體和非語言媒體(張德祿2008)。從傳統(tǒng)的語言學(xué)研究的角度講,實(shí)現(xiàn)意義傳播的媒體形式主要有兩種:聲波傳導(dǎo)的聲音符號(hào)和由筆、毛刷等生成的書寫符號(hào)。這兩種媒體是語言傳播信息的主要媒介。但隨著信息技術(shù)的不斷發(fā)展,其他技術(shù)開始用于語言信息的傳播,如計(jì)算機(jī)文字輸入、計(jì)算機(jī)語音識(shí)別等,但最后的傳播媒體仍然是聲音或者字符。伴隨語言的媒體對(duì)語言意義的傳遞起到輔助、補(bǔ)充和強(qiáng)化的作用,包括音響、音調(diào)、聲音的頻率、口音、口氣以及字體形狀、大小、空間的布局等。這些伴隨語言的媒體特征對(duì)意義整體的表達(dá)起著十分重要的作用,有時(shí)起關(guān)鍵作用,因?yàn)樗梢砸鹫w意義的改變。所有符號(hào)系統(tǒng)的載體及表達(dá)媒介,都是媒體。但總括起來講,非語言媒體可以分為交際者肢體媒體和非肢體媒體。交際者肢體媒體包括由頭部的移動(dòng)形成的動(dòng)作,由面部的狀態(tài)形成的面部表情,由嘴的動(dòng)作形成笑容以及鼻子和耳朵的動(dòng)作形成的媒體符號(hào)等;由手臂和腿形成的媒體符號(hào);由軀干的動(dòng)作形成的媒體符號(hào),如姿勢(shì)、移動(dòng)、搖擺、模擬等。非肢體媒體包括所有其他不是通過交際者肢體實(shí)現(xiàn)的媒體,如交際者使用的工具、實(shí)現(xiàn)交際的渠道和交際環(huán)境等。隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展,交際者肢體以外的交際媒體變得十分發(fā)達(dá)。從起初的音響設(shè)備、圖畫、音樂、信號(hào)等到PPT、網(wǎng)絡(luò)設(shè)備,到現(xiàn)在的網(wǎng)絡(luò)平臺(tái)、同聲傳譯室等,都是工具性媒體。此外,交際者還可以利用環(huán)境中已有的任何相關(guān)因素來進(jìn)行交際,包括現(xiàn)場環(huán)境中的人和物,各種有象征意義的符號(hào)等。2模型關(guān)系和關(guān)系2.1象聲詞的符號(hào)組成媒體只是意義傳遞的載體,本身并不帶有意義,只有通過形式層面的組織和模式化才具有直接表達(dá)意義的能力。模態(tài)對(duì)媒體進(jìn)行組織有兩種手段。一種是直接賦予某個(gè)媒介符號(hào)某種意義,所有直接和意義融為一體的符號(hào),如在交通信號(hào)系統(tǒng)中,紅色表示“停止”,綠色表示“走”,橘紅色表示“準(zhǔn)備走或?！?。語言中的象聲詞有這種特性。由這種符號(hào)組成的符號(hào)系統(tǒng)通常沒有能產(chǎn)性、任意性,由兩個(gè)層次的代碼組成(媒介與意義),所以其用途有限。另一種方法是不僅可以給單個(gè)的符號(hào)賦予意義,而且還可以把它們進(jìn)行組合,然后賦予這種組合一定的意義,這就是語法的作用。由這種符號(hào)和符號(hào)組成規(guī)則形成的符號(hào)系統(tǒng)具有任意性、能產(chǎn)性、雙分性,由三個(gè)層次的代碼組成(媒介、形式<詞匯語法>和意義)。語言屬于這一類。是否其他的媒體符號(hào)也都有這種特性,是須要探討和分析的。鑒于語言符號(hào)和其他符號(hào)具有替代性和互補(bǔ)性,我們認(rèn)為其他可以表達(dá)過程、符號(hào)具有可組合性的非語言符號(hào)系統(tǒng)也具有形式層,只是我們還沒有認(rèn)識(shí)或者沒有認(rèn)識(shí)清楚而已。所以,在我們的分析框架中,語言和非語言的媒體具有相似的詞匯語法系統(tǒng)。2.2互補(bǔ)關(guān)系、強(qiáng)化關(guān)系與體制在多模態(tài)話語研究中,發(fā)現(xiàn)不同模態(tài)之間是如何相互協(xié)同、共同實(shí)現(xiàn)講話者要表達(dá)的意義,這也是重要的研究課題。在探討多模態(tài)話語形式之間的關(guān)系時(shí),我們需要首先考慮一個(gè)問題:為什么人類在交際中會(huì)用多模態(tài)?是為了有趣,是隨意的,是生理和心理的自然表現(xiàn)的結(jié)果,還是因?yàn)橐环N模態(tài)不能或者不能充分表達(dá)交際者的意義?可能兩種情況都有,但最主要的應(yīng)該是后者,即一種模態(tài)不足以表達(dá)清楚交際者的意義,從而利用另一者進(jìn)行強(qiáng)化、補(bǔ)充、調(diào)節(jié)、協(xié)同,達(dá)到更加充分或者盡量充分表達(dá)意義,讓聽話者理解話語的目的。從這個(gè)角度講,不同模態(tài)的話語實(shí)際上都是體現(xiàn)講話者的整體意義的。典型的多模態(tài)話語模式是一種模態(tài)的話語不能充分表達(dá)其意義或者無法表達(dá)其全部意義,須要借助另一種來補(bǔ)充,我們把這種模態(tài)之間的關(guān)系稱為“互補(bǔ)關(guān)系”。例如,Royce在探討一篇有關(guān)金融報(bào)道的語言與視覺模態(tài)的關(guān)系時(shí)認(rèn)為,“在一個(gè)語篇內(nèi),語言和視覺模態(tài)在投射意義上相互補(bǔ)充,并且這種符號(hào)系統(tǒng)間的互補(bǔ)是由這些模態(tài)特有的各種各樣的語言和視覺手段來實(shí)現(xiàn)的”(Royce2007:23)。在互補(bǔ)關(guān)系中,不同模態(tài)所起的作用是不同的,通常一種模態(tài)為默認(rèn)模態(tài)或者基本模態(tài),起基本的和基礎(chǔ)的交際作用,另一種起到補(bǔ)充作用。補(bǔ)充可以是強(qiáng)化,也可以是補(bǔ)缺。強(qiáng)化關(guān)系是說一種模態(tài)是基本的交際形式,而另一種或者多種形式是對(duì)它的強(qiáng)化。例如,如果語言是主要的交際形式,那么手勢(shì)、身勢(shì)等交際形式就只是起強(qiáng)化作用。反之,在主要以其他方式,如圖畫、舞蹈等,為交際形式時(shí),語言可能只是輔助的,起強(qiáng)化作用。補(bǔ)缺表示兩種交際模態(tài)缺一不可,互為補(bǔ)充的關(guān)系,特別是聽覺和視覺的結(jié)合。非互補(bǔ)關(guān)系表示第二種模態(tài)對(duì)第一種在意義的體現(xiàn)上作用不大,但仍然作為一種模態(tài)出現(xiàn)。這種關(guān)系一般體現(xiàn)為模態(tài)的交疊和語境交互等關(guān)系。交疊現(xiàn)象是兩種或多種模態(tài)同時(shí)出現(xiàn),但它們之間并沒有相互強(qiáng)化關(guān)系。這種現(xiàn)象可以在PPT中出現(xiàn)。例如,PPT畫面上出現(xiàn)的是講話者要講的所有內(nèi)容,講話者只需要像讀課本一樣來讀PPT畫面上的內(nèi)容或者大家一起來讀這些內(nèi)容即可。模態(tài)與語境的關(guān)系可以看做積極模態(tài)和消極模態(tài)之間的關(guān)系。情景可以直接參與交際過程,但它本身不能以積極的方式參與進(jìn)去,而是根據(jù)交際者的交際目的和交際方式而被“拉”進(jìn)交際過程中。所以,情景依賴性強(qiáng)的話語交際具有多模態(tài)特性。3在外語教育中，多模態(tài)語言下面,我們根據(jù)我國大學(xué)英語課堂教學(xué)的實(shí)際語境來探討各種模態(tài)之間的相互協(xié)同關(guān)系。3.1模態(tài)教學(xué)的作用本文選擇了兩個(gè)參加教學(xué)比賽的課堂教學(xué)案例,對(duì)它們進(jìn)行描述,然后探討不同模態(tài)在教學(xué)中的作用以及它們之間的關(guān)系。根據(jù)各種模態(tài)在教學(xué)中的表現(xiàn),通過比較兩個(gè)教學(xué)案例,審視中國外語教學(xué)的現(xiàn)狀。3.2從內(nèi)容開始講,是以任務(wù)和時(shí)間控制為導(dǎo)向的兩個(gè)教學(xué)案例中教室的布局十分相似,都是教室前墻上有黑板和PPT,隔墻有1～2米的距離是教桌和微機(jī),向后0.5～1米是一排排學(xué)生用桌椅。第二個(gè)教室的后墻上有學(xué)生的獲獎(jiǎng)和標(biāo)語,同時(shí)上課時(shí)放優(yōu)雅音樂。教師的標(biāo)準(zhǔn)位置和移動(dòng)是在黑板和教桌之間,第二個(gè)案例的教師在布置學(xué)生作業(yè)時(shí)走到學(xué)生中間去;前面有一個(gè)高出0.3～0.4米的講臺(tái),學(xué)生坐在自己的座位上,不得任意活動(dòng)。在第二個(gè)案例中,老師在教學(xué)中讓個(gè)別學(xué)生到講臺(tái)講演。PPT綱要式提供主要教學(xué)內(nèi)容,第二個(gè)案例有時(shí)間控制,有圖畫、動(dòng)畫,按進(jìn)程顯示;第一個(gè)案例沒有用黑板,在第二個(gè)案例中教師把生詞和關(guān)鍵詞寫在黑板上。語言交際通過口語和PPT上的書面語兩種媒體進(jìn)行,即語言話語的媒介為聲音和書寫符號(hào)。視覺部分還包括觀察老師的動(dòng)作、手勢(shì)、表情、移動(dòng)等。交際過程是教師講,有時(shí)提出問題。第一個(gè)案例所用時(shí)間占總時(shí)間的80%左右;第二位老師讓學(xué)生進(jìn)行小組活動(dòng),所用時(shí)間為總時(shí)間的60%左右;第二個(gè)案例學(xué)生聽,主動(dòng)回答老師的問題,按老師的安排進(jìn)行小組活動(dòng)、討論,還有學(xué)生到講臺(tái)匯報(bào)。教師所用語言為英語,都很流利,但兩位老師都有漢語式語言表達(dá)方式。課堂氣氛十分活躍,學(xué)生情緒高,積極回答老師提出的問題。兩個(gè)課堂相似,第二個(gè)要好于第一個(gè)。在兩個(gè)案例中老師都聲音洪亮、發(fā)音清晰,95%以上單詞發(fā)音正確;兩人都有重音、發(fā)音、連讀等方面的問題。口氣比較正式,都為比較典型的女性口音,表情比較輕松、正規(guī),但不微笑,有些嚴(yán)肅。老師視線在講解的主要內(nèi)容和對(duì)象上,大部分時(shí)間看學(xué)生,有時(shí)看PPT等;朝向?yàn)榇蟛糠謺r(shí)間面對(duì)學(xué)生,有時(shí)對(duì)黑板。老師著裝都比較正式;在教學(xué)中,教師手有時(shí)動(dòng),打手勢(shì),表示一定的節(jié)奏,有時(shí)模擬所講的事物和動(dòng)作等,第二位教師手持教科書或者粉筆,限制了她的手勢(shì)動(dòng)作。教師和學(xué)生距離比較大,老師很少到學(xué)生中間去。3.3學(xué)生的討論模式從模態(tài)的角度講,這兩個(gè)教學(xué)案例都主要為聽覺模態(tài)和視覺模態(tài)。從聽覺模態(tài)上講,主要為老師講、學(xué)生聽;在雙邊交流中,學(xué)生也講話。只在學(xué)生到講臺(tái)匯報(bào)時(shí),才主要為學(xué)生講,老師和其他同學(xué)聽。在第二個(gè)案例中,聽覺模態(tài)還表現(xiàn)在閱讀PPT上的內(nèi)容和動(dòng)畫發(fā)出的聲音,同時(shí)還在開始和結(jié)尾時(shí)放音樂。而視覺模態(tài)比較豐富,學(xué)生要看黑板,看PPT上的文字、畫面、動(dòng)畫和老師的表情、動(dòng)作以及其他同學(xué)的活動(dòng)等。3.4課堂外來語量的質(zhì)量影響大學(xué)英語課堂教學(xué)的目標(biāo)是教師在規(guī)定的課時(shí)內(nèi)完成規(guī)定的教學(xué)目標(biāo)和教學(xué)任務(wù);教師既有責(zé)任教會(huì)學(xué)生,又有權(quán)力管理學(xué)生。兩個(gè)案例中大學(xué)英語課堂教學(xué)模態(tài)的協(xié)同描述見表1。(1)課堂布局為視覺模態(tài),它確定了教學(xué)環(huán)境,也確定了老師和學(xué)生的權(quán)位關(guān)系和角色:講臺(tái)、黑板、PPT、老師是學(xué)生的視覺對(duì)象,講桌和講臺(tái)樹立起老師的權(quán)威和職責(zé),老師在講臺(tái)上俯瞰學(xué)生,PPT和黑板是老師實(shí)施這種權(quán)威的主要工具。(2)教學(xué)的主模態(tài)是聽覺模態(tài),因?yàn)榻虒W(xué)的進(jìn)程在這兩個(gè)案例中都是由口頭交際的進(jìn)程決定的,所以盡管由視覺模態(tài)實(shí)現(xiàn)的課堂布局確定了老師的地位和角色,但它提供的只是背景信息和條件,對(duì)聽覺模態(tài)起到輔助和強(qiáng)化作用。(3)從聽覺模態(tài)的角度講,老師的話語占據(jù)主導(dǎo)地位,占到整個(gè)話語量的60%到80%左右,而且老師的話語對(duì)學(xué)生來說是主要的接受對(duì)象,這對(duì)老師話語的質(zhì)量提出了很高的要求:意義要求準(zhǔn)確深刻,語法要求正確,詞匯要求精確,發(fā)音要求準(zhǔn)確,速度要求適中。這就是大學(xué)英語課堂教學(xué)質(zhì)量的評(píng)價(jià)通常對(duì)老師的口頭語言要求很高的原因。同時(shí),老師發(fā)聲的響亮度、調(diào)的高低、語調(diào)、節(jié)奏、重讀的正確度都對(duì)教學(xué)效果產(chǎn)生很大影響。所以,在聽覺各模態(tài)內(nèi)部,各種模態(tài)相互之間協(xié)同和配合,對(duì)口頭話語模態(tài)起到優(yōu)化、補(bǔ)充和強(qiáng)化作用。(4)老師本人也通過視覺模態(tài)來補(bǔ)充和強(qiáng)化自己的話語,包括用手勢(shì)來表示節(jié)奏、模擬所講的事物和概念,用表情的變化來顯示所講內(nèi)容的重要程度。同時(shí),老師也要通過人際意義來提高教學(xué)效率,如表情親切,著裝比較標(biāo)準(zhǔn)、正式、正規(guī),腰板挺直和一定量的移動(dòng)等。所以,兩個(gè)人的表情都不微笑、不親切會(huì)在一定程度上影響教學(xué)效果。(5)教學(xué)不同于一般的日常交際,后者通常局限于交流難度不大的信息,通常不須要記憶。而教學(xué)所交流的信息總是有難度的,而且不僅是信息的傳遞,更重要的是學(xué)生能力的培養(yǎng),教會(huì)學(xué)生獲得相關(guān)的語言能力。這就要求對(duì)教學(xué)內(nèi)容進(jìn)行多方面和多次強(qiáng)化,所以老師要利用一定的工具,如黑板和PPT.這些工具媒體都可以既對(duì)教學(xué)內(nèi)容進(jìn)行強(qiáng)化,如用黑板把關(guān)鍵知識(shí)和詞重現(xiàn),用PPT提供知識(shí)的綱要等,又對(duì)其進(jìn)行補(bǔ)充,如用PPT提供背景信息、具體細(xì)節(jié),用畫面提供真實(shí)場景,用動(dòng)畫提供真實(shí)過程等。從這個(gè)角度講,第二個(gè)教學(xué)案例比第一個(gè)在利用工具方面要好得多。(6)話語交際是雙邊的,特別是學(xué)生能力的培養(yǎng)更要求學(xué)生親自去說話來提高講外語的能力。在第一個(gè)案例中,學(xué)生的話語量小是這個(gè)教學(xué)案例的一個(gè)缺陷。在第二個(gè)案例中,學(xué)生不僅話語量大,而且還親自到講臺(tái)講,從服從和從屬的地位上升到模擬、主導(dǎo)地位,對(duì)于培養(yǎng)學(xué)生的能力是十分重要的。同時(shí),他們組成小組討論和研究也從被動(dòng)角色上升到模擬主動(dòng)角色,也是學(xué)生能力培養(yǎng)的主要渠道。這涉及聽覺和視覺角色的轉(zhuǎn)化,是培養(yǎng)學(xué)生能力的主要手段。從這個(gè)角度講,第二個(gè)案例的教學(xué)效果應(yīng)該更好。4成為提高教學(xué)效果的重要環(huán)節(jié)這兩個(gè)教學(xué)案例基本上反映了中國外語教學(xué)的現(xiàn)狀,盡管第二個(gè)要好于第一個(gè),因?yàn)檫@不是某個(gè)教師能夠左右的,而是由中國的文化和教育傳統(tǒng)決定的。這是我們下一步教學(xué)改革應(yīng)該考慮的問題。對(duì)這個(gè)