現(xiàn)場即席話語與多模態(tài)研究意義、理論與方法

1、現(xiàn)場即席話語與多模態(tài)研宄意義、理論與方法摘要現(xiàn)場即席話語出現(xiàn)于人 類文字發(fā)明以前，存在于鮮活整人的親 歷過程中，具有多模態(tài)性質(zhì)，與人類當(dāng) 下認(rèn)知密切相關(guān)。對它的研究應(yīng)以多模 態(tài)感官為基點(diǎn)、以人類當(dāng)下認(rèn)知為理論 框架、以多模態(tài)充盈親歷及多模態(tài)充盈 信息為切入點(diǎn)、以貼真建模為基本思路， 盡量貼近人類在現(xiàn)場即席會話中進(jìn)行多 模態(tài)互動的充盈親歷過程。在這樣的研 宄思路下，多模態(tài)語料庫語言學(xué)方法成 為現(xiàn)場即席話語研宄的具體操作手段。 多模態(tài)現(xiàn)場即席話語語料庫帶來的研究 選題包括：站在普通行為理論高度開展 的語言研究、傳統(tǒng)語用課題的重新考察、 特殊人群的語言研宄、瀕危語言或方言 保護(hù)及多模態(tài)修辭現(xiàn)象研宄等

2、?，F(xiàn)場即 席話語研究及對應(yīng)的多模態(tài)研究方法， 連接著認(rèn)知科學(xué)和人類語言能力發(fā)展的 理論內(nèi)涵，拓展了語言研究的視野，具有深刻的理論意義和廣闊的應(yīng)用價(jià)值， 是未來語言研究的新興領(lǐng)域之一。關(guān)鍵詞現(xiàn)場即席話語；多模態(tài)； 語料庫；親歷；當(dāng)下認(rèn)知中圖分類號h0文獻(xiàn)標(biāo)識碼a文章編號1008-2689 (2016) 05-0029-08引言在目前的語言學(xué)研究中，如何考察 由一個(gè)個(gè)言真意切、聲情并茂、體貌豐 富的語言使用者產(chǎn)生的話語成為一個(gè)重 要課題。本文從分析現(xiàn)場即席話語的本 質(zhì)及其多模態(tài)特征入手，介紹多模態(tài)語 言研究的概念及其背后認(rèn)知內(nèi)涵，指出 現(xiàn)場即席話語是多模態(tài)語言研究的一個(gè) 新興熱點(diǎn)，并對可以基于多模

3、態(tài)語料庫 開展的各類課題進(jìn)行展望。一、什么是現(xiàn)場即席話語？現(xiàn)場即席話語(situated discourse) 是指某語言的某(些)使用者在某時(shí)某 刻某地說出來(或?qū)懴聛?的話語1。“說出來”的話語是最古老的語言形式， 它在人類各種文字發(fā)明之前就業(yè)已存在。 因此，現(xiàn)場即席話語是人類語言發(fā)展的 起點(diǎn)，是人類言語活動的根本形式，對 它的研究具有重要意義。有些民族的 語言只有口語，沒有文字；兒童沒有 學(xué)習(xí)文字之前的母語習(xí)得也正是從這里 開始；文盲因沒有受過書面教育，因此 其大部分語言活動都屬于說出來的現(xiàn)場 即席話語。需要注意的是，現(xiàn)場即席話語不同 于我們?nèi)粘ＫQ的“口語”?？谡Z的范疇 更廣，從說話人

4、角度而言，口語可以是 單人的自言自語，而現(xiàn)場即席會話通常 是兩人或兩人以上的說話人參與；從說 話內(nèi)容是否經(jīng)過說話人事先準(zhǔn)備的角度 來說，如果說話人事先經(jīng)過準(zhǔn)備（或書 面或口頭），如書面講話或話劇、小品及 相聲表演等，這些話語就不屬于現(xiàn)場即 席話語，但卻在口語范疇中。從這個(gè)意 義上說，語言學(xué)傳統(tǒng)意義上的口語研究 與本文所說的“現(xiàn)場即席話語研究”并非完全等同。顧曰國2 （490）曾對現(xiàn)場 即席話語的本質(zhì)特征做過概括：1）根植于某一時(shí)空間；2）是動態(tài)、按時(shí)空間展開的一個(gè) 人際間的互動過程；3）屬于談話人；4 ）是現(xiàn)場社會活動的一部分；5 ）受談話人當(dāng)時(shí)的動機(jī)和目的的驅(qū)使；6）受談話人當(dāng)時(shí)的大腦認(rèn)知狀

5、態(tài)、 情感等心理因素的支配和制約；7）生成一個(gè)人際間主觀世界。 科學(xué)研宄需要直面和關(guān)注客觀現(xiàn)象和事實(shí)，語言學(xué)也必須研宄上述自然話 語。相應(yīng)地，研究者所設(shè)計(jì)的研究模型 或框架均要面向或符合這樣的語言事實(shí)。從學(xué)科發(fā)展史上看，在chomsky、saussure、hymes、halliday、bloomfield、 austin、searl等諸家理論以及話語分析（discourse analysis）、會話分析 （conversation analysis）等語言學(xué)研究范式中，現(xiàn)場即席話語具有不同的研究 地位和處理方式1。隨著互動語言學(xué)(interactionallinguistics)的興起，日常言

6、語活動日益 受到關(guān)注，學(xué)者們以此為語料，對語言 結(jié)構(gòu)、話輪順序、韻律特征、句法語義 功能等課題進(jìn)行了研究3 (96-97)?；?動語言學(xué)在方法學(xué)上受到會話分析的重 要影響，后者最早由社會學(xué)家承擔(dān)，代 表人物包括 sacks、schegloff、heritage 等。起初的會話分析研究主要描述曰常 社會活動結(jié)構(gòu)4;之后則將范圍拓展至 機(jī)構(gòu)語境(institutional contexts)中的社 會交互5 (59)，目前會話分析還將研究 視野拓展至言語行為6 (4)。會話分析 研究者關(guān)注了許多以往語言學(xué)者不感興 趣的現(xiàn)象，如話輪、話輪轉(zhuǎn)換規(guī)則、話 輪轉(zhuǎn)接點(diǎn)、即席修正、應(yīng)急填語、打斷、 停頓、插話

7、等。當(dāng)然，他們的研宄目的 并非揭示語言規(guī)律，而是要解釋會話背 后的社會現(xiàn)象，如以garfinkel等為代表 的“常人方法學(xué)派” (ethnomethodology) 對日常“社會互動” (social interaction)進(jìn)行了深入探索（參考garfinkelp、 sacks8及 schegloff910等）。無論是社會學(xué)研宄的“常人方法學(xué) 派”、會話分析，還是后來的互動語言學(xué)， 從方法論上說，它們都關(guān)注人們在日常 實(shí)踐中產(chǎn)生的真實(shí)信息，在此基礎(chǔ)上分 析各類社會學(xué)、語言學(xué)問題。以互動語言學(xué)的觀點(diǎn)來看，人們互 動交際中的話語是根植于一定時(shí)空間的3 （97-98），因此研究者對語言現(xiàn)象的 研宄

8、不應(yīng)當(dāng)是孤立的，而是要聯(lián)系起前 后語境及說話人表現(xiàn)行為，采集數(shù)據(jù)時(shí) 要用視頻或音頻錄制日?；顒又姓鎸?shí)的、 鮮活的話語。二、什么是面向現(xiàn)場即席話語的多 模態(tài)研究？（一）多模態(tài)及相關(guān)研究的內(nèi)涵與現(xiàn)場即席話語緊密相關(guān)的一個(gè)概念便是“多模態(tài)”。“多模態(tài)” 一詞已成 為橫跨自然科學(xué)、工程領(lǐng)域及人文社會 科學(xué)研究的熱門詞，涉及語言學(xué)、認(rèn)知 科學(xué)、哲學(xué)、腦科學(xué)、臨床醫(yī)學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域11448。在不同領(lǐng)域，“多 模態(tài)”具有各不相同的含義，且研究范 式也各異。對此，筆者將另外撰文討論，此處僅以簡述。語言研宄及相關(guān)領(lǐng)域中 “多模態(tài)”的概念可以歸結(jié)為三個(gè)：一 是沿用腦科學(xué)或生理學(xué)對“模態(tài)”的定 義，將其視為感

9、官及其相應(yīng)的神經(jīng)系統(tǒng)， 多模態(tài)是人類通過感官跟外部環(huán)境之間 的一種互動方式11;二是從符號學(xué)出發(fā)， 將“模態(tài)”視為在社會文化中形成的創(chuàng) 造意義的符號資源，多模態(tài)話語是由多 種表意符號資源形成的。在該范式中， 張德祿12等學(xué)者對各模態(tài)資源之間的 協(xié)同關(guān)系進(jìn)行了分析框架的構(gòu)建，并運(yùn) 用于外語教學(xué)，頗具啟發(fā)性；三是將“模 態(tài)”定義為人機(jī)交互中的信息呈現(xiàn)方式， 多模態(tài)人機(jī)交互就是人們使用多種感官 模態(tài)，通過多種物理媒介，與計(jì)算機(jī)等 進(jìn)行信息交互13。語言研究及相關(guān)領(lǐng)域 的多模態(tài)研究范式大致包括：符號學(xué)屬 性的“多模態(tài)”研究范式、多模態(tài)語料 庫語言學(xué)范式以及神經(jīng)語言學(xué)、人機(jī)交 互及學(xué)習(xí)研究中的多模態(tài)范式

10、。雖然各類研究對“模態(tài)”的定義不同，研宄范式各異，但總的研宄目標(biāo)可以歸 結(jié)為：探宄人類與外界的多模態(tài)交互現(xiàn) 象，利用多模態(tài)交互規(guī)律進(jìn)行技術(shù)開發(fā)、 服務(wù)人類發(fā)展。本文所指的“多模態(tài)”發(fā)展于腦神 經(jīng)科學(xué)?，F(xiàn)代腦科學(xué)研宄喜用“模態(tài)” (modality) 一詞通指感官及其相應(yīng)神經(jīng) 系統(tǒng)14 (135)。從該視角出發(fā)，“模態(tài)” 被定義為人類通過感官系統(tǒng)(如視覺、 聽覺、觸覺等)跟外部環(huán)境(如人、機(jī) 器、物件、動物等)之間的互動方式。 感知模態(tài)(perception modality)和產(chǎn)出 模態(tài)(production modality)同時(shí)作用才 能順利實(shí)現(xiàn)完整的言語交際15 (351)。 例如，說話

11、人通過發(fā)聲模態(tài)說出話語(包 括韻律特征等)，聽話人則通過聽覺模態(tài) 接受這些信息；如果加上體貌表現(xiàn)(包 括表情、手勢或身姿等)，則又涉及視覺、 觸覺、體感等多種模態(tài)。從整體上說， 身心健康的人在正常情況下與外部世界（包括人際之間）的互動是多模態(tài)的（至 少是雙模態(tài)），面對面的現(xiàn)場即席會話更 是如此。例如，中醫(yī)采用“望聞問切” 的方法對病人進(jìn)行診療，就涉及視覺、 聽覺、味覺、發(fā)聲和觸覺等多種模態(tài)?，F(xiàn)場即席會話是一種多模態(tài)互動， 就是一個(gè)人們調(diào)用多模態(tài)感官系統(tǒng)對外 界進(jìn)行意義構(gòu)建與識解的行為過程。這 一點(diǎn)能夠找到神經(jīng)學(xué)證據(jù)。研宄者運(yùn)用 fmri （功能性核磁共振成像）、erp （事 件相關(guān)電位）、pe

12、t （正電子發(fā)射計(jì)算機(jī) 斷層掃描）、eeg （腦電圖）等技術(shù)已經(jīng) 證明：話語活動中的不同信息處理是由 不同大腦功能區(qū)負(fù)責(zé)，例如：句子及其 以上層面的情感韻律加工呈右側(cè)化16， 主要定位于額下回、顳上回以及頂枕區(qū)； 也有腦成像研究顯示進(jìn)行語音、韻律加 工時(shí)大腦左右半球均會激活：右半球在 情感韻律識解中占主導(dǎo)，負(fù)責(zé)言語交際 中情感線索的產(chǎn)出與識解17 （225） 18 （213），而左半球則主要負(fù)責(zé)語音加工 （也有學(xué)者對此區(qū)分抱有懷疑態(tài)度19）；身體動作涉及的運(yùn)動區(qū)位于大腦前半部 18 (211);大腦左半球前區(qū)負(fù)責(zé)積極情 感及積極介入或向前靠近的行為，右半 球前區(qū)則與消極情感及避讓行為相關(guān)。 這

13、些運(yùn)用現(xiàn)代腦成像技術(shù)開展的研究告 訴我們：說話人進(jìn)行現(xiàn)場即席會話時(shí)，多個(gè)大腦區(qū)域及相應(yīng)的信息處理系統(tǒng)同 時(shí)工作，大腦處理區(qū)域互相補(bǔ)償、支持 和勾連，從而使人們與外界互動時(shí)進(jìn)行 多模態(tài)處理。諸多現(xiàn)代神經(jīng)醫(yī)學(xué)和胚胎 學(xué)的研究成果使得不少學(xué)者開始以“多 模態(tài)感官為基點(diǎn)”構(gòu)建語言學(xué)理論，即 在構(gòu)建語言學(xué)理論時(shí)默認(rèn)一個(gè)前提：語 言的發(fā)生與發(fā)展需要多模態(tài)感官系統(tǒng)的 支撐11 (456)(但同時(shí)，人類的語言具 有“無模態(tài)性” (amodal),見下文介紹 及顧曰國20的論述)。需要指出的是，在與外界的互動中， 由于人腦在處理由多符號系統(tǒng)構(gòu)成的文 本時(shí)，需要調(diào)用多模態(tài)感官系統(tǒng)多模態(tài) 感官系統(tǒng)至少包括：皮膚、視

14、覺、聽覺、 觸覺、味覺、本體感受器等20。，從而使得多模態(tài)話語分析與多模態(tài)感官系統(tǒng) 產(chǎn)生重要的內(nèi)在聯(lián)系11 (449)。(二)現(xiàn)場即席話語與當(dāng)下親歷、 當(dāng)下認(rèn)知及多模態(tài)數(shù)據(jù)要區(qū)分“信息” 與“數(shù)據(jù)”:信息是客觀存在的、充盈的， 研宄者一次不可能處理所有信息；從若 干角度提取一定量信息成為研究分析的 對象，此時(shí)便成為研宄數(shù)據(jù)。我們再從過程視角分析現(xiàn)場即席話 語的多模態(tài)性質(zhì)?，F(xiàn)場即席會話的主體 是一個(gè)個(gè)言真意切、聲情并茂、體貌豐 富的鮮活的、完整的人。顧曰國21將其 稱為“鮮活整人” (the whole person)這 種思想可追溯至firth22(19)。他提出， 應(yīng)當(dāng)停止心靈與身體(min

15、d and body)、 思想與話語(thought and word)的二元 對立，要把會話人視為與他人相聯(lián)系、 思維與行動形成整體的一個(gè)整人(the whole man)。語言學(xué)研究應(yīng)當(dāng)基于整人 的生活形態(tài)(pattern of living)開展。顧 曰國21從言思情貌四個(gè)視角對“鮮活整 人”進(jìn)行建模，也是基于上述思想的。這些“鮮活整人”在現(xiàn)場即席會話中是 一個(gè)個(gè)親歷者(the experiencer)，他們 的親歷(experiencing)與其當(dāng)下認(rèn)知 (situated cognition)顧曰國20認(rèn)為， 嚴(yán)格來說，英語situated應(yīng)當(dāng)由“實(shí)景”、 “當(dāng)下”兩個(gè)漢語詞匯合起來

16、才能較為 完整地傳達(dá)其意義。另外，顧曰國21 (18)也將 situated discourse 稱為“鮮 活話語”，本文仍沿用最初的叫法“現(xiàn)場 即席話語”。密切相關(guān)。所謂當(dāng)下認(rèn)知， 是指認(rèn)知主體在某個(gè)具體的、真實(shí)的、 特定的時(shí)空間里通過多模態(tài)感官系統(tǒng)與 外部進(jìn)行互動的認(rèn)知活動20。從這個(gè)角 度看，語言隨著說話人發(fā)聲而產(chǎn)生，又 隨著說話人結(jié)束說話而消失。在文化口 耳相傳的民族、沒有學(xué)習(xí)文字的幼兒或 文盲的言語交際中，語言就存在于他們 的鮮活親歷過程中，這種親歷最常見的 形式就是現(xiàn)場即席會話。不難理解，“鮮 活整人”在現(xiàn)場即f會話中的語言親歷 是一種多模態(tài)充盈親歷(total saturated

17、 experience)，多個(gè)感官同時(shí)參與言語交際過程，在此基礎(chǔ)上形成多模態(tài)充盈意義(total saturated signification) 23 (435-437)。顧曰國20將此稱為“多模 態(tài)充盈原則”(principle of multimodality and saturatedness)o從日常行為角度來看，現(xiàn)場即席話語是先于書寫等任何其 它媒介而最基本的意義表現(xiàn)形式，是人 們在充盈的行為與概念環(huán)境中產(chǎn)生的24 (91-92)o我們可將當(dāng)下認(rèn)知視為給說話人的 鮮活親歷不斷填充信息的過程：親歷者 就好比一個(gè)大數(shù)據(jù)存放與集成庫，親歷 過程就是在不斷往該數(shù)據(jù)庫填寫數(shù)據(jù)， 親歷者主觀掌

18、握的數(shù)據(jù)成為體驗(yàn)。由此， 顧曰國2025提出了研究語言親歷的 “3e 模型”(experiencer，experiencing, experiences)。當(dāng)然，人類能夠超越當(dāng)下時(shí)空間的 束縛。人類通過多模態(tài)感官處理信息， 產(chǎn)生多模態(tài)記憶，這種記憶不需要通過 語言符號，而是通過“印記”(image) 26 (9)來存儲。之后，人類又可以通過語言進(jìn)行再次編碼，將體驗(yàn)說出來，而這 種說出來的語言則具有“無模態(tài)” (amodal)的特征，即“說語言不依附 于任何一個(gè)感官系統(tǒng)”，正是語言的“無 模態(tài)性”才使得語言可以用來表達(dá)任何 一種模態(tài)的數(shù)據(jù)。從人類的多模態(tài)感官， 到多模態(tài)記憶及編碼系統(tǒng)，再到現(xiàn)場即

19、 席話語的多模態(tài)充盈意義，最后到語言 的無模態(tài)性，是對人類語言、認(rèn)知及交 際之間關(guān)系的新認(rèn)識。該結(jié)論與喬姆斯 基觀點(diǎn)一致，有興趣的讀者可參考顧曰 國20的論述。這樣，就構(gòu)成了最原始的現(xiàn)場即席話語“資源庫”。接下 來，要對其中的語料進(jìn)行加工，在資源 庫的基礎(chǔ)上將其建設(shè)成“語料庫”。多模 態(tài)語料庫的加工就是根據(jù)研究目的所構(gòu) 建的研究模型或分析框架，對其中的部 分信息進(jìn)行切分、標(biāo)注。首先是研究者 根據(jù)研宄需要對多模態(tài)內(nèi)容的多層信息 進(jìn)行定義、確定切分標(biāo)準(zhǔn)和方法；隨后 使用多模態(tài)語料處理軟件(如elan, anvil 等)對其中的信息進(jìn)行標(biāo)注，并根據(jù)研宄需要按照一定單位對標(biāo)注加工后的語 料進(jìn)行儲存，從

20、而形成一定規(guī)模的多模 態(tài)語料庫。目前，對多模態(tài)語料加工技術(shù)的相 關(guān)研發(fā)逐漸豐碩，并在理論依據(jù)、語料 采集、加工標(biāo)注以及分析框架上有了系 列研究。國外多模態(tài)語言研究的標(biāo)注工 具開發(fā)日益成熟和多樣，國內(nèi)也有學(xué)者 在建設(shè)漢語現(xiàn)場即席多模態(tài)語料庫的基 礎(chǔ)上，研究開發(fā)新的多模態(tài)數(shù)據(jù)標(biāo)注、切分軟件以及數(shù)據(jù)集成工具，這無疑對 我國學(xué)者站在國際多模態(tài)語言研究前沿 具有重要意義。四、多模態(tài)現(xiàn)場即席話語語料庫可 帶來哪些選題？對新的研究材料或數(shù)據(jù)的關(guān)注往往 會促使研究視角的轉(zhuǎn)換、研究領(lǐng)域的拓 展及研宄方法的革新，最終帶來新的研 究發(fā)現(xiàn)。如果我們將現(xiàn)場即席話語作為 研究的出發(fā)點(diǎn)和關(guān)注點(diǎn)，將相應(yīng)的多模 態(tài)語料庫方法作

21、為主要研究手段，就能 帶來一些新的選題方向：一是認(rèn)識到現(xiàn)場即席話語是與人們 日常行為緊密結(jié)合在一起的，站在普通 行為理論高度開展相關(guān)語言研宄。 gu3334借鑒了時(shí)間地理學(xué)的研究方 法(參考 hagerstrand35、thrift36)，以及人文地理學(xué)關(guān)于時(shí)空間、特別是社 會時(shí)空間的理論，解決了現(xiàn)場即席話語 跟物理時(shí)空間和社會時(shí)空間之間的扎根 問題等，探討個(gè)人動態(tài)的日常行為與其 話語之間的關(guān)系，構(gòu)建了工作現(xiàn)場話語 地理關(guān)系(workplace discourse geography),并設(shè)計(jì)了相應(yīng)的分析方法。 這樣，時(shí)間地理學(xué)就為考察現(xiàn)場即席話 語提供了一種分析途徑。另外，還可聯(lián) 系知識本體

22、基礎(chǔ)理論及相關(guān)技術(shù)，站在 人類普通行為的高度對現(xiàn)場即席話語中 的言語行為進(jìn)行建庫、研究，這對人工 智能等領(lǐng)域具有較強(qiáng)的工程意義37。二是利用多模態(tài)現(xiàn)場即席話語語料， 重新考察傳統(tǒng)語用學(xué)領(lǐng)域的經(jīng)典課題。 經(jīng)典語用學(xué)承襲西方哲學(xué)和邏輯學(xué)等傳 統(tǒng)，是基于單模態(tài)(文字載體的視覺感官或音頻載體的聽覺感官）的信息交流 分析上發(fā)展而來的語言使用規(guī)律考察。 但是，忽略其他模態(tài)所蘊(yùn)含和傳遞的意 義而構(gòu)建的語用學(xué)理論及原則是不充分 的，因而只有在分析全方位充盈體驗(yàn) （total saturated experience）式的言語 交際過程基礎(chǔ)上才能歸納出真正符合實(shí) 際的語用規(guī)律和原則。另外，言語交際 發(fā)生的不同空

23、間、時(shí)間和方式均會影響 到經(jīng)典語用學(xué)原理的適用性。通過多模 態(tài)語言研究方法，聯(lián)手會話分析等學(xué)科 分支，使語言使用研究回歸至“以言行 事”的、與社會活動交織的言語交際情 境中加以探宄，可以重新考察包括禮貌 原則、合作原則、指示、言語行為等若 干經(jīng)典語用學(xué)課題，對它們進(jìn)行驗(yàn)證、 修補(bǔ)和發(fā)展。三是利用多模態(tài)現(xiàn)場即席話語語料 庫開展對特殊人群的語言研宄，包括文 盲話語、老年人（含阿爾茲海默癥老年 癡呆患者）語言衰老、嬰幼兒語言發(fā)展 等。例如，文盲大腦中沒有文字表征，他們的語言活動僅限于現(xiàn)場即席會話。 對文盲話語的研究有助于理解人類最初 的語用交際本質(zhì)，進(jìn)一步理解文盲在語 言信息加工過程中的各種問題38

24、;老年 人語言衰老表現(xiàn)在現(xiàn)場即席會話中呈現(xiàn) 各種語言特點(diǎn)及語用特征，多模態(tài)語料 能為研究者提供單模態(tài)語料(如音頻) 所不能及的信息39;另外，嬰幼兒當(dāng)下 親歷與認(rèn)知、多模態(tài)意義模塊中的模態(tài) 協(xié)同及演化等也是人類語言發(fā)展研究中 的重要問題。四是通過多模態(tài)現(xiàn)場即席話語語料 庫建設(shè)開展瀕危語言或方言保護(hù)。多模 態(tài)語料庫除能記錄瀕危語言或方言的語 音特征外，還能有效捕捉說話人在現(xiàn)場 交際中的多種信息，如該語言或方言所 承載的各種文化風(fēng)俗、交際習(xí)慣等，從 整體上相對完整地記錄社會文化實(shí)踐中 的語言活動40 (262-263)，對瀕危語言 研究和方言傳承保護(hù)具有重要意義 404142o境內(nèi)外己有不少研宄機(jī)

25、構(gòu) 都建立了瀕危語言或方言的多模態(tài)數(shù)字 檔案庫。五是基于多模態(tài)語料庫對多模態(tài)修 舌辛(multimodal rhetoric)現(xiàn)象進(jìn)行研究。從人類行為的多模態(tài)交際本質(zhì)來看，鮮 活整人在交際中形成了鮮活修辭行為。 研宄者可以基于多模態(tài)數(shù)據(jù)考察鮮活的、 完整的人如何在各個(gè)時(shí)空間、通過各種 載體、調(diào)用多種模態(tài)手段，為提升交際 有效性而進(jìn)行的修辭行為。當(dāng)然，多模 態(tài)修辭不僅限于現(xiàn)場即席話語，在非現(xiàn) 場即席話語中也有多模態(tài)修辭行為，如 多模態(tài)隱喻就可以出現(xiàn)在非現(xiàn)場即席話 語中43。通過多模態(tài)語料庫，還可對不 同語言之間的修辭現(xiàn)象進(jìn)行對比分析、 規(guī)律總結(jié)。多模態(tài)語料庫在一定程度上還能為 人文社會科學(xué)研究范

26、式的創(chuàng)新做出貢獻(xiàn)。 目前，已有一些人文社會學(xué)者利用大規(guī) 模文字(單模態(tài))語料庫進(jìn)行歷史文化、社會政治等相關(guān)課題的研究，國外還出 現(xiàn)了 digital humanities 及 esocial science 的研究領(lǐng)域。在多模態(tài)語料內(nèi)容的建模方法和檢索技術(shù)有效建立后如何為多模 態(tài)語料進(jìn)行建模并設(shè)計(jì)檢索語言，以及 如何處理語料規(guī)模和時(shí)間跨度等問題，是一項(xiàng)復(fù)雜艱巨但具有重要意義的研 究。，較單模態(tài)語料庫而言，能為學(xué)者提 供更多信息，有利于面向客觀事實(shí)進(jìn)行 相關(guān)的人文社會研究，將定性與定量研 宄有效結(jié)合起來。當(dāng)然，需要指出的是，雖然在目前 階段，多模態(tài)語料庫在研究理念、數(shù)據(jù) 類型等方面是相對先進(jìn)的語

27、料庫類型， 但語料庫的研發(fā)絕不會停步于此。人們 對大腦及語言認(rèn)識的持續(xù)深入將帶來新 的語言研宄模型，并從而促使研宄者不 斷突破技術(shù)限制、拓展數(shù)據(jù)類型、精細(xì) 建模顆粒度，開始構(gòu)建大數(shù)據(jù)、復(fù)合型 的語料庫，為探究語言交際本質(zhì)及其認(rèn) 知機(jī)制提供更加充分的證據(jù)。在這一方 面，顧曰國20己做了較為詳盡的論述。五、結(jié)語現(xiàn)場即席話語研宄背后聯(lián)系著人類 親歷與體驗(yàn)的理論問題，在認(rèn)識人類出 生以后的體驗(yàn)對語言能力發(fā)展的作用等 方面具有重要意義，從而對喬姆斯基的 語言學(xué)理論形成補(bǔ)充性研宄。天賦的語 言器官和后天的體驗(yàn)分別在多大程度上 對語言能力的發(fā)展起到作用？人類的多 模態(tài)感官系統(tǒng)、編碼系統(tǒng)和記憶等如何 與語言能

28、力發(fā)展相互交織？這些理論性 的問題都起始于對現(xiàn)場即席話語的深入 探宄（可參考顧曰國2044的相關(guān)論述）。 語言學(xué)研究對現(xiàn)場即席話語和多模態(tài)研 宄手段的關(guān)注，與相關(guān)的科技進(jìn)步關(guān)系 密切：科技進(jìn)步為人們有效觀察、深入 研宄過去未加注意或不能捕捉的語言現(xiàn) 象提供了更多途徑，從而豐富、拓展了 考察界面和研究范疇；另一方面，相關(guān) 的語言研究成果必將促進(jìn)相關(guān)科技的發(fā) 展，如能為人機(jī)對話、人工智能系統(tǒng)的 研發(fā)做好語言學(xué)準(zhǔn)備；在研宄中產(chǎn)生的 思想、方法或路徑還能為其他相關(guān)人文 社會領(lǐng)域的研究提供啟示。總之，現(xiàn)場 即席話語研宄及對應(yīng)的多模態(tài)研究方法， 拓展了語言研究的視野，具有深刻的理論意義和廣闊的應(yīng)用價(jià)值，應(yīng)

29、當(dāng)成為未 來語言研究的新興領(lǐng)域之一。參考文獻(xiàn)1 顧曰國.使用者話語的語言學(xué)地位綜述j.當(dāng)代語言學(xué)，1999，(3)：3-14。2 顧曰國.北京地區(qū)現(xiàn)場即席話語語料庫取樣與代表性問題a.中國社會 科學(xué)院世界經(jīng)濟(jì)研宄中心編.全球化與 21世紀(jì)c.北京：社會科學(xué)文獻(xiàn)出版社， 2002：484-500.3 undstrm， j. interactional linguisticsa. in dhondt，s.，stman，j. & verschueren， j. (eds.) . the pragmatics of lnteractionc. john benjamins publishing

30、 company， 2009： 96-103.4 sacks，h.， schegloff， e. andjefferson， g. a simplest systematics for the organization of turntaking for conversationj. language. 1974，50 (4)： 696-735.5 gonz6lezlloret，m. conversationanalysis and speech act performancea.in martinerflor， a. and usojuan, e.(eds.) . speech act pe

31、rformance： theoretical， empirical and methodological lssuesc. amsterdam/philadelphia： john benjamins publishing company， 2010： 57-74.6 drew，p. conversation analysisand social actionj.夕卜國語，2013, (3): 2-19.7 garfinkel，h. studies inethnomethodology m. englewood cliffs， new jersey： prenticehall inc., 19

32、67.8 sacks，h. notes onmethodologya. in atkinson， j. m. and heritage，j. (eds.) . structures of social action： studies in conversation analysisc. cambridge： cambridge university press， 1984：21-27.9 schegloff，e. a. on somequestions and ambiguities inconversationa. in atkinson， m. j. and heritage，j. (ed

33、s.) . structures of social action： studies in conversation analysisc. cambridge： cambridge university press， 1984：28-52.10 schegloff， e. a. sequence organization in interaction： a primer in conversation analysis i m. cambridge： cambridge university press, 2007.11 顧曰國.多模態(tài)感官系統(tǒng)與語言研究j.當(dāng)代語言學(xué)，2015，(4)：448

34、-469.12 張德祿.多模態(tài)話語分析理論與外語教學(xué)m.北京：高等教育出版社， 2015.13 陶建華，楊明浩，李雅，潘詩峰，穆凱輝.多模態(tài)融合的人際對話系統(tǒng)j. 中國計(jì)算機(jī)學(xué)會通訊，2011，(11)：30-39.14 kolb,b. & whishaw, i. q.fundamentals of humanneuropsychologym. new york： worth publishers, 2005.15 mcburney，s. l. pronominalreference in signed and spoken language： are grammatical cate

35、goriesmodalitydependent? a. in meier， r. p. etal. (eds.) . modality and structure in signed and spoken languagesc. 2002： 329-369.16 robin，d. a.， tranel， d. anddamasio， h. auditory perception of temporal and spectral events in patients with focal left and right cerebral lesionsj. brain and language.

36、1990，(39):539-555.17whitaker, h. a.concise encyclopedia of brain and languagez. elsevier ltd.， 2010.18 lreland, k. a. & tenenbaum, d. j. visualizing human biologym. nj： john wiley & sons, inc. 2008.19 seddoh，s. how discrete orindependent are affective' prosody andlinguistic prosody? j ap

37、hasiology， 2002，(16)：683-692.20 顧曰國.當(dāng)下親歷與認(rèn)知、多模 態(tài)感官系統(tǒng)與大數(shù)據(jù)研宄模型一以新生 嬰兒親歷為例j.當(dāng)代語言學(xué)，2016，(4)(即出).21 顧曰國.論言思情貌整一原則 與鮮活話語研宄j.當(dāng)代修辭學(xué)，2013,(6)：1-19.22 firth, j. r. papers in linguistics, 1934-1951m. oxford： oxford university press, 1957.23 gu，y. g. from reallife situateddiscourse to videostream dataminingj.in

38、ternational journal of corpus linguistics, 2009，14(4):433-466.24 giddens，a. social theory and modern sociologym. stanford,california： stanford university press, 1987.25 顧曰國.多模態(tài)語料庫的設(shè)計(jì)與研發(fā)系列講座r.上海交通大學(xué)，2012年7月9至10日.26 damasio， a. the feeling of what happens： body and emotion in the making of consciousne

39、ssm. london： william heinemann，1999.27 黃立鶴.言語行為研究的另一個(gè)界面：現(xiàn)場即席話語視角.浙江外國 語學(xué)院學(xué)報(bào)，2014，(3)：45-53.28 黃立鶴.語料庫4.0:多模態(tài)語料庫建設(shè)及其應(yīng)用j.解放軍外國語學(xué) 院學(xué)報(bào)，2015，(3)：1-7，48.29 kipp，m.，martin, j., paggio, p.andheylen， d. (eds.) . multimodal corpora： from models of natural interaction to systems and applicationsc. springerverl

40、ag berlin heidelberg， 2009.30 gu， y. g. towards a model of situated discoursea. in turner， k. (eel). the semantics and pragmatics lnterfacec. elsevier science publisher， 1999： 149-178.31 gu， y. g. towards anunderstanding of workplace discoursea. incandlin， c. (ed.) . research and practice in profess

41、ional discoursec. hong kong： the city university of hong kong press, 2002：137-185.32 gu,y. g. multimodal textanalysis a corpus linguistic approach to situated discourse. text and talk， 2006, 26(2)：127-167.33 gu，y. g. fourborne discourses： towards language as a multidimensional city of historya. in l

42、i, w. and cook, v.(eds.). contemporary applied linguistics volume 2： linguistics in the real worldc. london： centinuum，2009： 98-121.34 gu,y. g. discoursegeographya. in gee，j. and hanford，m.(eds.) . handbook of discourse analysisc. london： routledge, 2012： 541-557.35 hagerstrand, t. space, time and h

43、uman conditionsa. in karlqvist, a., lundqvist, l and snickars， f. (eds.). dynamic allocation of urban spacec. farnborough： saxon house, 1975： 3-12.36 thrift, n. concepts and techniques in modern geography no. 13 m. nordwich： geoabstracts limited, 1977.37 顧曰國.ontologysupported special corpus of "

44、;locution，emotion and prosody r.第十八屆“口語語音資料庫 協(xié)調(diào)暨標(biāo)準(zhǔn)化國際研討會東方分會”和“亞太口語語言研宄和評價(jià)會議” (oriental cocosda/caslre 2015)主旨 報(bào)告，上海交通大學(xué)，2015年10月28 至30日.38 黃立鶴.文盲的語言研究：綜述、 意義與后續(xù)考察j.南榮學(xué)報(bào)，2014，(17) ：a3-1-a3-13.39 黃立鶴.近十年老年人語言衰老現(xiàn)象研宄：回顧與前瞻.北京第二外 國語學(xué)院學(xué)報(bào)，2015，(10)：17-24.40黃成龍，李云兵，王峰.記錄語言學(xué)：一門新興交叉學(xué)科.語言科學(xué)， 2011，(3)：259-268.41徐世璇.論瀕危語言的文獻(xiàn)記錄j.當(dāng)代語言學(xué)，2007，(1)： 44-51.