應用Kinect構建英語課堂虛擬教學情境研究

1、    應用kinect構建英語課堂虛擬教學情境研究    摘要：語言習得在真實的情境中發(fā)生才更有效，英語課堂教學的出發(fā)點應該是情境。針對當前英語課堂的去情境化或弱情境化教學現(xiàn)狀，提出利用kinect體感交互技術構建課堂虛擬教學情境來增強語言沉浸。以情境認知學習理論為指導，對大學英語課堂虛擬教學情境要素進行分析與設計，實現(xiàn)了kinect虛擬情境創(chuàng)設系統(tǒng)。大學英語課堂教學應用案例表明，該系統(tǒng)在創(chuàng)設情境、體驗情境、演繹情境和反思評價等教學環(huán)節(jié)中具有積極輔助作用。關鍵詞：虛擬教學情境，kinect體感交互，語言沉浸，英語課堂教學引言情境認知理論認為，知識是在一

2、定的情境中創(chuàng)建并且在一定的情境下獲得意義，學習應該在真實應用情境下發(fā)生才更有效。語言學習同樣對同樣情境具有重要依賴性，布魯諾認為1：“成功的外語課堂教學應當在課內創(chuàng)設更多的情境，讓學生有機會運用已學到的語言材料?！鼻榫车闹匾允沟们榫辰虒W很早就成為外語教學研究的熱點，至今已提出了不少的情境教學模式和方法，并且也卓有成效的指導了外語教學實實踐23。 教學情境是對真實情境加工提煉后影響學習者的，教學情境應盡可能的還原語言運用的真實情境。在當前課堂教學實踐中，大多采用多媒體課件創(chuàng)設教學情境，如ppt、flash演示和音視頻播放等，這些能形象直觀地展示教學內容，在一定程度上可以營造語言習得情境，但還是

3、存在沉浸感不強、教學活動互動性差、學生多處于被動接受和旁觀者角色導致語言輸出不足等問題。部分高校建設的專用外語情境教學實驗室，如商務英語實訓室，是集成了藍屏摳像、高清攝像、情境融合等技術為一體的專用系統(tǒng)，設備成本高，對場地也有特殊要求，不便在普通課堂教學中使用。 去情境化或弱情境化的英語教學使課堂缺乏語言的真實運用環(huán)境，學生對原本充滿生活氣息、活生生的語言學習容易感到枯燥乏味。而我們對106位大學英語教師關于“課堂情境教學制約條件”的網(wǎng)絡調查顯示4，“缺乏足夠的輔助和實驗設備、道具”選項占到41%。 為此，本文探索采用虛擬現(xiàn)實和體感交互技術，在傳統(tǒng)普通課室多媒體系統(tǒng)的基礎上，通過usb接口連接

4、一臺低成本的kinect體感器，并安裝情境合成軟件，架構一種交互式、沉浸式虛擬情境系統(tǒng)，創(chuàng)設高度擬真的英語學習情境，提高學習的沉浸感。而國內現(xiàn)行的大多數(shù)教材，如新視野大學英語和新編大學英語等都采用了“以學生為中心的主題教學模式”，每一個單元主題的情境往往具有相似性，會話題材能反映在非常具體、生動的交際情景或者活動情境里，這為創(chuàng)設相應的題材情境進行教學提供了條件。 一基于kinect的虛擬教學情境設計1kinect功能與原理介紹 kinect原本是微軟的一款游戲體感外設，其強大的功能及強烈的用戶需求使微軟將其拓展到pc機應用，至今已發(fā)布并不斷更新了多個windows下的開發(fā)包，基于pc桌面的各種

5、kinect應用不斷涌現(xiàn)。 kinect外觀及工作原理如圖1所示，主要部件由紅外線發(fā)射器、rgb彩色攝像頭、紅外線cmos攝像頭所構成的3d深度傳感器以及麥克風陣列組成。底座馬達可驅動kinect左右旋轉27度，具有追焦功能，陣列式麥克風可捕獲聲音信號。 kinect的深度傳感器可以收集視野范圍內的每一點，形成一幅代表周圍環(huán)境的景深圖像，并以每秒30幀的速度生成深度圖像流，實時3d地再現(xiàn)周圍環(huán)境，然后再通過先進的算法對3d圖像進行人物識別、場景識別、骨骼節(jié)點跟蹤、手勢識別甚至面部表情識別等，從而完成三維輸入輸出5。kinect作為一種三維交互技術，開始在游戲、智能機器人控制、視頻會議、虛擬教學

6、等方面得到較廣泛的應用。為了促進kinect研發(fā)與課程建設的深入整合，微軟亞洲研究院不定期舉辦面向全國高校教師的kinect for windows研討會6，為高校教師提供一個交流和探討kinect研發(fā)的平臺，讓更多的師生受益于這一先進的技術，目前完成了智能機器人控制、手語識別與教學、空中書寫等成功教學應用案例7。 利用kinect構建虛擬課堂教學情境具有以下優(yōu)勢： （1）場景的三維性與高仿真性。相對于傳統(tǒng)ppt、音視頻播放類多媒體課件，kinect捕獲的是實時3d場景，并且能方便與unity3d等三維引擎虛擬場景立體融合，可以360度查看場景，具有更好的擬真度、更高的沉浸感和構想性。 （2）

7、情境活動的高參與性與交互性。kinect的人體識別功能可以將課堂師生身體及動作融合到預設的三維虛擬情境，實現(xiàn)虛實結合、虛實交互。聲音識別功能可以采集來自不同方位的聲音，并支持多種語言，語言指令可驅動虛擬3d場景中的對象，從而提高情境教學活動中學生的參與性與交互性。 2kinect構建虛擬教學情境要素分析與設計 （1）教學情境要素分析 情境是對學習新知能產生影響的、在時間和空間上特定的各種具體情形。語言使用情境（即語境）是指具體的、超語言的表現(xiàn)某種信息的因素的總和，它促使學習者參加語言交際活動，并規(guī)定其言語行為在一定交際活動范圍內進行8。通過對英語教學考察和相關文獻資料研究，英語教學情境應包含的

8、關鍵因素有： 文化語境：是指與語言運用相關的文化習俗、社會規(guī)范、價值觀念、行為規(guī)則、文化結構等。語言習得就是對這些要素的文化適應過程。 情景語境：是指與話語有關的環(huán)境因素，它包含了交際場景、話語范圍、話語基調、話語方式、交際對象、對象關系，交談起因等。 英語課堂教學情境應該既包涵情景語境，也包涵文化語境，但由于課堂教學條件的制約，一些隱性的情境要素不便直觀有效地展示，只有借助虛擬化技術來輔助實現(xiàn)，虛實結合共同增強語言沉浸，將學習者拋錨在一個真實的英語情境中去體驗語言，對持續(xù)不斷的語言輸入進行感知，并引導語言輸出。 （2）kinect輔助創(chuàng)設虛擬教學情境的設計 在分析了英語教學情境要素之后，需要

9、根據(jù)kinect的技術特點，基于這些情境要素來創(chuàng)設可交互的模擬情境，并使其與真實情境距離縮減到最小限度。 針對當前英語課堂教學中缺乏語言文化背景知識輸入、學生語言輸出不足等問題，筆者在運用kinect構建課堂教學情境時遵循了以下兩點： 其一，提供可理解性輸入材料。知識獲取是一個在舊信息基礎上通過一系列的認知活動構建意義并獲取新知識的過程，因此在語言學習中，要通過大量的輸入材料將學生帶入到一個與社會生活密切相關的情境中，輸入材料可以通過教師和學生的雙渠道輸入，并且輸入材料要盡可能具備直觀性、易理解性和趣味性特點。 其二，保持語言輸入與輸出的平衡性。在可理解輸入的基礎上，給學生提供更多的語言輸出機

10、會和情境，使學生在原有知識及語言的基礎上對所獲得的新知識與內容進行加工、重組、表達。 根據(jù)以上原則，筆者設計了以下幾種使用kinect創(chuàng)設的虛擬情境類型。 類型一：參與現(xiàn)場解說。 教師或學生在課前收集或制作與教學主題相關的情境素材（圖片、音視頻、3d場景），并對內容進行英文解說，kinect捕獲解說員的身姿和語音，并通過背景識別和人物摳像將解說員融合到虛擬場景中。解說可以在課堂進行，也可以課前錄制課堂播放。這種扮演“新聞主播”或“解說員”的身份進行現(xiàn)場講解，能使師生產生身臨其境的感覺。 類型二：情境會話。 一臺kinect可以同時追蹤兩人的肢體運動，并將兩套身體動作與語言輸入融合到預設的會話場

11、境中，實現(xiàn)情境會話。 類型三：實時現(xiàn)場配音訓練。 陣列式麥克風可以清晰捕獲來自不同方位的聲音信息，教師通過播放卡通英文動漫劇或經(jīng)典電影片段，并給學生分配演員角色，學生在前排座位即可根據(jù)劇情實現(xiàn)配音或對白表演。 類型四：虛擬人偶與角色表演。 虛擬人偶（avatar）是虛擬場景中學習者的化身，學習者可以通過自己的想法來操作人偶，除基本的手勢動作外，還可以辨識細微的臉部表情，如嘴巴開合或眉毛挑動，并將之反應在虛擬人偶上。學生可以在自編的情境劇中舉辦生動鮮活的虛擬人偶脫口秀，或操控不同人偶完成角色表演等。 類型五：游戲式協(xié)作學習。 是前面幾種情境類型的綜合應用，把教學內容按情境分解成一系列關卡，學生分

12、組協(xié)同活動來完成不同的關卡任務和活動序列。 二kinect構建課堂虛擬教學情境系統(tǒng)的實現(xiàn)1kinect情境創(chuàng)設系統(tǒng) 系統(tǒng)結構如圖2所示，在傳統(tǒng)多媒體教學系統(tǒng)中接入一臺kinect和安裝相應的情境合成軟件實現(xiàn)虛擬情境創(chuàng)建。   kinect捕獲課堂中學生的語音、肢體動作等實時情境，并通過情境合成軟件將實時情境與預設情境實時融合，再通過投影和音響系統(tǒng)輸出。 2情境合成軟件結構 kinect情境合成軟件系統(tǒng)包括三層：情境輸入層，中間件層，情境應用層，如圖3所示。   （1）情境輸入層 包括實時情境和預設情境輸入。預設情境是根據(jù)教學主題的需要，由教師或教學設計人員課前制作的情境，包

13、括靜態(tài)會話場景、虛擬人偶情境、動態(tài)協(xié)作情境等。實時情境是在課堂教學現(xiàn)場生成的情境，如聲音、動作，教學活動等。 （2）中間件層 包括底層驅動和相關開發(fā)包。目前開發(fā)kinect應用主要基于微軟官方發(fā)布的sdk和開源社區(qū)的開源驅動，如openni（開放自然交互聯(lián)盟）的openni framework9。openni開發(fā)包提供了kinect在unity3d引擎中的應用接口，而unity3d作為當前的主流三維引擎，能較好的滿足教學情境的創(chuàng)建與管理要求，比如三維場景創(chuàng)建與管理的便捷性、渲染效果逼真、對機器性能要求較低等。所以筆者選用了openni的nite中間件來實現(xiàn)手勢偵測、手部分析、全身分析、場景分析

14、等核心模塊功能10，采用的開發(fā)環(huán)境為windows7kinect for windows sdkopenni2（nite2）unity3dopencv。 （3）情境應用層 open ni的nite中間件對外提供了一系列api接口，為構建面向教學的情境應用提供了基礎，在本系統(tǒng)中主要涉及到以下三類應用。 虛實情境融合 虛實情境融合是將課堂真實情境（一般是活動人像）與預設的虛擬情境合成形成新的完整情境，其主要是利用了kinect的摳像功能，kinect通過讀取深度圖像和骨骼節(jié)點，并通過一定的算法，可以實現(xiàn)將活動人物從任意背景中分離出來，并合成到虛擬3d場景中。這大大降低了傳統(tǒng)綠屏摳像的純色背景要求，

15、在復雜的課堂場景中具有更好的適應性。 語音識別 kinect麥克風陣列捕獲的音頻數(shù)據(jù)流通過音頻增強效果算法處理來屏蔽背景噪聲，并可以實時錄制到虛擬場景中播放，進而在“語音命令、聲音特征識別、語種識別、情境會話、語氣語調情感探測等多個方面開展應用，目前支持英語（5個區(qū)域）、日語、法語、西班牙語等多個語種。 表情識別與驅動 表情識別和驅動是指使用面部追蹤的數(shù)據(jù)來改變虛擬人偶的動畫參數(shù)實現(xiàn)模擬臉部表情。借助基于kinect的第三方插件如faceshift可以實現(xiàn)精確復制人臉的表情，并且無延時的驅動3d場景中人偶的面部表情。 三英語虛擬情境教學應用案例筆者以新視野大學英語（第二版）讀寫教程的第三冊第四

16、單元“five famous symbols of american culture（美國文化的五大象征）”為例，采用kinect輔助構建虛擬教學情境，實施課堂情境教學。教學過程主要分為“創(chuàng)設情境、體驗情境、演繹情境和反思評價”四個環(huán)節(jié)，在每個環(huán)節(jié)中分別采用了現(xiàn)場解說、情境會話、人偶脫口秀等虛擬情境互動，如圖4所示。   情境創(chuàng)設：教師通過布置課前作業(yè)“中國的文化象征”導入課程，并分小組完成有關文化象征的場景資料（圖片、音視頻）收集整理、解說詞準備等。課堂上每組選派一名或兩名代表完成“參與現(xiàn)場主題講解”。學生通過資料收集和現(xiàn)場解說來感性了解中美文化差異。圖5為虛擬融合的課堂現(xiàn)場解說場

17、景。 情境體驗：每種文化象征元素通過相關視頻或三維場景展示，學生通過觀摩體驗，部分環(huán)節(jié)學生可融入場景進行簡短情境會話來深度體驗。 情境演繹：學生對美國文化的五大象征了解后，可以將自己的理解用英語總結表達輸出，為此教師制作或下載了“自由女神”、“芭比娃娃”、“山姆大叔”等人偶模型及相關場景，小組選派代表操控虛擬人偶，以第一人稱完成“自我介紹”脫口秀表演，其他同學觀摩并評價。圖6是“芭比娃娃”來到熟悉的校園作“自我介紹”。   反思評價：在每個教學環(huán)節(jié)結束后，學生對自己的課堂表現(xiàn)進行反思，同時根據(jù)“小組成員評價表”和“小組互評表”對其他同學進行評價，發(fā)現(xiàn)并學習其他同學的優(yōu)點，進行優(yōu)勢互補

18、。 評述：相比傳統(tǒng)課堂教學，kinect創(chuàng)設的虛擬交互情境及給師生帶來了較新的學習體驗，學生的學習興趣明顯提高，課題氣氛活躍，學習沉浸感有所增強；學生參與度增加對學生提出了更高的要求，尤其是需要學生課前完成更多的知識準備。而教師在課堂中主要是處于組織與引導角色，但課前的教學準備是一個不小的挑戰(zhàn)。 四結語kinect體感交互技術能為課堂教學營造擬真的情境，對改善傳統(tǒng)課堂的去情境化與抽象化、增強學生學習動機和學習互動，具有實踐意義。相比專業(yè)情境教學系統(tǒng)，kinect成本低廉，且與現(xiàn)有的多媒體系統(tǒng)或語言教學系統(tǒng)集成非常容易。 現(xiàn)行外語教學仍以按線性結構設計的靜態(tài)教材為主，留給教師和學生的余地都比較少，而虛擬現(xiàn)實及體感交互技術的發(fā)展為體感教材（課件）開發(fā)及主控式體感教學模式、