基于智能Agent的遠程學習者情感與認知識別模型眼動追蹤與表情識別技術支持下的耦合.pdf

基于智能 Agent 的遠程學習者情感與認知識別模型 基于智能 Agent 的遠程學習者情感 與認知識別模型 * 眼動追蹤與表情識別技術支持下的耦合 詹澤慧 摘要:情感與認知狀態(tài)的準確識別是實現(xiàn)遠程學習者與教學 Agent 有效互動的基礎。只有有效識別出學 習者的情感與認知狀態(tài)，教學 Agent 在改變學習者行為態(tài)度、幫助學習者獲取和理解知識、支持學習者認知發(fā)展 方面才能取得預期的效果?，F(xiàn)有的教學 Agent 普遍存在兩方面問題: 一是缺乏情感交互性，容易使遠程學習者產(chǎn) 生厭倦情緒; 二是認知推斷功能薄弱，對學習效果的促進作用不穩(wěn)定。這主要是由于 Agent 對學習者狀態(tài)的識別 不夠充分造成的。已有的學習者狀態(tài)識別方法雖然在學習者情緒狀態(tài)的識別方面各有優(yōu)勢，但卻無法同時檢測 學習者的視域、學習情緒與認知狀態(tài)。學習者的眼動追蹤數(shù)據(jù)是判斷學習者實時狀態(tài)的重要指標，也是學習者 與 Agent 進行情感交互的重要依據(jù)。結合表情識別和眼動追蹤技術構建的基于智能 Agent 的遠程學習者情感與認 知識別模型，將眼動追蹤與表情監(jiān)控迭代識別、情感與認知識別過程相耦合，以提高遠程學習者狀態(tài)的識別準 確率，改進 Agent 對學習者的情感和認知支持，為智能教學 Agent 與遠程學習者交互機制的研究提供新的思路和 方法。 關鍵詞:智能 Agent; 遠程學習者; 情感識別; 認知識別; 眼動追蹤; 表情識別 中圖分類號:G434文獻標識碼:A文章編號:1009 5195( 2013) 05 0100 06 doi10.3969/j. issn.1009 5195.2013.05.013 * 基金項目:國家自然科學基金青年項目 ( 61305144) ; 教育部人文社科青年基金項目 ( 13YJC880105) ; 廣州市哲學社會科學發(fā)展 “十二五”規(guī)劃青年課題 ( 13Q18) ; 廣東省優(yōu)秀博士學位論文作者資助項目 ( SYBZZXM201226) ; 廣東省自然科學基金博士啟動項目 ( S2011040001730) 。 作者簡介:詹澤慧，博士，副教授，華南師范大學教育信息技術中心 ( 廣東廣州510631) 。 一、引言 師生和生生間的準分離狀態(tài)是E Learning 不可 忽視的基本特征之一。由于時空分離，教師豐富的 面部表情、抑揚頓挫的話語和恰到好處的姿勢動作 所帶來的情感信息容易在傳播過程中減弱甚至丟失， 學習者難以感受到教師對他們的關注，在學習中容 易產(chǎn)生孤獨無助和迷茫懶散的情緒。為了彌補時空 分離的缺陷，教學代理 ( Pedagogical Agent)應運而 生。它以鮮活的動畫人物或擬人形象出現(xiàn)在計算機 輔助教學過程中，有利于增加學習過程的趣味性和 減輕學習者的認知負荷。( 詹澤慧，2011)然而，現(xiàn)有 的教學 Agent 普遍缺乏情感交互性，容易使遠程學 習者產(chǎn)生厭倦情緒。此外，各類 Agent 對 E Learn- ing 中學習者的認知促進效果并不穩(wěn)定，一些學習者 甚至認為 Agent 的頻繁反饋干擾了他們正常的瀏覽 和閱讀。出現(xiàn)這一問題的關鍵原因在于 Agent 對學 習者狀態(tài)的識別不充分。如果對學習者當前的學習 狀態(tài)缺乏準確的判斷，就必然會影響到 Agent 的表 現(xiàn)，更談不上向學習者實時提供有效的幫助和學習 支持。因此，對 E Learning 中遠程學習者情感狀態(tài) 與認知狀態(tài)識別過程進行深入研究，已經(jīng)成為遠程 教育實現(xiàn)智能化人機互動亟待解決的重要問題。 目前對學習者狀態(tài)的識別方法主要有人臉表情 的識別、人體姿態(tài)的識別、語音語調(diào)的識別以及人 體生理信號 ( 如肌肉電、皮膚電、脈搏波、血壓、 呼吸等)的識別。( 解迎剛等，2011)這些方法在學 習者情緒狀態(tài)的識別方面各有優(yōu)勢，然而卻無法同 時檢測學習者的視域、學習情緒與認知狀態(tài)，尤其 是在認知狀態(tài)的跟蹤方面較為薄弱。由于 E Learning 中學習者主要依靠視覺來獲取信息，因此 學習者的眼動追蹤數(shù)據(jù)是判斷其實時狀態(tài)的重要指 標，也是學習者與 Agent 進行情感交互的重要依 據(jù)。本研究嘗試在已有表情識別的基礎上加入眼動 追蹤技術，以提高遠程學習者狀態(tài)的識別準確率， 改進 Agent 對學習者的情感和認知支持，為智能教 學 Agent 與遠程學習者交互機制的研究提供新的思 路和方法。 二、研究進展 1. 通過眼動追蹤識別學習者狀態(tài) 人的認知加工過程很大程度上依賴于視覺系 001 基于智能 Agent 的遠程學習者情感與認知識別模型 統(tǒng)，約有 80% 90% 的外界信息是通過人眼獲取 的。( Rayner et al. ，2008) 基于眼動追蹤的人機交互 方式具有直接和自然的特性，已成為最有發(fā)展前景 的新一代人機交互方式之一。在人機交互領域中， 視覺還具有雙向性的特點。一方面，學習者眼動狀 態(tài)和視點路徑具有很強的表意功能，Agent 可以通 過對眼動狀態(tài)和路徑的追蹤來識別學習者的認知和 情感狀態(tài);另一方面，Agent 也可以通過自身的眼 動狀態(tài)來表達情感，從而影響學習者的認知和情 緒。對于前者的研究，主要是用眼動儀監(jiān)測 Agent 作用下的學習者行為。例如 DMello 等( 2012)開 發(fā)的針對學習者注視的智能導師系統(tǒng)，首先使用眼 動儀監(jiān)測學習者的注視模式，識別出學習者處于 “無聊 ” 、 “不參與”還是 “分神”狀態(tài);然后用 智能教學 Agent 來引導學習者進入積極參與的狀 態(tài)。實證研究表明，教學 Agent 可以有效地把學習 者的注意力引導到界面上的關鍵區(qū)域，并且增加學 習者對重點問題的深入思考，但對于提高學習者學 習興趣和自我反省的參與度方面效果不明顯，且該 效果對不同的學習者存在差異。又如 Prendinger 等 ( 2007)通過眼動儀分析界面 Agent 對用戶界面認知 的影響，結果發(fā)現(xiàn) Agent 的肢體動作對于引導用戶 的注意力比文字和語音更有效果，但也會略微影響 到用戶的專注程度，有時候可能會使用戶分神去注 意 Agent 的行為。此外，Agent 的存在使得用戶與 界面的交互變多，用戶社會存在感顯著增強。Li 和 Mao( 2012) 基于瑞士日內(nèi)瓦大學的 Scherer ( 2005)提出的情感輪模型對 50 名被試的眼動數(shù)據(jù) 進行分析發(fā)現(xiàn):在正負刺激源的刺激下，刺激的強 度越大，用戶的瞳孔直徑越大，眨眼速率則越低; 在正向刺激源的刺激下，眼球運動多傾向于上下運 動;而在負向刺激源的刺激下，眼球運動多傾向于 對角線運動;據(jù)此 Li 和 Mao 獲得 6 種基本情感和 14 種由基本情感混合而成的派生情感的面部動畫 參數(shù)。 在國內(nèi)，基于眼動追蹤的人機交互技術及其相 關應 用 的 研 究 工 作 起 步 稍 晚，已 有 沈 模 衛(wèi) 等 ( 2003)、屠大維等( 2004)、郭北苑等( 2004)、劉瑞 安等( 2006)、王志良等( 2009)、毛峽等( 2011)學 者提出眼動追蹤實現(xiàn)方案以及在成型的眼動追蹤產(chǎn) 品基礎上面向交互所做的大量工作。例如黃瑩等 ( 2008)開發(fā)出一個基于視線追蹤及有意眼動命令 的識別方法，提出了人機雙方均通過視覺方式來與 對方互動的仿真原型。屠大維等( 2004)通過對 “視覺 眼動 ” 、 “語音 聽覺” 、機械接觸式按鈕 等人機交互效應通道及其協(xié)同工作模式的研究，建 立了多通道自然人機交互界面，并對人、界面、機 器 ( 人) 、以及環(huán)境之間的信息感知與反饋機制進 行了初步研究，最后系統(tǒng)地建立了具有多種信息感 知與反饋功能的 “人 界面 機器 ( 人) ”實驗系 統(tǒng)，初步實現(xiàn)了彼此之間協(xié)同工作的機制。 2. 通過表情追蹤識別學習者狀態(tài) 表情識別主要基于對學習者面部特征的跟蹤。 Kapoor( 2004)等人采用 Ekman 的面部運動編碼系 統(tǒng) ( FACS)建立基于概率和誤差修正的多分類器 組合模型對興趣進行多模態(tài)的識別。Neji 等( 2007) 進行表情識別時首先識別人臉，分別提取出眼睛、 眉毛、嘴巴的輪廓，進而分析并對表情進行分類， 定義出 6 種間距，通過間距的變化規(guī)律來識別表 情，其識別率達到 80%。Zakharov( 2007)則通過 計算人臉器官的 3 項比率來分析人的情緒，這三項 比率是眼角到嘴巴的距離同兩眼之間距離的比率、 嘴巴間距同兩眼距離的比率、眉毛間距同兩眼距離 的比率。用 K 時刻 3 個比率同初始比率的差值來 確定情緒的正負向，如皺眉或微笑。這種方法易于 識別情緒的正負極性，但是卻難以識別復雜的情緒 狀態(tài)。吳彥文等( 2008)提出了根據(jù)嘴角和嘴中心 連線與眉心和嘴中心連線之間的夾角大小來判斷情 緒的方法:如果夾角基本等于 90 度，則表情為平 靜;夾角小于 90 度，則是高興;夾角大于 90 度， 則是悲傷。 3. 基于認知評價的情緒識別 基于認知評價的情緒識別主要是通過描述引發(fā) 情感的認知過程解釋情感的誘因。Ortony、Clore 和 Colins( 1988)構建的 OCC 模型是這一理論的重要 成果，也因其良好的可計算性被情感計算領域廣泛 應用。該模型認為情感是作為認知評估的結果而出 現(xiàn)的，所以情感能夠通過對事件、Agent、對象等 要素的評估來測量。評估遵循 3 種價值結構:目 的、標準和態(tài)度。學習者對事件的評價主要看是促 進還是阻礙自身目的的實現(xiàn);標準是指評估 Agent 的活動是否符合個體所持的社會道德標準或行為標 準;態(tài)度則用以評估對象的屬性是否與學習者的態(tài) 度相一致。Jaques 等人( 2004)采用 OCC 模型，通 過對學習者的可觀察行為 ( 如完成練習的時間、 任務的成功與失敗、請求或拒絕幫助等)進行認 知評價而推斷學生的情感，包括愉快與苦惱、滿意 與失望、感激與生氣、驕傲與羞恥等。根據(jù) OCC 模型，學習者的認知狀態(tài)與情感狀態(tài)是相互影響且 可以相互推斷的。眼動追蹤數(shù)據(jù)所識別出來的認知 狀態(tài)和情感狀態(tài)是存在相互作用的。 101 基于智能 Agent 的遠程學習者情感與認知識別模型 三、模型建構 1. 指標篩選 學習者的情感狀態(tài)可以通過眼動追蹤數(shù)據(jù)和表 情數(shù)據(jù)進行分析和識別，因此有必要篩選出合適 的、敏感性高的眼動指標和表情指標，并設計出合 理的對照驗證邏輯，將眼動分析結果與表情分析結 果耦合，識別出學習者的情感狀態(tài)。 ( 1)眼動指標 眼動追蹤技術可以記錄人眼球運動的基本形式 在時間和空間上的數(shù)據(jù)，包括注視時間、注視次 數(shù)、注視概率、眨眼頻率、眼跳潛伏期、回視次 數(shù)、回視概率、瞳孔大小、向右眼跳次數(shù)、眼跳距 離、掃視頻率和閱讀速度等。其中，瞳孔大小、眨 眼頻率、注視時間和掃視頻率可以作為識別學習者 狀態(tài)的主要指標。 瞳孔大小主要反映學習者的疲勞程度和對某一 學習內(nèi)容的感興趣程度。研究表明，當一個人在充 分休息之后，其瞳孔直徑最大;而當一個人疲勞 時，瞳孔直徑變小，在入睡前瞳孔直徑最小。( Lo- wenstein et al. ， 1964)人們在面對有趣和令人愉快的 刺激時瞳孔會放大，而在遇到令人厭惡的刺激時瞳 孔會收縮。( Hess et al. ，1965) 連續(xù)呈現(xiàn)刺激或閱讀 時間過長也會使學習者產(chǎn)生疲勞，最終導致瞳孔直 徑縮小。( Hess，1972) 瞳孔大小還可以反映學習者 感知的任務難度，( Kahneman et al. ，1971) 當任務難 度增加時，被試瞳孔擴大的幅度會變大。同時，瞳 孔擴大也是心理努力的敏感指標。心理加工負荷越 大，瞳孔直徑的變化幅度也會越大。Beatty( 1982) 還發(fā)現(xiàn)，瞳孔的擴大反映了神經(jīng)系統(tǒng)激活的變化， 這種激活伴隨有知覺的加工活動。 眨眼頻率、注視時間和掃視頻率主要反映興趣 和愉悅程度。眨眼頻率提高通常與消極的情緒相聯(lián) 系 ( 如緊張、焦慮和疲勞) ，而眨眼頻率降低則與 較愉悅的心理狀態(tài)相關。( 閆國利等，2012)眨眼頻 率和持續(xù)時間通常與被試的認知活動有關聯(lián):在安 靜、放松的狀態(tài)下，人的平均眨眼頻率是每分鐘 15 20 次;( Tecce，1992)而當一項任務需要被試 高度注意時，眨眼頻率會變低，譬如人在閱讀過程 中的眨眼頻率可以降低到每分鐘 3 次;人在回答問 題或進行交談時，眨眼頻率會提高。 ( 2)表情指標 臉部表情也是反映學習者情感狀態(tài)的重要表現(xiàn) 方式。人臉中眼睛、嘴巴、眉毛的輪廓較容易識 別，因此在表情識別中有著廣泛的應用。本研究以 眼睛大小、身體姿勢、眉毛和嘴部狀態(tài)作為識別學 習者狀態(tài)的主要指標。 根據(jù) Mota( 2003)的研究結果，當學習者學習 興趣較高時，很可能會發(fā)生身體前傾;而對某一內(nèi) 容厭煩時，身體很可能會后仰。根據(jù)吳彥文等 ( 2008)的研究，學習者感到愉快時，嘴角和嘴中 心的連線與眉心和嘴中心連線之間的夾角會小于 90 度;反之當學習者感到不愉快時，該夾角會大 于 90 度。 2. 概念框架 ( 1)情感狀態(tài)識別 本研究參考王志良等( 2009)的學生三維情 緒空間模型和解迎剛等( 2011)的學生三維學習 狀態(tài)模型，構建了情感狀態(tài)識別的概念框架 ( 如 表 1 所示) 。 表 1 學習者情感狀態(tài)識別框架 情感狀 態(tài)識別 類別表情識別特征描述眼動識別特征描述 喚醒維度 緊張 眼睛睜大 ( 眼睛 區(qū)域面積增大) 瞳孔變大 睡眠 眼睛閉合 ( 眼睛 區(qū)域面積減小) 瞳孔變小 興趣維度 感興趣 身體向前傾 ( 臉 部區(qū)域面積增大) 眨眼減少，注視時 間長，瞳孔變大 不感興趣 身體向后仰 ( 臉 部區(qū)域面積減小) 眨眼增加，眼跳增 加，掃視頻率增加 愉快維度 愉快 不愉快 微笑 ( 嘴巴的狀 態(tài): 變小) 皺眉 ( 眉心區(qū)域 的紋理特征) 撅嘴 ( 嘴巴的狀 態(tài): 變大) 眨眼頻率降低 眨眼頻率增加 在情感狀態(tài)識別框架下，表情識別和眼動識別 二者同時進行，結果相互驗證。情感狀態(tài)分為三個 維度。喚醒維度表征學習者的疲勞程度，以眼睛區(qū) 域面積變化和瞳孔大小的變化來識別。興趣維度表 征某一學習內(nèi)容對學習者的吸引程度，以學習者臉 部區(qū)域的面積變化以及眨眼頻率、注視時間、掃視 頻率來識別。愉快維度表征學習過程的愉悅程度， 主要以攝像頭中學習者嘴巴和眉心區(qū)域的狀態(tài)來識 別，再以眼動追蹤數(shù)據(jù)中的眨眼頻率輔助驗證。在 三個維度中，喚醒維度的表情與眼動指標通常有著 較高的一致性;而在興趣維度和愉快維度中，表情 與眼動指標可能會出現(xiàn)不同的指向，導致情感狀態(tài) 識別結論發(fā)生分歧。在這種情況下，興趣維度以眼 動指標為主要參考，輔以表情指標;而愉快維度則 以表情指標為主要參考，輔以眼動指標。 ( 2)認知狀態(tài)識別 在學習者情感狀態(tài)識別的基礎上，研究利用眼 201 基于智能 Agent 的遠程學習者情感與認知識別模型 動追蹤數(shù)據(jù)和行為數(shù)據(jù)，識別出需要向學習者提供 幫助的知識點，并據(jù)此提供有效反饋。 表 2 學習者認知狀態(tài)識別框架 認知狀態(tài)識別識別方法 知識點內(nèi)容 將每一分屏劃分出若干熱點區(qū)域，結合情感數(shù) 據(jù)識別學習過程中的敏感區(qū)域，并提取相應知 識點。 幫助需求 由智能 Agent 呈現(xiàn)單選框，學習者根據(jù)自身狀 況選擇 “需要幫助”或 “不要打擾” ，以此判 斷學習者對智能 Agent 提供幫助的需求程度 掌握程度 每一個章節(jié)結束后，Agent 給出相關的測試題 目，根據(jù)題目得分情況判斷學習者對相應知識 點的掌握程度 Agent 對學習者認知狀態(tài)的干預需要以知識點 為單位，以判斷學習者對某一內(nèi)容的情感反應和認 知反應。因此在認知狀態(tài)識別過程中應綜合考慮學 習者的情感數(shù)據(jù)、眼動數(shù)據(jù)和行為數(shù)據(jù)。屏幕上的 視線軌跡顯示注視時間較長、回視頻率較高的區(qū)域 為認知狀態(tài)識別的熱點區(qū)域。對熱點區(qū)域進行文字 識別，確定相關知識點，然后在事先構建好的專業(yè) 知識庫中提取相關的知識點解釋、測試或拓展內(nèi) 容。當認知識別結果顯示學習者狀態(tài)為困難時，詢 問是否需要幫助，以及需要哪些方面的幫助 ( 如 概念界定、擴展內(nèi)容、知識點注釋等) ;當學習者 狀態(tài)顯示為輕松時，則不作干擾。在每一章節(jié)內(nèi)容 學習完畢時，將提供知識點相關測試。 3. 人機交互環(huán)境 對學習者狀態(tài)識別的人機交互環(huán)境示意圖如 圖 1所示，兩臺電腦分別作為被試端和主控端，眼 動儀和攝像頭均放置在被試端電腦前方，用以實時 采集學習者的眼動數(shù)據(jù)和表情數(shù)據(jù)。在主控端對數(shù) 據(jù)進行分析，識別出情感狀態(tài)和認知狀態(tài)，編碼傳 送至被試端，由被試端計算出 Agent 的情感表現(xiàn)和 認知支持方式，并反饋給學習者。 圖 1人機交互環(huán)境示意圖 4. 交互模型 遠程學習者與智能教學 Agent 的交互模型如 圖 2所示。系統(tǒng)同步采集學習者的表情數(shù)據(jù)和眼動 數(shù)據(jù)，并根據(jù)需要采集學習者行為數(shù)據(jù)從而識別學 習者的情感狀態(tài)和認知狀態(tài)。 圖 2遠程學習者與智能教學 Agent 的交互模型 如圖 2 所示，學習者的情感狀態(tài)識別結論由學 習者表情數(shù)據(jù)和眼動數(shù)據(jù)共同推理得出。這兩類數(shù) 據(jù)分別由攝像頭和眼動儀采集。根據(jù)情感狀態(tài)的三 個維度將兩類數(shù)據(jù)相互比對和驗證，從而提高情感 識別的可靠性。情感識別的目的主要是區(qū)分學習者 的疲勞、興趣與愉悅狀態(tài)，以此來判斷智能教學 Agent 是否需要對學習者的學習過程進行干預。判 斷依據(jù)以表情數(shù)據(jù)為主，眼動數(shù)據(jù)為輔。若二者均 超出閾值顯示負面消極，則直接進行干預;若二者 之一超出閾值顯示負面消極，則詢問學習者是否需 要幫助;若二者皆在正常閾值范圍內(nèi)，則保持沉 默，不作干擾。 學習者的認知狀態(tài)識別結論由學習者眼動數(shù)據(jù) 和行為數(shù)據(jù)共同推理得出。眼動儀所采集到的數(shù)據(jù) 分三部分:( 1)眼動狀態(tài)編碼后用以識別學習者的 情感狀態(tài);( 2)學習者的視線路徑用以判斷學習者 感知到的某一知識點的難易程度;( 3)視線內(nèi)容即 通過對屏幕熱點區(qū)域的識別提取出來的知識點，用 以作為智能教學 Agent 向學習者提供幫助的依據(jù)。 如果眼動數(shù)據(jù)顯示學習者感知到的學習內(nèi)容很容易， 則 Agent 不作干擾;如果學習者感知到的難度超出 正常閾值，則由 Agent 向學習者提供練習題，測試 其真實的認知狀態(tài)，或詢問學習者是否需要幫助， 根據(jù)行為結果選擇進行知識點提示或不作干擾。 情感與認知狀態(tài)的識別結果最終提交給智能教 學 Agent，然后由 Agent 進行情感和認知反饋。情 301 基于智能 Agent 的遠程學習者情感與認知識別模型 感反饋主要通過 Agent 的形象和語言:Agent 愉悅 或滑稽的表情、姿勢和語言可以讓學習者得到放 松，緩解其緊張、乏味或憋悶的心理狀態(tài)。同時， Agent 可以根據(jù)認知識別結果，為學習者提供有針 對性的知識點提示或學習建議。 四、小結 智能教學 Agent 與學習者的情感交互和認知支 持近年來受到越來越多國內(nèi)外學者的重視。只有有 效識別出學習者的情感與認知狀態(tài)，教學 Agent 在 改變學習者行為態(tài)度、幫助學習者獲取和理解知 識、支持學習者認知發(fā)展方面才能取得預期的效 果。本研究將眼動追蹤與表情識別技術相結合，提 出基于智能 Agent 的遠程學習者情感與認知識別模 型。該模型主要在兩個方面作了創(chuàng)新性的嘗試: ( 1)眼動追蹤與表情監(jiān)控迭代識別。由于目前通 過眼動追蹤分析學習者情感狀態(tài)和認知狀態(tài)的技術 并不成熟，識別準確率不高，本模型提出眼動追蹤 技術和表情識別技術相結合，將眼動追蹤數(shù)據(jù)分析 得到的情感狀態(tài)結論與表情監(jiān)控數(shù)據(jù)得到的情感狀 態(tài)結論相比對驗證，用以識別遠程學習者的情感狀 態(tài)，并與認知狀態(tài)的識別過程相迭代驗證，使模式 識別的結果更加精確，為人工智能情感識別研究提 供了新途徑和新思路。 ( 2)情感與認知識別過程 相耦合。學習者的情感狀態(tài)與認知狀態(tài)是相互作用 和相互影響的，所以單一的情感模型或者單一的認 知模型都難以準確客觀地描述學習者的狀態(tài)。本模 型提出將情感識別與認知識別過程相耦合，在此基 礎上優(yōu)化 Agent 的反饋，使其在提高學習者的興趣 和愉悅感的同時，更有針對性地提供知識點提示和 學習方法建議，促進學習者的認知發(fā)展。 參考文獻: 1 郭北苑， 方衛(wèi)寧( 2004) . 人機交互中的基于眼動儀 的輸入技術研究 J . 儀器儀表學報，( S1) : 55 57. 2 黃瑩， 王志良， 戚穎( 2008) . 基于視線追蹤的人機交互 仿真系統(tǒng)的研制與應用 J . 系統(tǒng)仿真學報， ( 24) : 6678 6682. 3 劉瑞安 . 靳世久， 宋維等( 2006) . 單攝像機視線追 蹤 J . 計算機應用， ( 9) : 2101 2104. 4 毛峽， 薛雨麗( 2011) . 人機情感交互 M . 北京: 科 學出版社 . 5 沈模衛(wèi)， 馮成志， 蘇輝( 2003) . 用于人計算機界面設計的 眼動時空特性研究 J . 航天醫(yī)學與醫(yī)學工程， ( 4) : 304 306. 6 屠大維， 趙其杰， 尹海榮 ( 2004) . 自動適應用戶頭 部位置變化的眼睛盯視輸入系統(tǒng) J . 儀器儀表學報， ( 6) : 828 831. 7 王志良， 祝長生， 解侖( 2009) . 人工情感M. 北 京: 機械工業(yè)出版社 . 8 吳彥文， 劉偉， 張昆明( 2008) . 基于情感識別的智能 教學系統(tǒng)研究 J . 計算機工程與設計，( 9) : 2350 2352. 9 解迎剛， 王志良( 2011) . 遠程教育中情感計算技術 M . 北京: 機械工業(yè)出版社 . 10 閆國利， 白學軍( 2012) . 眼動研究心理學導論揭 開心靈之窗奧秘的神奇科學 M . 北京: 科學出版社 . 11 詹澤慧( 2011) . 遠程教育中的智能教學代理: 角色、 設 計要素與應用方式 J . 現(xiàn)代遠程教育研究， ( 4) : 76 82. 12 Beatty，J. ( 1982)Task Evoked Papillary Respon- ses，Processing Load，and the Structure of Processing Resources J . Psychological Bulletin， 91( 2) : 276 292. 13D Mello，S. ，Olney，A. Williams，C. et al. ( 2012) . Gaze Tutor: A Gaze Reactive Intelligent Tutoring Sys- tem J . International Journal of Human Computer Studies， 70 ( 5) : 377 398. 14Hess，E.H.( 1972)Pupillometrics. Greenfield， N. S. Sternbach， R. A. AHandbook of Psychophysiology M . New York:Holt，Rinehart Winston: 491 531. 15Hess，E.H. ，Seltzer，A.L. Shien，J.M. ( 1965) . Pupil Responses of Hetero and Homosexual Males to Pictures of Men and Women:A Pilot Study J . Journal of Ab- normal Psychology， 70( 3) : 165 168. 16Jaques，P.A. ， Vicari， R. M. Pesty， S.et al. ( 2004) . Applying Affective Tactics for a Better LearningA . The Proceedings of the European Conference on Artificial Intelli- gence ( ECAI) C : 22 27. 17 Kahneman，D. Wright，P. ( 1971) . Changes of Pupil Size and Rehearsal Strategies in A Short Term Memory Task J . Quarterly Journal of Experimental Psychology， 23( 2) : 187 196 18Kapoor，A. ， Picard，R. W. Ivanov， Y. ( 2004) . Probabilistic Combination of Multiple Modalities to Detect Inter- est A . ICPR04 Proceedings of the Pattern Recognition C : 969 972. 19Li，Z. Mao，X. ( 2012) . Emotional Eye Movement Generation Based on Geneva Emotion Wheel for Virtual Agents J . Journal of Visual Languages and Computing， 23( 5) : 299 310. 20Lowenstein，O. Loewenfeld，I. E. ( 1964) The Sleep Waking Cycle and Papillary Activity J . Annals of the New York Academy of Sciences， 117: 142 156. 21 Mota， S. Picard， R. W. ( 2003) . Automated Pos- ture Analysis for Detecting Learners Interest LevelA. MIT Media Lab. Computer Vision and Pattern Recognition Workshop Z . 22Neji，M. Ben Ammar，M.( 2007) .Agent Based Collaborative Affective E Learning Framework J . The Electronic Journal of E Learning， 5( 2) : 123 134. 23 Ortony，A. ，Clore，G. L. Collins，A. ( 1988) . The Cognitive Structure of Emotions M . Cambridge，UK: Cam- bridge University Press: 8 19. 401 基于智能 Agent 的遠程學習者情感與認知識別模型 24Prendinger，H. ，Ma，C. Ishizuka，M. ( 2007) . Eye Movements as Indices for The Utility of Life Like Inter- face Agents:A Pilot StudyJ. Interacting with Computers 19 ( 2) : 281 292. 25 Rayner，K. ，Shen，D. Bai，X. ( 2008) . Cognitive and Cultural Influences on Eye Movements M . Tianjin:Tian- jin People s Publishing House: 122 124. 26Scherer，K. R. ( 2005) . What Are Emotions?And How Can They Be Measured?J . Social Science Information， 44( 4) : 693 727. 27Tecce，J.J.( 1992) . Psychology，Physiology and ExperimentalA.McGraw Hill. Yearbook of Science and Technology M . New York:McGraw Hill: 375 377. 28Zakharov，K. ( 2007) . Affect Recognition and Sup- port in Intelligent Tutoring Systems D . Christchurch: The Uni- versity of Canterbury. 收稿日期2013 08 13責任編輯汪燕 An Emotional and Cognitive Recognition Model for Distance learners Based on Intelligent Agent The Coupling of Eye Tracking and Expression Recognition Techniques Zhan Zehui Abstract:The accurate recognition of emotional and cognitive status is a significant foundation for effective interaction between instructional agents and distance learners Only when learners emotional and cognitive status were successfully identified，can instructional agents can achieve desired effects on