情感計(jì)算的研究進(jìn)展課件

1、情感計(jì)算的研究進(jìn)展 楊勇（副教授、博士研究生） /yangyong9/19/20221重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇概述情感識(shí)別情感建模情感推理9/19/20222重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇1.1 情感計(jì)算研究的意義目前人工智能的研究發(fā)展已經(jīng)達(dá)到了較高的水平，同時(shí)它的研究?jī)?nèi)容也在逐步擴(kuò)展和延伸。對(duì)人的情感和認(rèn)知的研究是人工智能的高級(jí)階段，它的研究將會(huì)大大促進(jìn)擬人控制理論、情感機(jī)器人、人性化的商品設(shè)計(jì)和市場(chǎng)開(kāi)發(fā)等方面的進(jìn)展，為最終營(yíng)造一個(gè)人與人、人與機(jī)器和諧的社會(huì)環(huán)境做出貢獻(xiàn)。對(duì)人的情感和認(rèn)知的研究必將為計(jì)算機(jī)的未來(lái)應(yīng)用展現(xiàn)一種全新的方向。9/19/20223重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇1.2

2、情感計(jì)算的概念MIT媒體實(shí)驗(yàn)室Picard教授于1995年提出了情感計(jì)算的概念。情感計(jì)算是與情感相關(guān)，來(lái)源于情感或能夠?qū)η楦惺┘佑绊懙挠?jì)算。情感計(jì)算包括情感識(shí)別、情感表示、情感建模、情感交互等四個(gè)方面。 9/19/20224重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇中國(guó)人工智能學(xué)會(huì)人工心理與人工情感專(zhuān)業(yè)委員會(huì)主任、北京科技大學(xué)王志良教授提出了人工心理理論。人工心理是利用信息科學(xué)的手段，對(duì)人的心理活動(dòng)（著重是人的情感、意志、性格、創(chuàng)造）更全面地再一次人工機(jī)器（計(jì)算機(jī)、模型算法等）模擬，其目的在于從心理學(xué)廣義層次上研究人工情感、情緒與認(rèn)知、動(dòng)機(jī)與情緒的人工機(jī)器實(shí)現(xiàn)的問(wèn)題。 9/19/20225重慶郵電大學(xué)計(jì)算機(jī)

3、學(xué)院 楊勇人工心理學(xué)是一門(mén)交叉科學(xué)，其理論根源來(lái)自腦科學(xué)、心理學(xué)、生理學(xué)、倫理學(xué)、神經(jīng)科學(xué)、人類(lèi)工學(xué)、感性工學(xué)、語(yǔ)言學(xué)、美學(xué)、法律、信息科學(xué)、計(jì)算機(jī)科學(xué)、自動(dòng)化科學(xué)、人工智能等。應(yīng)用范圍主要是情感機(jī)器人的技術(shù)支持、擬人機(jī)械、人性化商品設(shè)計(jì)、感性市場(chǎng)開(kāi)發(fā)、人工心理編程語(yǔ)言、人工創(chuàng)造技術(shù)、人類(lèi)情感評(píng)價(jià)計(jì)算機(jī)系統(tǒng)(虛擬技術(shù))、人類(lèi)心理數(shù)據(jù)庫(kù)及數(shù)學(xué)模型、人際和諧環(huán)境技術(shù)和人機(jī)和諧多通道接口等。9/19/20227重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇1.3 國(guó)內(nèi)外研究現(xiàn)狀MIT：/projects.phpCMU東京大學(xué)早稻田大學(xué)日內(nèi)瓦大學(xué) 情緒研究實(shí)驗(yàn)室伯明翰大學(xué)9/19/20228重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇

4、重慶大學(xué)：智能服務(wù)、增強(qiáng)現(xiàn)實(shí)、環(huán)境感知、智能手表等，注重軟件方面的研究。海南大學(xué)：軍用無(wú)線局域網(wǎng)結(jié)構(gòu)中的可穿戴計(jì)算機(jī)。哈工大：“具有六種面部表情及視覺(jué)的類(lèi)人頭像型機(jī)器人及行為研究” ，于2004年研制出具有八種面部表情的仿人頭像機(jī)器人系統(tǒng)，并進(jìn)行了表情實(shí)驗(yàn)，實(shí)現(xiàn)了喜、怒、哀、樂(lè)、悲傷、嚴(yán)肅、吃驚、自然(中性)等8種表情。9/19/202210重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇1.4 典型應(yīng)用索尼公司的AIBO狗 ：第一個(gè)實(shí)現(xiàn)規(guī)模商品化的寵物機(jī)器人（2006年生產(chǎn)6萬(wàn)只，收益10億美元）， QRIO、SDR-4X等寵物機(jī)器人。為有情感交互能力的機(jī)器人及相關(guān)的研究打開(kāi)了想象的空間。它們的共同特點(diǎn)是：對(duì)外

5、界刺激有反應(yīng)能力；能與人進(jìn)行生動(dòng)的交流，這種交流除了語(yǔ)言，還有面部表情、語(yǔ)凋和身體姿態(tài)等。9/19/202211重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇卡內(nèi)基梅隆大學(xué)的機(jī)器人接待員Valerie：Valerie的面孔形象出現(xiàn)在一個(gè)能夠轉(zhuǎn)動(dòng)方向的移動(dòng)屏幕上，向訪問(wèn)者提供一些天氣和方位方面的信息，還可以接電話、解答一些問(wèn)題；并且Valerie有自己的性格和愛(ài)好，情感表達(dá)較為豐富。9/19/202212重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇2.1 多模情感識(shí)別概述語(yǔ)音圖像姿態(tài)其他傳感器數(shù)據(jù)預(yù)處理特征抽取特征選擇情感模型心理學(xué)基礎(chǔ)情感建模各種情感識(shí)別方法識(shí)別結(jié)果9/19/202214重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇2.2 情感

6、特征情感行為識(shí)別：面部表情識(shí)別語(yǔ)音情感識(shí)別姿態(tài)識(shí)別生理模式識(shí)別：皮膚電反應(yīng)呼吸心率體溫腦電波等9/19/202215重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇特征抽?。喝四槞z測(cè)人臉邊緣檢測(cè)特征點(diǎn)定位基于樣例學(xué)習(xí)的面部特征點(diǎn)自動(dòng)標(biāo)定算法 特征點(diǎn)跟蹤光流跟蹤9/19/202217重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇預(yù)處理光照不理想遮擋側(cè)面人臉9/19/202218重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇2.3.2 語(yǔ)音識(shí)別特征（ERS: 37）：短時(shí)能量及短時(shí)平均幅度 基音周期 短時(shí)過(guò)零率 語(yǔ)速 線性預(yù)測(cè)系數(shù) 共振峰 Mel倒譜 和LPC倒譜 9/19/202219重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇噪音的預(yù)處理：語(yǔ)音增強(qiáng)發(fā)現(xiàn)抗噪性能比較

7、好的語(yǔ)音特征模型補(bǔ)償9/19/202220重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇2.4 識(shí)別方法常用的識(shí)別方法：ANNSVM模糊規(guī)則基于模板的方法HMM貝葉斯理論決策樹(shù)9/19/202221重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇新的嘗試（？）集成學(xué)習(xí)理論粒計(jì)算理論覆蓋機(jī)器學(xué)習(xí)理論流形學(xué)習(xí)（manifold learning ）理論9/19/202222重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇3.2 Ekman 情感分類(lèi)Ekman：根據(jù)達(dá)爾文的理論，提出存在6種基本情感：“憤怒”、“厭惡”、“恐懼”、“高興”、“悲傷”和“驚訝” ，基本情感直接影響情感分類(lèi)，與生命體的基本特征息息相關(guān)，其他情感都可以由這6種基本情感構(gòu)成，而且這

8、6種情感在文化傳統(tǒng)間的差異很小，因此，對(duì)這6種情感的研究?jī)?yōu)于其它情感模型。9/19/202224重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇3.3 OCC模型1988年，Ortony和Collins提出了著名的認(rèn)識(shí)評(píng)價(jià)情感模型OCC模型，這個(gè)模型根據(jù)不同的情感刺激提出了22類(lèi)情感 ，并對(duì)產(chǎn)生情感的刺激特征做了詳細(xì)描述。該模型一經(jīng)發(fā)表就被視為本領(lǐng)域的經(jīng)典情感模型，但因?yàn)槟Ｐ瓦^(guò)于復(fù)雜OCC模型被應(yīng)用于實(shí)際的應(yīng)用并不多。2003年，Ortony改進(jìn)了該模型，刺激的分類(lèi)趨向于積極和消極兩類(lèi)，同時(shí)提出還應(yīng)具有自己的目標(biāo)、評(píng)價(jià)標(biāo)準(zhǔn)和喜好這三種固有意識(shí)。9/19/202225重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇情感模型訓(xùn)練過(guò)程中要

9、解決的問(wèn)題是確定一個(gè)角色的心理模型參數(shù)，再由該參數(shù)模型產(chǎn)生情感表現(xiàn)的觀察序列?？梢圆捎肂aumWelch算法用于情感模型的參數(shù)估計(jì)。該方法基于統(tǒng)計(jì)模型規(guī)律，而不是基于行為模式的方法，建模簡(jiǎn)單，易于構(gòu)造不同性格人物的特點(diǎn)。9/19/202227重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇3.5基于心理能量思想的人工情感模型心理學(xué)基礎(chǔ)：動(dòng)力心理學(xué)。把人的心理系統(tǒng)看成一個(gè)動(dòng)力學(xué)系統(tǒng)。心理動(dòng)力學(xué)系統(tǒng)也需要能量（即心理能量）。心理能量就是推動(dòng)個(gè)體進(jìn)行各種心理活動(dòng)、行為的能力，有兩種基本表現(xiàn)形式：自由的心理能量和受約束的心理能量。心理能量對(duì)外的表現(xiàn)形式有兩個(gè)方面：一方面體現(xiàn)為驅(qū)動(dòng)個(gè)體進(jìn)行感興趣或與當(dāng)前需要相聯(lián)系的各種活動(dòng)

10、；另一方面（情感能量）伴隨著各種活動(dòng)的進(jìn)行以及根據(jù)活動(dòng)目標(biāo)是否達(dá)到、需要是否得到滿足，而以各種情感狀態(tài)和情緒表達(dá)的方式體現(xiàn)出來(lái)。9/19/202228重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇絕對(duì)的情感能量分配方程相對(duì)的情感能量分配方程情感能量分布描述空間9/19/202229重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇3.6 新的嘗試？基于粒計(jì)算理論的情感模型9/19/202230重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇4.1 情感推理的研究擬人情感推理的研究還是難題。情感狀態(tài)的確定受到心情、情緒、個(gè)性、周?chē)h(huán)境等諸多因素的影響。9/19/202231重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇4.2覺(jué)察上下文計(jì)算 與情感推理4.2.1覺(jué)察上下文計(jì)

11、算（Context Aware Computing） 概念：指系統(tǒng)感知，獲取，解釋?zhuān)芾砗褪褂蒙舷挛男畔?，?dòng)態(tài)地調(diào)整自身的行為，為用戶(hù)提供更滿意，更智能的信息和服務(wù)。9/19/202232重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇上下文信息：身份上下文?？臻g中的人的身份，各物體的ID空間上下文。人或物體的絕對(duì)位置，相對(duì)位置，人的朝向，是否在運(yùn)動(dòng)，站著還是坐著等時(shí)間上下文。是上午還是下午，工作日還是休息日，哪個(gè)季節(jié)環(huán)境上下文。環(huán)境的聲音分貝值，亮度，濕度，溫度等社會(huì)關(guān)系上下文。比如對(duì)一個(gè)家庭來(lái)說(shuō)，空間中的人是否是家的主人，朋友還是陌生人是相關(guān)的上下文。事務(wù)上下文。比如房間的功能，是會(huì)議室還是咖啡間，房間中是否在開(kāi)會(huì)，用戶(hù)是否忙等。9/19/202233重慶郵電大學(xué)計(jì)算機(jī)學(xué)院 楊勇定義情感的上下文結(jié)合上下文信息和情感識(shí)別的狀態(tài)進(jìn)行擬人