語(yǔ)音情感識(shí)別課件

語(yǔ)音情感識(shí)別（SER）2022/12/252目錄SER背景SER應(yīng)用SER發(fā)展與現(xiàn)狀SER流程情感理論和語(yǔ)音情感分類情感語(yǔ)音數(shù)據(jù)庫(kù)情感語(yǔ)音特征SER方法SER研究舉例SER存在的問(wèn)題及思考主要參考文獻(xiàn)2022/12/2531、SER背景2022/12/255語(yǔ)音情感識(shí)別為什么研究語(yǔ)音情感識(shí)別呢？語(yǔ)音是人與人之間溝通的重要手段，也是傳遞情感的重要媒介，因而也就成為智能人機(jī)交互中人們期待的最為方便、自然的交互方式之一。研究熱點(diǎn)2022/12/2562、SER應(yīng)用2022/12/257應(yīng)用為什么我們需要SER呢？服務(wù)業(yè)：電話通訊（呼叫中心）安全檢測(cè)：受害人呼救教育業(yè)：遠(yuǎn)程教學(xué)中的人文關(guān)懷，提高學(xué)習(xí)效率娛樂(lè)業(yè)：玩具（AIBO狗，PLEO恐龍，小Q）、游戲工業(yè)：汽車（車載監(jiān)控，安全性），手機(jī)，家電，情感香水噴射器醫(yī)學(xué)：情感虛擬人，情感交流…只要能夠想到的地方2022/12/258小Q2022/12/25103、SER發(fā)展與現(xiàn)狀2022/12/2512國(guó)外英國(guó)貝爾法斯特女王大學(xué)的情感語(yǔ)音組收集并創(chuàng)建了第一個(gè)大規(guī)模的高自然度聲音情感數(shù)據(jù)庫(kù)，RCowie,EDouglas-Cowie教授，2000年。重點(diǎn)研究心理學(xué)和語(yǔ)音分析。美國(guó)MIT媒體實(shí)驗(yàn)室情感計(jì)算研究所（）Picard教授領(lǐng)導(dǎo)的情感計(jì)算組是世界上第一個(gè)大規(guī)模研究情感及其計(jì)算的科研機(jī)構(gòu)。美國(guó)南加州大學(xué)語(yǔ)音情感組（）Narnyana教授，情感語(yǔ)音的聲學(xué)分析、合成和識(shí)別，以及有關(guān)笑聲的合成研究。2022/12/2514國(guó)內(nèi)普通話和西方語(yǔ)系有地域、文化差異，不能完全照搬。要研究普通話SER東南大學(xué)無(wú)線電工程系 趙力教授的實(shí)驗(yàn)小組在國(guó)內(nèi)率先開(kāi)展了普通話語(yǔ)音情感識(shí)別的研究，2001，采用PCA

南航電子工程系錢向民教授清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系 蔡蓮紅教授領(lǐng)導(dǎo)的人機(jī)語(yǔ)音交互實(shí)驗(yàn)室模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室 以陶建華博士為主的研究小組臺(tái)灣大同大學(xué)資訊工程學(xué)系 包蒼龍教授領(lǐng)導(dǎo)的數(shù)據(jù)通訊與信號(hào)處理實(shí)驗(yàn)室其他：中科院自動(dòng)化所、中國(guó)社科院語(yǔ)言研究所、哈工大、浙大、華南理工、中科大、江蘇大學(xué)等等2022/12/2515期刊會(huì)議國(guó)際語(yǔ)音通信協(xié)會(huì)(ISCA)每?jī)赡昱e辦一次Eurospeech和Interspeech國(guó)際會(huì)議。其他會(huì)議：ICASSP，ICSLP，ISCSLP

期刊：patternrecognition，JCR-2IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE，JCR-1JOURNALOFTHEACOUSTICALSOCIETYOFAMERICA，JCR-3SpeechCommunication，JCR-4SignalProcessing，JCR-3COMPUTERSPEECHANDLANGUAGE，JCR-3IEEETransactionsonAudioSpeechandLanguageProcessing，JCR-32022/12/25164、SER流程2022/12/2517SER流程語(yǔ)音情感數(shù)據(jù)庫(kù)預(yù)處理：A/D轉(zhuǎn)換，高頻部分預(yù)加重（使信號(hào)頻譜變得平滑）用窗函數(shù)分幀，如漢明窗在每一個(gè)語(yǔ)音分析幀上提取瞬時(shí)特征，具體分為時(shí)域分析和變換域分析。特征太多則需要降維。訓(xùn)練，可看成分類器，模式分類識(shí)別，模式匹配，分類2022/12/25185、情感理論和語(yǔ)音情感分類

——SER的前提一般認(rèn)為有六大類基本情感：恐懼(fear)生氣(anger)高興(happiness)悲傷(sadness)吃驚(surprise)厭惡(disgust)復(fù)合情感由基本情感變化或混合得到——情感的調(diào)色板理論1、基本情感和復(fù)合情感2022/12/252022/12/25212、情感空間模型情感之間是連續(xù)和漸變的過(guò)程激勵(lì)—評(píng)價(jià)—強(qiáng)度空間模型激活度或喚醒度評(píng)價(jià)度或愉悅度強(qiáng)度維度或控制維2022/12/25234、三級(jí)情感模型按照情感中表現(xiàn)的主動(dòng)和被動(dòng)的程度，由粗到細(xì)。2022/12/25246、情感語(yǔ)音數(shù)據(jù)庫(kù)

——SER的基礎(chǔ)和對(duì)象

因?yàn)楝F(xiàn)階段的SER系統(tǒng)大多是基于語(yǔ)料庫(kù)的統(tǒng)計(jì)學(xué)習(xí)來(lái)實(shí)現(xiàn)的2022/12/2526情感語(yǔ)音數(shù)據(jù)庫(kù)4、柏林情感數(shù)據(jù)庫(kù) 引導(dǎo)型情感語(yǔ)音。日常交流中常用的十個(gè)德語(yǔ)語(yǔ)句，共800句語(yǔ)句，含七種情感：中性、憤怒、恐懼、高興、悲傷、厭惡和驚奇。5、漢語(yǔ)普通話情感語(yǔ)音數(shù)據(jù)庫(kù)（1）由中國(guó)科學(xué)院自動(dòng)化研究所提供，所有的情感語(yǔ)料由專業(yè)和非專業(yè)人員模仿情感進(jìn)行錄制，共9600條語(yǔ)音，包括6種情感:高興、生氣、驚奇、恐懼、悲傷、平靜。（2）東南大學(xué)無(wú)線工程系制作完成，表演型情感語(yǔ)音。由10名善于表演的男性話者對(duì)4個(gè)語(yǔ)句分別用喜、怒、驚、悲四種情感各發(fā)音三次收集到情感語(yǔ)句480句。其他包括西班牙語(yǔ)、瑞典語(yǔ)、荷蘭語(yǔ)等等。微軟研究院，浙大CCNT實(shí)驗(yàn)室的MASC2022/12/2527情感語(yǔ)音數(shù)據(jù)的獲取方法自己怎樣獲取語(yǔ)音情感數(shù)據(jù)呢？比較困難，方法：演員表演：想象，朗讀。一句話多種情感，去除語(yǔ)義的影響。虛擬環(huán)境中誘發(fā)情感：例如玩游戲?，F(xiàn)實(shí)生活：最真實(shí)，較困難。廣播、電視、媒體2022/12/2528情感語(yǔ)音數(shù)據(jù)的獲取的原則Douglas-Cowie提出了情感數(shù)據(jù)庫(kù)建立必須依據(jù)的四個(gè)原則：①真實(shí)性，數(shù)據(jù)庫(kù)中的素材應(yīng)是人們所經(jīng)歷過(guò)的真實(shí)的情感體驗(yàn)。②交互性，數(shù)據(jù)庫(kù)中的情感素材應(yīng)是人們?cè)谌伺c人之間交互過(guò)程中產(chǎn)生的，這樣更接近于語(yǔ)音情感人機(jī)交互的目的。③連續(xù)性，情感素材應(yīng)在連續(xù)的情感場(chǎng)景中發(fā)生，存在著多種情感狀態(tài)的轉(zhuǎn)移。④豐富性，數(shù)據(jù)庫(kù)中的情感素材應(yīng)盡可能地包含多媒體信息，如聲音，表情等。2022/12/25307、情感語(yǔ)音特征

不同的情感，不同的語(yǔ)音特征2022/12/2531情感語(yǔ)音特征不同情感對(duì)語(yǔ)音產(chǎn)生了什么影響？可以通過(guò)哪些特征反映出來(lái)呢？韻律特征：最主要的語(yǔ)音情感特征。如語(yǔ)速、音量、音調(diào)等，例如發(fā)怒時(shí)，都會(huì)增加。語(yǔ)音特征：振幅、共振峰頻率、基音頻率、持續(xù)時(shí)間等2022/12/2532特征應(yīng)該具有的特點(diǎn)區(qū)分性。特征應(yīng)具有很高的區(qū)別情感的能力，而在同類的情感語(yǔ)音發(fā)生變化時(shí)保持相對(duì)穩(wěn)定。魯棒性。當(dāng)語(yǔ)音受到諸如傳輸通道、噪聲等的影響時(shí)，特征對(duì)這些影響的敏感性較小?？杀硎拘?。只有轉(zhuǎn)化為易于計(jì)算機(jī)表示和計(jì)算的特征才能用于自動(dòng)語(yǔ)音情感識(shí)別。提取的效率。特征提取的時(shí)間應(yīng)越快越好，對(duì)于實(shí)時(shí)性要求較高的場(chǎng)合特征提取的效率尤為重要。2022/12/2533情感語(yǔ)音特征情感語(yǔ)音特征的具體提取方法教材P85注意事項(xiàng)：韻律特征和語(yǔ)音特征要結(jié)合分析情感語(yǔ)音和平靜語(yǔ)音相對(duì)關(guān)系，找出這種相對(duì)特征的構(gòu)造、特點(diǎn)和分布規(guī)律。以消除語(yǔ)義影響。2022/12/25348、SER方法

SER本質(zhì)上屬于模式識(shí)別2022/12/2535SER方法哪些模式識(shí)別的方法可用于SER呢？哪些分類算法？PCA決策樹(shù)ANNK近鄰GMMVQ、DTW、HMM樸素貝葉斯SVM集成學(xué)習(xí)算法：多個(gè)子分類器組合成一個(gè)模型，如Boosting，BaggingEA、GA半監(jiān)督學(xué)習(xí)2022/12/2536PCA1、進(jìn)行規(guī)范化處理，即將數(shù)據(jù)都轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布序列。2、假設(shè)有M個(gè)樣本信號(hào)，S個(gè)特征參數(shù)，J種情感類別。例如：J=6，S=8。分別計(jì)算第s個(gè)特征參數(shù)相對(duì)于不同的情感類別j所具有的均值μjs和標(biāo)準(zhǔn)差σjs，并計(jì)算：第s個(gè)特征參數(shù)在情感類別中的分離性：

集中性：

辨別能力：3、對(duì)S個(gè)參數(shù)按Hs由大到小排序，取前q個(gè)作為識(shí)別用特征。4、求出每種情感類別訓(xùn)練樣本主元素特征矢量集的重心和方差。5、待識(shí)別樣本的主元素向量和各類別重心的馬氏距離，距離最近的即為識(shí)別結(jié)果。2022/12/2537識(shí)別引擎實(shí)例中科院語(yǔ)音情感識(shí)別引擎評(píng)價(jià)指標(biāo)識(shí)別率計(jì)算效率2022/12/25389、SER研究舉例

黃程韋,趙艷等.實(shí)用語(yǔ)音情感的特征分析與識(shí)別的研究.電子與信息學(xué)報(bào),2011,33(1)2022/12/2539語(yǔ)音情感數(shù)據(jù)的采集語(yǔ)音情感數(shù)據(jù)的采集：通過(guò)計(jì)算機(jī)游戲誘發(fā)情感。愉悅、煩躁、平靜依據(jù)：在實(shí)驗(yàn)心理學(xué)中，計(jì)算機(jī)游戲通過(guò)畫面和音樂(lè)的視覺(jué)、聽(tīng)覺(jué)刺激，能提供一個(gè)互動(dòng)的、具有較強(qiáng)感染力的人機(jī)交互環(huán)境，能夠有效地誘發(fā)出被試人員的正面與負(fù)面的情感。特別是在游戲接連勝利時(shí)，被試人員由于在游戲虛擬場(chǎng)景中的成功與滿足，被誘發(fā)出喜悅的情感；在游戲連續(xù)失敗時(shí)，被試人員在虛擬場(chǎng)景中受到挫折，容易引發(fā)包括煩躁在內(nèi)的負(fù)面情感。在進(jìn)行較長(zhǎng)時(shí)間的實(shí)驗(yàn)過(guò)程中，重復(fù)性的游戲操作和失敗，能順利地誘發(fā)煩躁情感。對(duì)于語(yǔ)句文本的設(shè)計(jì)，考慮到煩躁等實(shí)用語(yǔ)音情感識(shí)別的一個(gè)主要應(yīng)用領(lǐng)域?yàn)殚L(zhǎng)期的航空、航天和航海任務(wù)所引發(fā)的負(fù)面情緒的評(píng)估，20句無(wú)情感傾向性的工作用語(yǔ)短句選自國(guó)際海事組織(IMO)發(fā)布的《標(biāo)準(zhǔn)航海通信用語(yǔ)》(SMCP)。2022/12/2540特征提取使用了74個(gè)全局統(tǒng)計(jì)特征，前36個(gè)為韻律特征，后38個(gè)特征為音質(zhì)特征。韻律特征主要和激活度的相關(guān)性較大，音質(zhì)特征與愉悅度的相關(guān)性較大特征1-10：短時(shí)能量及其差分的均值、最大值、最小值、中值、方差；特征11-25：基音及其一階、二階差分的均值、最大值、最小值、中值、方差；特征26：基音范圍；特征27-36：發(fā)音幀數(shù)、不發(fā)音幀數(shù)、不發(fā)音幀數(shù)和發(fā)音幀數(shù)之比、發(fā)音幀數(shù)和總幀數(shù)之比、發(fā)音區(qū)域數(shù)、不發(fā)音區(qū)域數(shù)、發(fā)音區(qū)域數(shù)和不發(fā)音區(qū)域數(shù)之比、發(fā)音區(qū)域數(shù)和總區(qū)域數(shù)之比、最長(zhǎng)發(fā)音區(qū)域數(shù)、最長(zhǎng)不發(fā)音區(qū)域數(shù)；2022/12/2541特征提取特征37-66：第1、第2、第3共振峰及其一階差分的均值、最大值、最小值、中值、方差；特征67-69：250Hz以下譜能量百分比、650Hz以下譜能量百分比、4kHz以上譜能量百分比。特征70-74：諧波噪聲比(HNR)的均值、最大值、最小值、中值、方差。諧波噪聲比用來(lái)做為反映情感變化的音質(zhì)特征。2022/12/2542降維采用fisher準(zhǔn)則進(jìn)行特征評(píng)價(jià)，選擇前10個(gè)最佳特征。2022/12/2543可拒判的識(shí)別方法拒判：實(shí)際環(huán)境中情感具有模糊和不確定性，存在不屬于任何一種情感的情況。方法：GMM+似然概率模糊熵采用GMM對(duì)煩躁、喜悅和平靜3種情感進(jìn)行建模，每種情感對(duì)應(yīng)一個(gè)GMM模型，通過(guò)最大后驗(yàn)概率準(zhǔn)則判決。xi表示第i條語(yǔ)句樣本，λj表示情感類別j，最大后驗(yàn)概率可以表示為：P(xi|λj)通過(guò)每個(gè)情感的GMM模型得到。P(λj)=1/C，1≤j≤C待識(shí)別的樣本判決為：2022/12/2544可拒判的識(shí)別方法待識(shí)別的樣本到達(dá)時(shí)，分別通過(guò)C種情感的GMM模型，得到C個(gè)GMM似然概率密度值，以GMM似然概率密度值映射到0到1之間作為第i個(gè)樣本歸屬于第j個(gè)情感類別的隸屬度μj(xi)：2022/12/2545可拒判的識(shí)別方法整理一下：對(duì)煩躁、喜悅和平靜3種情感類別的GMM模型，可以得到3個(gè)GMM似然概率密度值，分別代表樣本與3個(gè)情感類別的符合程度。似然概率密度值構(gòu)成的判決集合的模糊熵越高表示樣本屬于煩躁、喜悅和平靜3種情感的不確定程度越大，當(dāng)模糊熵超過(guò)一定閾值Th時(shí)則發(fā)生拒判，常數(shù)K取π/2。其中Th為實(shí)驗(yàn)中確定的模糊熵閾值。閾值的選取既要保證待識(shí)別的目標(biāo)情感類別得到正確的識(shí)別，又要兼顧未知的樣本不確定的情感得到拒判。2022/12/2546實(shí)驗(yàn)測(cè)試和結(jié)果2022/12/254710、SER存在的問(wèn)題及思考2022/12/2548SER存在的問(wèn)題(1)情感語(yǔ)音語(yǔ)料有效的獲取方法。(2)情感定義不明確，人們尚未對(duì)情感分類標(biāo)準(zhǔn)達(dá)成共識(shí)，不便于計(jì)算機(jī)語(yǔ)言描述。(3)尚未找到簡(jiǎn)單、可靠的語(yǔ)音情感特征參數(shù)。語(yǔ)音信號(hào)中包含除情感信息外的其它信息，并且，語(yǔ)音情感信息容易受環(huán)境、生理、心理、文化背景、語(yǔ)境、語(yǔ)義等因素的影響。(4)情感特征的準(zhǔn)確提取是語(yǔ)音情感識(shí)別中的難點(diǎn)，例如基音周期的準(zhǔn)確提取方法。(5)缺乏高效、穩(wěn)定的語(yǔ)音情感識(shí)別算法，大多數(shù)算法對(duì)實(shí)驗(yàn)數(shù)據(jù)的依賴性較強(qiáng)，鮮有文獻(xiàn)從算法機(jī)理上進(jìn)行分析比較。(6)很多結(jié)論和方法都有其特定的適用條件，對(duì)這些研究成果優(yōu)化組合是一個(gè)重要的課題。(7)評(píng)價(jià)時(shí)，需要大量的仿真測(cè)試，目前缺乏開(kāi)發(fā)出合理有效的系統(tǒng)平臺(tái)來(lái)完成這些測(cè)試任務(wù)。2022/12/254911、主要參考文獻(xiàn)2022/12/2550學(xué)位論文[1]趙臘生.語(yǔ)音情感特征提取與識(shí)別方法研究.大連理工大學(xué)博士學(xué)位論文,2010[2]陸捷榮.基于流形學(xué)習(xí)與D-S證據(jù)理論的語(yǔ)音情感識(shí)別研究.江蘇大學(xué)碩士學(xué)位論文,2010[3]劉佳.語(yǔ)音情感識(shí)別的研究與應(yīng)用.浙江大學(xué)博士學(xué)位論文,2009[4]陳佳.語(yǔ)音信號(hào)情感識(shí)別.中南大學(xué)碩士學(xué)位論文,20082022/12/2551學(xué)位論文[5]謝環(huán).基于特征選擇與融合的語(yǔ)音情感識(shí)別研究與實(shí)現(xiàn),南京航空航天大學(xué)碩士學(xué)位論文,2008[6]尤鳴宇.語(yǔ)音情感識(shí)別的關(guān)鍵技術(shù)研究.浙江大學(xué)博士學(xué)位論文,2007[7]韓文靜.基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別技術(shù)研究.哈爾濱工業(yè)大學(xué)碩士學(xué)位論文,2007[8]謝波.普通話語(yǔ)音情感識(shí)別關(guān)鍵技術(shù)研究.浙江大學(xué)博士學(xué)位論文,20062022/12/2552中文期刊論文[1]黃程韋,趙艷等.實(shí)用語(yǔ)音情感的特征分析與識(shí)別的研究.電子與信息學(xué)報(bào),2011,33(1)[2]林奕琳,韋崗,楊康才.語(yǔ)音情感識(shí)別的研究進(jìn)展.電路與系統(tǒng)學(xué)報(bào),2007,12(1)[3]郭鵬娟,蔣冬梅.基于基頻特征的情感語(yǔ)音識(shí)別研究.計(jì)算機(jī)應(yīng)用研究,2007,24(10)[4]姜曉慶,田嵐,崔國(guó)輝.多語(yǔ)種情感語(yǔ)音的韻律特征分析和情感識(shí)別研究.聲學(xué)學(xué)報(bào),2006,3(13)[5]趙力,

錢向民等,語(yǔ)音信號(hào)中的情感識(shí)別研究.軟件學(xué)報(bào),2001,12(7)2022/12/2553英文期刊論文[1]A