實(shí)用語(yǔ)音情感的識(shí)別

實(shí)用語(yǔ)音情感的識(shí)別

1語(yǔ)音情感自動(dòng)識(shí)別的應(yīng)用問(wèn)題人類(lèi)的情感能力在人們的工作和生活中起著不可或缺的重要作用。近年來(lái)，對(duì)情緒的研究已成為許多國(guó)際研究的熱點(diǎn)。情緒狀態(tài)的自動(dòng)評(píng)估具有重要的實(shí)際意義,特別是在航空航天等軍事應(yīng)用領(lǐng)域中,長(zhǎng)時(shí)間的、枯燥的、高強(qiáng)度的任務(wù)會(huì)使相關(guān)人員面臨嚴(yán)酷的生理以及心理考驗(yàn),引發(fā)一些負(fù)面的情緒。目前國(guó)內(nèi)外對(duì)情感識(shí)別的研究,主要集中在幾類(lèi)基本情感的識(shí)別上,尚不能滿(mǎn)足實(shí)際應(yīng)用中的需求。本文針對(duì)實(shí)際應(yīng)用中的需求,重點(diǎn)研究了語(yǔ)音通話(huà)中“煩躁”情感的自動(dòng)識(shí)別。在航空航天等應(yīng)用領(lǐng)域,長(zhǎng)時(shí)間的飛行任務(wù)中,由于枯燥的重復(fù)性作業(yè)、狹小的機(jī)艙空間、以及高度緊張的精神狀態(tài),都容易引發(fā)機(jī)組人員的煩躁情緒。煩躁情緒出現(xiàn)后,如果不妥善的處理,對(duì)人員的工作能力會(huì)造成重大的影響,甚至引起人為的疏忽導(dǎo)致事故。因此,對(duì)煩躁情感的自動(dòng)識(shí)別研究具有重要的實(shí)際意義。實(shí)際應(yīng)用當(dāng)中對(duì)語(yǔ)音情感識(shí)別技術(shù)提出了諸多挑戰(zhàn)。以往基于表演語(yǔ)料的識(shí)別系統(tǒng),在實(shí)際條件下,系統(tǒng)的情感模型與真實(shí)的情感數(shù)據(jù)不能符合得很好,導(dǎo)致了識(shí)別正確率的顯著下降。在本文中,我們將通過(guò)心理學(xué)實(shí)驗(yàn)的方法來(lái)采集實(shí)用語(yǔ)音情感的誘發(fā)數(shù)據(jù),盡可能地使訓(xùn)練數(shù)據(jù)接近真實(shí)的情感數(shù)據(jù)。在實(shí)際環(huán)境中出現(xiàn)的情感具有模糊性和多樣性,在實(shí)用語(yǔ)音情感的識(shí)別中,有必要考慮可拒判的識(shí)別方法。傳統(tǒng)的識(shí)別方法,是將出現(xiàn)的樣本硬性地劃分為已知類(lèi)別中的某一類(lèi),在實(shí)際中存在較多模糊不清的情感樣本時(shí),分類(lèi)的可信度就較差,誤判的概率就較高。因此本文采用可拒判的實(shí)用語(yǔ)音情感識(shí)別方法,對(duì)于不確定的或未知的情感樣本,分類(lèi)器給出拒絕判斷的識(shí)別結(jié)果,即不屬于需要檢測(cè)的實(shí)用語(yǔ)音情感類(lèi)別中的任何一類(lèi)。2要采集情感的采集根據(jù)Scherer的觀點(diǎn),人類(lèi)聲音中蘊(yùn)含的情感信息,受到無(wú)意識(shí)的心理狀態(tài)變化的影響,以及社會(huì)文化導(dǎo)致的有意識(shí)的說(shuō)話(huà)習(xí)慣的控制。然而在目前的語(yǔ)音情感數(shù)據(jù)的采集中,廣泛使用的是表演的方式,在實(shí)際的語(yǔ)音通話(huà)和自然交談中,說(shuō)話(huà)人的情感對(duì)語(yǔ)音產(chǎn)生的影響,常常是不受說(shuō)話(huà)人控制的,通常也不服務(wù)于有意識(shí)的交流目的,而是反映了說(shuō)話(huà)人潛在的心理狀態(tài)的變化。相反,演員能通過(guò)刻意的控制聲音的變化來(lái)表演所需要的情感。為了能更好地研究實(shí)際環(huán)境中的情感語(yǔ)音,有必要采集除表演語(yǔ)音以外的,較高自然度的情感數(shù)據(jù),在本文中,通過(guò)計(jì)算機(jī)游戲誘發(fā)情感的方法來(lái)采集實(shí)用語(yǔ)音情感數(shù)據(jù)。在實(shí)驗(yàn)心理學(xué)中,計(jì)算機(jī)游戲通過(guò)畫(huà)面和音樂(lè)的視覺(jué)、聽(tīng)覺(jué)刺激,能提供一個(gè)互動(dòng)的、具有較強(qiáng)感染力的人機(jī)交互環(huán)境,能夠有效地誘發(fā)出被試人員的正面與負(fù)面的情感。特別是在游戲接連勝利時(shí),被試人員由于在游戲虛擬場(chǎng)景中的成功與滿(mǎn)足,被誘發(fā)出喜悅的情感;在游戲連續(xù)失敗時(shí),被試人員在虛擬場(chǎng)景中受到挫折,容易引發(fā)包括煩躁在內(nèi)的負(fù)面情感。在進(jìn)行較長(zhǎng)時(shí)間的實(shí)驗(yàn)過(guò)程中,重復(fù)性的游戲操作和失敗,能順利地誘發(fā)煩躁情感。對(duì)于語(yǔ)句文本的設(shè)計(jì),考慮到煩躁等實(shí)用語(yǔ)音情感識(shí)別的一個(gè)主要應(yīng)用領(lǐng)域?yàn)殚L(zhǎng)期的航空、航天和航海任務(wù)所引發(fā)的負(fù)面情緒的評(píng)估,20句無(wú)情感傾向性的工作用語(yǔ)短句選自國(guó)際海事組織(IMO)發(fā)布的《標(biāo)準(zhǔn)航海通信用語(yǔ)》(SMCP)。3情感語(yǔ)音特征的分析3.1基音特征使用的一般特征情感特征的優(yōu)劣對(duì)情感最終識(shí)別效果的好壞有非常重要的影響,如何提取和選擇能反映情感變化的語(yǔ)音特征,是目前語(yǔ)音情感識(shí)別領(lǐng)域最重要的問(wèn)題之一。近年來(lái),Johnstone等人的研究證明語(yǔ)音信號(hào)中的音質(zhì)特征,不僅與情感的“效價(jià)維”關(guān)系密切,而且也能夠部分反映3維維度模型中的“控制維”的信息。用于識(shí)別和建模的特征向量一般有兩種構(gòu)造方法,全局統(tǒng)計(jì)特征和動(dòng)態(tài)特征。由于動(dòng)態(tài)特征對(duì)音位信息的依賴(lài)性太強(qiáng),不利于建立與文本無(wú)關(guān)的情感識(shí)別系統(tǒng),因此在本文中使用了74個(gè)全局統(tǒng)計(jì)特征,在下面列出,其中前36個(gè)特征為韻律特征,后38個(gè)特征為音質(zhì)特征。特征1-10:短時(shí)能量及其差分的均值、最大值、最小值、中值、方差;特征11-25:基音及其一階、二階差分的均值、最大值、最小值、中值、方差;特征26:基音范圍;特征27-36:發(fā)音幀數(shù)、不發(fā)音幀數(shù)、不發(fā)音幀數(shù)和發(fā)音幀數(shù)之比、發(fā)音幀數(shù)和總幀數(shù)之比、發(fā)音區(qū)域數(shù)、不發(fā)音區(qū)域數(shù)、發(fā)音區(qū)域數(shù)和不發(fā)音區(qū)域數(shù)之比、發(fā)音區(qū)域數(shù)和總區(qū)域數(shù)之比、最長(zhǎng)發(fā)音區(qū)域數(shù)、最長(zhǎng)不發(fā)音區(qū)域數(shù);特征37-66:第1、第2、第3共振峰及其一階差分的均值、最大值、最小值、中值、方差;特征67-69:250Hz以下譜能量百分比、650Hz以下譜能量百分比、4kHz以上譜能量百分比。特征70-74:諧波噪聲比(HNR)的均值、最大值、最小值、中值、方差。其中諧波噪聲比用來(lái)做為反映情感變化的音質(zhì)特征。負(fù)面與正面的情緒往往在愉悅度上具有較大的差異,因而與情感的愉悅度關(guān)系密切的音質(zhì)特征對(duì)識(shí)別實(shí)用語(yǔ)音情感具有重要的價(jià)值。3.2維pca空間根據(jù)文獻(xiàn)的研究結(jié)果,韻律特征主要和激活度的相關(guān)性較大,音質(zhì)特征與愉悅度的相關(guān)性較大。我們使用PCA方法分別進(jìn)行愉悅度和激活度上的特征空間分析,截取PCA的前兩個(gè)維度構(gòu)成2維特征空間,圖1為韻律特征構(gòu)成的2維PCA空間,圖2為音質(zhì)特征構(gòu)成的2維PCA空間。可以看到,在僅使用韻律特征時(shí),平靜和其余兩種情感能較好的區(qū)分開(kāi)來(lái)。然而煩躁和喜悅兩種情感,在激活度上差別相對(duì)較小,在僅使用韻律特征時(shí),兩種情感的樣本分布區(qū)域重疊的較多。這與韻律特征主要和激活維對(duì)應(yīng)的理論是一致的。使用音質(zhì)特征后,煩躁和喜悅的樣本之間能夠獲得較好的區(qū)分,音質(zhì)特征的使用對(duì)區(qū)分煩躁和喜悅兩種愉悅度上距離大的情感是有效的,說(shuō)明音質(zhì)特征與愉悅度的相關(guān)性較大。綜合使用74個(gè)韻律特征和音質(zhì)特征,如圖3所示,煩躁、喜悅和平靜3種情感的樣本分布得到了較好的區(qū)分。3.3特征評(píng)價(jià)準(zhǔn)則情感特征的選擇一直是語(yǔ)音情感識(shí)別中最受重視的問(wèn)題之一,對(duì)一個(gè)特征的優(yōu)劣的評(píng)價(jià),我們考慮兩個(gè)方面:特征的均值,以及特征的方差。綜合考慮這兩個(gè)方面的因素,采用fisher準(zhǔn)則進(jìn)行特征評(píng)價(jià)。對(duì)煩躁、喜悅、平靜3種情感選擇出的前10個(gè)最佳特征如表1所示。4基于似然概率模糊熵的拒判—可拒判的實(shí)用語(yǔ)音情感識(shí)別方法情感樣本在特征空間里的分布,可以用多個(gè)高斯函數(shù)的疊加來(lái)描述。理論上來(lái)說(shuō),只要混合足夠的高斯分量,高斯混合模型(GMM)能夠擬合任意的概率密度分布函數(shù)。本文采用GMM對(duì)煩躁、喜悅和平靜3種情感進(jìn)行建模,每種情感對(duì)應(yīng)一個(gè)GMM模型,通過(guò)最大后驗(yàn)概率準(zhǔn)則判決。xi表示第i條語(yǔ)句樣本,λj表示情感類(lèi)別,最大后驗(yàn)概率可以表示為其中p(xi|λj)通過(guò)每個(gè)情感的GMM模型得到。對(duì)于給定的語(yǔ)句樣本,特征矢量出現(xiàn)的概率是一個(gè)常量,假設(shè)每種情感等概率地出現(xiàn),C為情感類(lèi)別數(shù)。那么,待識(shí)別的樣本可以判決為其中j*表示樣本所屬的類(lèi)別。針對(duì)實(shí)際環(huán)境下情感的模糊與不確定性,實(shí)用語(yǔ)音情感種類(lèi)的多樣性,有必要研究可以拒判的識(shí)別實(shí)用語(yǔ)音情感方法。下面將采用一種基于似然概率模糊熵的拒判方法,采用模糊熵來(lái)對(duì)樣本與情感類(lèi)別之間的符合程度進(jìn)行度量,從而實(shí)現(xiàn)對(duì)未知類(lèi)別樣本的拒判。待識(shí)別的樣本到達(dá)時(shí),分別通過(guò)C種情感的GMM模型,得到C個(gè)GMM似然概率密度值,以GMM似然概率密度值映射到0到1之間作為第i個(gè)樣本歸屬于第j個(gè)情感類(lèi)別的隸屬度μj(xi):其中采用的投影函數(shù)為對(duì)于第j個(gè)情感類(lèi)別的所有可能的樣本構(gòu)成的模糊集Ej={x1,x2,,xn},其隸屬度分別為μj(x1),μj(x2),,μj(xn),令其模糊熵為e(μj(xi)),類(lèi)似于隨機(jī)熵的證明,可以得到模糊熵的表達(dá)式為其中K是大于0的數(shù)。將式(4)代入式(6)得,第i個(gè)樣本歸屬于第j個(gè)情感類(lèi)別的模糊熵為對(duì)第i個(gè)待識(shí)別樣本的C個(gè)似然概率值構(gòu)成的判決集合的平均模糊熵評(píng)價(jià)為將式(7)代入式(8)有對(duì)煩躁、喜悅和平靜3種情感類(lèi)別的GMM模型,可以得到3個(gè)GMM似然概率密度值,分別代表樣本與3個(gè)情感類(lèi)別的符合程度。似然概率密度值構(gòu)成的判決集合的模糊熵越高表示樣本屬于煩躁、喜悅和平靜3種情感的不確定程度越大,當(dāng)模糊熵超過(guò)一定閾值Th時(shí)則發(fā)生拒判,常數(shù)K取π/2。將式(9)代入式(10),即其中Th為實(shí)驗(yàn)中確定的模糊熵閾值。閾值的選取既要保證待識(shí)別的目標(biāo)情感類(lèi)別得到正確的識(shí)別,又要兼顧未知的樣本不確定的情感得到拒判。5模糊熵閾值對(duì)測(cè)試結(jié)果的調(diào)節(jié)進(jìn)行與說(shuō)話(huà)人無(wú)關(guān)文本無(wú)關(guān)的情感識(shí)別測(cè)試,每種情感隨機(jī)抽取400條,分為兩組,一組300條樣本,進(jìn)行GMM情感模型的訓(xùn)練,3種情感共計(jì)900條,另一組100條樣本,用于測(cè)試識(shí)別率,3種情感共計(jì)300條。在誘發(fā)語(yǔ)音庫(kù)的原始語(yǔ)音中,通過(guò)聽(tīng)辨實(shí)驗(yàn)被剔除的情感語(yǔ)句共有479條,這些語(yǔ)句被認(rèn)為是情感隸屬度較低的數(shù)據(jù),選取其中隸屬度最低的100條,作為不確定的未知情感類(lèi)別樣本,用于拒判測(cè)試。分別采用PCA方法的前10個(gè)特征維度和最佳特征組選擇方法的前10個(gè)最佳特征,使用可拒判的實(shí)用語(yǔ)音情感識(shí)別方法,對(duì)煩躁、喜悅和平靜3種情感的識(shí)別率進(jìn)行測(cè)試。模糊熵閾值的設(shè)置關(guān)系到樣本的拒判,設(shè)定得過(guò)低,則對(duì)不確定樣本的拒判效果不明顯。設(shè)定得過(guò)高,則拒判的過(guò)多,會(huì)使得系統(tǒng)平均識(shí)別率降低。當(dāng)部分樣本離已知的情感模型距離較遠(yuǎn)時(shí)需要拒判,同時(shí)拒判也會(huì)使得某些測(cè)試樣本不能得到正確識(shí)別。所以應(yīng)該在保證煩躁、喜悅、平靜等3個(gè)類(lèi)別能夠獲得滿(mǎn)意的識(shí)別率的前提下,調(diào)節(jié)模糊熵閾值。當(dāng)平均識(shí)別率發(fā)生明顯的下降時(shí),此時(shí)的閾值為上限,實(shí)驗(yàn)中模糊熵閾值設(shè)為0.1。本實(shí)驗(yàn)中的訓(xùn)練樣本數(shù)與測(cè)試樣本數(shù)比例為3:1,為了獲得更充分的實(shí)驗(yàn)測(cè)試數(shù)據(jù),將訓(xùn)練樣本集中的900條樣本隨機(jī)等分成3份后,與測(cè)試樣本集中的300條樣本輪換,進(jìn)行輪換測(cè)試。平均測(cè)試識(shí)別結(jié)果如表2和表3所示。根據(jù)識(shí)別測(cè)試結(jié)果,煩躁、喜悅和平靜3種情感,在本實(shí)驗(yàn)中容易發(fā)生混淆的是煩躁和平靜,喜悅和平靜。在情感的維度空間模型中喜悅與煩躁位于愉悅度的兩端,差別較大,而平靜位于它們之間,因此相對(duì)來(lái)說(shuō)喜悅?cè)菀着c平靜混淆,煩躁容易與平靜混淆。從特征空間中的樣本分布情況來(lái)看,平靜類(lèi)別的樣本分布明顯要比煩躁和喜悅的樣本分布更為集中,平靜情感的樣本具有較高的一致性,因此其識(shí)別率較煩躁和喜悅高。6不同實(shí)用語(yǔ)音情感的判別為進(jìn)行煩躁、喜悅和平靜等實(shí)用語(yǔ)音情感的識(shí)別,本文提取了74個(gè)語(yǔ)音情感特征,平均