情感語音識別研究綜述

情感語音識別研究綜述

導(dǎo)師：陶智肖仲喆研究生：沈燕內(nèi)容概要課題背景及意義情感語音研究綜述研究方向選擇課題背景及意義語音是人類最有效、最自然的交流溝通手段,除了包含語義信息外,還攜帶有豐富的情感信息。人們的情感包括生理上的感覺，認(rèn)知以及人們的行為舉止。情感語音識別可應(yīng)用于聾啞人學(xué)說話；電視調(diào)臺；熱線電話。研究綜述——涉及的問題語音情感分類學(xué)語音庫聲學(xué)參量分類方法研究綜述-語音情感分類學(xué)情感語音并沒有統(tǒng)一的模型空間情感模型

情感輪等離散情感模型

高興，憤怒，悲傷，平靜，害怕，厭惡每類模型內(nèi)部無定論模型的選取依賴于應(yīng)用[1]林奕琳,韋崗,楊康才,語音情感識別的研究進(jìn)展.電路與系統(tǒng)學(xué)報(bào),2007.12(1):第90-98頁.研究綜述-語音庫的選擇現(xiàn)有的情感語言庫有很多公開庫，私有庫，商用庫[2]I.S.EngbergandA.V.Hansen,“DocumentationoftheDanishEmo-tionalSpeechDatabase(DES),”InternalAAUreport,CenterforPersonKommunikation,Denmark,1996.[3]F.Burkhardt,A.Paeschke,M.Rolfes,W.Sendlmeier,B.Weiss,AdatabaseofGermanemotionalspeech,in:ProceedingsoftheInterspeech2005,Lissabon,Portugal,2005,pp.1517–1520.名稱性質(zhì)語言Berlinemotionaldatabase[2]公開庫德語Danishemotionaldatabase[3]公開庫丹麥語Natural私有庫普通話BabyEars私有庫英語研究綜述-聲學(xué)參量情感語音的最佳特征：全局統(tǒng)計(jì)特征&局部特征

特征參數(shù)優(yōu)化多類特征組合[4]M.E.Ayadi,M.S.Kamel,andF.Karray,“SurveyonSpeechEmotionRecognition:Features,ClassificationSchemes,andDatabases,”PatternRecognition,vol.44,no.3,pp.572-587,Mar.2011.研究綜述-情感語音的最佳特征SpeechFeaturesContinuousQualitativeSpectralTEO-BasedPitchDurationFormantsVoicequality:happy,tense,angryLPCCMFCC[5]Kim,E.H.,Hyun,K.H.,“ImprovedEmotionRecognitionWithaNovelSpeaker-IndependentFeature,”IEEETransactionsonMechatronics,2009,14(3):317-325.[6]H.Teager,Someobservationsonoralairflowduringphonation,IEEETrans.Acoust.SpeechSignalProcess.1990,28(5):599–601.研究綜述-特征參數(shù)優(yōu)化

浮動前向選擇（SFFS）主成分分析（PCA）線性判別分析（LDA）[7]D.VerveridisandC.Kotropoulos,“AutomaticSpeechClassificationtofiveemotionalstatesbasedongenderinformation,”inProc.12thEuropeanSignalProcessingConf.,pp.341-344,Vienna,September,2004.[8]Z.Chuang,C.Wu,Emotionrecognitionusingacousticfeaturesandtextualcontent,MultimediaandExpo,2004.IEEEInternationalConferenceonICME’04,vol.1,2004,pp.53–56.[9]M.You,C.Chen,J.Bu,J.Liu,J.Tao,Emotionrecognitionfromnoisyspeech,in:IEEEInternationalConferenceonMultimediaandExpo,2006,2006,pp.1653–1656l.研究綜述-多類特征組合

結(jié)合韻律特征與語意信息結(jié)合韻律特征、語意信息以及語言結(jié)構(gòu)結(jié)合韻律特征以及視頻信息（人臉識別）[10]Chung-HsienWu,Wei-BinLiang,“EmotionRecognitionofAffectiveSpeechBasedonMultipleClassifiersUsingAcoustic-ProsodicInformationandSemanticLabels,”IEEETransactionsonAffectiveComputing,2011,2(1):10-21.[11]T.Otsuka,J.Ohya,Recognizingmultiplepersons’facialexpressionsusinghmmbasedonautomaticextractionofsignificantframesfromimagesequences,in:ProceedingsoftheInternationalConferenceonImageProcessing(ICIP-97),1997,pp.546–549.研究綜述-分類方法

GMM，SV