生理語音學(xué)多模態(tài)研究

生理語音學(xué)多模態(tài)研究

音韻學(xué)是一門研究語言過程的學(xué)科。主要研究語音的生成、傳輸和接收過程中的性質(zhì)和規(guī)律，包括語言學(xué)、生理醫(yī)學(xué)、物理聲音、計(jì)算機(jī)科學(xué)、心理學(xué)等邊緣科學(xué)。早期稱它為“儀器語音學(xué)”和“實(shí)驗(yàn)語音學(xué)”。由于語音學(xué)的本質(zhì)是實(shí)驗(yàn)的,因此上個(gè)世紀(jì)70年代后就逐漸以“語音學(xué)”取代“儀器語音學(xué)”或“實(shí)驗(yàn)語音學(xué)”的名稱。中國的現(xiàn)代語音學(xué)研究可以認(rèn)為起始于劉復(fù)先生1924年在北京大學(xué)國文系建立“語音樂律實(shí)驗(yàn)室”,它標(biāo)志著現(xiàn)代語音學(xué)在中國進(jìn)入了系統(tǒng)科學(xué)的研究階段。劉復(fù)先生的《四聲實(shí)驗(yàn)錄》利用浪紋計(jì)第一次闡明了基頻是聲調(diào)的物理基礎(chǔ),這是中國學(xué)者對世界現(xiàn)代語音學(xué)理論的重要貢獻(xiàn)。后來周殿福,吳宗濟(jì)又采用了生理的研究方法出版了《普通話發(fā)音圖譜》?！稘h語普通話單音節(jié)語圖冊》(1986)和《實(shí)驗(yàn)語音學(xué)概要》(1989)的出版標(biāo)志著我國的現(xiàn)代語音學(xué)已有所發(fā)展并逐漸成熟。語音生理的研究一直是語音學(xué)研究的一個(gè)重要方面,包括言語產(chǎn)生,語音病理,嗓音類型和口鼻腔調(diào)音的機(jī)理,大腦感知和情感分析等方面。語音學(xué)科的前沿已逐漸從語音產(chǎn)生的聲學(xué)和生理平面接近語音產(chǎn)生的生物機(jī)制平面。本文對國內(nèi)主要的現(xiàn)代生理語音學(xué)儀器作一簡單介紹,并從不同的角度對其使用方法和研究內(nèi)容進(jìn)行說明。1發(fā)音部分的運(yùn)動模式1.1基于x-ct技術(shù)的語音生理研究3D電磁發(fā)音儀是近十年才發(fā)展和開發(fā)出來的語音學(xué)研究儀器。最大的優(yōu)點(diǎn)是可以實(shí)時(shí)監(jiān)測發(fā)音器官的運(yùn)動,在口腔發(fā)音部位的定位和時(shí)間域上都有較好的精度,并且對人體幾乎無損害,克服了以前基于X光技術(shù)儀器的局限,使得大量采集發(fā)音材料進(jìn)行語音的生理研究成為可能?？梢愿鶕?jù)研究目的將接收傳感器沿矢狀平面中線粘貼在發(fā)音人的上唇(UL)、下唇(LL)、下齒齦脊(Jaw)、舌尖(TT)、舌中(TM)、舌背(TD)等部位。社科院語言所(胡方,2003)和香港城市大學(xué)都有所研究。1.2其他儀器輔助使用使用靜態(tài)的腭位照相記錄音段的舌腭接觸和利用X光拍攝發(fā)音過程的方法,揭示了輔音的靜態(tài)發(fā)音部位和側(cè)視圖的動態(tài)口腔發(fā)音姿態(tài),但不能看到發(fā)音過程中口腔內(nèi)舌與上腭平面的動態(tài)接觸動態(tài)過程和精確的接觸位置。近十年來,國內(nèi)引入了動態(tài)電子腭位儀,它能真實(shí)反映語流中舌-腭接觸的細(xì)節(jié)變化,并可以和許多其它儀器聯(lián)合使用。按照發(fā)音人口腔形狀做成電子假腭(內(nèi)含62/96個(gè)銀質(zhì)電極),根據(jù)發(fā)音時(shí)舌頭與硬腭接觸時(shí)通電與否,舌腭的接觸位置在熒光屏上顯示出來(1秒種內(nèi)拍攝100張舌腭接觸照片),給研究者以視覺反饋。主要應(yīng)用:(1)觀察輔音的發(fā)音部位和發(fā)音方法以及語流中的協(xié)同發(fā)音現(xiàn)象(漢語普通話和上海話的發(fā)音研究);(2)幫助正常人學(xué)習(xí)第二語言;(3)用于腭裂手術(shù)后病人的語言恢復(fù)、分析腭裂發(fā)音位置的特點(diǎn)、研究代償性發(fā)音、舌頭手術(shù)后病人的語音恢復(fù)等;(4)聽力障礙者語音學(xué)習(xí),EPG提供的視覺反饋幫助聾兒學(xué)習(xí)正確的舌腭相對位置,糾正錯(cuò)誤發(fā)音。另外,需要注意的是:(1)EPG不能顯示氣流的異常,只能通過其他儀器來測試;(2)聲門或咽部和口腔同時(shí)發(fā)音時(shí),很難僅用一個(gè)儀器來診斷或治療,其他設(shè)備的輔助是必要的。2發(fā)表篇舍溫的空氣力學(xué)特性2.1統(tǒng)和測量方法PhonatoryAerodynamicSystem(PAS)簡稱氣流計(jì),系統(tǒng)包括帶有雙手柄的面罩(數(shù)據(jù)采集過程中由客戶手持),氣流面具,壓力傳感器,測試管和麥克風(fēng)。測量參數(shù)主要有:平均發(fā)音氣流率,聲壓級、基頻、肺活量、聲門阻抗、聲門下壓力和效率等?？捎糜诟鞣N言語(正常言語、病理言語、藝術(shù)言語)和各種呼吸方法條件下的測量。2.2鼻流計(jì)頭套治療的優(yōu)點(diǎn)鼻流計(jì)是用來診斷與治療鼻音問題,使用了一種頭套裝置,借助擋板分離了口腔和鼻腔。擋板頂部和底部分別裝有麥克風(fēng)用來采集聲音信號,兩個(gè)麥克風(fēng)采集得到的信號比值為鼻音度(大小表示鼻音的程度)。鼻流計(jì)頭套克服了侵入性設(shè)備和手持面罩的不足,并且在治療過程中伴隨著實(shí)時(shí)可視反饋,使得發(fā)音人能夠在發(fā)音過程中監(jiān)視與控制自己的腭咽部動作,采集得到的數(shù)據(jù)可以與正常數(shù)據(jù)相比較,用來分析被測對象的發(fā)音狀況。氣流氣壓和鼻流鼻壓計(jì)除了用于腭裂、運(yùn)動性言語障礙、聽力障礙、腭修復(fù)、功能性的鼻音問題等嗓音病變和語音矯正外;還可以提取各種不同的參數(shù)用于言語產(chǎn)生的生理研究。如:引起聲帶振動必要的氣流氣壓特性;聲門下壓與聲帶振動頻率及聲帶振動幅度關(guān)系;聲門阻抗與聲效率;氣流相關(guān)的嗓音發(fā)聲類型(漢語方言、少數(shù)民族語言)研究;鼻音和鼻化元音的實(shí)驗(yàn)語音學(xué)分析;呼吸和韻律特征研究;歌唱教學(xué)等。3生物信號采集3.1計(jì)算機(jī)化多導(dǎo)生理記錄澳大利亞ADInstruments公司的PowerLab(及MacLab)是用于生命科學(xué)領(lǐng)域的計(jì)算機(jī)化多導(dǎo)生理記錄儀,可以記錄、顯示和分析生理信號。系統(tǒng)由軟硬件組成,包含PowerLab記錄主機(jī)和LabChart及Scope軟件。3.2心功能超聲輔助研究可顯示大腦活動狀態(tài),通過血氧定量計(jì)測量大腦血氧成分的變化能夠反映言語活動時(shí)的興奮部位和程度,用于語音活動的大腦定位研究。另外可以利用功能性核磁共振成像技術(shù)(FunctionalMagneticResonanceImaging,FMRI)來研究正常言語、病理言語和歌唱條件下的大腦活動。類似的設(shè)備還有磁共振譜鏡成像(MagneticResonanceSpectroscopeImaging,MRSI)磁腦照相術(shù)(Magnetoencephalography,MEG)等。3.3肉層運(yùn)動模型肌肉收縮過程中的電位變化訊號,經(jīng)由肌肉表皮或插入肌肉層的電極擷取,并由傳導(dǎo)電線傳輸至信號放大器,可經(jīng)紙筆記錄器顯現(xiàn)于紙上或經(jīng)數(shù)字化轉(zhuǎn)換呈現(xiàn)于屏幕上,可用于發(fā)音器官的肌肉組織研究,建立言語肌肉運(yùn)動模型。3.4皮膚電阻的變化是測皮膚電反應(yīng)的儀器,當(dāng)人受到外界因素刺激引起情緒變化時(shí)皮膚內(nèi)血管的舒張和收縮,以及汗腺的分泌等變化,所引起皮膚電阻的變化。近幾年被引入人類的情感研究,用來建立情感模型,機(jī)器人情感和情感語音合成。3.5生物電導(dǎo)率的應(yīng)用北京大學(xué)首次采用呼吸綁帶采集胸圍或腹圍的變化來研究語音的韻律特性,對漢語普通話的語音教學(xué)和朗讀等都有實(shí)際應(yīng)用價(jià)值。另外國內(nèi)有不少單位開始引入了包括脈搏、血壓、心電在內(nèi)的生物電信號,獲取情感信息,探究其在人類情感方面的表現(xiàn)。例如,AboutFace就是一套可學(xué)習(xí)面部表情模式的系統(tǒng),它利用電壓感測眉毛的運(yùn)動來區(qū)分人們困惑及感興趣的狀態(tài),并通過照相錄影的方式偵測臉部表情變化,以確定個(gè)人表情模式。4語音發(fā)聲的生理機(jī)制及超聲信號現(xiàn)代語音學(xué)將語音的產(chǎn)生分為調(diào)音和發(fā)聲兩個(gè)部分,動態(tài)聲門研究使我們能夠更好地認(rèn)識語音發(fā)聲的生理機(jī)制、語音發(fā)聲的微觀運(yùn)動、各種發(fā)聲類型的特性以及和語音聲學(xué)信號的關(guān)系。觀察和測量聲帶振動的儀器主要有:聲帶肌電儀、喉頭鏡、電子聲門儀、高速頻閃和聲帶高速數(shù)字成像技術(shù)等。4.1等控制抗起氧肌肉發(fā)酵的肌肉這種方法多用于醫(yī)學(xué)研究,將電極刺入環(huán)甲肌、甲勺肌、側(cè)環(huán)肌等控制聲帶活動的肌肉內(nèi),檢測這些肌肉在說話時(shí)的電流情況,結(jié)合同步的語音聲學(xué)數(shù)據(jù),來研究這一系列肌肉在發(fā)音中的作用,用以建立肌肉運(yùn)動模型,設(shè)計(jì)文本或語音驅(qū)動的肌肉合成系統(tǒng)。4.2聲門開啟和抗干擾也稱喉頭儀,用于言語嗓音及與言語病理相關(guān)的診斷和科學(xué)研究。把一對電子感應(yīng)片(electrodes)分別固定在喉結(jié)兩邊,貼緊甲狀軟骨,發(fā)聲時(shí),一個(gè)非常微弱高頻信號從一個(gè)電子感應(yīng)片發(fā)送,被另一個(gè)接受。當(dāng)聲帶完全接觸,即聲門完全關(guān)閉時(shí),阻抗值最小;當(dāng)聲帶分開,即聲門完全開啟時(shí),阻抗大大增加。根據(jù)聲門阻抗信號,測出聲門的關(guān)閉點(diǎn)和開啟點(diǎn),并以可以計(jì)算出開商和速度商等參數(shù)(Fabre1957)。其優(yōu)勢在于非侵入性和抗干擾性,并且比語音信號更容易提取基頻。既可以獨(dú)立使用,也可以和其他生理儀器配合使用。關(guān)于嗓音發(fā)聲類型方面的研究,孔江平教授在《論語言的發(fā)聲》中對多個(gè)民族語言的發(fā)聲類型進(jìn)行了深入研究,得出常見的EGG信號有:1)正常嗓音(modalvoice);2)氣嗓音(breathyvoice);3)擠喉音(creakyvoice);4)汽泡音(vocalfry);5)緊嗓音(pressedvoice),如圖1、2所示。另外對漢語雙音節(jié)聲調(diào)的嗓音模型(1998)、莫語和藏語的嗓音發(fā)聲類型等方面都有深入的研究(1999,2000)。4.3記錄用速度觀察優(yōu)于以前的基于SVHS錄像帶的圖像錄制技術(shù)。數(shù)字頻閃檢測系統(tǒng)提供了聲帶振動時(shí)慢速運(yùn)動的觀察,能精確評價(jià)發(fā)聲功能和觀察并區(qū)分出聲帶的損傷程度。RLS頻閃鏡能觀察聲帶對稱性、振幅、周期性、振動閉合程度和粘膜波,如圖3所示。4.4合成影像的多態(tài)性使用改進(jìn)的攝像系統(tǒng),直接觀察聲帶的振動,可以與內(nèi)窺鏡以及常規(guī)光源綠光鏡相連接。VKG系統(tǒng)提供標(biāo)準(zhǔn)和高速兩種錄制模式。標(biāo)準(zhǔn)模式顯示的是黑白合成影像,幀速率為60Hz(NTSC)或者50Hz(PAL)。高速模式下,相機(jī)以每秒8000行的速率掃描單行線,在監(jiān)視器中逐行顯示,形成聲門連續(xù)循環(huán)的時(shí)間曲線圖。VKG可以作為頻閃系統(tǒng)測聲帶振動的理想補(bǔ)充,雖然VKG單線組成的影像不如頻閃那么直觀,但是可以觀察到聲帶的不對稱以及粘膜波動,而且成本較低。4.5速度和慢速回流HSP(High-speedphotography)和HSV(High-SpeedVideoSystem)能夠揭示其它技術(shù)不能看到的咽部行為,可用作數(shù)字頻閃系統(tǒng)的一個(gè)選件,也可以用作一個(gè)獨(dú)立系統(tǒng)。最新的高速數(shù)字成像系統(tǒng)可以達(dá)到每秒百萬幀的速度,由于采集圖像速度比聲帶振動速度快的多,可以觀察到聲帶的起止,非周期性振動,非常短的嗓音振動片斷和痙攣。影像采集完畢,可以進(jìn)行慢速回放用于診斷。但HSV對計(jì)算機(jī)硬件要求比較高,加上體積和價(jià)格等方面的因素,使其很難普遍性使用。國內(nèi)北京大學(xué)通過與東京大學(xué)言語生理系和香港大學(xué)言語聽覺科學(xué)研究部的合作,對常見的發(fā)聲類型和漢語普通話四聲的聲帶振動方式進(jìn)行了研究,并建立了高速數(shù)字成像的分析系統(tǒng)。研究主要是先對聲門錄像進(jìn)行圖像處理,然后提取出動態(tài)聲門的各項(xiàng)參數(shù),研究這些參數(shù)和語音聲學(xué)參數(shù)之間的關(guān)系,最終利用生理參數(shù)建立一個(gè)嗓音生理模型,合成出不同發(fā)聲類型的聲源。5動態(tài)聲波的研究在語音學(xué)研究中,動態(tài)聲道研究是一項(xiàng)最有價(jià)值的研究。最早是用X光進(jìn)行聲道研究,隨著技術(shù)的進(jìn)步,CT和核磁共振技術(shù)都有了很大的發(fā)展,聲道圖像信號從二維發(fā)展到三維,大大促進(jìn)了聲道的語音學(xué)研究。動態(tài)聲道的研究除了可以解釋語音學(xué)的許多理論問題外,其研究成果會大大促進(jìn)言語工程和言語病理的研究和實(shí)際應(yīng)用。另外,動態(tài)聲道的基本資料可以用來制作語音多媒體教學(xué)系統(tǒng),用于漢語普通話的語音教學(xué),特別是聾啞兒童的語音康復(fù)訓(xùn)練。5.1動態(tài)聲波研究的局限性X光照相是最早用于語音學(xué)研究的科學(xué)方法,用這種方法可以觀察到所有發(fā)音部位的準(zhǔn)確位置及其運(yùn)動情況。但由于X光對人體有一定的傷害,因此,樣本采集非常慎重,X光的動態(tài)聲道研究也局限在較小的范圍內(nèi)。雖然研究規(guī)模小,但由于涉及到言語產(chǎn)生的最根本問題,其研究的成果具有很高的學(xué)術(shù)價(jià)值。北京大學(xué)利用早期拍攝的漢語普通話的X光動態(tài)聲道資料對漢語語音產(chǎn)生的各個(gè)方面進(jìn)行了研究,包括動態(tài)聲道檢測、聲道截面積到共振峰的推算和動態(tài)聲道的生理模型研究三個(gè)方面。5.2mri三維立體道磁共振成像是斷層成像的一種,利用磁共振現(xiàn)象從人體中獲得電磁信號,并重建出人體信息。MRI比CT和PET的成像方式更多樣,原理更復(fù)雜,所得到信息也更豐富。MRI可以得到任何方向的斷層圖像,三維體圖像,甚至可以得到空間-波譜分布的四維圖像,不像CT那樣一層一層地掃描而有可能漏掉病變部位;也不會產(chǎn)生CT檢測中的偽影;無電離輻射,對人體沒有損傷;但MRI的空間分辨率不及CT,另外成本比較高?？捎脕慝@取元音、擦音等可延時(shí)發(fā)音的語音的聲道形狀,也可用于言語產(chǎn)生和感知的研究(大腦血流分布的變化)。由于成像需要的時(shí)間較長,所以不適用瞬時(shí)變化的語音。近幾年來,國外的研究機(jī)構(gòu)和高校開始利用MRI進(jìn)行言語產(chǎn)生的生理研究包括舌、腭、喉的運(yùn)動模型等。特別是北京大學(xué)利用核磁共振采集了漢語普通話基本元音的三維立體聲道樣本。同時(shí),也和日本尖端科技大學(xué)合作,采集動態(tài)核磁共振的聲道數(shù)據(jù),深入地進(jìn)行了漢語普通話語音產(chǎn)生的生理模型研究,如圖4所示。5.3ct超聲診斷的應(yīng)用CT是根據(jù)人體不同組織對X線的吸收與透過率的不同,攝下人體被檢查部位的斷面或立體的圖像。圖像以不同的灰度來表示,反映器官和組織對X線的吸收程度。CT有比X線圖像高的密度分辨力,因此,人體軟組織的密度差別雖小,吸收系數(shù)雖多接近于水,也能形成對比而成像,可以更好地顯示由軟組織構(gòu)成的器官,如腦、脊髓、縱隔、肺、肝、膽、胰以及盆部器官等,并在良好的解剖圖像背景上顯示出病變的影像。由于儀器本身比較昂貴,CT同MRI一樣,在生理語音學(xué)方面的成果還比較少,主要用于醫(yī)學(xué)病理診斷。超聲診斷技術(shù)作為影像診斷技術(shù)的一個(gè)重要組成部分,確有許多優(yōu)于CT、核磁共振的特點(diǎn)。但由于氣體對超聲波聲束的干擾,很難利用到言語器官的研究。6生理振動采集系統(tǒng)6.1振動傳感器的使用丹麥B&K公司擁有用于聲學(xué)、沖擊與振動測量的各種類型的傳感器和測量分析儀器。傳感器(transducer)可以采集聲音和振動信號,放大器(amplifier)對采集的信號進(jìn)行濾波和放大。PULSE多功能分析儀系統(tǒng)能夠?qū)β曇艉驼駝有盘栠M(jìn)行多方位的分析,如圖5所示。振動傳感器一方面可以用于研究不同語音類型和發(fā)聲類型在人體各個(gè)發(fā)音部位引起的振動情況,人體肌肉組織的固有頻率和代償性發(fā)音,發(fā)音腔體的共鳴分析,并輔助以其他生理信號的測量。另一方面可以用來做各種樂器聲腔的共鳴和振動研究,建立樂器發(fā)聲和共鳴模型,模擬樂器發(fā)聲。由于整套設(shè)備比較昂貴,很少有單位用來做語音學(xué)研究。6.2共鳴聲的產(chǎn)生可有效隔絕音源以外的一切背景