漢語(yǔ)普通話雙音子和三音子結(jié)構(gòu)系統(tǒng)以及相關(guān)語(yǔ)料庫(kù)的設(shè)計(jì)

1、漢語(yǔ)普通話雙音子和三音子結(jié)構(gòu)系統(tǒng)以及相關(guān)語(yǔ)料庫(kù)的設(shè)計(jì)摘要 自然語(yǔ)音處理最感頭疼的問(wèn)題, 就是難以對(duì)付連續(xù)話語(yǔ)中復(fù)雜的語(yǔ)音變化. 語(yǔ)音學(xué)界和言語(yǔ)工程學(xué)界經(jīng)過(guò)長(zhǎng)期的探索發(fā)現(xiàn), 雙音子和三音子是比較理想的、能夠較好地覆蓋各崐種語(yǔ)音變化現(xiàn)象的處理單元. 所以, 在語(yǔ)音合成和語(yǔ)音識(shí)別中, 特別是在波形拼接合成方崐面已經(jīng)得到廣泛的應(yīng)用. 但是, 在國(guó)內(nèi), 人們尚不十分熟悉它們.本文將扼要地介紹這些概崐念, 并概括描寫(xiě)漢語(yǔ)普通話的雙音子和三音子結(jié)構(gòu)系統(tǒng)及相關(guān)語(yǔ)料庫(kù)的設(shè)計(jì).1.0 綜述 當(dāng)前, 言語(yǔ)的合成和識(shí)別都已進(jìn)入連續(xù)話語(yǔ)的階段, 而影響合成音質(zhì)和識(shí)別率提高的攔路虎就是語(yǔ)音的多變性問(wèn)題. 因?yàn)樽匀辉捳Z(yǔ)并不

2、是各種語(yǔ)音單位諸如音素或音節(jié)的簡(jiǎn)單機(jī)械的串列, 而是按照一定語(yǔ)音結(jié)合和變化規(guī)則構(gòu)成的有機(jī)體系. 在這個(gè)體系里,各相鄰語(yǔ)音單元之間由于協(xié)同發(fā)音(coarticulation)作用而彼此滲透, 在空間和時(shí)間域里形成了相互套疊(telescope or overlap)的局面(Zsiga, 1994; Wood, 1991), 其中相互疊接的部分叫做音聯(lián)(juncture)(許毅, 1989), 它通常都是對(duì)應(yīng)于一個(gè)聲學(xué)上極其易變的區(qū)域. 不同語(yǔ)音單元之間的音聯(lián)既是它們相互連接和分界的表現(xiàn), 又是體現(xiàn)它們隨環(huán)境而變化的實(shí)體. 正是這個(gè)部分給自然言語(yǔ)處理帶來(lái)了極大的困難. 所以, 無(wú)論是合成還是識(shí)別方

3、面, 都迫切希望能夠定量地獲得這種音聯(lián)的規(guī)律及相關(guān)的模式. 然而, 無(wú)論從哪個(gè)角度看, 目前尚未達(dá)到能夠控制對(duì)應(yīng)于這種語(yǔ)音變化的所有參量的水準(zhǔn). 在這種情況下, 基于語(yǔ)料庫(kù)的統(tǒng)計(jì)研究方法被廣泛采用, 語(yǔ)料庫(kù)的價(jià)值已經(jīng)獲得廣泛的認(rèn)可. 而且, 國(guó)際上還創(chuàng)立了語(yǔ)料庫(kù)建設(shè)的協(xié)調(diào)組織(COCOSDA). 那么, 就合成和識(shí)別而言, 語(yǔ)料庫(kù)究竟怎樣選取言語(yǔ)樣本才能夠全面覆蓋上述音聯(lián)現(xiàn)象呢? 我們認(rèn)為, 這同合成和識(shí)別的單元選擇密切相關(guān). 長(zhǎng)期以來(lái), 人們?cè)诤铣珊妥R(shí)別的單元選擇方面下了不少功夫. 起初, 音位或音素被認(rèn)為是最合適的處理單元. 因?yàn)樵谌魏握Z(yǔ)言里, 音位的數(shù)目總是相當(dāng)有限的, 以它們作單元最為

4、經(jīng)濟(jì). 但是, 實(shí)踐證明, 假如采用音位作為拼接合成的單元, 合成言語(yǔ)的音質(zhì)低劣, 就是加上音位變體也還是不行. 一個(gè)主要的原因就在于無(wú)法含蓋音位邊界上那個(gè)聲學(xué)上易變區(qū)域的特性. 同樣, 音位也不適宜用作連續(xù)話語(yǔ)識(shí)別的單元. 因?yàn)樵谶B續(xù)話語(yǔ)里, 音位之間相互疊接, 彼此的界限不分明, 這樣的單元在信號(hào)處理上是很難定位、 很難進(jìn)行自動(dòng)切分的. 為了解決這個(gè)問(wèn)題, 有的系統(tǒng)就采用較大的言語(yǔ)單位如音節(jié)或詞作為處理單元.盡管同音位相比, 音節(jié)和詞是相對(duì)穩(wěn)定的語(yǔ)音單位, 但是, 類(lèi)似于音位方面的問(wèn)題在這里依然存在. 因?yàn)橹辽僭谝艄?jié)或詞的邊界上, 仍然存在相鄰音位之間的音聯(lián)問(wèn)題, 因而每個(gè)音節(jié)或詞在語(yǔ)流中

5、也是隨環(huán)境而變的. 如果要用它們來(lái)生成連續(xù)話語(yǔ)或者以它們作為識(shí)別單 元的話, 那么, 所需的語(yǔ)料庫(kù)就必須存儲(chǔ)每個(gè)音節(jié)和詞的所有可能的環(huán)境變體. 顯然, 這在實(shí)際上是很難做到的, 更不用說(shuō)怎樣滿(mǎn)足無(wú)限詞匯的話語(yǔ)生成和大詞匯量、非特定人、連續(xù)話語(yǔ)識(shí)別的需要了. 即使在有限詞匯的小型系統(tǒng)中可以采用這種方法建庫(kù)的話, 其中也必然包含大量不必要的存儲(chǔ)消耗, 因?yàn)楦鱾€(gè)環(huán)境變體無(wú)法共享語(yǔ)料. 于是, 言語(yǔ)工程方面又轉(zhuǎn)向某些低于詞(subword)的、甚至次音位(subphoneme)的探索. 終于發(fā)現(xiàn), 半音節(jié)或雙音子和三音子大小的單元是能夠覆蓋言語(yǔ)中音聯(lián)現(xiàn)象、 便于建立協(xié)同發(fā)音模型的、比較理想的語(yǔ)音處理單

6、元(Lee, 1990). 引進(jìn)隨環(huán)境而定的音子的概念開(kāi)創(chuàng)了一個(gè)建立低于詞的模型的新方法. 所謂音子(phone), 是語(yǔ)音之間在聲學(xué)上連貫的、粘著的部分, 它對(duì)應(yīng)于聲學(xué)上的音段(Keller, 1995). 它跟音位或音素不同. 音位是區(qū)別性的語(yǔ)音, 對(duì)應(yīng)于聽(tīng)覺(jué)上的音段. 通常, 聲學(xué)上的音段多于聽(tīng)覺(jué)上的音段. 例如, 漢語(yǔ)的音節(jié)"八"在聽(tīng)感上是由/b/和/a/兩個(gè)區(qū)別性的音段構(gòu)成的; 然而, 在聲學(xué)上, 則除了/b/和/a/以外, 在它們之間還存在著音聯(lián), 即那個(gè)由于協(xié)同發(fā)音而產(chǎn)生的過(guò)渡音段, 這些在聲學(xué)上就叫作音子. 它們雖然不是區(qū)別性的語(yǔ)音, 但卻是自然言語(yǔ)中普遍存

7、在的、語(yǔ)音處理上難于回避的語(yǔ)音現(xiàn)象. 雙音子(diphone) 通常是由一個(gè)語(yǔ)音單元的末尾部分跟下一個(gè)單元的開(kāi)頭部分構(gòu)成的, 它可以當(dāng) 做相鄰語(yǔ)音音段之間的過(guò)渡音來(lái)用(Klatt, 1987; Olive & Spickenagel, 1976). 三音子(triphone)是另一種理想的聲學(xué)音段, 它考慮了一個(gè)音位或音素左右兩方面的語(yǔ)音環(huán)境 (Lee, 1990), 通常包括這個(gè)音素與它的左鄰音素之間的過(guò)渡段、這個(gè)音素本身以及它跟右鄰音素之間的過(guò)渡段.作為一種聲學(xué)音段, 雙音子已經(jīng)在合成和識(shí)別中、尤其是在拼接式 (concatinative) 合成系統(tǒng)中得到廣泛運(yùn)用(Bhaskara

8、rao et al, 1991; Levre,1986), 因?yàn)檫@種音段能夠捕獲語(yǔ)音的所有瞬間狀態(tài)及過(guò)渡信息, 能夠有效地提高合成語(yǔ)音的音質(zhì)和對(duì)連續(xù)話語(yǔ)的識(shí)別率. 所以，在漢語(yǔ)識(shí)別方面，人們也已經(jīng)開(kāi)始嘗試運(yùn)用這種方法，而且取得了較好的效果。2.0 漢語(yǔ)雙音子和三音子結(jié)構(gòu)系統(tǒng) 2.1 漢語(yǔ)語(yǔ)音的結(jié)構(gòu)特點(diǎn)與語(yǔ)音處理單元的選擇 人們常說(shuō), 漢語(yǔ)是個(gè)音節(jié)語(yǔ)言. 一個(gè)漢字對(duì)應(yīng)于一個(gè)音節(jié), 清清楚楚, 在言語(yǔ)處理上采用音節(jié)作單元應(yīng)該是最理想的. 而且, 漢語(yǔ)的音節(jié)數(shù)目有限, 相應(yīng)的語(yǔ)料庫(kù)最多存儲(chǔ)一千多個(gè)音節(jié)就行了. 然而, 語(yǔ)音畢竟不同于文字, 言語(yǔ)畢竟不同于文本. 文本包含數(shù)目有限的分列符號(hào), 而言語(yǔ)卻

9、包含著無(wú)數(shù)連續(xù)變化的語(yǔ)音信號(hào). 漢語(yǔ)音節(jié)的語(yǔ)音同樣也是隨環(huán)境而變的, 語(yǔ)流中音節(jié)的邊界上同樣也存在著復(fù)雜的音聯(lián)現(xiàn)象. 所以, 就漢語(yǔ)連續(xù)話語(yǔ)而 言, 以音節(jié)作為合成單元或者在音節(jié)平面上建立識(shí)別模型都行不通. 在這種情況下, 人們只好另辟蹊徑. 半音節(jié)的方法就是其中之一, 它首先是在拼接合成中應(yīng)用的, 現(xiàn)在已開(kāi)始 被自動(dòng)識(shí)別方面采用. 以半音節(jié)為單元跟以聲母和韻母為單元很相似, 但又不完全相同. 以半音節(jié)為單元可以較好地解決音節(jié)內(nèi)聲母韻母的平滑連接問(wèn)題, 不過(guò), 仍然不能很好地解決音節(jié)之間的音聯(lián)問(wèn)題. 雙音子和三音子就能彌補(bǔ)這個(gè)缺陷. 而且, 已經(jīng)有試驗(yàn)表明,在連續(xù)話語(yǔ)識(shí)別中采用雙音子和三音子可

10、以明顯地提高識(shí)別率(祖漪清, 1995). 還有人主張?jiān)谧R(shí)別中采用半音節(jié)跟三音子相結(jié)合的辦法(Lee, 1990), 這應(yīng)該是一條更好的出路. 因此, 搞清楚漢語(yǔ)的雙音子和三音子結(jié)構(gòu)系統(tǒng), 對(duì)于漢語(yǔ)語(yǔ)音處理顯然是具有現(xiàn)實(shí)意義的. 2.2 漢語(yǔ)的雙音子結(jié)構(gòu) 漢語(yǔ)普通話共有1000多個(gè)音節(jié), 即使不計(jì)聲調(diào)區(qū)別, 也有400多個(gè), 它們是由38個(gè)韻母跟22個(gè)聲母結(jié)合而成的. 一般說(shuō)來(lái), 多數(shù)音節(jié)內(nèi)部都包含著2-3個(gè)雙音子結(jié)構(gòu). 不過(guò), 多數(shù)雙音子是可以為不同音節(jié)共享的. 例如,音節(jié)"金"/jin/里的第一個(gè)雙音子可以跟 "京" /jing/里的第一個(gè)(這里用j

11、'i表示)共享. 所以, 音節(jié)內(nèi)部的雙音子總數(shù)只有100多個(gè). 漢語(yǔ)音節(jié)之間的雙音子結(jié)構(gòu)就比較復(fù)雜一些, 因?yàn)槊恳粋€(gè)音節(jié)都有可能跟包括它自身在內(nèi)的音節(jié)毗鄰. 例如, 音節(jié)"介"/jie/與"紹"/shao/相連, 就會(huì)產(chǎn)生一個(gè)音節(jié)間的雙音子(這里用e-sh表示); 相反, 如果是"紹"與"介" 鄰接, 它們之間又會(huì)產(chǎn)生另一個(gè)雙音子o-j. 但是, 這種音節(jié)間的雙音子大多數(shù)也是能共享的, 因而可以大幅度地歸納合并. 根據(jù)普通話的語(yǔ)音結(jié)構(gòu)規(guī)則, 音節(jié)間雙音子的總數(shù)可以歸納為300余個(gè). 2.3 漢語(yǔ)的三音子結(jié)構(gòu)

12、 三音子涉及一個(gè)音素左右兩方面的語(yǔ)音環(huán)境, 所以, 這種結(jié)構(gòu)的數(shù)目要比雙音子的多得多. 特別是音節(jié)間的三音子, 不但數(shù)目多, 而且結(jié)構(gòu)復(fù)雜. 根據(jù)初步研究結(jié)果, 普通話里有270多個(gè)音節(jié)內(nèi)三音子和3700余個(gè)音節(jié)間三音子，它們?cè)诮Y(jié)構(gòu)上可以分為兩類(lèi). 根據(jù)上述分析，漢語(yǔ)普通話里雙、三音子結(jié)構(gòu)從絕對(duì)數(shù)目來(lái)看似乎相當(dāng)大, 但是, 若從它們的實(shí)際應(yīng)用價(jià)值來(lái)看還是相當(dāng)?shù)湫途毜? 這是因?yàn)? 第一, 從結(jié)構(gòu)上看, 上述音節(jié)間三音子實(shí)際上不但包括了音節(jié)間的雙音子，而且還涵蓋了所有的基本音節(jié)的音韻結(jié)構(gòu)，因而也就包含了所有的音節(jié)內(nèi)雙音子和三音子。因此，漢語(yǔ)里雙音子和三音子結(jié)構(gòu)的總數(shù)實(shí)際上只有3700多個(gè)。 第

13、二, 這個(gè)系統(tǒng)的歸納是建立在相對(duì)窮盡的原則基礎(chǔ)上的. 就是說(shuō), 它是根據(jù)普通話語(yǔ)音結(jié)構(gòu)規(guī)律, 給出了所有可能出現(xiàn)的雙、三音子, 能夠全面覆蓋普通話里的音聯(lián)現(xiàn)象, 滿(mǎn)足連續(xù)話語(yǔ)合成和識(shí)別的需要. 從這個(gè)角度看, 3000多個(gè)結(jié)構(gòu)應(yīng)該是非常有限的了; 第三, 這個(gè)系統(tǒng)所包含的是理論上可能存在的最多的數(shù)目, 在實(shí)際語(yǔ)言里, 有許多語(yǔ)音環(huán)境是非常相似的, 比如，在某一語(yǔ)音環(huán)境里，相同發(fā)音部位的一組輔音具有相似的聲學(xué)過(guò)渡，因而可以共享一組音子. 這樣, 經(jīng)過(guò)合理的歸并, 就可以獲得本質(zhì)上較少的、隨環(huán)境而定的、概括的音子結(jié)構(gòu)。 第四, 根據(jù)現(xiàn)有的語(yǔ)音研究結(jié)果來(lái)看, 某些語(yǔ)音單元之間的音聯(lián)關(guān)系不太密切, 也

14、就是說(shuō), 在它們交界處的語(yǔ)音變化不明顯, 在語(yǔ)音處理上或許可以忽略不計(jì). 因此, 相應(yīng)的雙音子或三音子就可進(jìn)一步簡(jiǎn)化. 總之, 普通話的雙音子和三音子結(jié)構(gòu)最多可能有3000多個(gè), 根據(jù)不同語(yǔ)音處理系統(tǒng)的具體要求, 可以進(jìn)行不同程度的簡(jiǎn)化和歸并, 最少可以合并為十幾個(gè)主要的結(jié)構(gòu)模式.3.0 普通話雙音子、三音子結(jié)構(gòu)語(yǔ)料集的設(shè)計(jì) 3.1 語(yǔ)音樣本收集的原則一般說(shuō)來(lái)，、最大覆蓋面和最小冗余度是語(yǔ)料庫(kù)收集語(yǔ)料的一個(gè)基本原則。普通話雙、三音子結(jié)構(gòu)語(yǔ)料庫(kù)的語(yǔ)料收集也不例外。但是，要實(shí)現(xiàn)這個(gè)原則并不那么容易。通常，語(yǔ)料庫(kù)的語(yǔ)料收集往往采取隨機(jī)取樣的辦法，選用一定范圍內(nèi)的自然語(yǔ)料作為基礎(chǔ)，然后通過(guò)逐步擴(kuò)大規(guī)模

15、來(lái)達(dá)到盡可能擴(kuò)大語(yǔ)言信息覆蓋面的目的。這種方法的主要缺陷就是語(yǔ)料的冗余量太大，而且只能大致覆蓋所需要的語(yǔ)言信息。為了克服這種局限性，人們?cè)诮ㄔO(shè)語(yǔ)料庫(kù)的時(shí)候，已經(jīng)越來(lái)越重視運(yùn)用語(yǔ)言學(xué)知識(shí)來(lái)指導(dǎo)語(yǔ)料庫(kù)的設(shè)計(jì)，以便運(yùn)用已經(jīng)掌握的、顆粒較大的語(yǔ)言結(jié)構(gòu)知識(shí)來(lái)生成尚未掌握的、顆粒較細(xì)的語(yǔ)言變化知識(shí)。這正是我們這里的語(yǔ)料設(shè)計(jì)所貫徹的根本原則。本文涉及的語(yǔ)料庫(kù)實(shí)際上是個(gè)語(yǔ)音音聯(lián)樣本集，主要是為研究語(yǔ)音的環(huán)境變異用的，同時(shí)也為自然語(yǔ)音處理方面建立更加實(shí)用的語(yǔ)料庫(kù)提供一個(gè)應(yīng)用的基礎(chǔ)。根據(jù)這個(gè)具體目的，所謂達(dá)到最大覆蓋面，就是要保證所用的語(yǔ)料能夠全面覆蓋普通話里所有的雙音子和三音子結(jié)構(gòu)，從而達(dá)到相對(duì)窮盡地反映實(shí)際話

16、語(yǔ)里可能存在的語(yǔ)音變化現(xiàn)象。所謂最小冗余度，就是所收的語(yǔ)料要盡可能做到語(yǔ)音上的簡(jiǎn)潔（compact），實(shí)現(xiàn)音節(jié)間或詞間的資料共享。為此，我們根據(jù)普通話的音韻配列規(guī)則，有計(jì)劃、有目的地選編語(yǔ)料。這樣，既保證了相對(duì)窮盡地覆蓋連續(xù)話語(yǔ)里可能存在的各種語(yǔ)音搭配，又避免了不必要的語(yǔ)料重復(fù)，可供語(yǔ)音處理各方參考應(yīng)用。3.2 語(yǔ)料組織雙音子或三音子存在于不同層次上各種語(yǔ)音單元之間, 例如, 在音節(jié)內(nèi)部,它們存在 于不同的音位或音素之間; 在詞或短語(yǔ)內(nèi)部, 它們還存在于音節(jié)或詞之間,但是，歸根結(jié)蒂還是存在于兩個(gè)音節(jié)的相鄰音段之間. 由于普通話音節(jié)間的三音子就能夠包括音節(jié)內(nèi)外全部的雙音子和三音子, 因此, 這個(gè)

17、庫(kù)所需要的語(yǔ)料，只要能夠包含這3700多個(gè)音節(jié)間三音字所代表的語(yǔ)音搭配就可以了。當(dāng)然, 在自然話語(yǔ)中, 不同層次上音聯(lián)關(guān)系的緊密程度不同，因而相應(yīng)的雙音子或三音子所代表的語(yǔ)音變化的程度也有差異。如若完全采用自然的連續(xù)話語(yǔ)作為這個(gè)庫(kù)的語(yǔ)音樣本, 那是最為理想的?？墒牵匀辉捳Z(yǔ)是個(gè)隨機(jī)過(guò)程，各種語(yǔ)音信息的分布也是隨機(jī)的，而語(yǔ)料庫(kù)的語(yǔ)音樣本收集是有選擇的，這種隨機(jī)性跟選擇性之間的矛盾，決定了我們不可能完全采用自然語(yǔ)料，而只能夠選、編結(jié)合；同時(shí)，根據(jù)初步的觀察分析，相同的語(yǔ)音搭配之間盡管由于所在語(yǔ)音層次的不同，其協(xié)同發(fā)音的程度有所不同，但是，由協(xié)同發(fā)音引起的音變方向卻是一致的。所以，作為基本的音聯(lián)樣本

18、集，可以暫不考慮不同層次上的細(xì)微差異。因此，本語(yǔ)料集本著從簡(jiǎn)的原則，只用3700余個(gè)兩音節(jié)結(jié)構(gòu)作為基本語(yǔ)料。從某種意義上說(shuō)，這個(gè)樣本雞是一個(gè)關(guān)于普通話連續(xù)語(yǔ)音搭配的、顆粒較粗的知識(shí)庫(kù)，有關(guān)方面可以根據(jù)這些基本的搭配模式，通過(guò)選用更為理想的自然語(yǔ)料而獲得有關(guān)連續(xù)語(yǔ)音變化的、更加精細(xì)的知識(shí)和規(guī)則。3.3 樣本舉例 馬匹 司法 華北 項(xiàng)目 煥發(fā) 華燈 旅途 智能 順路 工農(nóng) 八股 字庫(kù) 落后 篡改 恭候 制造 歌詞 綠色 短促 譴責(zé) 法制 駁斥 往事 應(yīng)酬 通融 割據(jù) 時(shí)期 東西 驚奇 垃圾 代碼 虛胖 失敗 破滅 庫(kù)房 液體 發(fā)難 提煉 本地 熱帶 挖苦 罷工 特刊 詞匯 坑害 懊喪 摩擦 得罪

19、庫(kù)存 勤雜 牙齒 把守 列入 鼓掌 竟然 云霞 班級(jí) 泥鰍 和諧 查詢(xún)參考文獻(xiàn) 許毅, 1989, 音節(jié)和音聯(lián), 實(shí)驗(yàn)語(yǔ)音學(xué)概要, 高等教育出版社, 北京.Bhaskararao, P., S. J. Eady, and J. H. Esling, 1991. Use of triphones for demisyllable -based speech synthesis, Proc. of ICASSP-1991, 11.Keller, E., 1995. Fundamentals of Speech Synthesis and Speech Recognition, John Wiley & Sons, New York.Klatt, D.H., 1987