語(yǔ)音合成論文

1、語(yǔ)音合成技術(shù)發(fā)展與應(yīng)用 姓名：孫亞非 學(xué)號(hào)：201120195010摘要：本文介紹了語(yǔ)音合成技術(shù)的發(fā)展過(guò)程及其現(xiàn)狀，及其目前常用的一一些合成的方法（共振峰合成，LPC參數(shù)合成，PSOLA合成技術(shù),LMA聲道模型）。還介紹了語(yǔ)音合成技術(shù)的一些應(yīng)用。關(guān)鍵詞：語(yǔ)音合成； LPC;PSOLA;LMA;應(yīng)用Abstract：The article describes the development progress of a speech synthesis technology and the status quo ,and the most commonly used synthetic metho

2、ds(Formant synthesis ,LPC parameter synthesis ,PLOSA synthesis technology ,LMA-channel model).Also describes some applications of speech synthesis technology.Keywords：speech synthesis; LPC;PSOLA;LMA; application1.前言語(yǔ)音合成1是通過(guò)機(jī)械的、電子的方法產(chǎn)生人造語(yǔ)音的技術(shù)。TTS技術(shù)（又稱(chēng)文語(yǔ)轉(zhuǎn)換技術(shù)）隸屬于語(yǔ)音合成，它是將計(jì)算機(jī)自己產(chǎn)生的、或外部輸入的文字信息轉(zhuǎn)變?yōu)榭梢月?tīng)得懂的、流利的

3、漢語(yǔ)口語(yǔ)輸出的技術(shù)。語(yǔ)音合成是人機(jī)語(yǔ)音通信的一個(gè)重要組成部分。語(yǔ)音合成研究的目的是制造一種會(huì)說(shuō)話(huà)的機(jī)器，它解決的是如何讓機(jī)器象人那樣說(shuō)話(huà)的問(wèn)題，使一些以其它方式表示或存儲(chǔ)的信息能轉(zhuǎn)換為語(yǔ)音，讓人們能通過(guò)聽(tīng)覺(jué)而方便地獲得這些信息。語(yǔ)音合成和語(yǔ)音識(shí)別技術(shù)是實(shí)現(xiàn)人機(jī)語(yǔ)音通信，建立一個(gè)有聽(tīng)和講能力的口語(yǔ)系統(tǒng)所必需的兩項(xiàng)關(guān)鍵技術(shù)。使電腦具有類(lèi)似于人一樣的說(shuō)話(huà)能力，是當(dāng)今時(shí)代信息產(chǎn)業(yè)的重要競(jìng)爭(zhēng)市場(chǎng)。和語(yǔ)音識(shí)別相比，語(yǔ)音合成的技術(shù)相對(duì)說(shuō)來(lái)要成熟一些，并已開(kāi)始向產(chǎn)業(yè)化方向成功邁進(jìn)，大規(guī)模應(yīng)用指日可待。語(yǔ)音合成，能將任意文字信息實(shí)時(shí)轉(zhuǎn)化為標(biāo)準(zhǔn)流暢的語(yǔ)音朗讀出來(lái)，相當(dāng)于給機(jī)器裝上了人工嘴巴。2. 發(fā)展歷程及其現(xiàn)狀

4、的概述1,2,5 縱觀(guān)語(yǔ)音合成技術(shù)的研究已有二百多年的歷史，早在現(xiàn)代電子信號(hào)處理技術(shù)發(fā)明以前，人們就開(kāi)始試圖建造發(fā)出人類(lèi)語(yǔ)音的機(jī)器和機(jī)械設(shè)備，比如 Gerbert、Albertus Magnus和Roger Bacon 制造的“speaking head”。以后又有人制造出可以發(fā)出元音和輔音的機(jī)器。1930年，貝爾實(shí)驗(yàn)室開(kāi)發(fā)了聲音編碼器。這是一個(gè)用鍵盤(pán)操作的電子語(yǔ)音分析器和合成器。第一個(gè)基于計(jì)算機(jī)的語(yǔ)音合成系統(tǒng)在50年代后期誕生。第一個(gè)完整的TTS系統(tǒng)在1968年完成。從那時(shí)起，語(yǔ)音合成技術(shù)經(jīng)歷了各種各樣的改進(jìn)。在語(yǔ)音合成技術(shù)的發(fā)展過(guò)程中，早期的研究主要是采用參數(shù)合成方法，后來(lái)隨著計(jì)算機(jī)技術(shù)的

5、發(fā)展又出現(xiàn)了波形拼接的合成方法。2.1參數(shù)合成在語(yǔ)音合成技術(shù)的發(fā)展中，早期的研究主要是采用參數(shù)合成方法。值得提及的是Holmes的并聯(lián)共振峰合成器（1973）和Klatt的串/并聯(lián)共振峰合成器（1980），只要精心調(diào)整參數(shù)，這兩個(gè)合成器都能合成出非常自然的語(yǔ)音。最具代表性的文語(yǔ)轉(zhuǎn)換系統(tǒng)當(dāng)數(shù)美國(guó)DEC公司的DECtalk（1987）。但是經(jīng)過(guò)多年的研究與實(shí)踐表明，由于準(zhǔn)確提取共振峰參數(shù)比較困難，雖然利用共振峰合成器可以得到許多逼真的合成語(yǔ)音，但是整體合成語(yǔ)音的音質(zhì)難以達(dá)到文語(yǔ)轉(zhuǎn)換系統(tǒng)的實(shí)用要求。2.2波形拼接自八十年代末期至今，語(yǔ)言合成技術(shù)又有了新的進(jìn)展，特別是基音同步疊加（PSOLA）方法的提

6、出（1990），使基于時(shí)域波形拼接方法合成的語(yǔ)音的音色和自然度大大提高。九十年代初，基于PSOLA技術(shù)的法語(yǔ)、德語(yǔ)、英語(yǔ)、日語(yǔ)等語(yǔ)種的文語(yǔ)轉(zhuǎn)換系統(tǒng)都已經(jīng)研制成功。這些系統(tǒng)的自然度比以前基于LPC方法或共振峰合成器的文語(yǔ)合成系統(tǒng)的自然度要高，并且基于PSOLA方法的合成器結(jié)構(gòu)簡(jiǎn)單易于實(shí)時(shí)實(shí)現(xiàn)，有很大的商用前景。國(guó)內(nèi)的漢語(yǔ)語(yǔ)音合成研究起步較晚些，但從八十年代初就基本上與國(guó)際上研究同步發(fā)展。大致也經(jīng)歷了共振峰合成、LPC合成至應(yīng)用PSOLA技術(shù)的過(guò)程。在國(guó)家863計(jì)劃，國(guó)家自然科學(xué)基金委，國(guó)家 中國(guó)科學(xué)院有關(guān)項(xiàng)目等支持下，漢語(yǔ)文語(yǔ)轉(zhuǎn)換系統(tǒng)研究近年來(lái)取得了令人舉目的進(jìn)展，其中不乏成功的例子：如中國(guó)科學(xué)

7、院聲學(xué)所的KX-PSOLA（1993）, 聯(lián)想佳音（1995）；清華大學(xué)的TH_SPEECH (1993)；中國(guó)科技大學(xué)的KDTALK（1995）等系統(tǒng)。這些系統(tǒng)基本上都是采用基于PSOLA方法的時(shí)域波形拼接技術(shù)，其合成漢語(yǔ)普通話(huà)的可懂度、清晰度達(dá)到了很高的水平。然而同國(guó)外其它語(yǔ)種的文語(yǔ)轉(zhuǎn)換系統(tǒng)一樣，這些系統(tǒng)合成的句子及篇章語(yǔ)音機(jī)器味較濃，其自然度還不能達(dá)到用戶(hù)可廣泛接受的程度，從而制約了這項(xiàng)技術(shù)的大規(guī)模進(jìn)入市場(chǎng)。3. 語(yǔ)音合成技術(shù)常用方法及其比較 3.1共振峰合成1語(yǔ)音合成的理論基礎(chǔ)是語(yǔ)音生成的數(shù)學(xué)模型。該模型語(yǔ)音生成過(guò)程是在激勵(lì)信號(hào)的激勵(lì)下，聲波經(jīng)諧振腔（聲道），由嘴或鼻輻射聲波。因此，聲

8、道參數(shù)、聲道諧振特性一直是研究的重點(diǎn)。在圖1所示的某一語(yǔ)言的頻率響應(yīng)圖中， 標(biāo)有Fp1、Fp2、Fp3. 處為響應(yīng)的極點(diǎn)，此時(shí)，聲道的傳輸頻率響應(yīng)有極大值。習(xí)慣上，把聲道傳輸頻率響應(yīng)上的極點(diǎn)稱(chēng)為共振峰 ，而語(yǔ)音的共振峰頻率（極點(diǎn)頻率）的分布特性決定著該語(yǔ)音的音色 。音色各異的語(yǔ)音具有不同的共振峰模式，因此，以每個(gè)共振峰頻率及其帶寬作為參數(shù)，可以構(gòu)成共振峰濾波器。再用若干個(gè)這種濾波器的組合來(lái)模擬聲道的傳輸特性（頻率響應(yīng)），對(duì)激勵(lì)源發(fā)出的信號(hào)進(jìn)行調(diào)制，再經(jīng)過(guò)輻射模型就可以得到合成語(yǔ)音。這就是共振峰合成技術(shù)的基本原理?；诠舱穹宓睦碚撚幸韵氯N實(shí)用模型。（1）級(jí)聯(lián)型共振峰模型 。在該模型中，聲道被認(rèn)

9、為是一組串聯(lián)的二階諧振器。該模型主要用于絕大部分元音的合成。（2）并聯(lián)型共振峰模型 。許多研究者認(rèn)為，對(duì)于鼻化元音等非一般元音以及大部分輔音，上述級(jí)聯(lián)型模型不能很好地加以描述和模擬，因此，構(gòu)筑和產(chǎn)生了并聯(lián)型共振峰模型。 （3）混合型共振峰模型 。在級(jí)聯(lián)型共振峰合成模型中，共振峰濾波器首尾相接；而在并聯(lián)型模型中，輸入信號(hào)先分別通過(guò)幅度調(diào)節(jié)再加到每一個(gè)共振峰濾波器上，然后將各路的輸出疊加起來(lái)。將兩者比較，對(duì)于合成聲源位于聲道末端的語(yǔ)音（大多數(shù)的元音），級(jí)聯(lián)型合乎語(yǔ)音產(chǎn)生的聲學(xué)理論，并且無(wú)需為每一個(gè)濾波器分設(shè)幅度調(diào)節(jié)；而對(duì)于合成聲源位于聲道中間的語(yǔ)音（大多數(shù)清擦音和塞音），并聯(lián)型則比較合適，但是其幅

10、度調(diào)節(jié)很復(fù)雜。基于此種考慮，人們將兩者結(jié)合在一起，提出了混和型共振峰模型。如圖2所示： 事 實(shí) 上， 上 述 三 種 共 振 峰 模 型 在 實(shí) 際 中 都 得 到 了 成 功 的 應(yīng) 用。 例 如：Fant 的OVE 系 統(tǒng) 就 采 用 了 級(jí) 聯(lián) 型 的 共 振 峰 模 型；Holmes 合 成 器 采 用 的 是 并 聯(lián) 型 的 共 振 峰 模 型； 而 最 為 典 型 也 是 最 為 成 功 的Klatt 合 成 器 則 構(gòu) 筑 在 混 合 型 共 振 峰 模 型 的 基 礎(chǔ) 之 上。 在 漢 語(yǔ) 語(yǔ) 音 合 成 方 面， 研 究 人 員 研 制 出 了 一 些 基 于 共 振 峰 模

11、 型 的 成 功 的 應(yīng) 用 系 統(tǒng)。 如 社 科 院 語(yǔ) 言 所 的 SIFS 合 成 器、 中 科 院 聲 學(xué) 所 的KX 1 系 統(tǒng) 中 基 于Holmes 的 并 聯(lián) 型 共 振 峰 合 成 器 模 型， 而 同 樣 由 中 科 院 聲 學(xué) 所 開(kāi) 發(fā) 的 第 二 代 共 振 峰 合 成 器KX FSS 則 基 于Klatt 合 成 器。 但是，人們同時(shí)也發(fā)現(xiàn)該技術(shù)有明顯的弱點(diǎn)。首先由于它是建立在對(duì)聲道的模擬上，因此，對(duì)于聲道模型的不精確勢(shì)必會(huì)影響其合成質(zhì)量。另外，實(shí)際工作表明，共振峰模型雖然描述了語(yǔ)音中最基本最主要的部分，但并不能表征影響語(yǔ)音自然度的其他許多細(xì)微的語(yǔ)音成分，從而影響了

12、合成語(yǔ)音的自然度。另外，共振峰合成器控制十分復(fù)雜，對(duì)于一個(gè)好的合成器來(lái)說(shuō)，其控制參數(shù)往往達(dá)到幾十個(gè)，實(shí)現(xiàn)起來(lái)十分困難。 基于這些原因，研究者繼續(xù)尋求和發(fā)現(xiàn)其他新的合成技術(shù)。人們從波形的直接錄制和播放得到啟發(fā)，提出了基于波形拼接的合成技術(shù)，LPC合成技術(shù)和PSOLA合成技術(shù)是其中的代表。與共振峰合成技術(shù)不同，波形拼接合成是基于對(duì)錄制的合成基元的波形進(jìn)行拼接，而不是基于對(duì)發(fā)聲過(guò)程的模擬。 3.2 LPC參數(shù)合成4波形拼接技術(shù)的發(fā)展與語(yǔ)音的編、解碼技術(shù)的發(fā)展密不可分，其中LPC技術(shù)（線(xiàn)性預(yù)測(cè)編碼技術(shù)）的發(fā)展對(duì)波形拼接技術(shù)產(chǎn)生了巨大的影響。LPC合成技術(shù)本質(zhì)上是一種時(shí)間波形的編碼技術(shù)，目的是為了降低時(shí)

13、間域信號(hào)的傳輸速率。LPC合成技術(shù)的優(yōu)點(diǎn)是簡(jiǎn)單直觀(guān)。其合成過(guò)程實(shí)質(zhì)上只是一種簡(jiǎn)單的解碼和拼接過(guò)程。另外，由于波形拼接技術(shù)的合成基元是語(yǔ)音的波形數(shù)據(jù)，保存了語(yǔ)音的全部信息，因而對(duì)于單個(gè)合成基元來(lái)說(shuō)能夠獲得很高的自然度。但是，由于自然語(yǔ)流中的語(yǔ)音和孤立狀況下的語(yǔ)音有著極大的區(qū)別，如果只是簡(jiǎn)單地把各個(gè)孤立的語(yǔ)音生硬地拼接在一起，其整個(gè)語(yǔ)流的質(zhì)量勢(shì)必是不太理想的。而LPC技術(shù)從本質(zhì)上來(lái)說(shuō)只是一種錄音+重放，對(duì)于合成整個(gè)連續(xù)語(yǔ)流LPC合成技術(shù)的效果是不理想的。因此，LPC合成技術(shù)必須和其他技術(shù)相結(jié)合，才能明顯改善LPC合成的質(zhì)量。 一種典型的基于單音節(jié)和VQLPC(矢 量量化的LPC)技術(shù)的文語(yǔ)轉(zhuǎn)換系統(tǒng)

14、原理 圖如圖3所示。3.3 PSOLA合成技術(shù)1,220世紀(jì)80年代末提出的PSOLA合成技術(shù)（基音同步疊加技術(shù)）給波形拼接合成技術(shù)注入了新的活力。PSOLA技術(shù)著眼于對(duì)語(yǔ)音信號(hào)超時(shí)段特征的控制，如基頻、時(shí)長(zhǎng)、音強(qiáng)等的控制。而這些參數(shù)對(duì)于語(yǔ)音的韻律控制以及修改是至關(guān)重要的，因此，PSOLA技術(shù)比LPC技術(shù)具有可修改性更強(qiáng)的優(yōu)點(diǎn)，可以合成出高自然度的語(yǔ)音。 PSOLA技術(shù)的主要特點(diǎn)是：在拼接語(yǔ)音波形片斷之前，首先根據(jù)上下文的要求，用PSOLA算法對(duì)拼接單元的韻律特征進(jìn)行調(diào)整，使合成波形既保持了原始發(fā)音的主要音段特征，又能使拼接單元的韻律特征符合上下文的要求，從而獲得很高的清晰度和自然度。PSOL

15、A技術(shù)保持了傳統(tǒng)波形拼接技術(shù)的優(yōu)點(diǎn)，簡(jiǎn)單直觀(guān)，運(yùn)算量小，而且還能方便地控制語(yǔ)音信號(hào)的韻律參數(shù)，具有合成自然連續(xù)語(yǔ)流的條件，得到了廣泛的應(yīng)用。但是，PSOLA技術(shù)也有其缺點(diǎn)。首先，PSOLA技術(shù)是一種基音同步的語(yǔ)音分析/合成技術(shù)，首先需要準(zhǔn)確的基因周期以及對(duì)其起始點(diǎn)的判定?；糁芷诨蚱淦鹗键c(diǎn)的判定誤差將會(huì)影響PSOLA技術(shù)的效果。其次，PSOLA技術(shù)是一種簡(jiǎn)單的波形映射拼接合成，這種拼接是否能夠保持平穩(wěn)過(guò)渡以及它對(duì)頻域參數(shù)有什么影響等并沒(méi)有得到解決，因此，在合成時(shí)會(huì)產(chǎn)生不理想的結(jié)果。 3.4 LMA(Log Magnitude Approximate)聲道模型2隨著人們對(duì)語(yǔ)音合成的自然度和音質(zhì)的

16、要求越來(lái)越高，PSOLA算法表現(xiàn)出對(duì)韻律參數(shù)調(diào)整能力較弱和難以處理協(xié)同發(fā)音的缺陷，因此，人們又提出了一種基于LMA聲道模型的語(yǔ)音合成方法。這種方法具有傳統(tǒng)的參數(shù)合成可以靈活調(diào)節(jié)韻律參數(shù)的優(yōu)點(diǎn)，同時(shí)又具有比PSOLA算法更高的合成音質(zhì)。目前，主要的語(yǔ)音合成技術(shù)是共振峰合成技術(shù)和基于PSOLA算法的波形拼接合成技術(shù)。這兩種技術(shù)各有所長(zhǎng)，共振峰技術(shù)比較成熟，有大量的研究成果可以利用，而PSOLA技術(shù)則是比較新的技術(shù)，具有良好的發(fā)展前景。過(guò)去這兩種技術(shù)基本上是互相獨(dú)立發(fā)展的，現(xiàn)在許多學(xué)者開(kāi)始研究它們兩者之間的關(guān)系，試圖將兩者有效地結(jié)合起來(lái)，從而合成出更加自然的語(yǔ)流。4. 語(yǔ)音合成技術(shù)的應(yīng)用示例結(jié) 合

17、其 他 技 術(shù)， 語(yǔ) 音 合 成 技 術(shù) 可 以 廣 泛 應(yīng) 用 于 金 融、 郵 電、 工 商、 政 府 機(jī) 關(guān)、 交 通、 教 育、 游 戲 等 領(lǐng) 域 。下 面 介 紹 幾 個(gè) 實(shí) 用 的 語(yǔ) 音 合 成 系 統(tǒng)。 4.1 工 商 信 息 電 話(huà) 查 詢(xún) 系 統(tǒng) 3, 6 本 系 統(tǒng) 的 功 能 是 讓 用 戶(hù) 可 以 通 過(guò) 電 話(huà) 查 詢(xún) 到 某 一 企 業(yè) 在 工 商 局 的 注 冊(cè) 信 息。 用 戶(hù) 主 要 通 過(guò) 輸 入 注 冊(cè) 號(hào)、 統(tǒng) 一 代 碼 或 者 企 業(yè) 電 話(huà) 號(hào) 碼 等 來(lái) 查 詢(xún) 相 應(yīng) 的 企 業(yè) 信 息。 目 前， 科 大 訊 飛 公 司 正 與IBM 公

18、 司 合 作， 將 采 用 電 話(huà) 語(yǔ) 音 識(shí) 別 技 術(shù) 來(lái) 實(shí) 現(xiàn) 語(yǔ) 音 選 擇。 也 就 是 說(shuō)， 用 戶(hù) 只 需 口 述 企 業(yè) 名 稱(chēng)（ 包 括 帶 一 定 模 糊 概 念 的 口 述， 如“ 科 大 訊 飛” 或“ 訊 飛” 均 可 識(shí) 別）， 即 可 直 接 得 到 該 企 業(yè) 的 一 系 列 信 息。 這 與 過(guò) 去 的 按 鍵 聽(tīng) 取 相 比， 不 僅 方 便 了 用 戶(hù)， 還 從 很 大 程 度 上 提 高 了 查 詢(xún) 效 率， 節(jié) 約 了 用 戶(hù) 的 寶 貴 時(shí) 間。 另 一 方 面， 查 詢(xún) 結(jié) 果 除 了 可 以 通 過(guò) 電 話(huà) 直 接 聽(tīng) 取 外， 還 可 通 過(guò)

19、 傳 真 機(jī) 接 收 到 相 關(guān) 企 業(yè) 的 詳 細(xì) 信 息（ 包 括 圖 像 信 息）。4.2 電話(huà)銀行系統(tǒng)中 科 大 訊 飛 公 司 開(kāi) 發(fā) 的 電 話(huà) 銀 行 系 統(tǒng)， 通 過(guò) 采 用 與 中 國(guó) 科 大 人 機(jī) 語(yǔ) 音 通 信 實(shí) 驗(yàn) 室 合 作 研 究 的KD 2000 語(yǔ) 音 合 成 技 術(shù)， 使 金 額 數(shù) 目 的 報(bào) 讀 聲 音 清 晰、 語(yǔ) 流 自 然， 避 免 了 用 戶(hù) 聽(tīng) 錯(cuò) 數(shù) 目 的 可 能， 提 高 了 用 戶(hù) 的 滿(mǎn) 意 度。 系 統(tǒng) 可 以 實(shí) 現(xiàn) 收 付 款、 匯 率 查 詢(xún)、 余 額 查 詢(xún)、 日 記 賬、 通 知、 掛 失、 明 細(xì)、 憑 證 等 功 能

20、， 舉 例 說(shuō) 明 如 下： 查 詢(xún) 余 額 根 據(jù) 用 戶(hù) 輸 入 的 賬 號(hào)， 報(bào) 出 該 賬 戶(hù) 的 余 額。 查 詢(xún) 交 易 查 詢(xún) 當(dāng) 天 交 易 或 者 指 定 日 期 區(qū) 間 內(nèi) 的 歷 史 交 易。 查 詢(xún) 結(jié) 果 可 以 通 過(guò) 電 話(huà) 聽(tīng) 取， 也 可 以 用 傳 真 機(jī) 接 收， 格 式 可 由 銀 行 指 定。 掛 失 服 務(wù) 用 戶(hù) 遺 失 存 折 或 信 用 卡 后， 可 以 通 過(guò) 電 話(huà) 及 時(shí) 掛 失。 掛 失 之 后， 這 個(gè) 賬 號(hào) 的 所 有 功 能 將 暫 停。 修 改 密 碼 用 戶(hù) 每 隔 一 定 時(shí) 間 更 改 一 下 密 碼， 有 助 于 提 高 安 全 性， 將 他 人 盜 用 的 可 能 性 降 到 最 低。 轉(zhuǎn) 賬 服 務(wù) 借 助 電 話(huà) 實(shí) 現(xiàn) 指 定 賬 戶(hù) 間 的 轉(zhuǎn) 賬 業(yè) 務(wù)， 一 般 是 在 同 名 用 戶(hù) 的 不 同 賬 號(hào) 或 信 用 卡 之 間 相 互 轉(zhuǎn) 賬。4.3 普 通 話(huà) 教 學(xué) 軟 件7-制 作 該 軟 件 的 目 的 是 幫 助 港、 澳、 臺(tái)、 粵 等 想 學(xué) 普 通 話(huà) 的 用 戶(hù)。 以 往 的 普 通 話(huà) 教 學(xué) 軟 件 只 是 將 預(yù) 先 錄 好