統(tǒng)計機器翻譯簡介.ppt

2002-12-6,統(tǒng)計機器翻譯簡介,劉群 ,2002-12-6,統(tǒng)計機器翻譯方法的特點,利用語料庫作為知識來源 區(qū)別于規(guī)則方法： 無需人工編寫規(guī)則 建立完整的統(tǒng)計模型 區(qū)別于實例方法或模板方法： 必須為整個翻譯過程建立統(tǒng)計模型,2002-12-6,統(tǒng)計機器翻譯的分類,基于平行概率語法的統(tǒng)計機器翻譯模型 基于信源信道思想的統(tǒng)計機器翻譯模型 IBM的Peter Brown等人首先提出 目前影響最大 幾乎成為統(tǒng)計機器翻譯的同義詞 基于最大熵的統(tǒng)計機器翻譯模型 源于基于特征的自然語言理解 Och提出，獲ACL2002最佳論文,2002-12-6,統(tǒng)計機器翻譯的優(yōu)缺點,優(yōu)點 無需人工編寫規(guī)則，利用語料庫直接訓(xùn)練得到機器翻譯系統(tǒng)；（但可以使用語言資源） 系統(tǒng)開發(fā)周期短； 魯棒性好； 譯文質(zhì)量好； 缺點 時空開銷大； 數(shù)據(jù)稀疏問題嚴(yán)重； 對語料庫依賴性強； 算法研究不成熟。,2002-12-6,基于平行概率語法的統(tǒng)計機器翻譯模型,基本思想 兩種語言建立一套平行的語法規(guī)則， 規(guī)則一一對應(yīng) 兩套規(guī)則服從同樣的概率分布 句法分析的過程決定了生成的過程 主要模型 Alshawi的基于Head Transducer的MT模型 吳德愷的Inverse Transduction Grammar（ITG） Takeda的Pattern-based CFG for MT,2002-12-6,Head Transducer MT (1),Head Transducer（中心詞轉(zhuǎn)錄機）是一種Definite State Automata（有限狀態(tài)自動機） 與一般的有限狀態(tài)識別器的區(qū)別： 每一條邊上不僅有輸入，而且有輸出； 不是從左至右輸入，而是從中心詞往兩邊輸入,2002-12-6,Head Transducer MT(2),a:a,0:0,0:0,b:b,a:a,-1:+1,b:b,-1:+1,例子：一個可以將任何a，b 組成的串倒置的Head Transducer,2002-12-6,Head Transducer MT(3),所有的語言知識（詞典、規(guī)則）都表現(xiàn)為Head Transducer； Head Transducer可以嵌套：一個Head Transducer的邊是另一個的識別結(jié)果； 純統(tǒng)計的訓(xùn)練方法；對齊的結(jié)果是依存樹：不使用詞性和短語類標(biāo)記； Chart句法分析器。,2002-12-6,Inversion Transduction Grammar(1),比賽星期三開始。 The game will start on Wednesday。,2002-12-6,Inversion Transduction Grammar(2),規(guī)則形式： A B C A A x/y 產(chǎn)生源語言和目標(biāo)語言串分別為： BC BC：詞序相同 BC CB：詞序交換 x y：詞典,2002-12-6,Pattern-based CFG for MT (1),每個翻譯模板由一個源語言上下文無關(guān)規(guī)則和一個目標(biāo)語言上下文無關(guān)規(guī)則（這兩個規(guī)則稱為翻譯模板的骨架），以及對這兩個規(guī)則的中心詞約束和鏈接約束構(gòu)成； 舉例： S:2 NP:1 歲:MP:2 了 S:be NP:1 be year:NP:2 old,2002-12-6,Pattern-based CFG for MT (2),中心詞約束：對于上下文無關(guān)語法規(guī)則中右部（子結(jié)點）的每個非終結(jié)符，可以指定其中心詞；對于規(guī)則左部（父結(jié)點）的非終結(jié)符，可以直接指定其中心詞，也可以通過使用相同的序號規(guī)定其中心詞等于其右部的某個非終結(jié)符的中心詞； 鏈接約束：源語言骨架和目標(biāo)語言骨架的非終結(jié)符子結(jié)點通過使用相同的序號建立對應(yīng)關(guān)系，具有對應(yīng)關(guān)系的非終結(jié)符互為翻譯。,2002-12-6,信源信道模型,假設(shè)目標(biāo)語言文本T是由一段源語言文本S經(jīng)過某種奇怪的編碼得到的，那么翻譯的目標(biāo)就是要將T 還原成S，這也就是就是一個解碼的過程。 注意，源語言S是噪聲信道的輸入語言，目標(biāo)語言T是噪聲信道的輸出語言，與整個機器翻譯系統(tǒng)的源語言和目標(biāo)語言剛好相反。,2002-12-6,統(tǒng)計機器翻譯基本方程式,P.Brown稱上式為統(tǒng)計機器翻譯基本方程式 語言模型：P(S) 翻譯模型：P(T|S) 語言模型反映“ S 像一個句子”的程度：流利度 翻譯模型反映“T像S”的程度：忠實度 聯(lián)合使用兩個模型效果好于單獨使用翻譯模型，因為后者容易導(dǎo)致一些不好的譯文。,2002-12-6,語言模型與翻譯模型,考慮漢語動詞“打”的翻譯：有幾十種對應(yīng)的英語詞譯文： 打人，打飯，打魚，打毛衣，打獵，打草稿， 如果直接采用翻譯模型，就需要根據(jù)上下文建立復(fù)雜的上下文條件概率模型 如果采用信源信道思想，只要建立簡單的翻譯模型，可以同樣達(dá)到目標(biāo)詞語選擇的效果： 翻譯模型：不考慮上下文，只考慮單詞之間的翻譯概率 語言模型：根據(jù)單詞之間的同現(xiàn)選擇最好的譯文詞,2002-12-6,統(tǒng)計機器翻譯的三個問題,三個問題： 語言模型P(S)的參數(shù)估計 翻譯模型P(T|S)的參數(shù)估計 解碼（搜索）算法,2002-12-6,語言模型,把一種語言理解成是產(chǎn)生一個句子的隨機事件 語言模型反映的是一個句子在一種語言中出現(xiàn)的概率 語言模型 N元語法 P(S)=p(s0)*p(s1|s0)*p(Sn|Sn-1Sn-N) 鏈語法：可以處理長距離依賴 PCFG（要使用句法標(biāo)記）,2002-12-6,引入隱含變量：對齊A,翻譯模型與對齊,P(T|S)的計算轉(zhuǎn)化為P(T,A|S)的估計 對齊：建立源語言句子和目標(biāo)語言句子的詞與詞之間的對應(yīng)關(guān)系,2002-12-6,IBM Model,對P(T,A|S)的估計 IBM Model 1僅考慮詞對詞的互譯概率 IBM Model 2加入了詞的位置變化的概率 IBM Model 3加入了一個詞翻譯成多個詞的概率 IBM Model 4 IBM Model 5,2002-12-6,IBM Model 3,對于句子中每一個英語單詞e，選擇一個產(chǎn)出率，其概率為n(|e)； 對于所有單詞的產(chǎn)出率求和得到m-prime； 按照下面的方式構(gòu)造一個新的英語單詞串：刪除產(chǎn)出率為0的單詞，復(fù)制產(chǎn)出率為1的單詞，復(fù)制兩遍產(chǎn)出率為2的單詞，依此類推； 在這m-prime個單詞的每一個后面，決定是否插入一個空單詞NULL，插入和不插入的概率分別為p1和p0； 0為插入的空單詞NULL的個數(shù)。 設(shè)m為目前的總單詞數(shù)：m-prime+0； 根據(jù)概率表t(f|e)，將每一個單詞e替換為外文單詞f； 對于不是由空單詞NULL產(chǎn)生的每一個外語單詞，根據(jù)概率表d(j|i,l,m)，賦予一個位置。這里j是法語單詞在法語串中的位置，i是產(chǎn)生當(dāng)前這個法語單詞的對應(yīng)英語單詞在英語句子中的位置，l是英語串的長度，m是法語串的長度； 如果任何一個目標(biāo)語言位置被多重登錄（含有一個以上單詞），則返回失?。?給空單詞NULL產(chǎn)生的單詞賦予一個目標(biāo)語言位置。這些位置必須是空位置（沒有被占用）。任何一個賦值都被認(rèn)為是等概率的，概率值為1/0。 最后，讀出法語串，其概率為上述每一步概率的乘積。,2002-12-6,翻譯模型的參數(shù)訓(xùn)練,Viterbi Training（對比：EM Training） 給定初始參數(shù)； 用已有的參數(shù)求最好（Viterbi）的對齊； 用得到的對齊重新計算參數(shù)； 回到第二步，直到收斂為止。 IBM Model 1：存在全局最優(yōu) IBM Model 25：不存在全局最優(yōu)，初始值取上一個模型訓(xùn)練的結(jié)果,2002-12-6,統(tǒng)計機器翻譯的解碼,借鑒語音識別的搜索算法：堆棧搜索 參數(shù)空間極大，搜索不能總是保證最優(yōu) 從錯誤類型看，只有兩種： 模型錯誤：概率最大的句子不是正確的句子 搜索錯誤：沒有找到概率最大的句子 后一類錯誤只占總錯誤數(shù)的5%（IBM） 搜索問題不是瓶頸,2002-12-6,IBM公司的Candide系統(tǒng) 1,基于統(tǒng)計的機器翻譯方法 分析轉(zhuǎn)換生成 中間表示是線性的 分析和生成都是可逆的 分析（預(yù)處理）： 1.短語切分 2.專名與數(shù)詞檢測 3.大小寫與拼寫校正 4.形態(tài)分析 5.語言的歸一化,2002-12-6,IBM公司的Candide系統(tǒng) 2,轉(zhuǎn)換（解碼）：基于統(tǒng)計的機器翻譯 解碼分為兩個階段： 第一階段：使用粗糙模型的堆棧搜索 輸出140個評分最高的譯文 語言模型：三元語法 翻譯模型：EM算法 第二階段：使用精細(xì)模型的擾動搜索 對第一階段的輸出結(jié)果先擴充，再重新評分 語言模型：鏈語法 翻譯模型：最大熵方法,2002-12-6,IBM公司的Candide系統(tǒng) 3,ARPA的測試結(jié)果 ：,2002-12-6,JHU的1999年夏季研討班,由來 IBM的實驗引起了廣泛的興趣 IBM的實驗很難重復(fù)：工作量太大 目的 構(gòu)造一個統(tǒng)計機器翻譯工具（EGYPT）并使它對于研究者來說是可用的（免費傳播）； 在研討班上用這個工具集構(gòu)造一個捷克語英語的機器翻譯系統(tǒng)； 進(jìn)行基準(zhǔn)評價：主觀和客觀； 通過使用形態(tài)和句法轉(zhuǎn)錄機改進(jìn)基準(zhǔn)測試的結(jié)果； 在研討班最后，在一天之內(nèi)構(gòu)造一個新語對的翻譯器。 JHU夏季研討班大大促進(jìn)了統(tǒng)計機器翻譯的研究,2002-12-6,EGYPT工具包,EGYPT的模塊 GIZA：這個模塊用于從雙語語料庫中抽取統(tǒng)計知識（參數(shù)訓(xùn)練） Decoder：解碼器，用于執(zhí)行具體的翻譯過程（在信源信道模型中，“翻譯”就是“解碼”） Cairo：整個翻譯系統(tǒng)的可視化界面，用于管理所有的參數(shù)、查看雙語語料庫對齊的過程和翻譯模型的解碼過程 Whittle：語料庫預(yù)處理工具 EGYPT可在網(wǎng)上免費下載，成為SMT的基準(zhǔn),2002-12-6,EGYPT工具包的性能,“當(dāng)解碼器的原形系統(tǒng)在研討班上完成時，我們很高興并驚異于其速度和性能。1990年代早期在IBM公司舉行的DARPA機器翻譯評價時，我們曾經(jīng)預(yù)計只有很短（10個詞左右）的句子才可以用統(tǒng)計方法進(jìn)行解碼，即使那樣，每個句子的解碼時間也可能是幾個小時。在早期IBM的工作過去將近10年后，摩爾定律、更好的編譯器以及更加充足的內(nèi)存和硬盤空間幫助我們構(gòu)造了一個能夠在幾秒鐘之內(nèi)對25個單詞的句子進(jìn)行解碼的系統(tǒng)。為了確保成功，我們在搜索中使用了相當(dāng)嚴(yán)格的域值和約束，如下所述。但是,解碼器相當(dāng)有效這個事實為這個方向未來的工作預(yù)示了很好的前景，并肯定了IBM的工作的初衷，即強調(diào)概率模型比效率更重要?！?引自JHU統(tǒng)計機器翻譯研討班的技術(shù)報告,2002-12-6,對IBM方法的改進(jìn),IBM方法的問題 不考慮結(jié)構(gòu)：能否適用于句法結(jié)構(gòu)差別較大的語言？ 數(shù)據(jù)稀疏問題嚴(yán)重 后續(xù)的改進(jìn)工作 王野翊的改進(jìn) Yamada和Knight的改進(jìn) Och等人的改進(jìn),2002-12-6,王野翊的改進(jìn)(1),背景：德英口語翻譯系統(tǒng) 語法結(jié)構(gòu)差異較大 數(shù)據(jù)稀疏（訓(xùn)練數(shù)據(jù)有限） 改進(jìn)：兩個層次的對齊模型 粗對齊：短語之間的對齊 細(xì)對齊：短語內(nèi)詞的對齊,2002-12-6,王野翊的改進(jìn)(2),文法推導(dǎo) 詞語聚類：基于互信息的方法 短語歸并 規(guī)則學(xué)習(xí) 優(yōu)點 機器翻譯的正確率提高：錯誤率降低了11% 提高了整個系統(tǒng)的效率：搜索空間更小 緩解了因口語數(shù)據(jù)缺乏導(dǎo)致的數(shù)據(jù)稀疏問題,2002-12-6,Yamada和Knight的改進(jìn)(1),基于語法的翻譯模型（Syntax-based TM） ： 輸入是源語言句法樹 輸出是目標(biāo)語言句子 翻譯的過程： 每個內(nèi)部結(jié)點的子結(jié)點隨機地重新排列：排列概率 在每一個結(jié)點的左邊或右邊隨機插入一個單詞 左、右插入和不插入的概率取決于父結(jié)點和當(dāng)前結(jié)點標(biāo)記 插入哪個詞的概率只與被插入詞有關(guān)，與位置無關(guān) 對于每一個葉結(jié)點進(jìn)行翻譯：詞對詞的翻譯概率 輸出譯文句子,2002-12-6,Yamada和Knight的改進(jìn)(2),2002-12-6,Yamada和Knight的改進(jìn)(3),2002-12-6,Yamada和Knight的改進(jìn)(4),2002-12-6,Yamada和Knight的改進(jìn)(5),訓(xùn)練 英日詞典例句2121對，平均句長日9.7和英6.9 詞匯量：英語3463，日語3983，大部分詞只出現(xiàn)一次 Brills POS Tagger和Collins Parser 用中心詞詞性標(biāo)記取得短語標(biāo)記 壓扁句法樹：中心詞相同的句法子樹合并 EM訓(xùn)練20遍迭代：IBM Model 5用20遍迭代,2002-12-6,Yamada和Knight的改進(jìn)(6),困惑度Perplexity： Our Model：15.70 IBM Model：9.84 (Over-fitting),結(jié)果,2002-12-6,Och等人的改進(jìn)(1),著名語音翻譯系統(tǒng)VerbMobil的一個模塊 對IBM方法的改進(jìn) 基于類的模型：詞語自動聚類：各400個類 語言模型：基于類的五元語法，回退法平滑 翻譯模型：基于對齊模板的方法 短語層次對齊 詞語層次對齊 短語劃分：動態(tài)規(guī)劃,2002-12-6,Och等人的改進(jìn)(2),對齊模板,2002-12-6,基于最大熵的 統(tǒng)計機器翻譯模型(1),Och等人提出，思想來源于Papineni提出的基于特征的自然語言理解方法 不使用信源信道思想，直接使用統(tǒng)計翻譯模型，因此是一種直接翻譯模型 是一個比信源信道模型更具一般性的模型，信源信道模型是其一個特例 與一般最大熵方法的區(qū)別：使用連續(xù)量作為特征,2002-12-6,基于最大熵的 統(tǒng)計機器翻譯模型(2),假設(shè)e、f是機器翻譯的目標(biāo)語言和源語言句子，h1(e,f), , hM(e,f)分別是e、f上的M個特征， 1, ,M是與這些特征分別對應(yīng)的M個參數(shù)， 那么直接翻譯概率可以用以下公式模擬：,2002-12-6,基于最大熵的 統(tǒng)計機器翻譯模型(3),對于給定的f，其最佳譯文e可以用以下公式表示：,2002-12-6,基于最大熵的 統(tǒng)計機器翻譯模型(4),取以下特征和參數(shù)時等價于信源信道模型： 僅使用兩個特征 h1(e,f)=p(e) h2(e,f)=p(f|e) 121,2002-12-6,基于最大熵的 統(tǒng)計機器翻譯模型(5),參數(shù)訓(xùn)練,最優(yōu)化后驗概率準(zhǔn)則：區(qū)別性訓(xùn)練 這個判斷準(zhǔn)則是凸的，存在全局最優(yōu) 考慮多個參考譯文：,2002-12-6,基于最大熵的 統(tǒng)計機器翻譯模型(6),Och等人的實驗(1)：方案 首先將信源信道模型中的翻譯模型換成反向的翻譯模型，簡化了搜索算法，但翻譯系統(tǒng)的性能并沒有下降； 調(diào)整參數(shù)1和2，系統(tǒng)性能有了較大提高； 再依次引入其他一些特征，系統(tǒng)性能又有了更大的提高。,2002-12-6,基于最大熵的 統(tǒng)計機器翻譯模型(7),Och等人的實驗(2)：其他特征 句子長度特征(WP)：對于產(chǎn)生的每一個目標(biāo)語言單詞進(jìn)行懲罰； 附件的語言模型特征(CLM)：一個基于類的語言模型特征； 詞典特征(MX)：計算給定的輸入輸出句子中有多少詞典中存在的共現(xiàn)詞對。,2002-12-6,基于最大熵的 統(tǒng)計機器翻譯模型(8),Och等人的實驗(2)：實驗結(jié)果,2002-12-6,基于最大熵的 統(tǒng)計機器翻譯模型(9),經(jīng)典的信源信道模型只有在理想的情況下才能達(dá)到最優(yōu)，對于簡化的語言模型和翻譯模型，取不同的參數(shù)值實際效果更好； 最大熵方法大大擴充了統(tǒng)計機器翻譯的思路； 特征的選擇更加靈活。,2002-12-6,統(tǒng)計機器翻譯的應(yīng)用,傳統(tǒng)機器翻譯的應(yīng)用領(lǐng)域 跨語言檢索 聶建云使用IBM Model 1進(jìn)行CLIR 機器翻譯系統(tǒng)的快速開發(fā) 針對未知語言 快速開發(fā),2002-12-6,總結(jié),IBM當(dāng)年的工作是有一定超前性的 雖然很多人懷疑統(tǒng)計方法在機器翻譯中能否取得成功，但現(xiàn)在這已不再是問題 基于平行語法的機器翻譯方法總體上不成功 基于最大熵的方法為統(tǒng)計機器翻譯方法開辟了一個新天地,2002-12-6,我的工作設(shè)想,采用基于最大熵的統(tǒng)計機器翻譯模型； 提出基于模板的統(tǒng)計翻譯模型： 句法樹對齊 抽取翻譯模板 基于模板翻譯模型 其它特征 漢語詞法分析 漢語句法分析,2002-12-6,參考文獻(xiàn)(1),Al-Onaizan 1999 Yaser Al-Onaizan, Jan Curin, Michael Jahr, Kevin Knight, John Lafferty, Dan Melamed, Franz-Josef Och, David Purdy, Noah A. Smith and David Yarowsky (1999). Statistical Machine Translation: Final Report, Johns Hopkins University 1999 Summer Workshop on Language Engineering, Center for Speech and Language Processing, Baltimore, MD. Alshawi 1998 Alshawi, H., Bangalore, S. and Douglas, S. Automatic Acquisition of Hierarchical transduction models for machine translation, Proc. 36th Conf. Association of Computational Linguistics, Montreal, Canada, 1998. Berger 1994 Berger, A., P. Brown, S. Della Pietra, V. Della Pietra, J. Gillett, J. Lafferty, R. Mercer, H. Printz, L Ures, The Candide System for Machine Translation, Proceedings of the DARPA Workshop on Human Language Technology (HLT) Berger 1996 A. L. Berger, S. A. Della Pietra, and V. J. Della Pietra. A maximum entropy approach to natural language processing. Computational Linguistics, 22(1):39-72,March 1996. Brown 1990 Peter F. Brown, John Cocke, Stephen A. Della Pietra, Vincent J. Della Pietra, Fredrick Jelinek, John D. Lafferty, Robert L. Mercer, Paul S. Roossin, A Statistical Approach to Machine Translation, Computational Linguistics,1990,2002-12-6,參考文獻(xiàn)(2),Brown 1993 Peter. F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, Robert L. Mercer, The Mathematics of Statistical Machine Translation: Parameter Estimation, Computational Linguistics, Vol 19, No.2 ,1993 Ker 1997 Sue J. Ker, Jason S. Chang, A Class-based Approach to Word Alignment, Computational Linguistics, Vol. 23, No. 2, Page 313-343, 1997 Knight 1999 Kevin Knight, A Statistical Machine Translation Tutorial Workbook. unpublished, prepared in connection with the JHU summer workshop, August 1999. (available at /ws99/projects/mt/wkbk.rtf). Och 1998 Franz Josef Och and Hans Weber. Improving statistical natural language translation with categories and rules. In Proc. Of the 35th Annual Conf. of the Association for Computational Linguistics and the 17th Int. Conf. on Computational Linguistics, pages 985-989, Montreal, Canada, August 1998. Och 1999 F. J. Och, C. Tillmann, and H. Ney. Improved alignment models for statistical machine translation. In Proc. of the Joint SIGDAT Conf. On Empirical Methods in Natural Language Processing and Very Large Corpora, pages 20-28, University of Maryland, College Park, MD, June 1999.,2002-12-6,參考文獻(xiàn)(3),Och 2001 Franz Josef Och, Hermann Ney. What Can Machine Translation Learn from Speech Recognition? In: proceedings of MT 2001 Workshop: Towards a Road Map for MT, pp. 26-31, Santiago de Compostela, Spain, September 2001. Och 2002 Franz Josef Och, Hermann Ney, Discriminative Training and Maximum Entropy Models for Statistical Machine Translation, ACL2002 Papineni 1997 K. A. Papineni, S. Roukos, and R. T. Ward. 1997. Feature-based language understanding. In European Conf. on Speech Communication and Technology, pages 1435-1438, Rhodes, Greece, September. Papineni 1998 K. A. Papineni, S. Roukos, and R. T. Ward. 1998. Maximum likelihood and discriminative training of direct translation models. In Proc. Int. Conf. on Acoustics, Speech, and Signal Processing, pages 189-192, Seattle, WA, May. Takeda 1996 Koichi Taked