一種錯(cuò)誤敏感的詞對齊評價(jià)方法

1、2022-4-141一種錯(cuò)誤敏感的詞對齊評價(jià)方法一種錯(cuò)誤敏感的詞對齊評價(jià)方法黃書劍 奚寧 趙迎功 戴新宇 陳家駿南京大學(xué)計(jì)算機(jī)系自然語言處理實(shí)驗(yàn)室2022-4-142研究動因相關(guān)工作問題分析我們的工作實(shí)驗(yàn)及分析小結(jié)及展望提綱2022-4-143研究動因相關(guān)工作問題分析我們的工作實(shí)驗(yàn)及分析小結(jié)及展望提綱雙語平行語料詞對齊短語翻譯模型訓(xùn)練參數(shù)學(xué)習(xí)測試雙語平行語料詞對齊調(diào)序模型訓(xùn)練參數(shù)學(xué)習(xí)測試大規(guī)模單語語料詞對齊結(jié)果語言模型訓(xùn)練參數(shù)學(xué)習(xí)測試PBSMT基本流程2022-4-144通過整個(gè)機(jī)器翻譯系統(tǒng)的效果來評價(jià) 效果直接可見 缺點(diǎn)： 時(shí)間消耗多通過人工標(biāo)注的對齊矩陣來評價(jià) 以AER為代表 獨(dú)立于機(jī)器翻

2、譯系統(tǒng) 計(jì)算高效，便于迭代優(yōu)化2022-4-145如何評價(jià)詞對齊質(zhì)量？對齊錯(cuò)誤率(Alignment Error Rate) (Och et al., 2003) 出發(fā)點(diǎn)： 以link為單位計(jì)算詞對齊的質(zhì)量 通過準(zhǔn)確率和召回率來描述 困境： AER與機(jī)器翻譯系統(tǒng)的一致性較差(Ayan et al., 2006; Fraser et al., 2007) 大幅度減少AER的同時(shí)，BLEU的提高并不明顯(Zhang et al. 2004; Liang et al.,2006; DeNero et al., 2007 )2022-4-1462022-4-147研究動因相關(guān)工作問題分析我們的工作實(shí)驗(yàn)

3、及分析小結(jié)及展望提綱權(quán)值可調(diào)的F-measure (Fraser et al., 2007) 出發(fā)點(diǎn)： AER中對準(zhǔn)確率和召回率處以相同的權(quán)重是有偏的 用權(quán)值來調(diào)節(jié)準(zhǔn)確率和召回率 潛在問題： 對于不同的語料要進(jìn)行重新訓(xùn)練 本質(zhì)上沒有考慮短語抽取的過程2022-4-148一致短語錯(cuò)誤率(Consistent Phrase Error Rate) (Ayan et al., 2006) 出發(fā)點(diǎn)： 為短語抽取服務(wù) 以多個(gè)對齊的結(jié)果上共同抽取的短語作為評價(jià)標(biāo)準(zhǔn) 以短語的準(zhǔn)確率和召回率來衡量對齊的質(zhì)量 潛在問題： 需要同時(shí)有多個(gè)對齊才能進(jìn)行 短語抽取本身具有一定的盲目性 代價(jià)大，不便于快速計(jì)算和多次迭代

4、2022-4-1492022-4-1410研究動因相關(guān)工作問題分析我們的工作實(shí)驗(yàn)結(jié)果分析小結(jié)及展望提綱人工標(biāo)注的詞對齊2022-4-1411 重申 reiterated 重申 反對 reiterated its opposition to 重申 反對 外國 reiterated its opposition to foreign 反對 opposition to 反對外國 opposition to foreign 外國 foreign 外國 軍隊(duì) foreign military部分抽取出的短語詞對齊錯(cuò)誤12022-4-1412 重申 reiterated 重申 反對 reiterated

5、its opposition to 重申 反對 外國 reiterated its opposition to foreign 反對 opposition to 反對外國 opposition to foreign 外國 foreign 外國 軍隊(duì) foreign military部分抽取出的短語詞對齊錯(cuò)誤22022-4-1413 重申 reiterated 重申 反對 reiterated its opposition to 重申 反對 外國 reiterated its opposition to foreign 反對 opposition to 反對外國 opposition to fo

6、reign 外國 foreign 外國 軍隊(duì) foreign military部分抽取出的短語錯(cuò)誤的嚴(yán)重程度與錯(cuò)誤的嚴(yán)重程度與錯(cuò)誤鏈接的位置有關(guān)錯(cuò)誤鏈接的位置有關(guān)缺失鏈接2022-4-1414 重申 reiterated 重申 反對 reiterated its opposition to 重申 反對 外國 reiterated its opposition to foreign 反對 opposition to 反對外國 opposition to foreign 外國 foreign 外國 軍隊(duì) foreign military部分抽取出的短語缺失鏈接的影響缺失鏈接的影響遠(yuǎn)小于錯(cuò)誤鏈接遠(yuǎn)小

7、于錯(cuò)誤鏈接冗余鏈接2022-4-1415錯(cuò)誤的嚴(yán)重程度與冗余錯(cuò)誤的嚴(yán)重程度與冗余鏈接的位置和數(shù)量有關(guān)鏈接的位置和數(shù)量有關(guān)2022-4-1416研究動因相關(guān)工作問題分析我們的工作實(shí)驗(yàn)及分析小結(jié)及展望提綱錯(cuò)誤敏感的詞對齊評價(jià)標(biāo)準(zhǔn)Error Sensitive Alignment Error Rate (ESAER) 對每個(gè)目標(biāo)語言的詞計(jì)算其對齊錯(cuò)誤 對不同程度的錯(cuò)誤施加不同力度的懲罰 懲罰的力度和懲罰的距離有關(guān) 對不同類型的錯(cuò)誤施加不同的懲罰，用懲罰因子來調(diào)節(jié) 單一的錯(cuò)誤鏈接： 若干個(gè)丟失鏈接： 若干個(gè)冗余鏈接： 其余錯(cuò)誤可由上述三種情況組合而成2022-4-1417( , )*|( , )* *

8、( , )* *d j kjkmp l nl nrp l nl nESAER示例 “尼-Indonesia”為丟失鏈接 “重申-Reiterated”為丟失鏈接 “重申-Opposition”為錯(cuò)誤鏈接 “反對-Foreign”為冗余鏈接2022-4-14182022-4-1419研究動因相關(guān)工作問題分析我們的工作實(shí)驗(yàn)及分析小結(jié)及展望提綱對齊實(shí)驗(yàn)系統(tǒng) Giza+ Model1 Giza+ HMM Giza+ Model4對齊結(jié)果生成方式 中到英單向 英到中單向 雙向求并集 啟發(fā)式合并(grow-diag-final, Och et al., 2003)2022-4-1420實(shí)驗(yàn)工具 機(jī)器翻譯系

9、統(tǒng) Moses 語言模型系統(tǒng) SRILM實(shí)驗(yàn)數(shù)據(jù)2022-4-1421數(shù)據(jù)集合LDC編號句子數(shù)量分詞訓(xùn)練集LDC2003E14135,074 LDC2005T10153,037 測試集NIST2002491 機(jī)器翻譯訓(xùn)練集LDC2006E431,000 測試集LDC2006E381,082 實(shí)驗(yàn)結(jié)果AlignmentAERESAER/50BLEUModel1E2F0.47050.211616.53 F2E0.44170.4265 13.94Union0.47120.360215.10 GDF0.34450.265517.63HMME2F0.43040.214418.66 F2E0.39170.

10、396016.71 Union0.39680.335917.40 GDF0.33790.272218.92 Model4E2F0.36870.179320.16 F2E0.35280.351716.08 Union0.36170.295017.64 GDF0.30230.233019.35 2022-4-1422和BLEU的相關(guān)性對比2022-4-1423P=-0.61642 R = 0.38P=-0.80542 R = 0.64870.150.20.250.30.350.40.450.512131415161718192021AER & RSAER/50BLEUAER和BLEU的相關(guān)

11、性RSAER和BLEU的相關(guān)性實(shí)驗(yàn)中的問題AlignmentAERESAER/50BLEUModel1E2F0.47050.211616.53 F2E0.44170.4265 13.94Union0.47120.360215.10 GDF0.34450.265517.63HMME2F0.43040.214418.66 F2E0.39170.396016.71 Union0.39680.335917.40 GDF0.33790.272218.92 Model4E2F0.36870.179320.16 F2E0.35280.351716.08 Union0.36170.295017.64 GDF0.30230.233019.35 2022-4-14242022-4-1425研究動因相關(guān)工作問題分析我們的工作實(shí)驗(yàn)及分析小結(jié)及展望提綱小結(jié): 本文分析了詞對齊的幾種可能錯(cuò)誤