一種錯(cuò)誤敏感的詞對(duì)齊評(píng)價(jià)方法

1、2022-4-141一種錯(cuò)誤敏感的詞對(duì)齊評(píng)價(jià)方法一種錯(cuò)誤敏感的詞對(duì)齊評(píng)價(jià)方法黃書(shū)劍 奚寧 趙迎功 戴新宇 陳家駿南京大學(xué)計(jì)算機(jī)系自然語(yǔ)言處理實(shí)驗(yàn)室2022-4-142研究動(dòng)因相關(guān)工作問(wèn)題分析我們的工作實(shí)驗(yàn)及分析小結(jié)及展望提綱2022-4-143研究動(dòng)因相關(guān)工作問(wèn)題分析我們的工作實(shí)驗(yàn)及分析小結(jié)及展望提綱雙語(yǔ)平行語(yǔ)料詞對(duì)齊短語(yǔ)翻譯模型訓(xùn)練參數(shù)學(xué)習(xí)測(cè)試雙語(yǔ)平行語(yǔ)料詞對(duì)齊調(diào)序模型訓(xùn)練參數(shù)學(xué)習(xí)測(cè)試大規(guī)模單語(yǔ)語(yǔ)料詞對(duì)齊結(jié)果語(yǔ)言模型訓(xùn)練參數(shù)學(xué)習(xí)測(cè)試PBSMT基本流程2022-4-144通過(guò)整個(gè)機(jī)器翻譯系統(tǒng)的效果來(lái)評(píng)價(jià) 效果直接可見(jiàn) 缺點(diǎn)： 時(shí)間消耗多通過(guò)人工標(biāo)注的對(duì)齊矩陣來(lái)評(píng)價(jià) 以AER為代表 獨(dú)立于機(jī)器翻

2、譯系統(tǒng) 計(jì)算高效，便于迭代優(yōu)化2022-4-145如何評(píng)價(jià)詞對(duì)齊質(zhì)量？對(duì)齊錯(cuò)誤率(Alignment Error Rate) (Och et al., 2003) 出發(fā)點(diǎn)： 以link為單位計(jì)算詞對(duì)齊的質(zhì)量 通過(guò)準(zhǔn)確率和召回率來(lái)描述 困境： AER與機(jī)器翻譯系統(tǒng)的一致性較差(Ayan et al., 2006; Fraser et al., 2007) 大幅度減少AER的同時(shí)，BLEU的提高并不明顯(Zhang et al. 2004; Liang et al.,2006; DeNero et al., 2007 )2022-4-1462022-4-147研究動(dòng)因相關(guān)工作問(wèn)題分析我們的工作實(shí)驗(yàn)

3、及分析小結(jié)及展望提綱權(quán)值可調(diào)的F-measure (Fraser et al., 2007) 出發(fā)點(diǎn)： AER中對(duì)準(zhǔn)確率和召回率處以相同的權(quán)重是有偏的 用權(quán)值來(lái)調(diào)節(jié)準(zhǔn)確率和召回率 潛在問(wèn)題： 對(duì)于不同的語(yǔ)料要進(jìn)行重新訓(xùn)練 本質(zhì)上沒(méi)有考慮短語(yǔ)抽取的過(guò)程2022-4-148一致短語(yǔ)錯(cuò)誤率(Consistent Phrase Error Rate) (Ayan et al., 2006) 出發(fā)點(diǎn)： 為短語(yǔ)抽取服務(wù) 以多個(gè)對(duì)齊的結(jié)果上共同抽取的短語(yǔ)作為評(píng)價(jià)標(biāo)準(zhǔn) 以短語(yǔ)的準(zhǔn)確率和召回率來(lái)衡量對(duì)齊的質(zhì)量 潛在問(wèn)題： 需要同時(shí)有多個(gè)對(duì)齊才能進(jìn)行 短語(yǔ)抽取本身具有一定的盲目性 代價(jià)大，不便于快速計(jì)算和多次迭代

4、2022-4-1492022-4-1410研究動(dòng)因相關(guān)工作問(wèn)題分析我們的工作實(shí)驗(yàn)結(jié)果分析小結(jié)及展望提綱人工標(biāo)注的詞對(duì)齊2022-4-1411 重申 reiterated 重申 反對(duì) reiterated its opposition to 重申 反對(duì) 外國(guó) reiterated its opposition to foreign 反對(duì) opposition to 反對(duì)外國(guó) opposition to foreign 外國(guó) foreign 外國(guó) 軍隊(duì) foreign military部分抽取出的短語(yǔ)詞對(duì)齊錯(cuò)誤12022-4-1412 重申 reiterated 重申 反對(duì) reiterated

5、its opposition to 重申 反對(duì) 外國(guó) reiterated its opposition to foreign 反對(duì) opposition to 反對(duì)外國(guó) opposition to foreign 外國(guó) foreign 外國(guó) 軍隊(duì) foreign military部分抽取出的短語(yǔ)詞對(duì)齊錯(cuò)誤22022-4-1413 重申 reiterated 重申 反對(duì) reiterated its opposition to 重申 反對(duì) 外國(guó) reiterated its opposition to foreign 反對(duì) opposition to 反對(duì)外國(guó) opposition to fo

6、reign 外國(guó) foreign 外國(guó) 軍隊(duì) foreign military部分抽取出的短語(yǔ)錯(cuò)誤的嚴(yán)重程度與錯(cuò)誤的嚴(yán)重程度與錯(cuò)誤鏈接的位置有關(guān)錯(cuò)誤鏈接的位置有關(guān)缺失鏈接2022-4-1414 重申 reiterated 重申 反對(duì) reiterated its opposition to 重申 反對(duì) 外國(guó) reiterated its opposition to foreign 反對(duì) opposition to 反對(duì)外國(guó) opposition to foreign 外國(guó) foreign 外國(guó) 軍隊(duì) foreign military部分抽取出的短語(yǔ)缺失鏈接的影響缺失鏈接的影響遠(yuǎn)小于錯(cuò)誤鏈接遠(yuǎn)小

7、于錯(cuò)誤鏈接冗余鏈接2022-4-1415錯(cuò)誤的嚴(yán)重程度與冗余錯(cuò)誤的嚴(yán)重程度與冗余鏈接的位置和數(shù)量有關(guān)鏈接的位置和數(shù)量有關(guān)2022-4-1416研究動(dòng)因相關(guān)工作問(wèn)題分析我們的工作實(shí)驗(yàn)及分析小結(jié)及展望提綱錯(cuò)誤敏感的詞對(duì)齊評(píng)價(jià)標(biāo)準(zhǔn)Error Sensitive Alignment Error Rate (ESAER) 對(duì)每個(gè)目標(biāo)語(yǔ)言的詞計(jì)算其對(duì)齊錯(cuò)誤 對(duì)不同程度的錯(cuò)誤施加不同力度的懲罰 懲罰的力度和懲罰的距離有關(guān) 對(duì)不同類(lèi)型的錯(cuò)誤施加不同的懲罰，用懲罰因子來(lái)調(diào)節(jié) 單一的錯(cuò)誤鏈接： 若干個(gè)丟失鏈接： 若干個(gè)冗余鏈接： 其余錯(cuò)誤可由上述三種情況組合而成2022-4-1417( , )*|( , )* *

8、( , )* *d j kjkmp l nl nrp l nl nESAER示例 “尼-Indonesia”為丟失鏈接 “重申-Reiterated”為丟失鏈接 “重申-Opposition”為錯(cuò)誤鏈接 “反對(duì)-Foreign”為冗余鏈接2022-4-14182022-4-1419研究動(dòng)因相關(guān)工作問(wèn)題分析我們的工作實(shí)驗(yàn)及分析小結(jié)及展望提綱對(duì)齊實(shí)驗(yàn)系統(tǒng) Giza+ Model1 Giza+ HMM Giza+ Model4對(duì)齊結(jié)果生成方式 中到英單向 英到中單向 雙向求并集 啟發(fā)式合并(grow-diag-final, Och et al., 2003)2022-4-1420實(shí)驗(yàn)工具 機(jī)器翻譯系

9、統(tǒng) Moses 語(yǔ)言模型系統(tǒng) SRILM實(shí)驗(yàn)數(shù)據(jù)2022-4-1421數(shù)據(jù)集合LDC編號(hào)句子數(shù)量分詞訓(xùn)練集LDC2003E14135,074 LDC2005T10153,037 測(cè)試集NIST2002491 機(jī)器翻譯訓(xùn)練集LDC2006E431,000 測(cè)試集LDC2006E381,082 實(shí)驗(yàn)結(jié)果AlignmentAERESAER/50BLEUModel1E2F0.47050.211616.53 F2E0.44170.4265 13.94Union0.47120.360215.10 GDF0.34450.265517.63HMME2F0.43040.214418.66 F2E0.39170.

10、396016.71 Union0.39680.335917.40 GDF0.33790.272218.92 Model4E2F0.36870.179320.16 F2E0.35280.351716.08 Union0.36170.295017.64 GDF0.30230.233019.35 2022-4-1422和BLEU的相關(guān)性對(duì)比2022-4-1423P=-0.61642 R = 0.38P=-0.80542 R = 0.64870.150.20.250.30.350.40.450.512131415161718192021AER & RSAER/50BLEUAER和BLEU的相關(guān)

11、性RSAER和BLEU的相關(guān)性實(shí)驗(yàn)中的問(wèn)題AlignmentAERESAER/50BLEUModel1E2F0.47050.211616.53 F2E0.44170.4265 13.94Union0.47120.360215.10 GDF0.34450.265517.63HMME2F0.43040.214418.66 F2E0.39170.396016.71 Union0.39680.335917.40 GDF0.33790.272218.92 Model4E2F0.36870.179320.16 F2E0.35280.351716.08 Union0.36170.295017.64 GDF0.30230.233019.35 2022-4-14242022-4-1425研究動(dòng)因相關(guān)工作問(wèn)題分析我們的工作實(shí)驗(yàn)及分析小結(jié)及展望提綱小結(jié): 本文分析了詞對(duì)齊的幾種可能錯(cuò)誤