一種基于詞對齊的中文深層語義解析模型

1、一種基于詞對齊的中文深層語義解析模 型鄭曉東胡漢輝趙林度呂永濤 東南大學經(jīng)濟管理學院東南大學計算機科學與工程 學院摘要：語義解析是指將自然語言句子轉化成便于機器理解和推理的意義形式。近年來英 文語義解析的研究取得了很大進展。然而，中文語義解析的相關工作則相對較 少。中文和英文之間存在一定的差異，適用于英文的語義解析方法不一定適合中 文。因此，針對屮文的語言特點，提出一種基于詞對齊的屮文語義解析方法，將 中文句子轉化成其相應的意義表示看作是一個機器翻譯的過程。首先將英文語義 解析方法中常用的訓練數(shù)據(jù)集geoquery轉化成中文數(shù)據(jù)集，數(shù)據(jù)集中毎條訓練 數(shù)據(jù)包括一個中文句子及其正確的意義表示。然后

2、利用詞對齊模型來獲取由中文 自然語言字符串及其相應的意義表示所組成的雙語詞典。最后通過學習一個概率 估計模型來確定最終的語義解析模型。實驗結果表明，wacsp有較高的精確度和 覆蓋率。關鍵詞：自然語言處理;語義解析;詞對齊模型;作者簡介：鄭曉東（1976）,男，博士，高級工程師，研究領域為信息處理、 知識管理、系統(tǒng)工程;e-mail:51847986163. com;作者簡介：胡漢輝（1956）,教授，博導；作者簡介：趙林度（1965）,教授，博導；作者簡介：呂永濤（1991）,碩士。收稿日期:2017-07-10 基金：國家自然科學棊金而上項fl （no. 70673010）word ali

3、gnment-based chinese deep semantic parsingzheng xiaodong hu hanhui zhao lindu lv yongtaoschool of economics and management, southeastuniversity; school of computer science andengineering, southeast university;abstract：semantic parsing is the task of transforming natural-language sentences into compl

4、ete, formeil, symbolic meaning representations (mr) suitable for reasoning or machine-undcrstending. in recent years, the research of semantic parsing in english has made great progress. however, little work has been done in chinese semantic parsing. there are inherent differences between chinese an

5、d english, therefore one cannot simply apply methods, which are feasible for english, to chinese. this paper proposes a statistical approach called wacsp aiming at chinese semantic parsing, which considers the process of converting chinese sentence into its corresponding meaning as a machine transla

6、tion procedure. at first, it turns the frequently-used dataset geoquery into chinese dataset, in which each data cont ains a chi nese sente nee and its accurate meaning. then it uses the word alignment model to acquire the bilingual dictionary made up by the chinese natural language string and its m

7、eaning. in the end, it determines the ultimate semantic analysis by learning a statistical model. experimental results show that wacsp performs wel1 with higher prccision and coverage.keyword：natural language processing; semantic parsing; word alignment model;received： 2017-07-101引言 語義解析是將自然語言句子轉化成便

8、于機器理解和推理的意義表示(mr),它 從線性的詞語序列中獲取潛在的語義結構。意義表示語言(mrl)是一種形式化 表示語言，可確保每一個意義表示(mr)有唯一的解析樹。隨著分詞、詞性標注 和句法解析等自然語言處理技術的逐步成熟，淺層語義解析已得到廣泛研究和 應用。由于淺層語義解析的局限性，以及問答系統(tǒng)、信息抽取、機器翻譯和機器 人控制等領域的應用需求，使得深層語義解析越來越受到重視。深層語義解析技術當前處于探索研究階段，且大多數(shù)針對英文。如ge等2005 年提出基于句法的語義解析方法scissor缺點是需手動構造帶有語義標簽 的句法解析樹作為訓練語料，代價很大。李等人在2015年嘗試用組合范疇

9、文法 (combinatory categorical grcimmar, ccg)進彳亍語義解析2,該模型使用詞典 歸納過程歸納ccg詞典，缺點是需要人工手寫規(guī)則。katcb來提岀基于字符 串核函數(shù)的語義解析算法kr1sp£31，當輸入的自然語言句子有噪音時，kr1sp 比其他語義解析器的魯棒性更強。中英文差異主要有兩點:一是中文與英文的語法結構有較大差異，適用于英文的 語義解析模型并不一定適用于屮文;二是英文重結構，屮文重語義，英文語義解 析方法沒有較好地考慮中文語言特點。因此本文針對中文語法結構和中文語言特 點提岀一種基于詞對齊的中文語義解析模型(word alignment-

10、based chinese semantic parsing, wacsp),圖1是其流程圖，結合中文語言的特點在數(shù)據(jù)預 處理算法中，對數(shù)據(jù)集進行中文分詞、數(shù)據(jù)清理和數(shù)據(jù)重構等，使得中文語義解 析算法性能有較大的提升。wacsp用嵌套結構處理mrs,通過kate基于轉換規(guī)則的語義解析方法做語義解析 ulo本文提出的算法通過給定的數(shù)據(jù)是中文句子以及其正確的mrs。算法不需 要中文句法先驗知識，且假設上下文無關文法是明確的。木文主要創(chuàng)新點是用統(tǒng) 計機器翻譯技術做中文語義解析。具體來說，用統(tǒng)計詞對齊模型臣1來獲取雙語 詞典，該詞典包含自然語言字符串及mrl表示。在解析框架屮通過結合這些自然 語言字符

11、串以及它們的mrl翻譯來最終形成完整的mrs,這個解析框架就是同步 上下文無關文法scfgm該文法是大部分現(xiàn)有的基于句法的統(tǒng)計翻譯模型的 基礎7-8。2基于詞對齊的中文語義解析模型wacsp從圖2中可以看出，wacsp的任務就是將中文句子翻譯成用形式化語言clang表 示的mr格式。為了完成這一任務，首先需要用語義語法回解析中文句子的句法 結構，語義語法中的非終結符與clang語法的非終結符相同。通過語義解析器獲 得字符串的意義表示，然后通過結合字符串的意義表示來獲取整個中文句子的 意義表示。圖3 (a)是例句的語義解析樹屮的一種可能，其屮的非終結符是基 于clang文法的非終結符。圖3 (b

12、)表示對應的mr結構的clang解析樹。answer ( state (traverse_l ( riverid (密密西西比河流經(jīng)的州有哪圖2中文句子對應mrl的意queryquery有哪些河流流經(jīng)statetraverse河流名密西西比河(a)中文解析樹圖3圖2中字符串對的部分解析樹 下載原圖上述過程可以看作同步解析的一個實例回，最終推導岀兩個字符串，一個是源 語言的字符串，另一個是目標語言的字符串。輸入是屮文句子c,然后語義解析 器的任務就是找出一種推導，它可以推導出字符串對<e, f>,這里的f就是句子 e的mrl翻譯。為了防止字符串對的集合是無限多個，本文用加權的scfg

13、生成 字符串對，它的定義如下：g=<n,te，t, £,s,a> 式中n代表有限的非終結符集合，te表示有限的自然語言的終結符集合。t表 示有限的mrl語言的終結符集合。l表示詞典，詞典包括有限的規(guī)則集合。s屬 于n, s是一個開始符號。x是參數(shù)評估的集合，其定義了推導的概率分布。l 屮的每一個產(chǎn)生式都是如下形式：ava,/?>其中agn, a g (nutj , f3 g (nut.)。非終結符a稱為產(chǎn)生式左部 (left-hand side, li is),產(chǎn)生式右部(right-hand side, riis)是一對字符串 <a, b>。對于a中的

14、每一個非終結符在b中都有一個與之關聯(lián)的完全相同的 非終結符。換句話說a中的非終結符是b中非終結符的排列。下面是一些可以用來產(chǎn)生圖3中的解析樹的scfg規(guī)則：query ->v州有哪些/answer州 州v州皿的州/state州皿)> 州 k河流皿流經(jīng)/traverse!河流皿)： 河流河流名ffl,(riverid河流名皿)： 河流名v密西西比河,(密西西比漢每一個scfg規(guī)則a-<a, 3>可看成兩部分結合而成，a-a是自然語言句子的 句法解析產(chǎn)生式、a-> b是mrl語法產(chǎn)生式。本文將字符串a(chǎn)稱為自然語言(nl)字符串，字符串b稱為mr字符串。nl和mr字符串

15、中的非終結符用 來進行索引顯示它們之間的關聯(lián)。所有的推導都是由相關聯(lián)的開始符號對給出生成簡單的中文句子及其clang表示的一種推導，如下所示: query® query皿 n州皿有哪些/answer州國)=州皿的州有哪些,(answer(state州河流皿流經(jīng)的州有哪些，(answer(state (traverse2 河流也)二 v河流名皿流經(jīng)的州有哪些，(answer(state(raverse _ l(rverid 河濟密西西比河流經(jīng)的州有哪些，(answer(state (traverse _ 1 (riverid 盛可簡單理解為clang的表示就是中文句子的一種翻譯。因此對

16、于輸入句子e,會 有多種可能的推導(如:非終結符州有多種推導)。為了找岀正確的推導，木文 設計了一個對于推導d的概率模型，概率模型的參數(shù)為入，返冋值為d正確的 概率。對于屮文句子的翻譯結果f有如下定義：f =f( argmaxb(k)i dwd(gk)式中f (d)是推導d中的mr串，并且d (g|e)是一個集合，集合包含了 e所有 可能的推導。簡單來說，最終輸岀的mrl翻譯是推導d中的mr串，而且d是自 然語言句子e概率最大的推導。f可以通過動態(tài)規(guī)劃算法有效地計算出來。由于在給定nl和mrl吋n, te, tf, s就會相應獲取到，所以本文語義解析的學 習算法只需要學習一個詞典l和帶有參數(shù)x

17、的概率模型即可。因為詞典是所有 可能推導的集合，所以要想生成概率模型，需要首先學習得到詞典。因此學習任 務可以分為以下兩個子任務：(1) 學習一個詞典l,詞典隱式地定義了一個集合，這個集合包含所有可能的 推導，d (g)。(2) 學習一個參數(shù)x的集合，這個集合定義了 d (g)中推導的概率分布。兩個子任務都需要訓練數(shù)據(jù)集£>,每個訓練樣例久都是成對的，即 自然語言句子ei,以及其正確的mr串fi。詞典的生成同樣需要明確的mrl上下 文無關文法。因此開始訓練數(shù)據(jù)集時若沒有詞典則無法牛成正確的推導。木文將 這些推導作為隱藏變量，通過em算法對其進行極大似然估計。3 wacsp關鍵技

18、術:詞典采集在wacsp中，本文用詞對齊模型來進行詞典的采集。最基本的思想是在訓練集上 訓練一個統(tǒng)計詞對齊模型，然后找出每個訓練樣例的最有可能的詞對齊。通過從 這些詞對齊屮提取scfg規(guī)則來生成詞典8 o本文舉例說明上述算法。假設訓練數(shù)據(jù)集和圖2中的字符串對一樣，那么詞對齊 模型就是找到這對字符串的詞對齊。圖4是一個簡單的詞對齊例子，在這個詞對 齊中每個clang符號都被當作一個單詞處理。這樣會帶來兩個問題:第一個，并 不是所有的mr字符都有特定的含義。舉例來說，在clang中括號(，)和 花括號(, )并沒有實際的語義含義。這樣的符號并不會對齊任何自然語言單 詞，如果訓練集屮包含這些字符會很

19、有可能混淆詞對齊模型。第二個，mr符號 表示可能會產(chǎn)生歧義。例如clang謂詞pt,它根據(jù)給定的論元類型可能會有三 種含義，它可能代表著坐標(eg (pto 0),或者某物體所在的位置(pt our 4) ) o如果單獨判斷謂詞pt,詞對齊模型無法正確判斷出其含義。ansstatetravrive圖4 一個中文與clang字符的詞對齊下載原圖 為了避免上述問題，本文用mrl產(chǎn)生式序列表示mro mrl產(chǎn)生式序列對應mr的 自頂向下最左推導。每一個mrl產(chǎn)生式相當于一個單詞。圖5中文句子與其clang 表示的線性化解析的詞對齊。如上例所給出的第二個產(chǎn)牛式，州f （state州）,它就是來重寫第一

20、個產(chǎn)生式 query- （answer州）中的非終結符“州”，同理可知其他產(chǎn)生式。特別需要提 醒的是解析樹的結構是通過線性化保存的，并且對于每一個mr都有一個唯一的 線性化解析，這是因為mrl語法是明確的。在后續(xù)的提取scfg規(guī)則中，mr解析 樹的結構扮演重要角色。通過己有的詞對齊模型來獲取詞對齊。木文使用的是giza+10實現(xiàn)的ibm model 55o假設每個自然語言單詞最多對應一個mrl產(chǎn)生式，scfg規(guī)則采用自下而上方式 提取。這個提取過程首先從右部（lhs）都是終結符的產(chǎn)生式開始，比如河流名 -密西西比河。對于每個產(chǎn)生式x-b,規(guī)則x-><a, b便提取出來，其中a 包含

21、了所有的產(chǎn)牛式x-><a, b>所對齊的單詞，例如河流名一密西西比河， （密西西比河）>o然后再考慮產(chǎn)生式右部（liis）包含非終結符的情況，比如帶有論元的謂詞。在 這種情況下，nl字符串a(chǎn)包含了單詞以及非終結符，其中單詞與產(chǎn)生式相對應, 非終結符表示了論元實現(xiàn)的位置。例如，謂詞state提取的規(guī)則是:州->< 州也州,（state州也）>,公式中（1）代表著字間距為1,因為“的州”屮“的”是屬于沒有對齊的字。字間距（g）可以看作特殊 的非終結符，在數(shù)據(jù)流中最多可展開g個nl字，這樣一來對于模式匹配會增加 一定的靈活性。規(guī)則的提取過程是在線性化mr后進

22、行的（因此謂詞的提取過程 是在其所有論元都提取完畢后進行），最后便可提取出所有產(chǎn)牛式規(guī)則。河流-v河流名ffl,（rivend河流名皿）> 州 k河流皿流經(jīng)/traversex河流皿）> query -><州皿有哪些/answer州皿）:wacsp詞典采集算法如算法1所示:首先用訓練數(shù)據(jù)集t二行>訓練詞對齊 模型m,然后從詞對齊模型中獲得每個訓練樣例最有可能的詞對齊，本文取前 十個最有可能的詞對齊（210）。scfg規(guī)則便可從每一個詞對齊中提取岀來。 因為提取過程采用自下而上的方式，所以謂詞的提取過程是在其所有論元都提取完畢后進行。字典l包含所有的規(guī)則，這些規(guī)則是

23、從訓練樣例k個最好的詞對 齊中提取岀來的。算法1詞典采集算法輸入訓練t=v匕/>>,明確的輸出詞典z:lexicon-acquire (t, gr)1： "02： for i< 1 to |t|3: do f)<利用g線性化餡 4： vem>作為訓練數(shù)據(jù) 模型m5: for i< 1 to |t|6： doj 從詞對齊7f；>的k個最好的詞對齊7: for k'ltok8:dofbr j < f； downtol9： do a< lhs(f；j)10：a<-在a：中歸及其論：11:p* rhs(fij)12:匚一&#

24、163;ua一旦詞典獲取到，下一步任務就是學習語義解析的概率評估模型。對于推導d 用極大爛模型定義一個條件概率分布：式中fi是特征函數(shù)，并且z (e)是歸一化因子。對于詞典中的毎一條規(guī)則丫 都有一個特征函數(shù)，這個特征函數(shù)返回的是丫在推導中所用到的次數(shù)。同樣對 于每個單詞3也有一個特征函數(shù)，它返冋的是字間距3的數(shù)量。模型中無法看到的單詞被作為額外的特征，這一特征值是字間距中單詞的總數(shù)。 由于scfg的輸出文法是mrl文法，mrl產(chǎn)生式具有較好的結構，因此概率模型 相對簡單。對數(shù)線性模型使用的特征數(shù)量相對較少。本文用到與zcttlcmoycrell 相似的特征集。用vertibi算法解碼模型，需要

25、句子長度的立方時間。用earley圖保持所有的 推導與輸入的一致。用極大似然準則評估參數(shù)入2用高斯先驗來正則化模型im。由于黃金準則推 導在訓練集中并不適用，故將正確的推導作為隱藏變量。本文用改進迭代算法與 em算法來找到最佳參數(shù)。與全監(jiān)督和比，條件似然對于參數(shù)x不敏感，em算法 對于入是敏感的。為了假設最小可能，wacsp將入初始化為0。em算法需要統(tǒng) 計對于句子或者句子mr對所有可能的推導。然而枚舉所有可能的推導并不是好 的方法，因此本文采用內向外向算法來提高統(tǒng)計效率u3_。根據(jù)zcttlcmoycr 和collinsell的研究思想，最終的詞典只返回最好的那個規(guī)則，其他所有規(guī) 則都舍弄。

26、這樣的做法也是viterbi逼近算法，以此來提高精確度。5 wacsp的實驗結果與分析ge0query14是語義解析領域著名的評測數(shù)據(jù)庫，口前還沒有屮文語義解析評 測數(shù)據(jù)庫，本文的主要工作之一是將此評測數(shù)據(jù)庫人工翻譯為中文，對于 ge0query的翻譯遵循不改變句子語義的情況下，使用符合中文語法結構的翻譯 原則，由于中文分詞會影響后續(xù)的解析結果，因此對數(shù)據(jù)集中的自然語言句子 進行了人工分詞。共包含880個樣例，807條規(guī)則，13個非終結符，query是開 始符，含義表示如表1所示。本文在geoquery上用十折交叉驗證進行實驗。在測試實驗中本文統(tǒng)計輸出mrl 翻譯的句子的個數(shù)。當解析器沒有覆蓋

27、某個句子的結構時，這個句子將會翻譯失 敗。實驗中同樣需要統(tǒng)計生成正確mrl翻譯的句子的個數(shù)。如果一個句子的mrl 翻譯與數(shù)據(jù)集屮的mrl翻譯相同，則認為這個句子的mrl翻譯是正確的。本文采 用精確度precision、召回率recall以及fl-measure作為評價標準。表1非終結符含義說明下載原表實體名非終結符產(chǎn)生:城市名citynamecityname國家名country namecountryn<地方名placenameplacenam河流名rivernamerivername -州名縮寫stateabbrevstateabb州名statenamestatename-數(shù)量numn

28、ur城市citycity > cityid(cityl國家countrycountry > count地方placepalce > place河流riverriver > river州statestate > state實驗1改變訓練樣例個數(shù)，測試wacsp的精確度和召回率本實驗的主要目的是在k二0條件下，測試訓練樣例個數(shù)與wacsp的精確度和召回 率的關系。木次實驗共分為八組，訓練樣例個數(shù)分別是10、20、40、80、160、 320、640、792o圖6 (a)是wacsp的精確度與訓練樣例個數(shù)的關系，圖6 (b)是 wacsp的召回率與訓練樣例個數(shù)的關系。

29、訓練樣例個數(shù)6050403020100圖6 (b)召冋率與訓練樣例個數(shù)的關系圖下載原圖圖6 (a)表明wacsp的精確度隨著訓練樣例個數(shù)的增加而提高。圖6 (b)表明 wacsp的召回率同樣隨著訓練樣例個數(shù)的增加而提高。實驗表明在訓練樣例較大 的情況下wacsp表現(xiàn)岀較好的性能。實驗結果分析：隨著訓練樣例的增加，wacsp 訓練得到的詞對齊模型更準確而且評估scfg概率時誤差更小，所以精確度和召 回率會有相應的提升。實驗2改變k-best值，測試wacsp的精確度和召回率本實驗的主要目的是在訓練樣例個數(shù)(792句)固定條件下，測試k-bcst值與 wacsp的精確度和召回率的關系。進而找出精確

30、度和召回率最高的情況下，k的 最小值。木次實驗共分為五組，k取值分別是2、4、6、8、10o圖7 (a)、(b)分別是wacsp的精確度、召冋率與k的關系。圖7 (a) wacsp的精確度與k的關系圖 下載原圖246810圖7 (b) wacsp的召冋率與k的關系 下載原圖圖7 (a)表明在訓練樣例為792的條件下，k=6時wacsp的精確度最高。圖7 (b) 表明在訓練樣例為792的條件下，同樣k二6時wacsp召回率最高。實驗表明，在 訓練樣例為792的條件下，最小的k=6,此時wacsp的精確度和召回率最高。實 驗結果分析:每個訓練樣例的mrl產(chǎn)牛式平均個數(shù)是6. 3個，對于木文的訓練樣

31、 例來說，可能前六個詞對齊是最佳對齊。因此k二6時準確度和召回率是最高的。實驗3改變giza+每個模型的迭代次數(shù)，測試wacsp的精確度和召回率本實驗的主要目的是在訓練樣例(792句)和k (k二10)值固定條件下，測試 ibm模型迭代次數(shù)與wacsp的精確度和召回率的關系。表2表明隨著每個ibm模型迭代次數(shù)的增加，wacsp的精確度和召回率都相應地 增加。實驗結果分析:giza+實現(xiàn)了 ibm公司提出的5個模型國和隱馬爾科夫模 型10,其主要思想是利用em算法對雙語語料庫進行迭代訓練，由句子對齊得 到詞語對齊。因此隨著每個模型迭代訓練次數(shù)的增加，得到的詞對齊模型就越準 確，wacsp的精確度

32、和召回率也隨之提高。表2 giza+每個模型的迭代次數(shù)與wacsp精確度和召回率的關系下載原表m1-3,ml-4,ml-5,ibm模型m2-3,m2-4,m2 = 5,m3 = l,m3 = 2,m3 = 3,m4 = 3,迭代次數(shù)m4 = l,m4 = 2,m5=lm5 = 2m5 = 3精確度/%80.2181.1382.11召回率/%55.5457.2160.306總結語義解析是生成意義表示并將這些意義表示指派給語言輸入的一種處理週。機 器翻譯是將一個源語言句子轉化為對應的目標語言句子。本文研究并提出了一種 新穎的基于詞對齊模型的語義解析模型，可將編譯原理和機器翻譯技術應用到 語義解析領

33、域，即可以用機器翻譯技術做語義解析以解決自然語言理解。該方法 用統(tǒng)計詞對齊模型來獲取雙語詞典，解析模型本身可以看作是基于句法的翻譯 模型。本文介紹了使用同步解析技術的wacsp語義解析的學習算法，同步解析已經(jīng)被 廣泛地應用在基于句法的統(tǒng)計機器翻譯領域中。wacsp與其他基于短語的翻譯模 型相似，這些模型都需要一個簡單的詞對齊模型來獲取短語詞典。本文對wacsp 進行了大量的評估實驗，實驗表明wacsp有較好的精確度和召回率。參考文獻l ge r, mooney r j a statistical semantic parser that integrates syntax and semant

34、icsc/proceedings of the ninth conference on computational natural laingueigc learning，2005:9-16. lgc r, mooney r j. a statistical semantic parser that integrates syntax and semanticsc/i)toceedings of the ¥inth conference on computationnl ¥aturnl language learning, 2005:9-16.2 李金淼.基于組合范疇文法的

35、中文語義解析d.南京:東南大學，2015. 2李 金淼基于組合范疇文法的中文語義解析d南京:東南大學，2015.3 kate r j, mooney r j.using string-kernels for learning semantic parsersc/proceedings of the 21st international conferenee oncomputational linguistics and the 44th annua丄 mccting of the association for computational linguis ti cs, 2006:913-920

36、. 3katerj, mooney r j .using string-kernels for learning semantic parsers ©/proceedings of the 21st international conference on computational linguistics and the 44th annual meeting of the association for computotiondl linguistics, 2006:913-920.4 kate r j, wong y w, mooney r j. learning to tran

37、sfonn natural to formal languagesc/proceedings of the twentieth national conference on artificial intelligenee (aaai-2005) , pittsburgh, pa,2005:1062t068. 4kate r j, wong y w, mooney r j. learning to transform natural to fooial lainguagcsc/proceedings of the twentieth national conference on artifici

38、al intelligence (aaai-2005) 、 pittsburgh, pa, 2005:1062-1068.5 brown p f, pietra v j d, pie tra sad, et al. the mathematics of statistical machine translation:parometer estimationj computational linguistics, 1993, 19 (2) :263-311. 5brown p f, pictra v j d, pietra s a d, et al.the mathematics of stat

39、istical machine translation:parameter estimation. computational linguistics, 1993, 19 (2) :263-3116 aho a v, ullman j d.properties of syntax directed translations. journal of computer and system sciences, 1969, 3(3) :319-334.6aho a v, ullman j d.properties of syntax directed transittionsj.journal of

40、 computer and system sciences, 1969，3 (3) : 319-334.7 yamada k, knight k. a syntax-based statistical translationmodel ©/proceedings of the 39th annual meeting on association for computeitional linguistics, 2001:523一530. 7yani3d3 k, knight k. a syntax-based statistical transittion modelc/proceed

41、ings of the 39th annual meeting on association for computationnl linguistics, 2001:523-530.8 chiang d. a hierarchical phrase-based model for statistical machine tra nsla tion c/proceed ings of the 43rd annual mee ting on association for computeitional linguistics, 2005:263一270. 8chieing d. a hicrarchiceil phrase-based model for statistical machine ttanslationc/proceedings of the 43rd annual meeting on association for computational linguistics, 2005:263-270.9 allen j. natural language understanclingm 2nd ecl s. 1:pearson, 1995. 9 allen j natural language understandingm