統(tǒng)計語言模型課件

統(tǒng)計語言模型統(tǒng)計語言模型目錄概述語言模型數(shù)據(jù)平滑模型評價主要統(tǒng)計語言模型目錄概述概述概述信源－信道模型噪聲信道模型模型：出錯的概率舉例：p(0|1)=0.3,p(1|1)=0.7,p(1|0)=0.4,p(0|0)=0.6任務是：已知帶有噪聲的輸出想知道輸入是什么（也稱為：Decoding)信源－信道模型噪聲信道模型信源－信道模型信源模型以概率生成輸入信號。信道模型信道以概率分布將輸入信號轉(zhuǎn)換成輸出信號。信源－信道模型已知輸出，求解最可能的輸入。該任務的數(shù)學描述是：信源－信道模型信源模型信源－信道模型的應用信源－信道模型是一種常用模型，具有廣泛應用?？筛鶕?jù)實際問題，定義信源－信道模型的I/O。例如：語音識別：輸入：文本輸出：語音。文字識別：輸入：文本輸出：圖像。機器翻譯：輸入：目標語言句子輸出：源語言句子。音字轉(zhuǎn)換：輸入：文本輸出：拼音。例子：微軟拼音輸入法：任務：將用戶輸入的拼音流轉(zhuǎn)換成文本句子。信源－信道模型的I/O定義：輸入：文本輸出：拼音。微軟拼音輸入法的音字轉(zhuǎn)換程序：語言模型：計算文本句子的概率。信源－信道模型的應用信源－信道模型語言模型什么是語言模型(LanguageModel)一個概率模型，用來估計語言句子出現(xiàn)的概率。語言模型什么是語言模型(LanguageModel)完美的語言模型對于詞序列如何計算？根據(jù)鏈式規(guī)則：即使對于很小的m，上面的理想公式也很難計算，因為參數(shù)太多。完美的語言模型對于詞序列例子例子Markov鏈有限的記憶能力不考慮太“舊”的歷史只記住前n-1個詞，稱為n-1階Markov鏈近似Markov鏈有限的記憶能力例子（Bigram,Trigram）例子（Bigram,Trigram）N-gram模型N-gram模型：相當于n-1階Markov鏈?！皀-gram”=n個詞構成的序列，Unigram n=1;bigram n=2;trigram n=3;模型結構模型：由一組模型參數(shù)組成。每個N-gram模型參數(shù)：n-gram及其頻度信息，形式為： 或這里：模型作用：計算概率。模型訓練：在訓練語料庫中統(tǒng)計獲得n-gram的頻度信息N-gram模型N-gram模型：相當于n-1階Markov參數(shù)訓練系統(tǒng)

參數(shù)訓練系統(tǒng)N的選擇：可靠性vs.辨別力“我 正在 ________”

講課?圖書館?聽課?學習?借書?……“我 正在圖書館 ________”

學習?借書?……N的選擇：可靠性vs.辨別力“我 正在 _____可靠性vs.辨別力更大的n:對下一個詞出現(xiàn)的約束性信息更多，更大的辨別力更小的n:在訓練語料庫中出現(xiàn)的次數(shù)更多，更可靠的統(tǒng)計結果，更高的可靠性

可靠性和可區(qū)別性成反比，需要折中?？煽啃詖s.辨別力更大的n:對下一個詞出現(xiàn)的約束性信N的選擇

詞表中詞的個數(shù)|V|=20,000詞n所有可能的n-gram的個數(shù)2(bigrams)400,000,0003(trigrams)8,000,000,000,0004(4-grams)1.6x1017N的選擇

詞表中詞的個數(shù)|V|=20,000詞n所小結符號串：詞在句子中的上下文(context)或歷史(history)語言模型：描述語言句子的概率分布P(S)句子概率的計算上下文歷史太長，無法計算小結N-gram模型：有限歷史假設：詞的出現(xiàn)，僅與其前n-1個詞相關。句子概率計算：模型：模型參數(shù)的集合模型參數(shù)：舉例n=1Unigramn=2Bigramn=3TrigramN-gram模型：有限歷史假設：采用N-gram模型計算句子概率n=1Unigramn=2Bigramn=3Trigram采用N-gram模型計算句子概率N-gram模型應用-音字轉(zhuǎn)換給定拼音串：tashiyanjiushengwude可能的漢字串踏實研究生物的他實驗救生物的他使煙酒生物的他是研究生物的……N-gram模型應用-音字轉(zhuǎn)換給定拼音串：tashiya音字轉(zhuǎn)換計算公式音字轉(zhuǎn)換計算公式可能的轉(zhuǎn)換結果，分詞結果踏實研究生物的：踏實/研究/生物/的他實驗救生物的：他/實驗/救生/物/的他使煙酒生物的：他/使/煙酒/生物/的他是研究生物的：他/是/研究/生物/的

……如果使用Bigram計算：P(踏實研究生物的)=P(踏實)×P(研究|踏實)×P(生物|研究)×P(的|生物)P(他實驗救生物的)=P(他)×P(實驗|他)×P(救生|實驗)×P(物|救生))×P(的|物)P(他是研究生物的)=P(他)×P(是|他)×P(研究|是)×P(生物|研究)×P(的|生物)選擇概率最大的句子，作為轉(zhuǎn)換結果可能的轉(zhuǎn)換結果，分詞結果N-gram模型應用-中文分詞給定漢字串：他是研究生物的?？赡艿姆衷~結果：1)他|是|研究生|物|的2)他|是|研究|生物|的N-gram模型應用-中文分詞給定漢字串：他是研究生物的。統(tǒng)計分詞計算公式

統(tǒng)計分詞計算公式采用Bigram計算P(他/是/研究生/物/的)=P(他)×P(是|他)×P(研究生|是)×P(物|研究生)×P(的|物)×P(的)P(他/是/研究/生物/的)=P(他)×P(是|他)×P(研究|是)×P(生物|研究)×P(的|生物)×P(的)采用Bigram計算模型參數(shù)估計——模型訓練兩個概念訓練語料：用于建立模型的給定語料。最大似然估計：用相對頻率計算概率的方法。模型參數(shù)估計——模型訓練兩個概念模型參數(shù)估計——模型訓練模型參數(shù)估計——模型訓練零概率問題大量的低頻詞，無論訓練數(shù)據(jù)的規(guī)模如何擴大，其出現(xiàn)頻度仍舊很低甚至根本不出現(xiàn)。如果采用MLE估算它們的概率分布，將出現(xiàn)大量的，從而導致的情況，這種情況大大削弱了該模型的描述能力。零概率問題大量的低頻詞，無論訓練數(shù)據(jù)的規(guī)模如何擴大，其出現(xiàn)頻例子假設我們使用Trigram模型如果某個那么P(S)=0這就是數(shù)據(jù)稀疏問題(零概率問題)必須保證從而使

例子假設我們使用Trigram模型數(shù)據(jù)平滑算法數(shù)據(jù)平滑算法統(tǒng)計語言模型課件加1平滑UnigramBigram加1平滑Unigram2、Good-Turing估計2、Good-Turing估計3、線性插值平滑(LinearInterpolation)3、線性插值平滑(LinearInterpolation例子-Bigram的線性插值例子-Bigram的線性插值4、回退式數(shù)據(jù)平滑(Backing-off)4、回退式數(shù)據(jù)平滑(Backing-off)平滑的效果數(shù)據(jù)平滑的效果與訓練語料庫的規(guī)模有關數(shù)據(jù)平滑技術是構造高魯棒性語言模型的重要手段訓練語料庫規(guī)模越小,數(shù)據(jù)平滑的效果越顯著,訓練語料庫規(guī)模越大,數(shù)據(jù)平滑的效果越不顯著,甚至可以忽略不計平滑的效果數(shù)據(jù)平滑的效果與訓練語料庫的規(guī)模有關現(xiàn)有的主要語言模型上下文的定義決定了語言模型的不同.如果這樣的語言模型稱為上下文無關模型采用MLE:又稱為一元文法統(tǒng)計模型現(xiàn)有的主要語言模型上下文的定義決定了語言模型的不同.現(xiàn)有的主要語言模型N元文法統(tǒng)計模型自從幾十年前在大詞表語言識別系統(tǒng)中首次使用Trigram以來,直到現(xiàn)在,Trigram模型仍舊是在實際應用中表現(xiàn)最佳的語言模型,并且成為許多其他的語言模型的重要組成部分.現(xiàn)有的主要語言模型N元文法統(tǒng)計模型現(xiàn)有的主要語言模型N-pos模型（基于詞性的N-Gram模型）

或者 表示詞w的詞類參數(shù)空間較小,不如n-gram語言模型精確現(xiàn)有的主要語言模型N-pos模型（基于詞性的N-Gram模型例子例子N-pos模型提出的意義降低模型參數(shù)的規(guī)模數(shù)據(jù)稀疏問題的一種解決方式N-pos模型提出的意義降低模型參數(shù)的規(guī)模N-POS模型構造方法采用語言學家構造的詞的語法分類體系，按詞性（Part-of-Speech）進行詞類劃分，借助于詞性標注技術，構造基于詞性的N-POS模型采用詞的自動聚類技術，自動構造基于詞的自動聚類的類N-gram模型N-POS模型構造方法采用語言學家構造的詞的語法分類體系，按N-gram與N-POS比較基于詞的N-gram模型對近鄰的語言約束關系的描述能力最強，應用程度最為廣泛。一般N<=3，難以描述長距離的語言約束關系N-POS模型的參數(shù)空間最小，一般不存在數(shù)據(jù)稀疏問題，可以構造高元模型，用于描述長距離的語言約束關系。但由于詞性數(shù)目過少，過于泛化，因此又限制了語言模型的描述能力自動聚類生成的詞類數(shù)量介于詞和詞性的數(shù)量之間，由此建立的類N-gram模型，既不存在嚴重的數(shù)據(jù)稀疏問題，又不存在過于泛化問題N-gram與N-POS比較基于詞的N-gram模型對近鄰的動態(tài)、自適應、基于緩存的語言模型在自然語言中，經(jīng)常出現(xiàn)某些在文本中通常很少出現(xiàn)的詞，在某一局部文本中突然大量出現(xiàn)的情況。能夠根據(jù)詞在局部文本中出現(xiàn)情況動態(tài)地調(diào)整語言模型中的概率分布數(shù)據(jù)的語言模型稱為動態(tài)、自適應或者基于緩存的語言模型。動態(tài)、自適應、基于緩存的語言模型在自然語言中，經(jīng)常出現(xiàn)某些在動態(tài)、自適應、基于緩存的語言模型方法將N個最近出現(xiàn)過的詞存于一個緩存中,作為獨立的訓練數(shù)據(jù).通過這些數(shù)據(jù),計算動態(tài)頻度分布數(shù)據(jù)將動態(tài)頻度分布數(shù)據(jù)與靜態(tài)分布數(shù)據(jù)(由大規(guī)模性語料訓練得到)通過線性插值的方法相結合:動態(tài)、自適應、基于緩存的語言模型方法其他語言模型各種變長、遠距離N-gram模型決策樹模型鏈文法模型最大熵模型整句模型其他語言模型各種變長、遠距離N-gram模型統(tǒng)計語言模型的評價方法應用評價將其應用于某應用系統(tǒng)，考察它對系統(tǒng)性能的影響理論評價：信息論方法評價熵（Entropy）復雜度（Perplexity）統(tǒng)計語言模型的評價方法信息論信息論創(chuàng)始人：1948年香農(nóng)《通訊的數(shù)學原理》狹義信息論：研究信息的測度、信道容量以及信源和信道編碼。一般信息論：研究通信問題。廣義信息論：整個信息科學，覆蓋各個領域。信息論信息論信息定義世界的三要素：物質(zhì)、能量、信息信息定義信息是人和外界相互作用時交換的內(nèi)容——維納信息是能用來消除隨機不定性的東西——香農(nóng)信息是事物之間的差異，而不是事物本身——朗格信息(information)與消息(message)信息是消息的內(nèi)容。消息是信息的形式。信息定義世界的三要素：信息測度信息量量度信息多少的測度就是信息量。熟知的消息信息量?。晃粗南⑿畔⒘看?。信息的度量（信息量的計算）對一問題毫無了解，對它的認識是不確定的。通過各種途徑獲得信息，逐漸消除不確定性。信息量與不確定性消除程度有關。消除多少不確定性(隨機性)，就獲得多少信息量。信息測度信息量自信息：事件不確定性的度量自信息（SelfInformation）事件x包含的信息量。I(x)=－log2p(x)=log21/p(x)意義當事件x發(fā)生以前,I(x)表示事件x發(fā)生的不確定性當事件x發(fā)生以后,I(x)表示事件x所含有的信息量特征事件概率與信息成反比。小概率事件包含更多的信息量。當p(x)=1時，I(x)=0；自信息：事件不確定性的度量自信息（SelfInformat熵：隨機變量的不確定性度量熵（Entropy）隨機變量的不確定性的量度。一個隨機變量X，其概率函數(shù)p(x)。熵的計算公式：推導顯然：熵是X的平均信息量，是自信息I(X)的數(shù)學期望。熵：隨機變量的不確定性度量熵（Entropy）熵與計算語言學熵是不確定性的量度。我們對事物了解得越多，熵就越小。一個語言模型越好，它越應該能描述更多的語言結構，因此它的熵應該越低。在計算語言學中，通常用熵度量語言模型的質(zhì)量。有時也可以用復雜度（熵的變形）來評價語言模型。復雜度（Perplexity）熵與計算語言學熵是不確定性的量度。語言的熵語言的熵交叉熵（CrossEntropy）

交叉熵（CrossEntropy）統(tǒng)計語言模型統(tǒng)計語言模型目錄概述語言模型數(shù)據(jù)平滑模型評價主要統(tǒng)計語言模型目錄概述概述概述信源－信道模型噪聲信道模型模型：出錯的概率舉例：p(0|1)=0.3,p(1|1)=0.7,p(1|0)=0.4,p(0|0)=0.6任務是：已知帶有噪聲的輸出想知道輸入是什么（也稱為：Decoding)信源－信道模型噪聲信道模型信源－信道模型信源模型以概率生成輸入信號。信道模型信道以概率分布將輸入信號轉(zhuǎn)換成輸出信號。信源－信道模型已知輸出，求解最可能的輸入。該任務的數(shù)學描述是：信源－信道模型信源模型信源－信道模型的應用信源－信道模型是一種常用模型，具有廣泛應用?？筛鶕?jù)實際問題，定義信源－信道模型的I/O。例如：語音識別：輸入：文本輸出：語音。文字識別：輸入：文本輸出：圖像。機器翻譯：輸入：目標語言句子輸出：源語言句子。音字轉(zhuǎn)換：輸入：文本輸出：拼音。例子：微軟拼音輸入法：任務：將用戶輸入的拼音流轉(zhuǎn)換成文本句子。信源－信道模型的I/O定義：輸入：文本輸出：拼音。微軟拼音輸入法的音字轉(zhuǎn)換程序：語言模型：計算文本句子的概率。信源－信道模型的應用信源－信道模型語言模型什么是語言模型(LanguageModel)一個概率模型，用來估計語言句子出現(xiàn)的概率。語言模型什么是語言模型(LanguageModel)完美的語言模型對于詞序列如何計算？根據(jù)鏈式規(guī)則：即使對于很小的m，上面的理想公式也很難計算，因為參數(shù)太多。完美的語言模型對于詞序列例子例子Markov鏈有限的記憶能力不考慮太“舊”的歷史只記住前n-1個詞，稱為n-1階Markov鏈近似Markov鏈有限的記憶能力例子（Bigram,Trigram）例子（Bigram,Trigram）N-gram模型N-gram模型：相當于n-1階Markov鏈?！皀-gram”=n個詞構成的序列，Unigram n=1;bigram n=2;trigram n=3;模型結構模型：由一組模型參數(shù)組成。每個N-gram模型參數(shù)：n-gram及其頻度信息，形式為： 或這里：模型作用：計算概率。模型訓練：在訓練語料庫中統(tǒng)計獲得n-gram的頻度信息N-gram模型N-gram模型：相當于n-1階Markov參數(shù)訓練系統(tǒng)

參數(shù)訓練系統(tǒng)N的選擇：可靠性vs.辨別力“我 正在 ________”

講課?圖書館?聽課?學習?借書?……“我 正在圖書館 ________”

學習?借書?……N的選擇：可靠性vs.辨別力“我 正在 _____可靠性vs.辨別力更大的n:對下一個詞出現(xiàn)的約束性信息更多，更大的辨別力更小的n:在訓練語料庫中出現(xiàn)的次數(shù)更多，更可靠的統(tǒng)計結果，更高的可靠性

可靠性和可區(qū)別性成反比，需要折中。可靠性vs.辨別力更大的n:對下一個詞出現(xiàn)的約束性信N的選擇

詞表中詞的個數(shù)|V|=20,000詞n所有可能的n-gram的個數(shù)2(bigrams)400,000,0003(trigrams)8,000,000,000,0004(4-grams)1.6x1017N的選擇

詞表中詞的個數(shù)|V|=20,000詞n所小結符號串：詞在句子中的上下文(context)或歷史(history)語言模型：描述語言句子的概率分布P(S)句子概率的計算上下文歷史太長，無法計算小結N-gram模型：有限歷史假設：詞的出現(xiàn)，僅與其前n-1個詞相關。句子概率計算：模型：模型參數(shù)的集合模型參數(shù)：舉例n=1Unigramn=2Bigramn=3TrigramN-gram模型：有限歷史假設：采用N-gram模型計算句子概率n=1Unigramn=2Bigramn=3Trigram采用N-gram模型計算句子概率N-gram模型應用-音字轉(zhuǎn)換給定拼音串：tashiyanjiushengwude可能的漢字串踏實研究生物的他實驗救生物的他使煙酒生物的他是研究生物的……N-gram模型應用-音字轉(zhuǎn)換給定拼音串：tashiya音字轉(zhuǎn)換計算公式音字轉(zhuǎn)換計算公式可能的轉(zhuǎn)換結果，分詞結果踏實研究生物的：踏實/研究/生物/的他實驗救生物的：他/實驗/救生/物/的他使煙酒生物的：他/使/煙酒/生物/的他是研究生物的：他/是/研究/生物/的

……如果使用Bigram計算：P(踏實研究生物的)=P(踏實)×P(研究|踏實)×P(生物|研究)×P(的|生物)P(他實驗救生物的)=P(他)×P(實驗|他)×P(救生|實驗)×P(物|救生))×P(的|物)P(他是研究生物的)=P(他)×P(是|他)×P(研究|是)×P(生物|研究)×P(的|生物)選擇概率最大的句子，作為轉(zhuǎn)換結果可能的轉(zhuǎn)換結果，分詞結果N-gram模型應用-中文分詞給定漢字串：他是研究生物的。可能的分詞結果：1)他|是|研究生|物|的2)他|是|研究|生物|的N-gram模型應用-中文分詞給定漢字串：他是研究生物的。統(tǒng)計分詞計算公式

統(tǒng)計分詞計算公式采用Bigram計算P(他/是/研究生/物/的)=P(他)×P(是|他)×P(研究生|是)×P(物|研究生)×P(的|物)×P(的)P(他/是/研究/生物/的)=P(他)×P(是|他)×P(研究|是)×P(生物|研究)×P(的|生物)×P(的)采用Bigram計算模型參數(shù)估計——模型訓練兩個概念訓練語料：用于建立模型的給定語料。最大似然估計：用相對頻率計算概率的方法。模型參數(shù)估計——模型訓練兩個概念模型參數(shù)估計——模型訓練模型參數(shù)估計——模型訓練零概率問題大量的低頻詞，無論訓練數(shù)據(jù)的規(guī)模如何擴大，其出現(xiàn)頻度仍舊很低甚至根本不出現(xiàn)。如果采用MLE估算它們的概率分布，將出現(xiàn)大量的，從而導致的情況，這種情況大大削弱了該模型的描述能力。零概率問題大量的低頻詞，無論訓練數(shù)據(jù)的規(guī)模如何擴大，其出現(xiàn)頻例子假設我們使用Trigram模型如果某個那么P(S)=0這就是數(shù)據(jù)稀疏問題(零概率問題)必須保證從而使

例子假設我們使用Trigram模型數(shù)據(jù)平滑算法數(shù)據(jù)平滑算法統(tǒng)計語言模型課件加1平滑UnigramBigram加1平滑Unigram2、Good-Turing估計2、Good-Turing估計3、線性插值平滑(LinearInterpolation)3、線性插值平滑(LinearInterpolation例子-Bigram的線性插值例子-Bigram的線性插值4、回退式數(shù)據(jù)平滑(Backing-off)4、回退式數(shù)據(jù)平滑(Backing-off)平滑的效果數(shù)據(jù)平滑的效果與訓練語料庫的規(guī)模有關數(shù)據(jù)平滑技術是構造高魯棒性語言模型的重要手段訓練語料庫規(guī)模越小,數(shù)據(jù)平滑的效果越顯著,訓練語料庫規(guī)模越大,數(shù)據(jù)平滑的效果越不顯著,甚至可以忽略不計平滑的效果數(shù)據(jù)平滑的效果與訓練語料庫的規(guī)模有關現(xiàn)有的主要語言模型上下文的定義決定了語言模型的不同.如果這樣的語言模型稱為上下文無關模型采用MLE:又稱為一元文法統(tǒng)計模型現(xiàn)有的主要語言模型上下文的定義決定了語言模型的不同.現(xiàn)有的主要語言模型N元文法統(tǒng)計模型自從幾十年前在大詞表語言識別系統(tǒng)中首次使用Trigram以來,直到現(xiàn)在,Trigram模型仍舊是在實際應用中表現(xiàn)最佳的語言模型,并且成為許多其他的語言模型的重要組成部分.現(xiàn)有的主要語言模型N元文法統(tǒng)計模型現(xiàn)有的主要語言模型N-pos模型（基于詞性的N-Gram模型）

或者 表示詞w的詞類參數(shù)空間較小,不如n-gram語言模型精確現(xiàn)有的主要語言模型N-pos模型（基于詞性的N-Gram模型例子例子N-pos模型提出的意義降低模型參數(shù)的規(guī)模數(shù)據(jù)稀疏問題的一種解決方式N-pos模型提出的意義降低模型參數(shù)的規(guī)模N-POS模型構造方法采用語言學家構造的詞的語法分類體系，按詞性（Part-of-Speech）進行詞類劃分，借助于詞性標注技術，構造基于詞性的N-POS模型采用詞的自動聚類技術，自動構造基于詞的自動聚類的類N-gram模型N-POS模型構造方法采用語言學家構造的詞的語法分類體系，按N-gram與N-POS比較基于詞的N-gram模型對近鄰的語言約束關系的描述能力最強，應用程度最為廣泛。一般N<=3，難以描述長距離的語言約束關系N-POS模型的參數(shù)空間最小，一般不存在數(shù)據(jù)稀疏問題，可以構造高元模型，用于描述長距離的語言約束關系。但由于詞性數(shù)目過少，過于泛化，因此又限制了語言模型的描述能力自動聚類生成的詞類數(shù)量介于詞和詞性的數(shù)量之間，由此建立的類N-gram模型，既不存在嚴重的數(shù)據(jù)稀疏問題，又不存在過于泛化問題N-gram與N-POS比較基于詞的N-gram模型對近鄰的動態(tài)、自適應、基于緩存的語言模型在自然語言中，經(jīng)常出現(xiàn)某些在文本中通常很少出現(xiàn)的詞，在某一局部文本中突然大量出現(xiàn)的情況。能夠根據(jù)詞在局部文本中出現(xiàn)情況動態(tài)地調(diào)整語言模型中的概率分布數(shù)據(jù)的語言模型稱為動態(tài)、自適應或者基于緩存的語言模型。動態(tài)、自適應、基于緩存的語言模型在自然語言中，經(jīng)常出現(xiàn)某些在動態(tài)、自適應、基于緩存的語言模型方法將N個最近出現(xiàn)過的詞存于一個緩存中,作為獨立的訓練數(shù)據(jù).通過這些數(shù)據(jù),計算動態(tài)頻度分布數(shù)據(jù)將動態(tài)頻度分布數(shù)據(jù)與靜態(tài)分布數(shù)據(jù)(由大規(guī)模性語料訓練得到)通過線性插值的方法相結合:動態(tài)、自適應、基于緩存的語言模型方法其他語言模型各種變長、遠距離N-gram模型決策樹模型鏈文法模型最大熵模型整句