中文分詞算法及其比較分析

中文分詞算法及其比較分析

各種分詞方法的優(yōu)劣對比分詞方法基于字符串匹配分詞基于理解的分詞基于統(tǒng)計的分詞歧義識別差強強新詞識別差強強需要詞典需要不需要不需要需要語料庫否否是需要規(guī)則庫否是否算法復雜性容易很難一般技術成熟度成熟不成熟成熟實施難度容易很難一般分詞準確性一般準確較準分詞速度快慢一般(1)歧義識別歧義識別指一個字符串有多種分詞方法，計算機難以給出到底哪一種分詞算法才是正確的分詞系列。如”表面的”可以分為”表面/的”或”表/面的”。計算機無法判斷哪一種才是準確的分詞系列?；谧址姆衷~算法：僅僅是跟一個電子詞典進行比較，故不能進行歧義識別；基于理解的分詞算法：指通過理解字符串的含義，故有很強的歧義識別能力；基于統(tǒng)計的分詞算法：根據字符連續(xù)出現(xiàn)次數(shù)的多少，得到分詞系列，故常常能夠給出正確的分詞系列選擇，但是也有可能判斷錯誤的情況。(2)新詞識別新詞識別也稱作未登錄詞識別，指正確識別詞典中沒有出現(xiàn)的詞語。姓名、機構名、地址、稱謂等千變萬化，詞典中常常不能完全收錄這些詞語；另外，網絡中出現(xiàn)的流行用語也是一種未登錄詞的常見來源，如”打醬油”為最近出現(xiàn)在網絡中，并迅速流行，從而成為一個新詞。大量的研究證明新詞識別是中文分詞準確性的一個重要影響因素?；谧址姆衷~算法：無法正確識別未登錄詞，因為這種算法僅僅與詞典中存在的詞語進行比較；基于理解的分詞算法：理解字符串的含義，從而有很強的新詞識別能力；基于統(tǒng)計的分詞算法：這種算法對第二種未登錄詞有很強的識別能力，因為出現(xiàn)次數(shù)多，才會當作一個新詞；對于第二類未登錄詞，這類詞語有一定的規(guī)律，如姓名：”姓”+名字，如李勝利；機構：前綴+稱謂，如希望集團；故需要結合一定的規(guī)則進行識別，僅僅統(tǒng)計方法難以正確識別。(3)需要詞典基于字符串的分詞算法：基本思路就是與電子詞典進行比較，故電子詞典是必須的。并且詞典越大，分詞的正確率越高，因為詞典越大，未登錄詞越少，從而可以大大減少未登錄詞識別的錯誤；基于理解的分詞算法：理解字符串的含義，故不需要一個電子詞典；基于統(tǒng)計的分詞算法：僅僅根據統(tǒng)計得到最終的結果，故電子詞典不是必須的。(4)需要語料庫基于字符串的分詞算法：分詞過程僅僅與一個已經存在的電子詞典進行比較，故不需要語料庫；基于理解的分詞算法：理解字符串的含義，故不需要電子詞典；基于統(tǒng)計的分詞算法：需要語料庫進行統(tǒng)計訓練，故語料庫是必須的；且好的語料庫是分詞準確性的保證。(5)需要規(guī)則庫基于字符串的分詞算法：分詞過程僅僅與一個已經存在的電子詞典進行比較，不需要規(guī)則庫來進行分詞；基于理解的分詞算法：規(guī)則是計算機進行理解的基礎，故準確、完備的規(guī)則庫是這種分詞算法的前提；基于統(tǒng)計的分詞算法：根據語料庫統(tǒng)計訓練，故規(guī)則庫不是必須的。(6)算法復雜性基于字符串的分詞算法：僅僅進行字符串的比較操作，故算法簡單；基于理解的分詞算法：需要充分處理各種規(guī)則，故算法非常復雜；事實上到目前為止，還沒有成熟的這類算法；基于統(tǒng)計的分詞算法：需要語料庫進行訓練，雖然算法也比較復雜，但是已經比較常見，故這種分詞的復雜性比第一種大，比第二種容易。現(xiàn)在的實用分詞系統(tǒng)都采用這種算法。(7)技術成熟度基于字符串的分詞算法：是最早出現(xiàn)也是最成熟的算法；基于理解的分詞算法：是最不成熟的一類算法，到目前為止還沒有成熟的算法；基于統(tǒng)計的分詞算法：已經有多種成熟的這類算法，基本上能夠滿足實際的應用。故技術成熟度：基于匹配的分詞算法〉基于理解的分詞算法〉基于統(tǒng)計的分詞算法。(8)實施復雜性同上面的道理，實施復雜性：基于理解的分詞算法〉基于統(tǒng)計的分詞算法〉基于匹配的分詞算法。(9)分詞準確性到目前為止還沒有一個準確的結論，不過從理論上說，基于理解的分詞算法有最高的分詞準確性，理論上有100%的準確性；而基于匹配的分詞算法和基于統(tǒng)計的分詞算法是一種”淺理解”的分詞方法，不涉及真正的含義理解，故可能會出現(xiàn)錯誤，難以達到100%的準確性。(10)分詞速度基于匹配的分詞算法：算法簡單，操作容易，故分詞速度快，所以這種算法常常作為另外兩種