N-Gram的數(shù)據(jù)結(jié)構(gòu).

1、N-Gram 的數(shù)據(jù)結(jié)構(gòu)ARPA 的 n-gram 語法如下：hLn!J |VKWpLuincij( prmi? riBtramJi IrljiiJiilinpum!=l：2冒Mlh1-14112-U 1VJLIMT -p L H4.675221cm T2 IKS7n屮口,科申7FiKtilE_L1 k:5558J-2 J 11W tJ 077-1 ilhjm -出?M4-1J7I4474h忡*5 1747fi2O.OJ鼻fbjrtj：，叩-1 4722J.Ml |K 77W7?-5-7By30K* DJJ i i-4 TOTJfJMJAR Hl MJ .訊同* -氐si 4iH-1:Nh2M

2、)5 7 syjiINiWIWll *O07()77657 抽耳J (#7 iahwMih317：具體說明見：ARPA 的 n-gram 語言模型格式整個 ARPA-LM 由很多個 n-gram 項組成，分別說明這兩個的數(shù)據(jù)結(jié)構(gòu)gram 數(shù)據(jù)結(jié)構(gòu)(hlmJ)MCWplumcopyprinl?Vdatakngram : =M(11x1ngnim 2=52253( 1ngram 3=1 v：445,n-words 表示當前的 n-gram 所涉及的單詞，如果是 1-gram，那就只有一個，如果是2-gram那么 words就包括這兩個單詞的序號。 log_bo表示n gram的回退概率。 log_

3、prob,表示 n gram 的組合概率。二,ARPA-LM 數(shù)據(jù)結(jié)構(gòu)多個項組成的整個 n-gram 語言模型的數(shù)據(jù)結(jié)構(gòu)如下：cpp view plaincopyprint?vocab 用于構(gòu)建語言模型的詞典指針。詞典定義見：詞典內(nèi)存存儲模型 entries, 語言模型的所有ngram項，是 ARPALMEntry類型的一個二維數(shù)組。 entriesO存儲 1-gram ,entries1存儲 2-gram 依此類推。n_ngrams 整型數(shù)組，依次包含 1-gram,2-gram,3-gram,.所包含的 ngram 項個數(shù)。unk_wrd,詞典中可以 不在語言模型中的 詞。un k_id,詞典中可以不在語言模型中的詞的 ID ,這個 ID 指定為詞典的最后一個 詞序號。n_unk_words,在讀語言模型之后，統(tǒng)計在詞典中，但沒有用來建立語言模型 的詞個數(shù)，如果沒有指定 unk_wrd 的話，是不允許的，就表示所有的詞典中的詞都應(yīng) 該用來建語言模型。unk_words 存儲 6 中統(tǒng)計的詞序號。words_in_lm,這個標識詞典中的詞是否在語言模型中出現(xiàn)。ciass AKPALMpublic:Vocabularr svocab :intorder:ARPALMEnlry entries； 717）八 ;僅卜:intngrams；的的無普姜少個char unkwrd ;in