改進(jìn)的TFIDF標(biāo)簽提取算法

1、改進(jìn)的TFIDF標(biāo)簽提取算法: As a word weighting algorithm , TFIDF plays an important role in natural language processing such as information retrieval and data mining TFIDF has relatively simple computational model , suitable for large data parallel computation , applied widely in many fields, and with good exp

2、lanatory characteristics.Based on the above- mentioned characteristics, this paper proposes toamendthe weighted resuIts of TFIDF by means of supervised learning based on TFIDF algorithm as well as by introducing weighting factors and word contribution. This algorithm can effectively extract feature

3、labels in natural language processing , and improve the degree of accuracy in this segmentation fieldKeywords： natural language processing ； TFIDF； word weighting algorithm ； label extraction ； supervised learning1 弓|言(Introduction )互聯(lián)網(wǎng)每分鐘都會(huì)產(chǎn)生PB級(jí)別的信息。如何從這些信息大數(shù)據(jù) 中提取到有用的信息，并結(jié)合快速發(fā)展并日益成熟的人工智能技術(shù)來 改善產(chǎn)品是一個(gè)

4、迫切需要解決的問題。移動(dòng)互聯(lián)網(wǎng)時(shí)代，信息所呈現(xiàn) 的特征更加個(gè)性化、主體化、終端化。數(shù)據(jù)中存 在無限的價(jià)值，誰能 從海量的信息數(shù)據(jù)中撅取價(jià)值，誰就可以立足于這個(gè)數(shù)據(jù)時(shí)代。20世紀(jì)90年代興起的人工智能科學(xué)，成為信息處理相關(guān)從業(yè)者 手中的一把利器。在人工智能技術(shù)中，特征提取一直是一個(gè)難點(diǎn)， 也是一個(gè)痛點(diǎn)。有這么一句話在業(yè)界廣泛流傳：數(shù)據(jù)和特征決定了機(jī) 器學(xué)習(xí)的上限，而模型和算法只是逼近這個(gè)上限而已。那么特征工程 到底是什么呢？顧名思義，其本質(zhì)是一項(xiàng)工程 活動(dòng)，目的是最大限度 地從原始數(shù)據(jù)中提取特征，以供算法和模型使用。這足以說明在人 工智能尤其是機(jī)器學(xué)習(xí)中，特征提取是 多么重要。2 TFIDF 算

5、法與不足(TFIDF algorithm and its defects ) Sal ton 在 1973 年提出了 TFIDF ( Term Frequency&Inverse Documentation Frequency )算法。算法提出后，Salton 及其他 學(xué)者論證了該算法在信息學(xué)中的有效性。TFIDF算法主要分為兩個(gè) 部分，分別是詞頻(TF)和逆文本頻率(IDF) 4。TF是指文檔中 某個(gè)詞出現(xiàn)在文章中的頻率值越大，則表明該詞的重要性越大。逆文 本頻率(I D F )是指詞出現(xiàn)的篇幅越多，其重要性就越低。逆文 本頻率有效地避免了詞的長尾效應(yīng)5,使權(quán)值更能準(zhǔn)確地表達(dá)詞的 重要程度。

6、TFIDF算法描述為因?yàn)門FDIF算法容易理解并且算法復(fù)雜度低，可以使用絕大多 數(shù)的編程語言計(jì)算出準(zhǔn)確的TFIDF模型。同時(shí)TFIDF具有較好的解釋 性和準(zhǔn)確性，這些特性使得TFIDF被廣泛地應(yīng)用，并被應(yīng) 用到自然語言處理和推薦系統(tǒng)領(lǐng)域。但在實(shí)踐中人們發(fā)現(xiàn)TFIDF存在很多的問題，并不能很好地處理所有的應(yīng)用領(lǐng)域。尤其是在特殊的 細(xì)分領(lǐng)域中，TFIDF通常表現(xiàn)得差強(qiáng)人意。本文在自然語 言處理領(lǐng) 域中的標(biāo)簽提取應(yīng)用中使用改進(jìn)的TFIDF算法該方法有效地提高了文章標(biāo)簽提取的準(zhǔn)確度。3文本預(yù)處理(Text pre-processing )對(duì)文本進(jìn)行標(biāo)簽提取， 首先要對(duì)文本進(jìn)行預(yù)處理。本文所介紹的文本標(biāo)

7、簽提取技術(shù)需要進(jìn)行 四個(gè)階段的預(yù)處理。通過對(duì)文本進(jìn)行預(yù)處理，可以有效地減少算法的 運(yùn)算量，提高結(jié)果的精確度。文本預(yù)處理的四個(gè)步驟分別為：第一 步，準(zhǔn)備訓(xùn)練集；第二步，對(duì)文本進(jìn)行分詞；第三步，將文本使用向 量模型表示6；第四步，對(duì)向量模型進(jìn)行降維7。本文所介 紹的算法是給予監(jiān)督學(xué)習(xí)的算法，所以需要準(zhǔn)備一個(gè)足夠豐富的訓(xùn)練 集，并且這個(gè)訓(xùn)練集需要人為地進(jìn)行標(biāo)注主題。在自然語言處理 中，語料庫 是進(jìn)行監(jiān)督學(xué)習(xí)算法的基礎(chǔ)，就像人類學(xué)習(xí)寫文章一 樣，語文老師就像一個(gè)龐大且完善的語料庫，這個(gè)語料庫會(huì)告訴你 每篇文章的類型和中心思想，并監(jiān)督你學(xué)習(xí)8。本文在進(jìn)行權(quán)重計(jì) 算時(shí)假設(shè)已經(jīng)有一個(gè)完善的語料庫，有很多不同

8、的主題分類9,并 且涵蓋了所有的分類。每個(gè)分類的文章盡可能多地收集到不同風(fēng) 格和 不同作者的文章9。分詞后，所有的文檔會(huì)形成一個(gè)字典。這個(gè)字典包括了訓(xùn)練集 所有的詞匯，詞匯被標(biāo)示成，其中表示詞的位置，表示特定的詞語 11 O值得注意的是，詞典幾乎囊括了所有的漢語詞匯和詞 組，這 無疑加大了特征的緯度，所以在預(yù)處理的步驟中需要去掉停用詞。停 用詞是指那些出現(xiàn)頻率高但是表示意義小的詞12,比如文本中的 數(shù)字和助動(dòng)詞“的”，它們大量地出現(xiàn)在文本中，但是卻對(duì)文章的主 題沒有任何影響。除了通過專家進(jìn)行停用詞的 挑選，在這里同樣可以 借助于IDF逆文本頻率進(jìn)行停用詞的判斷。通過定義一個(gè)閾值，只要 超過了閾

9、值，那么這個(gè)詞就可以看作是是一個(gè)停用詞，在文本預(yù)處理 過程中就需要將這些詞從詞組中剔除。4詞貢獻(xiàn)度(Word contribution )每篇文章都有自己的主題和 中心思想，主題和中心思想可以 近似地代表整篇文章。主題和中心 思想同時(shí)又可以由體現(xiàn)文章主旨的詞匯表示，可以由公式表示由文章 推出標(biāo)簽特征的過程11 o在以上前提下可以提出一個(gè)叫主題貢獻(xiàn)度的概念13。所謂的 詞匯貢獻(xiàn)度就是指根據(jù)潛在語義分析的概念，將詞語放入在不同的主 題下的貢獻(xiàn)度記做，那么將一篇文檔詞袋中的詞對(duì)文章的貢獻(xiàn)度記做T表示一個(gè)詞對(duì)文檔的貢獻(xiàn)度，C表示一個(gè)詞出現(xiàn)在文中的 次數(shù)。5 計(jì)算詞權(quán)重(Word weighting c

10、alculation )第二節(jié)講述了 如何分詞并進(jìn)行數(shù)學(xué)表達(dá)，第三節(jié)講述了如何進(jìn)行語料庫的設(shè) 計(jì)。本文所介紹的加權(quán)算法就是基于以上兩節(jié)內(nèi)容的基礎(chǔ)。詞 袋模型只是將分詞后的數(shù)組按照順序排列，加權(quán)完的詞袋模型 具有了新的表達(dá)形式(遲*)(*, *),元祖的key代表 字典索引值，元組的value代表字典的權(quán)值。TFIDF作為一個(gè)成熟的算法，有著成熟的應(yīng)用。本文提出的算法在TFIDF的基礎(chǔ)之上，目標(biāo)是更加精確地對(duì)詞進(jìn)行加權(quán)， 表 示一個(gè)詞在文本中出現(xiàn)的頻率，表示一個(gè)逆文檔頻率，在第二節(jié)中 的停用詞提取就是用的IDFo表示詞i出現(xiàn)在整個(gè)語料庫中的篇數(shù)。使用求得文檔的總貢獻(xiàn) 度，在語料庫中取出貢獻(xiàn)度最高

11、主題T,并求出該主題下詞i出現(xiàn)的篇數(shù)。P( i )表示的是一個(gè)詞所代表 主題的頻度，所以P( i )是詞i在整篇文章出現(xiàn)的次數(shù)和詞在最高 貢獻(xiàn)度主題下的出現(xiàn)次數(shù)的比值并求負(fù)數(shù)。例如在一個(gè)語料庫中秦始 皇這個(gè)詞在歷史中出現(xiàn)了100次，在影視中出現(xiàn)了50次，在其余類中總共出現(xiàn)了 50詞，那么秦始皇這個(gè)詞P(i )分 別為-0. 5、-0.25、-0.25、P (i )雖然能夠很好地表示詞的主題 相關(guān)性，但是數(shù)值存在差別太大的可能性，因?yàn)槿绻诳倲?shù)很大的 情況下，那么很可能出現(xiàn)P(i )的值也過大，計(jì)算后的誤差也會(huì)變得 特別大。所以要對(duì)P( i )進(jìn)行歸一化。利用邏輯回歸函數(shù)進(jìn)行歸一化，其幾何表示如

12、圖1所示利用邏輯函數(shù)的特性，在區(qū)間內(nèi)的值區(qū)間為(0, 1),也就 是說無論這個(gè)數(shù)值多么大，它的值區(qū)間都很友好。再對(duì)其變形并帶 入P (i )和詞i的貢獻(xiàn)度Ti ,經(jīng)過變換得到。可以看做是一個(gè)影響因子，可以對(duì)進(jìn)行修正，這可以叫做詞i權(quán)修正因子。至此，我們得到了如何加權(quán)的算法。根據(jù)這個(gè)算法我們將算出 每個(gè)詞的權(quán)值，并帶入元組列表中。6 結(jié)論(Conclusion )首先通過介紹TFIDF的算法原理以及對(duì)TFIDF算法的加權(quán)結(jié) 果的 解釋可知，這是一個(gè)偉大的算法，但隨著人工智能和大數(shù)據(jù)的到 來，特征提取變得越發(fā)的重要，TFIDF這個(gè)在自然語言處理 中近乎 萬金油的算法模型已經(jīng)不能很好地滿足需要，所以

13、在TFIDF算法的基 礎(chǔ)上進(jìn)行改進(jìn)。特征提取是一個(gè)復(fù)雜的過程，包括多個(gè)步驟，每一步 都會(huì)對(duì)結(jié)果進(jìn)行影響，比如分詞。好的分詞方法可以在分詞后不改變 原意，讓后面的算法可以有效地提取出文本的特征標(biāo)簽。詞典和詞 向量和停用詞可以減少模型的時(shí)間復(fù)雜度和空間復(fù)雜度，在監(jiān)督學(xué)習(xí)算法的前提下，模型需要大量的數(shù)據(jù)來學(xué)習(xí)，面對(duì)這些海量的數(shù)據(jù),如果前面幾步處理的不恰當(dāng),很可能導(dǎo)致整個(gè)模型的可用性變得很差。最后針對(duì)TFIDF在自然語言處理特征標(biāo)簽提取應(yīng)用中的不 足，對(duì) 算法進(jìn)行改正。首先TFIDF體現(xiàn)出自然語言的語義。語義 可以說是 文本最重要的體現(xiàn)形式。根據(jù)TFIDF算法很可能獲取的權(quán)值較高的 特征標(biāo)簽中包括多組反義詞，從而導(dǎo)致無效的結(jié)果。因?yàn)樵谡撟C某一 問題時(shí)不可能避