文本分析方法

文本分析方法1.了解中文分詞

2.了解語(yǔ)言模型

3.了解循環(huán)神經(jīng)網(wǎng)絡(luò)中文分詞語(yǔ)言模型12循環(huán)神經(jīng)網(wǎng)絡(luò)31.中文分詞1).基于字符串匹配的分詞方法按照不同的掃描方式，逐個(gè)查找詞庫(kù)進(jìn)行分詞根據(jù)掃描方式可細(xì)分為：正向最大匹配，反向最大匹配，雙向最大匹配，最小切分(即最短路徑)2).全切分方法首先切分出與詞庫(kù)匹配的所有可能的詞，再運(yùn)用統(tǒng)計(jì)語(yǔ)言模型決定最優(yōu)的切分結(jié)果優(yōu)點(diǎn)在于可以解決分詞中的歧義問題對(duì)于文本串“南京市長(zhǎng)江大橋”首先找到匹配的所有詞條（南京，市，長(zhǎng)江，大橋，南京市，長(zhǎng)江大橋，市長(zhǎng)，江大橋，江大，橋），以詞網(wǎng)格(wordlattices)形式表示接著做路徑搜索，基于統(tǒng)計(jì)語(yǔ)言模型(例如n-gram)找到最優(yōu)路徑最后可能還需要命名實(shí)體識(shí)別最終結(jié)果P(南京市，長(zhǎng)江，大橋)的語(yǔ)言模型得分最高，則為最優(yōu)切分1.中文分詞3).由字構(gòu)詞的分詞方法可以理解為字的分類問題，也就是自然語(yǔ)言處理中的sequencelabeling問題通常做法是利用HMM，MAXENT，MEMM，CRF等預(yù)測(cè)文本串每個(gè)字的tag譬如B，E，I，S，這四個(gè)tag分別表示：beginning,inside,ending,single，也就是一個(gè)詞的開始，中間，結(jié)束，以及單個(gè)字的詞一般而言，方法一和方法二在工業(yè)界用得較多，方法三因?yàn)椴捎脧?fù)雜的模型，雖準(zhǔn)確率相對(duì)高，但耗時(shí)較大2.語(yǔ)言模型語(yǔ)言模型是用來(lái)計(jì)算一個(gè)句子產(chǎn)生概率的概率模型即P(w_1,w_2,w_3…w_m)，m表示詞的總個(gè)數(shù)根據(jù)貝葉斯公式：P(w_1,w_2,w_3…w_m)=P(w_1)P(w_2|w_1)P(w_3|w_1,w_2)…P(w_m|w_1,w_2…w_{m-1})。最簡(jiǎn)單的語(yǔ)言模型是N-Gram它利用馬爾科夫假設(shè)，認(rèn)為句子中每個(gè)單詞只與其前n–1個(gè)單詞有關(guān)，即假設(shè)產(chǎn)生w_m這個(gè)詞的條件概率只依賴于前n–1個(gè)詞，則有P(w_m|w_1,w_2…w_{m-1})=P(w_m|w_{m-n+1},w_{m-n+2}…w_{m-1})。其中n越大，模型可區(qū)別性越強(qiáng)，n越小，模型可靠性越高。2.語(yǔ)言模型神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型ffnnlm（Feed-forwardNeuralNetLanguageModel）基于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrentneuralnetwork)的語(yǔ)言模型rnnlm神經(jīng)網(wǎng)絡(luò)模型解決了傳統(tǒng)n-gram的兩個(gè)缺陷：(1)詞語(yǔ)之間的相似性可以通過詞向量來(lái)體現(xiàn)；(2)自帶平滑功能。3.循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)源自于1982年由SarathaSathasivam提出的霍普菲爾德網(wǎng)絡(luò)其特點(diǎn)是可以存在有向環(huán)，將上一次的輸出作為本次的輸入主要用途是處理和預(yù)測(cè)序列數(shù)據(jù)，挖掘數(shù)據(jù)中的時(shí)序信息以及語(yǔ)義信息的深度表達(dá)在語(yǔ)音識(shí)別、語(yǔ)言模型、機(jī)器翻譯以及時(shí)序分析等方面實(shí)現(xiàn)了突破3.循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)于循環(huán)神經(jīng)網(wǎng)絡(luò)，一個(gè)非常重要的概念就是時(shí)刻循環(huán)神經(jīng)網(wǎng)絡(luò)會(huì)對(duì)于每一個(gè)時(shí)刻的輸入結(jié)合當(dāng)前模型的狀態(tài)給出一個(gè)輸出循環(huán)神經(jīng)網(wǎng)絡(luò)的主體結(jié)構(gòu)A的輸入除了來(lái)自輸入層Xt，還有一個(gè)循環(huán)的邊來(lái)提供當(dāng)前時(shí)刻的狀態(tài)在每一個(gè)時(shí)刻，循環(huán)神經(jīng)網(wǎng)絡(luò)的模塊A會(huì)讀取t時(shí)刻的輸入Xt