NLP文本分類深度學(xué)習(xí)方法庫建立研究獲獎科研報告

NLP文本分類深度學(xué)習(xí)方法庫建立研究獲獎科研報告摘

要：人工智能技術(shù)的推動下，深度學(xué)習(xí)與NLP的聯(lián)系更為緊密，并推動了NLP的進一步發(fā)展。本文就如何打造NLP文本分類深度學(xué)習(xí)方法庫進行了回顧性的分析，對其建模原理及模型細分進行了總結(jié)，將為這一研究的深入提供一定的參考。

關(guān)鍵詞：深度學(xué)習(xí);NLP;方法庫

隨著NLP（神經(jīng)語言程序?qū)W）研究的不斷深入，其重要的應(yīng)用價值開始在機器翻譯、情感分析、智能問答、文摘生成、文本分類、輿論分析、知識圖譜等領(lǐng)域有所體現(xiàn)[1]。與此同時，以深度學(xué)習(xí)技術(shù)為核心的人工智能得到了廣泛的關(guān)注，成為一個新的研究熱點。這一技術(shù)與PLB的耦合，推動了NLP的新發(fā)展。打造神經(jīng)語言程序?qū)W文本分類深度學(xué)習(xí)數(shù)據(jù)庫即NLP文本分類深度學(xué)習(xí)方法庫作為其中的基礎(chǔ)環(huán)節(jié)成為研究中的一個重點。NLP文本分類深度學(xué)習(xí)方法庫建立的目的可為探索以深度學(xué)習(xí)為主要技術(shù)的NLP分類方法提供海量的研究資源，這一學(xué)習(xí)方法庫還具有文本分類的各種基準(zhǔn)模型。同時NLP文本分類深度學(xué)習(xí)庫也支持多標(biāo)簽的分類，且這些標(biāo)簽與句子或文檔可以形成一定的關(guān)聯(lián)。這些模型的建立將使得后續(xù)的研究有了重要的支點。在實踐中發(fā)現(xiàn)，打造NLP文本庫的過程中，有一些較為經(jīng)典的模型是比較適合作為學(xué)習(xí)庫的基準(zhǔn)模型。

在此次研究的過程中，采用兩個seq2seq模型進行文本分類，每個模型之下都設(shè)置有一個函數(shù)予以測試。兩個seq2seq模型也可以在文本分類的過程中生成序列或其它任務(wù)。在文本分類的過程中，若需完成的分類任務(wù)是多標(biāo)簽的分類工作，這時候就可以將工作以序列生成的方式來進行。在這一研究中基本達成了一個記憶網(wǎng)絡(luò)的建設(shè)[2]。其中以recurrententitynetwork（循環(huán)實體網(wǎng)絡(luò)）來追蹤狀態(tài)，以blocksofkey-valuepairs（它用鍵值對塊）為記憶并進行運行，并在這一功能的支持下實現(xiàn)對新狀態(tài)的獲取。構(gòu)建后的NLP文本分類深度學(xué)習(xí)模型可以實現(xiàn)使用歷史或上下文來回答建模的問題。例如，在測試中可以讓NLP文本分類深度學(xué)習(xí)模型來讀取句子作為文本，并提出一個問題來查詢，而后可實現(xiàn)NLP文本分類深度學(xué)習(xí)模式的答案預(yù)測。若這一過程轉(zhuǎn)化為向NLP文本分類深度學(xué)習(xí)模型提供一些素材資源，這時NLP文本分類深度學(xué)習(xí)模型便能夠完成研究意義上的分類工作[3]。

1NLP文本分類深度學(xué)習(xí)方法庫模型

1.1模型

fastText（快速文本模型）：這一模型主要用于高效文本分類技巧上的研究，在運行中使用bi-gram，具有較高的速度優(yōu)勢。

TextCNN（文本卷積神經(jīng)網(wǎng)絡(luò)）：這一模型主要用于句子分類的卷積神經(jīng)網(wǎng)絡(luò)的實現(xiàn)，在結(jié)構(gòu)上利用從降維到conv再到最大池化，最終到softmax。

TextRNN（文本循環(huán)神經(jīng)網(wǎng)絡(luò)）：這一模型在結(jié)構(gòu)上與文本卷積神經(jīng)網(wǎng)絡(luò)有一定的不同，是從降維到雙向的lstm到concta輸出，最終到softmax。

RCNN（循環(huán)卷積神經(jīng)網(wǎng)絡(luò)）：這一模型在結(jié)構(gòu)上與文本循環(huán)神經(jīng)網(wǎng)絡(luò)基本相同，在輸入項上進行了特殊的設(shè)計，采用EOS將兩個問題隔開。

HierarchicalAttentionNetwork（分層注意網(wǎng)絡(luò)）：這一墨香在結(jié)構(gòu)上采用降維→詞編輯器→詞注意→句子編輯器→句子注意→FC+Softmax。

seq2seqwithattention（具有注意的Seq2seq模型）：這一模型在結(jié)構(gòu)上主要有三層，降維→bi-GRU→具有注意的解碼器。

Transformer：這一模型主要有編碼器和解碼器兩大部分組成，具有在多向自我注意等方面的突出優(yōu)勢。

RecurrentEntityNetwork（循環(huán)實體網(wǎng)絡(luò)）：這一模型在型號結(jié)構(gòu)上也是分為三個層次，即輸入編碼，動態(tài)記憶，輸出。

BiLstmTextRelation（雙向長短期記憶網(wǎng)絡(luò)文本關(guān)系）：這一模型在結(jié)構(gòu)上與文本循環(huán)神經(jīng)網(wǎng)絡(luò)基本相同，在輸入項上進行了特殊的設(shè)計，采用EOS將兩個問題隔開。

TwoCNNTextRelation（兩個卷積神經(jīng)網(wǎng)絡(luò)文本關(guān)系）：這一模型采用不同的卷積來實現(xiàn)對句子特征的提取，然后在通過函數(shù)使目標(biāo)標(biāo)簽完成飲食，然后使用softmax。

BiLstmTextRelationTwoRNN（雙長短期記憶文本關(guān)系雙循環(huán)神經(jīng)網(wǎng)絡(luò)）：這一模型在結(jié)構(gòu)上采取不同句子的雙向lstm獲取，最終由softmax輸出。

1.2性能

2NLP文本分類深度學(xué)習(xí)方法庫的用途

2.1用途

此次研究中的NLP文本分類深度學(xué)習(xí)方法庫建立在xxx_model.py之上。在訓(xùn)練階段采用pythonxxx_train.py來進行，進入測試階段之后，可使用pythonxxx_predict.py來進行。快速文本模型、文本卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)卷積神經(jīng)網(wǎng)絡(luò)、分層注意網(wǎng)絡(luò)等模型下都有測試方法，可通過此來實現(xiàn)對模型的檢驗[4]。

2.3環(huán)境

該項學(xué)習(xí)庫建立之后的運行環(huán)境為python2.7+tensorflow1.1或tensorflow1.2。

3結(jié)束語

作為人工智能研究的一個重要分支