一個(gè)語義關(guān)聯(lián)模式挖掘系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)的中期報(bào)告

一個(gè)語義關(guān)聯(lián)模式挖掘系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)的中期報(bào)告一、項(xiàng)目概況本項(xiàng)目旨在設(shè)計(jì)并實(shí)現(xiàn)一個(gè)語義關(guān)聯(lián)模式（SemanticCorrelationPattern，SCP）挖掘系統(tǒng)。該系統(tǒng)可對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理、分詞、詞頻統(tǒng)計(jì)、關(guān)鍵詞識(shí)別、語義相似度計(jì)算、SCP挖掘及可視化等一系列處理。通過該系統(tǒng)，用戶可在大量文本數(shù)據(jù)中，快速挖掘出SCP，并分析文本數(shù)據(jù)中的語義關(guān)聯(lián)模式，以達(dá)到深入掌握文本數(shù)據(jù)內(nèi)涵的目的。二、實(shí)現(xiàn)方案1.系統(tǒng)整體架構(gòu)本系統(tǒng)整體架構(gòu)采用B/S模式，由客戶端和服務(wù)器端組成。客戶端采用web端，用戶通過瀏覽器訪問，可完成SCP的挖掘及結(jié)果展示。服務(wù)器端采用JavaEE技術(shù)實(shí)現(xiàn)，具體架構(gòu)如下圖所示：2.系統(tǒng)功能劃分為了實(shí)現(xiàn)該系統(tǒng)，我們將功能劃分為如下五個(gè)部分：（1）數(shù)據(jù)采集及預(yù)處理：從外部網(wǎng)絡(luò)或文件系統(tǒng)中，獲取需要挖掘的文本數(shù)據(jù)，并進(jìn)行數(shù)據(jù)預(yù)處理，去除無關(guān)字符等。（2）分詞及詞頻統(tǒng)計(jì)：對(duì)文本數(shù)據(jù)進(jìn)行分詞處理，并統(tǒng)計(jì)每個(gè)詞語出現(xiàn)的次數(shù)。（3）關(guān)鍵詞識(shí)別及語義相似度計(jì)算：利用NLP技術(shù)，對(duì)每個(gè)詞語進(jìn)行關(guān)鍵詞識(shí)別，并計(jì)算詞語之間的語義相似度。（4）SCP挖掘：通過挖掘文本數(shù)據(jù)中頻繁出現(xiàn)的語義關(guān)聯(lián)模式，發(fā)現(xiàn)文本數(shù)據(jù)內(nèi)涵，從而達(dá)到深入掌握文本數(shù)據(jù)的目的。（5）結(jié)果可視化：將SCP可視化展示出來，以方便用戶深入分析文本數(shù)據(jù)內(nèi)涵。3.技術(shù)選型為了實(shí)現(xiàn)該系統(tǒng)，我們選用如下技術(shù)庫：（1）Spring框架：用于實(shí)現(xiàn)IOC和AOP等編程技術(shù)。（2）Mybatis框架：用于實(shí)現(xiàn)數(shù)據(jù)訪問層功能，簡化數(shù)據(jù)庫操作。（3）Lucene：用于文本分詞及全文檢索。（4）NLP技術(shù)庫：用于進(jìn)行關(guān)鍵詞提取、語義相似度計(jì)算等。（5）JavaScript技術(shù)庫：用于頁面數(shù)據(jù)可視化展示。4.進(jìn)度計(jì)劃為了按時(shí)完成該系統(tǒng)的開發(fā)，并保證系統(tǒng)質(zhì)量，我們制定了如下的進(jìn)度計(jì)劃：（1）第一階段：完成需求分析及系統(tǒng)設(shè)計(jì)，制定詳細(xì)的技術(shù)方案和開發(fā)規(guī)范。（2）第二階段：完成系統(tǒng)框架搭建及數(shù)據(jù)庫設(shè)計(jì)，實(shí)現(xiàn)數(shù)據(jù)采集及預(yù)處理功能。（3）第三階段：完成文本分詞及詞頻統(tǒng)計(jì)功能，實(shí)現(xiàn)關(guān)鍵詞識(shí)別及語義相似度計(jì)算。（4）第四階段：完成SCP挖掘功能，實(shí)現(xiàn)結(jié)果可視化展示。（5）第五階段：進(jìn)行系統(tǒng)測(cè)試及優(yōu)化，完成項(xiàng)目文檔的編寫。三、總結(jié)本中期報(bào)告主要介紹了語義關(guān)聯(lián)模式挖掘系統(tǒng)的設(shè)計(jì)方案及實(shí)現(xiàn)細(xì)節(jié)。我們將該系統(tǒng)分為五個(gè)部分，并采用了Spring、Mybatis、Lucene等技術(shù)庫，以實(shí)