文本挖掘核心技術(shù)及其應(yīng)用

文本挖掘核心技術(shù)及其應(yīng)用

目錄文本挖掘步驟文本挖掘功能文本挖掘應(yīng)用2文本挖掘步驟文本挖掘的一般處理過程特征的建立特征集的縮減學(xué)習(xí)與知識模式的提取知識模式模式質(zhì)量的評價(jià)文檔集3文本源原始數(shù)據(jù)預(yù)處理過濾虛詞合并詞根分詞特征表示計(jì)算權(quán)值合并特征過濾特征特征提取權(quán)值調(diào)整特征約減文本挖掘文本分類文本聚類關(guān)聯(lián)分析模式提取分類模式聚類模式關(guān)聯(lián)規(guī)則結(jié)果展示展示界面文本挖掘步驟4文本挖掘主要功能及應(yīng)用

文本挖掘應(yīng)用實(shí)現(xiàn)功能自動(dòng)分詞文檔歸類自動(dòng)分類自動(dòng)聚類信息抽取文本相似性檢索自動(dòng)摘要輿情監(jiān)控垃圾郵件過濾企業(yè)競爭情報(bào)系統(tǒng)電子商務(wù)客戶自動(dòng)問答5目錄文本挖掘步驟文本挖掘功能文本挖掘應(yīng)用6自動(dòng)分詞7自動(dòng)分類莫言對話楊振寧：來生學(xué)物理，當(dāng)下夢飛天時(shí)政社會(huì)軍事評論文化國際歷史8自動(dòng)聚類自動(dòng)對大量無類別的文檔進(jìn)行歸類，把內(nèi)容相近的文檔歸為一類，并自動(dòng)為該類生成主題詞，為用戶確定類目名稱提供方便。文本1文本2文本3文本4文本5…………類別1：關(guān)鍵詞：比賽、賽季、聯(lián)賽、球隊(duì)、比分、太陽、NBA、球員隊(duì)員、領(lǐng)先類別2：關(guān)鍵詞：旅游、黃金、游客、記者、旅行社、中國、國家、假日、北京、線路類別3：關(guān)鍵詞：公司、企業(yè)、招聘、面試、求職、專業(yè)、職業(yè)、學(xué)生、大學(xué)、人才9信息抽取信息抽取是從文本中抽取指定的一類信息（事件、事實(shí)）并將其形成結(jié)構(gòu)化的數(shù)據(jù)，填入一個(gè)數(shù)據(jù)庫中以供用戶查詢使用。會(huì)議時(shí)間1998年3月9日會(huì)議地點(diǎn)北京會(huì)議召集者/主持人個(gè)人姓名/團(tuán)體名稱Name蔣正華機(jī)構(gòu)、職位Org/Post主席，農(nóng)工民主黨中央會(huì)議名稱/標(biāo)題中國農(nóng)工民主黨第十二屆中央常務(wù)委員會(huì)第一次會(huì)議10信息抽取11文本相似性檢索文本相似性檢索式對一篇文檔到索引庫中查找與其內(nèi)容重復(fù)率高的文檔和相似的文檔。目前應(yīng)用最廣的是論文查重。12自動(dòng)摘要對文章中的所有句子進(jìn)行權(quán)值運(yùn)算，對所有的句子按權(quán)值排列，提取出權(quán)值大的作為關(guān)鍵句，進(jìn)而形成摘要。13目錄文本挖掘步驟文本挖掘功能文本挖掘應(yīng)用14應(yīng)用——文檔自動(dòng)歸類文本源原始數(shù)據(jù)預(yù)處理過濾虛詞合并詞根分詞特征表示計(jì)算權(quán)值合并特征過濾特征特征提取權(quán)值調(diào)整特征約減文本挖掘文本分類模式提取分類模式結(jié)果展示展示界面15應(yīng)用——文檔自動(dòng)歸類16應(yīng)用——垃圾郵件過濾商家利用電子郵件傳播大量廣告垃圾郵件持續(xù)攀升逐一查看郵件浪費(fèi)時(shí)間面臨的問題對垃圾郵件進(jìn)行過濾對郵件進(jìn)行歸類郵件自動(dòng)回復(fù)關(guān)鍵需求1718應(yīng)用——網(wǎng)絡(luò)輿情監(jiān)控互聯(lián)網(wǎng)的普及，網(wǎng)絡(luò)輿論熱點(diǎn)層出不窮；民意表達(dá)向網(wǎng)絡(luò)傾斜；網(wǎng)絡(luò)輿論一旦被錯(cuò)誤控制和引導(dǎo)，影響社會(huì)穩(wěn)定；面臨的挑戰(zhàn)輿情信息的采集與提取