《自然語(yǔ)言處理入門(mén)》第10章

第十章文本聚類(lèi)第十章文本聚類(lèi)10.1概述10.2文檔的特征提取10.3k均值算法10.4重復(fù)二分聚類(lèi)算法10.5標(biāo)準(zhǔn)化評(píng)測(cè)10.6總結(jié)《自然語(yǔ)言處理入門(mén)》10.1.1聚類(lèi)《自然語(yǔ)言處理入門(mén)》聚類(lèi)（clusteranalysis）指的是將給定對(duì)象的集合劃分為不同子集的過(guò)程

這些子集又被稱(chēng)為簇（cluster），一般沒(méi)有交集

根據(jù)元素從屬于集合的確定程度，聚類(lèi)分為硬聚類(lèi)和軟聚類(lèi)。硬聚類(lèi)（hardclustering）軟聚類(lèi)（softclustering）10.1.1聚類(lèi)《自然語(yǔ)言處理入門(mén)》10.1.2聚類(lèi)的應(yīng)用數(shù)據(jù)預(yù)處理排重大眾化推薦人工抽查《自然語(yǔ)言處理入門(mén)》10.1.3文本聚類(lèi)文本聚類(lèi)（textclustering，也稱(chēng)文檔聚類(lèi)或documentclustering）指的是對(duì)文檔進(jìn)行的聚類(lèi)分析

改善搜索結(jié)果生成同義詞

《自然語(yǔ)言處理入門(mén)》10.2文檔的特征提取究竟如何將一篇文檔表示為一個(gè)向量呢？《自然語(yǔ)言處理入門(mén)》10.2.1詞袋模型詞袋（bag-of-words）是信息檢索與自然語(yǔ)言處理中最常用的文檔表示模型，它將文檔想象為一個(gè)裝有詞語(yǔ)的袋子，通過(guò)袋子中每種詞語(yǔ)的計(jì)數(shù)等統(tǒng)計(jì)量將文檔表示為向量《自然語(yǔ)言處理入門(mén)》10.2.1詞袋模型《自然語(yǔ)言處理入門(mén)》

10.2.2詞袋中的統(tǒng)計(jì)指標(biāo)

《自然語(yǔ)言處理入門(mén)》10.3k均值算法簡(jiǎn)單實(shí)用的聚類(lèi)算法k均值算法（k-means）由StuartLloyd于1957年提出《自然語(yǔ)言處理入門(mén)》10.3.1基本原理

《自然語(yǔ)言處理入門(mén)》10.3.1基本原理

《自然語(yǔ)言處理入門(mén)》10.3.1基本原理

《自然語(yǔ)言處理入門(mén)》10.3.1基本原理《自然語(yǔ)言處理入門(mén)》10.3.2初始質(zhì)心的選取

《自然語(yǔ)言處理入門(mén)》10.3.3更快的準(zhǔn)則函數(shù)

《自然語(yǔ)言處理入門(mén)》10.3.3更快的準(zhǔn)則函數(shù)

《自然語(yǔ)言處理入門(mén)》10.3.3更快的準(zhǔn)則函數(shù)

《自然語(yǔ)言處理入門(mén)》10.3.4實(shí)現(xiàn)創(chuàng)建ClusterAnalyzer對(duì)象，并向其加入文檔《自然語(yǔ)言處理入門(mén)》ClusterAnalyzer<String>analyzer=newClusterAnalyzer<String>();

analyzer.addDocument("趙一","流行,流行,流行,流行,流行,流行,流行,流行,流行,流行,藍(lán)調(diào),藍(lán)調(diào),藍(lán)調(diào),藍(lán)調(diào),藍(lán)調(diào),藍(lán)調(diào),搖滾,搖滾,搖滾,搖滾");

analyzer.addDocument("錢(qián)二","爵士,爵士,爵士,爵士,爵士,爵士,爵士,爵士,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲");

analyzer.addDocument("張三","古典,古典,古典,古典,民謠,民謠,民謠,民謠");

analyzer.addDocument("李四","爵士,爵士,爵士,爵士,爵士,爵士,爵士,爵士,爵士,金屬,金屬,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲");

analyzer.addDocument("王五","流行,流行,流行,流行,搖滾,搖滾,搖滾,嘻哈,嘻哈,嘻哈");

analyzer.addDocument("馬六","古典,古典,古典,古典,古典,古典,古典,古典,搖滾");10.3.4實(shí)現(xiàn)

流行藍(lán)調(diào)搖滾爵士舞曲古典民謠金屬嘻哈趙一1064000000錢(qián)二000890000張三000004400李四000960020王五403000003馬六001008000《自然語(yǔ)言處理入門(mén)》表10-1文本聚類(lèi)中的詞袋向量10.4重復(fù)二分聚類(lèi)算法重復(fù)二分聚類(lèi)（repeatedbisectionclustering）是k均值算法的效率加強(qiáng)版，其名稱(chēng)中的bisection是“二分”的意思，指的是反復(fù)對(duì)子集進(jìn)行二分《自然語(yǔ)言處理入門(mén)》10.4.1基本原理

《自然語(yǔ)言處理入門(mén)》10.4.1基本原理

《自然語(yǔ)言處理入門(mén)》10.4.2自動(dòng)判斷聚類(lèi)個(gè)數(shù)k

《自然語(yǔ)言處理入門(mén)》10.4.3實(shí)現(xiàn)重復(fù)二分聚類(lèi)算法的實(shí)現(xiàn)位于com.hankcs.hanlp.mining.cluster.ClusterAnalyzer#repeatedBisection《自然語(yǔ)言處理入門(mén)》10.5標(biāo)準(zhǔn)化評(píng)測(cè)本節(jié)我們將介紹聚類(lèi)任務(wù)的標(biāo)準(zhǔn)化評(píng)測(cè)手段，并且給出兩種算法的分值《自然語(yǔ)言處理入門(mén)》

《自然語(yǔ)言處理入門(mén)》10.5標(biāo)準(zhǔn)化評(píng)測(cè)

《自然語(yǔ)言處理入門(mén)》10.5.2語(yǔ)料庫(kù)

《自然語(yǔ)言處理入門(mén)》搜狗文本分類(lèi)語(yǔ)料庫(kù)迷你版

├──體育

│└──1.txt

│└──2.txt

│└──3.txt

│└──...

├──健康

│└──...

├──軍事

│└──...

├──教育

│└──...

└