基于搜索引擎的關(guān)鍵詞輿情過濾算法的技術(shù)分析

1、基于搜索引擎的關(guān)鍵詞輿情過濾算法的技術(shù)分析隨著網(wǎng)絡(luò)成為繼報(bào)紙、無線廣播和電視三大傳統(tǒng)的傳播媒體之后的第四媒體;，網(wǎng)絡(luò)輿情對社會的影響與日俱增。網(wǎng)絡(luò)輿情成為最主要的社會輿情表述和傳播方式之一。對于公司企事業(yè)單位，一些惡劣事件的披露很可能成為他們繼續(xù)發(fā)展的絆腳石；對于社會，一些有損穩(wěn)定，影響極為惡劣的言論很可能對社會造成極為惡劣的負(fù)面影響。由于這些信息往往呈現(xiàn)爆炸式增長，因此，輿情監(jiān)控系統(tǒng)的一個重要目標(biāo)即是及早的發(fā)現(xiàn)輿情發(fā)布源頭，從而提醒管理者及時對其進(jìn)行適當(dāng)?shù)目刂啤＿@就要求輿情監(jiān)控系統(tǒng)最好能夠做到在數(shù)小時甚至幾十分鐘之內(nèi)能夠抓取到新發(fā)布的輿論信息后立刻過濾出是否含有惡劣言論，這對輿情監(jiān)控系統(tǒng)具有

2、十分重要的意義。目前輿情發(fā)現(xiàn)的方法研究可以基本歸為兩大類，一類是基于規(guī)則的文本內(nèi)容關(guān)鍵詞識別的方法【1，2】，一類是基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)文本分類方法【36】。第一類方法能夠最大限度的在輿情未擴(kuò)散之前的挖掘出網(wǎng)絡(luò)中明顯直接的輿情信息，但由于語義方面的局限性使得輿情信息的挖掘不夠充分，第二類方法一般需要在一定數(shù)量的相關(guān)輿情記錄出現(xiàn)后才能被挖掘，輿情信息的挖掘較為全面。目前有很多輿情監(jiān)控系統(tǒng)采用這兩類方法相結(jié)合的方式進(jìn)行輿情監(jiān)控。對于第一類方式，較為普遍，簡單而有效的一種方式是預(yù)存儲一些行業(yè)惡劣情感詞庫，比如高校教育行業(yè)里可設(shè)定自殺、罷課、貪污，猥褻等惡劣情感詞，然后對從網(wǎng)絡(luò)中抓取到的文本數(shù)據(jù)進(jìn)行關(guān)鍵

3、詞字串正則匹配，匹配成功則過濾出一條輿情記錄同時將匹配的關(guān)鍵詞替換成高亮文本返回給用戶。該方法雖然可行，但正則表達(dá)式的算法完成一篇文檔的過濾需要對關(guān)鍵詞集中每一個關(guān)鍵詞進(jìn)行循環(huán)匹配，時間主要消耗在循環(huán)調(diào)用、字符串匹配和文本高亮替換之上，算法效率較為低下，在一定程度上影響了輿情發(fā)現(xiàn)的時效性。該文提出基于搜索引擎的關(guān)鍵詞查詢過濾方法，能夠最大限度的利用索引查詢的高效性，把批量輿情信息過濾時間控制在較短時間內(nèi)，較好的解決了惡劣輿情過濾的實(shí)時高效問題。1 基于搜索引擎的關(guān)鍵詞輿情過濾算法設(shè)計(jì)在這一節(jié)中，先介紹搜索引擎背后的基本原理，然后詳細(xì)介紹基于搜索引擎的關(guān)鍵詞輿情過濾算法的設(shè)計(jì)與實(shí)現(xiàn)。1.1 索引

4、與布爾代數(shù)搜索引擎能夠在毫秒時間內(nèi)檢索到成千上萬的相關(guān)結(jié)果，其關(guān)鍵原理是索引和布爾代數(shù)運(yùn)算。最簡單的索引的結(jié)構(gòu)是用一個很長的二進(jìn)制數(shù)表示一個關(guān)鍵詞是否出現(xiàn)在每篇文獻(xiàn)中，有多少篇文獻(xiàn)就有多少位數(shù)，每一位對應(yīng)一篇文獻(xiàn)，1代表相應(yīng)的文獻(xiàn)有這個關(guān)鍵詞，0代表沒有。比如南華大學(xué);的二進(jìn)制數(shù)是010010001100001…，表示第二、第五、第九、第十、第十五篇文獻(xiàn)包含這個關(guān)鍵詞，論壇;的二進(jìn)制數(shù)是010001001000000…，檢索同時包含南華大學(xué);和論壇;的文獻(xiàn)時，將這兩個二進(jìn)制代數(shù)進(jìn)行AND布爾運(yùn)算，就可以找到第二、第九篇文獻(xiàn)滿足要求。實(shí)際應(yīng)用中的搜索引擎的索引是一個只

5、記錄了等于1的位數(shù)的一張大表：表的每一行對應(yīng)一個關(guān)鍵詞，而每一個關(guān)鍵詞后面跟著一組數(shù)字，是包含該關(guān)鍵詞的文獻(xiàn)序號。計(jì)算機(jī)做布爾運(yùn)算是非常快的，目前最便宜的微機(jī)都可以在一個指令周期進(jìn)行32位布爾運(yùn)算，一秒鐘進(jìn)行數(shù)十億次以上。1.2 輿情過濾算法設(shè)計(jì)基于搜索引擎的關(guān)鍵詞輿情過濾算法充分利用索引進(jìn)行布爾運(yùn)算所帶來的高效性進(jìn)行設(shè)計(jì)。其設(shè)計(jì)思路及流程如圖1所示。先從爬蟲抓取完成隊(duì)列中獲得已經(jīng)下載好的網(wǎng)頁文檔，利用HTMLParser對其進(jìn)行結(jié)構(gòu)解析以獲得URL、標(biāo)題、作者、正文、發(fā)表時間等屬性信息，然后將這些屬性構(gòu)成的文檔對象插入數(shù)據(jù)庫采集記錄表，插入成功則獲取插入記錄的自增標(biāo)識ID，然后進(jìn)入分詞索引程

6、序，將需要分詞的屬性比如標(biāo)題，正文進(jìn)行分詞，然后連同標(biāo)識ID一起分別作為一個Lucene文檔的域進(jìn)行索引，索引完成之后即可對其進(jìn)行過濾查詢。將標(biāo)識ID和用戶設(shè)定的惡劣情感詞集組合成布爾查詢字符串之后對索引庫進(jìn)行檢索，若能檢索到唯一一條記錄，則表明剛才索引的那篇文檔中包含有該用戶關(guān)心的輿情信息，最終反饋給用戶。以上是該過濾算法設(shè)計(jì)的基本思路流程，以下將對此過程中的關(guān)鍵問題進(jìn)行詳細(xì)介紹。圖1 基于搜索引擎的關(guān)鍵詞輿情過濾設(shè)計(jì)流程1.2.1 唯一標(biāo)識ID的生成唯一標(biāo)識ID的生成方式有多種，只須滿足系統(tǒng)全局唯一標(biāo)識一篇文檔的要求，因此可以通過程序生成全局唯一標(biāo)識符。在實(shí)現(xiàn)石鼓輿情監(jiān)控系統(tǒng)的過程中，因?yàn)?/p>

7、要采集每一篇文檔的結(jié)構(gòu)化數(shù)據(jù)，因此唯一標(biāo)識ID是通過數(shù)據(jù)庫采集記錄數(shù)據(jù)插入后返回主鍵ID得到的，如圖2中采集記錄表主鍵采集記錄ID。我們利用網(wǎng)絡(luò)爬蟲對某些特定監(jiān)控類型網(wǎng)站進(jìn)行下載后做結(jié)構(gòu)化解析，每個網(wǎng)頁文檔經(jīng)過解析將得到如圖2數(shù)據(jù)表所示的標(biāo)題、作者、URL、發(fā)表時間、正文等元素信息，然后將此文檔元素信息插入采集記錄表和回復(fù)記錄表（沒有回復(fù)則不插入回復(fù)記錄表），插入成功后程序?qū)@得此記錄的自增類型主鍵采集記錄ID。此ID將成為后續(xù)進(jìn)行索引的一個唯一標(biāo)識域。圖2 石鼓輿情監(jiān)控系統(tǒng)部分?jǐn)?shù)據(jù)庫設(shè)計(jì)1.2.2 索引的建立使用開源庫lucene建立索引。上一步生成的唯一標(biāo)識ID須作為索引的一個文檔存儲域。

8、如無特殊要求，則可將文檔解析出來的全部文本作為另一個域進(jìn)行分詞并索引。本輿情監(jiān)控系統(tǒng)將之前解析出的標(biāo)題、正文、回復(fù)內(nèi)容作為索引域進(jìn)行分詞后，連同采集記錄ID、URL、作者一起進(jìn)行索引。為了保證文本分詞后預(yù)存儲的所有惡劣情感詞仍舊還作為一個完整詞出現(xiàn)在索引表中（如果待索引文本中包含預(yù)存儲的惡劣情感詞），需要將這些預(yù)存儲的惡劣情感詞加入分詞器的用戶自定義詞典，分詞器則不會將某情感詞分解成兩個或多個詞項(xiàng)了。這樣會保證后續(xù)的關(guān)鍵詞檢索不遺漏結(jié)果。本系統(tǒng)采用中科院分詞系統(tǒng)ICTCLAS50，可將惡劣情感詞加入詞典文件userdict.txt中。1.2.3 輿情關(guān)鍵詞查詢過濾索引表建立之后，則可循環(huán)將所有

9、用戶設(shè)定的惡劣情感詞集合和唯一標(biāo)識ID構(gòu)造布爾查詢字符串對索引表進(jìn)行檢索。構(gòu)造的查詢字符串實(shí)則是一個布爾算術(shù)表達(dá)式。比如查詢串采集記錄ID AND （跳樓OR 罷課 OR貪污 OR猥褻）;，該表達(dá)式即可從剛索引的那篇文檔中找到是否含有一個或多個惡劣情感詞的記錄，有則返回該記錄文檔，沒有則返回零個文檔。查詢表達(dá)式中，所有惡劣情感詞之間是或OR關(guān)系，它們形成一個整體與采集記錄ID是與AND關(guān)系，形成的布爾運(yùn)算要先檢索到滿足采集記錄ID等于指定值的索引文檔，然后在此文檔中檢索OR查詢串中包含的至少一個情感詞。本系統(tǒng)中如果查詢返回了一條記錄文檔，則將該記錄中匹配的關(guān)鍵詞高亮后反饋給用戶并入庫。1.3

10、輿情過濾算法的實(shí)現(xiàn)由于輿情監(jiān)控系統(tǒng)面對的是浩瀚信息的互聯(lián)網(wǎng)，因此海量數(shù)據(jù)的處理效率是制約系統(tǒng)性能的關(guān)鍵因素。將該算法實(shí)現(xiàn)在基于生產(chǎn)者-消費(fèi)者的多線程結(jié)構(gòu)之上可大大提高系統(tǒng)性能，如圖3所示。將該算法的關(guān)鍵流程分拆到各個線程中分別實(shí)現(xiàn)，線程控制數(shù)據(jù)緩存池中數(shù)據(jù)流的走向，各線程本身的并發(fā)運(yùn)行交由線程池進(jìn)行統(tǒng)一管理。這樣增大了系統(tǒng)的吞吐量，提高了系統(tǒng)資源的利用率，也大大的提升了系統(tǒng)的運(yùn)行效能。2 實(shí)驗(yàn)結(jié)果對比分析開發(fā)環(huán)境： Windows XP操作系統(tǒng)，英特爾酷睿雙核T6600 2.20GHz處理器，4G存，Java JDK1.7，MySql5.5，Myeclipse9.0，lucene3.0。服務(wù)器

11、環(huán)境：Windows Server 2003，4核Intel? Xeon? CPU E5506 2.13GHz，16G內(nèi)存，Tomcat7.0。本系統(tǒng)算法的實(shí)驗(yàn)分別基于三類網(wǎng)站進(jìn)行觀察分析。第一類是以大量回復(fù)內(nèi)容為主的某BBS論壇網(wǎng)站，第二類是以大文本正文為主的新浪新聞網(wǎng)站，第三類是以小文本為主的騰訊微博（不要回復(fù)評論內(nèi)容）。得到的實(shí)驗(yàn)結(jié)果與在程序中使用正則表達(dá)式和在數(shù)據(jù)庫中使用SQL正則表達(dá)式兩種方式做對比分析（這兩種情況同樣是在多線程架構(gòu)之上進(jìn)行試驗(yàn)）。同時計(jì)算基于搜索引擎的過濾算法的查準(zhǔn)率和查全率。因?yàn)楸舅惴ㄔ谕瓿梢黄臋n的查詢過濾時，由于唯一標(biāo)識ID的作用，每次只在特定的一篇文檔中查詢

12、過濾，檢索結(jié)果最多是返回一條記錄，因此采用平均查準(zhǔn)率和查全率來衡量，分析N篇文檔時的定義如下：使用基于搜索引擎的輿情過濾算法在惡劣情感詞數(shù)量和索引庫大小兩個因素作用下監(jiān)控100篇文檔從下載到查詢過濾結(jié)束的運(yùn)行時間結(jié)果，同時計(jì)算它們的平均查全率和平均價(jià)查準(zhǔn)率，并實(shí)驗(yàn)得到在java程序中使用正則表達(dá)式的運(yùn)行時間，在mysql中使用SQL正則表達(dá)式的運(yùn)行時間。繪圖得到如圖4，5，6。平均查全率和平均查準(zhǔn)率如表1。表1 平均查全率/平均查準(zhǔn)率圖4 *（南華）BBS論壇實(shí)驗(yàn)結(jié)果圖5 新浪新聞實(shí)驗(yàn)結(jié)果圖6 騰訊微博實(shí)驗(yàn)結(jié)果分析圖4，5，6，三大類型網(wǎng)站的實(shí)驗(yàn)圖大同小異，成水平狀態(tài)的4條曲線是基于搜索引擎的

13、過濾算法的運(yùn)行時間圖，他們基本保持平穩(wěn)但有隨著惡劣情感詞個數(shù)增加呈稍微上升趨勢，當(dāng)索引庫增大時，運(yùn)行時間會有相應(yīng)增加，但漲幅很小?；贘ava正則和sql正則的運(yùn)行時間曲線都隨著惡劣情感詞個數(shù)增加基本呈線性增加趨勢，惡劣情感詞的數(shù)量決定了他們的循環(huán)次數(shù)，當(dāng)惡劣情感詞較少的時候（10個左右），性能會優(yōu)于基于搜索引擎的過濾算法，但當(dāng)詞數(shù)增加時，特別是詞數(shù)較多時，則沒有絲毫性能優(yōu)勢。而從工程上來看，由于要適應(yīng)于多個用戶，關(guān)鍵詞數(shù)往往在幾十甚至上百個以上。另外，基于sql正則的方法運(yùn)行效率整體上比基于java正則有微弱優(yōu)勢。基于以上分析，基于搜索引擎關(guān)鍵詞過濾算法能很好的適應(yīng)于各大類型網(wǎng)站，且能取得良

14、好的運(yùn)行效率，達(dá)到惡劣輿情信息的發(fā)現(xiàn)實(shí)時高效的目標(biāo)。分析表1，三大類型網(wǎng)站的平均查準(zhǔn)率較高，平均查全率都偏低，騰訊微博的查全率和查準(zhǔn)率都是三者中最低，這可能是用戶在發(fā)表微博這種短文本時隨意性較大所致。新浪新聞的查全率和查準(zhǔn)率為三者中最高也與新聞介質(zhì)本身規(guī)范性較強(qiáng)有關(guān)。因此，基于搜索引擎過濾算法的查全率有待提高。3 總結(jié)基于搜索引擎的關(guān)鍵詞輿情過濾算法在執(zhí)行效率上要比普通的正則匹配、高亮文本替換好得多，它非常適合于網(wǎng)頁實(shí)時下載和內(nèi)容解析的系統(tǒng)中，并且能利用開源搜索引擎框架的高亮語法方便的生成輿情簡要文本，較好的解決了惡劣輿情信息的實(shí)時挖掘問題。下一步的工作：一是將索引庫嘗試部署成分布式索引，構(gòu)建

15、運(yùn)行高效而穩(wěn)定的輿情過濾監(jiān)控系統(tǒng)和搜索引擎；二是結(jié)合機(jī)器學(xué)習(xí)的方式進(jìn)行文本聚類以獲得更高的查全率和查準(zhǔn)率。參考文獻(xiàn)：【1】 李強(qiáng).互聯(lián)網(wǎng)有害信息實(shí)時過濾報(bào)警系統(tǒng)的實(shí)現(xiàn).計(jì)算機(jī)工程與設(shè)計(jì)，2006（18）：3419-3423.【2】 王俊.基于Web搜索的輿情分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).北京：北京郵電大學(xué)，2011.【3】 龐磊，李壽山，周國棟.基于情緒知識的中文微博情感分類方法.計(jì)算機(jī)工程，2012（13）；156-158.【4】 邱云飛，程亮. 微博突發(fā)話題檢測方法研究.計(jì)算機(jī)工程，2012（9）；288-290.【5】 Kim Soo-Min， Hovy E.Automatic Detection of Opinion Bearing Words and Sentences/Proc. of International Joint Conference on Natural Language Processing. Jeju Island， Korea： ， 2005.【6】 Qiang Y，Ziqiong Zhang，Rob Law.Sentiment classication of online re-views to travel de