網(wǎng)絡(luò)輿情監(jiān)測(cè)設(shè)計(jì)方案

第一章項(xiàng)目的背景及必要性1?1項(xiàng)目背景近年來(lái)，網(wǎng)絡(luò)輿情對(duì)政治生活秩序和社會(huì)穩(wěn)定的影響與日俱增，一些重大的網(wǎng)絡(luò)輿情事件使人們開(kāi)始認(rèn)識(shí)到網(wǎng)絡(luò)對(duì)社會(huì)監(jiān)督起到巨大作用。如"5.12"汶川特大地震中傳統(tǒng)媒體與新媒體的充分聯(lián)動(dòng),又如"7.23"甬溫線特別重大鐵路交通事故中微博發(fā)揮的重要作用,再到20XX此起彼伏的社會(huì)群體事件。公共危機(jī)事件爆發(fā)時(shí)，猶如以石擊水，相關(guān)信息在短時(shí)間內(nèi)迅速傳播,引起群眾的廣泛關(guān)注。一些非理性議論、小道消息或負(fù)面報(bào)道常常在一定程度上激發(fā)人們普遍的危機(jī)感，甚至影響到群眾對(duì)黨和政府的信任,影響到消費(fèi)者對(duì)某一企業(yè)品牌的認(rèn)同。如不及時(shí)采取正確的措施分析和應(yīng)對(duì)，會(huì)造成難以估計(jì)的后果。隨著互聯(lián)網(wǎng)技術(shù)和應(yīng)用的發(fā)展，網(wǎng)絡(luò)輿情在數(shù)據(jù)體量、復(fù)雜性和產(chǎn)生速度等方面發(fā)生巨大變化。網(wǎng)絡(luò)輿情分析方法已超出了現(xiàn)有常用的分析框架,必須在大數(shù)據(jù)分析的思維下有所創(chuàng)新。本項(xiàng)目主要利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)和大數(shù)據(jù)技術(shù)的融合應(yīng)用，建立基于XX交通行業(yè)網(wǎng)絡(luò)輿情監(jiān)測(cè)平臺(tái)。通過(guò)網(wǎng)絡(luò)爬蟲(chóng)技術(shù)對(duì)各大新聞門(mén)戶網(wǎng)站、微博、知名論壇、貼吧、博客、搜索引擎等輿情信息采集，充分使用大數(shù)據(jù)技術(shù)對(duì)采集到的網(wǎng)絡(luò)輿情信息進(jìn)行挖掘與分析。實(shí)現(xiàn)重大負(fù)面輿情信息、突發(fā)事件實(shí)時(shí)預(yù)警，并根據(jù)輿情分布、影響力、發(fā)展趨勢(shì)等進(jìn)行分析和來(lái)源追蹤。額目的必要性當(dāng)前，網(wǎng)絡(luò)輿情可以說(shuō)是網(wǎng)絡(luò)輿情管理的基礎(chǔ)和晴雨表。以大數(shù)據(jù)觀念變革傳統(tǒng)網(wǎng)絡(luò)輿情管理思維，準(zhǔn)確把握網(wǎng)絡(luò)輿情的內(nèi)在特征及其在演化過(guò)程中的潛在規(guī)律，對(duì)于新形勢(shì)下做好網(wǎng)絡(luò)輿情管理工作具有重要的理論意義和實(shí)踐價(jià)值。因此,XX交通行業(yè)應(yīng)采取各種有效措施做好網(wǎng)絡(luò)輿情的應(yīng)對(duì)工作。增加信息透明度,準(zhǔn)確、及時(shí)地發(fā)布權(quán)威信息,使謠言破滅從而有效弓I導(dǎo)輿論。建立權(quán)威專(zhuān)業(yè)的組織體系、加強(qiáng)互聯(lián)網(wǎng)人才隊(duì)伍建設(shè)、采取適當(dāng)?shù)妮浨橐龑?dǎo)與控制手段,是建立科學(xué)有效的輿情應(yīng)對(duì)機(jī)制的必需。加強(qiáng)網(wǎng)絡(luò)輿情分析與研判工作,區(qū)分不同性質(zhì)的涉及本行業(yè)負(fù)面輿情，可以正確的為相關(guān)部門(mén)提供決策參考。善與媒體溝通,借助媒體傳達(dá)XX交通行業(yè)的聲音，掌握輿論引導(dǎo)主動(dòng)權(quán)。第二章設(shè)計(jì)原則2.1全面性對(duì)網(wǎng)絡(luò)信息的獲取要盡量做到全面，不漏掉有價(jià)值的輿情信息。需要監(jiān)控的站點(diǎn)主要分布于門(mén)戶網(wǎng)站、知名論壇、搜索引擎、博客、貼吧，微博等網(wǎng)絡(luò)載體中。2.2準(zhǔn)確性已經(jīng)獲取到的網(wǎng)絡(luò)信息形形色色、要對(duì)信息做進(jìn)一步篩選,將最焦點(diǎn)的、最常用的、最需要的、最關(guān)注的輿情信息做相應(yīng)的分類(lèi)展示，方便下一步工作。2.3時(shí)效性輿情信息的第一時(shí)間獲取、第一時(shí)間分析、第一時(shí)間展示、第一時(shí)間預(yù)警。網(wǎng)絡(luò)信息的一大特點(diǎn)就是傳播快，出現(xiàn)重大事件后,相關(guān)部門(mén)必須第一時(shí)間了解到相關(guān)情況,否則就會(huì)在整個(gè)事件的處理上處于被動(dòng)局面。2.4易維護(hù)性整套解決方案的數(shù)據(jù)維護(hù)簡(jiǎn)單，容易操作，完全通過(guò)WEB方式完成,采用云技術(shù),降低維護(hù)的技術(shù)難度，也減少了人為隱患的發(fā)生。2.5蛙穩(wěn)定、準(zhǔn)確、及時(shí)采用先進(jìn)的算法，多個(gè)模塊組成一個(gè)安全、穩(wěn)定、準(zhǔn)確、及時(shí)的網(wǎng)絡(luò)輿情監(jiān)測(cè)平臺(tái)。方案在總體設(shè)計(jì)上遵循穩(wěn)定、開(kāi)放、可擴(kuò)展、經(jīng)濟(jì)、安全的原則,從而使整個(gè)方案組成合理，技術(shù)先進(jìn)，易于擴(kuò)展廄能滿足當(dāng)前的業(yè)務(wù)數(shù)據(jù)處理要求,又能符合長(zhǎng)期發(fā)展的需要。

體I體IU_—I第三章總體架構(gòu)3.1總體概述網(wǎng)絡(luò)輿情監(jiān)測(cè)平臺(tái)采用J2EE技術(shù)體系，前端采用Ajax開(kāi)發(fā)技術(shù),操作簡(jiǎn)單、易用、高效、穩(wěn)定。平臺(tái)所有功能均采用純B/S結(jié)構(gòu)設(shè)計(jì)，零客戶端維護(hù)。實(shí)時(shí)采集網(wǎng)絡(luò)輿情信息如門(mén)戶網(wǎng)站、知名論壇、搜索引擎、博客、貼吧微博等,7*24小時(shí)為用戶提供信息采集、信息處理、信息編輯功能，實(shí)時(shí)掌握所關(guān)注的網(wǎng)絡(luò)輿情信息，為XX交通行業(yè)相關(guān)部門(mén)提供決策參考依據(jù)。3.2業(yè)務(wù)流程網(wǎng)絡(luò)輿情監(jiān)測(cè)平臺(tái)是針對(duì)互聯(lián)網(wǎng)這一新興媒體,通過(guò)對(duì)海量網(wǎng)絡(luò)輿情信息進(jìn)行實(shí)時(shí)的自動(dòng)采集、分析、匯總、監(jiān)視、并識(shí)別其中的關(guān)鍵信息汲時(shí)通知到相關(guān)人員，從而第一時(shí)間應(yīng)急響應(yīng),為正確輿論導(dǎo)向及收集民眾意見(jiàn)提供直接支持的一套信息化平臺(tái)。第四章本項(xiàng)目涉及的關(guān)鍵技術(shù)4.1網(wǎng)絡(luò)爬蟲(chóng)概念網(wǎng)絡(luò)爬蟲(chóng)又被稱(chēng)為網(wǎng)頁(yè)蜘蛛、網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱(chēng)為網(wǎng)頁(yè)追逐者，是一種按照一定的規(guī)則啟動(dòng)地抓取互聯(lián)網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲(chóng)。4.1.1網(wǎng)絡(luò)爬蟲(chóng)工作原理Web網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)一般會(huì)選擇一些比較重要的、出度＜網(wǎng)頁(yè)中鏈出鏈接數(shù)＞較大的網(wǎng)站的URL作為種子URL集合。網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)將這些種子集合作為初始URL,開(kāi)始數(shù)據(jù)的抓取。由于網(wǎng)頁(yè)中含有鏈接信息,通過(guò)已有網(wǎng)頁(yè)的URL會(huì)得到一些新的URL,可以把網(wǎng)頁(yè)之間的指向視為一個(gè)森林每個(gè)種子URL對(duì)應(yīng)的網(wǎng)頁(yè)是森林中的一棵樹(shù)的根節(jié)點(diǎn)。這樣,Web網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)就可以根據(jù)先廣搜索算法或者先深搜索算法遍歷所有的網(wǎng)頁(yè)。由于先深搜索算法可能會(huì)使爬蟲(chóng)系統(tǒng)陷入一個(gè)網(wǎng)站內(nèi)部,不利于搜索比較靠近網(wǎng)站首頁(yè)的網(wǎng)頁(yè)信息,因此一般采用先廣搜索算法采集網(wǎng)頁(yè)。Web網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)首先將種子URL放入下載隊(duì)列，然后簡(jiǎn)單地從隊(duì)首取出一個(gè)URL下載其對(duì)應(yīng)的網(wǎng)頁(yè)。得到網(wǎng)頁(yè)的內(nèi)容將其存儲(chǔ)后,再經(jīng)過(guò)解析網(wǎng)頁(yè)中的鏈接信息可以得到一些新的URL,將這些URL加入下載隊(duì)列。然后再取出一個(gè)URL,對(duì)其對(duì)應(yīng)的網(wǎng)頁(yè)進(jìn)行下載，然后再解析，如此反復(fù)進(jìn)行，知道遍歷了整個(gè)網(wǎng)絡(luò)或者滿足某種條件后才會(huì)停止下來(lái)。4.2云計(jì)算技術(shù)分布式計(jì)算是解決海量數(shù)據(jù)挖掘任務(wù)，提高海量數(shù)據(jù)挖掘的有效手段之一,在理論和實(shí)踐上已經(jīng)獲得證實(shí)。分布式計(jì)算包含了分布式存儲(chǔ)和并行計(jì)算兩個(gè)層面的內(nèi)容，而云計(jì)算平臺(tái)提供了分布式文件存儲(chǔ)和并行的計(jì)算能力,因此很好地解決了這兩個(gè)層面的內(nèi)容。下面主要分析幾個(gè)主流的分布式文件系統(tǒng)和分布式并行計(jì)算框架,以更好地構(gòu)建云計(jì)算數(shù)據(jù)挖掘平臺(tái)的核心支撐能力。5/25分布式文件系統(tǒng)有效地解決了海量數(shù)據(jù)存儲(chǔ)問(wèn)題,并實(shí)現(xiàn)了位置透明、移動(dòng)透明、性能透明、擴(kuò)展透明、高容錯(cuò)、高安全、高性能等關(guān)鍵功能。目前業(yè)界比較流行分布式文件系統(tǒng)有Google文件系統(tǒng)＜GFS＞、分布式文件系統(tǒng)＜HDFS＞、文件系統(tǒng)＜KFS＞,這3種分布式文件系統(tǒng)都是基于Google提出的分布式文件系統(tǒng)理論進(jìn)行研發(fā)的。Google提出的GFS就是解決其海量數(shù)據(jù)存儲(chǔ)和搜索、分析等問(wèn)題，而和KFS是基于GFS理論基礎(chǔ)上實(shí)現(xiàn)的開(kāi)源系統(tǒng)，并且在商業(yè)和學(xué)術(shù)領(lǐng)域得到了廣泛的應(yīng)用。分布式并行計(jì)算框架對(duì)于高效完成數(shù)據(jù)挖掘計(jì)算任務(wù)極其重要，并且它對(duì)分布式計(jì)算的一些技術(shù)細(xì)節(jié)進(jìn)行了封裝,例如數(shù)據(jù)分布、任務(wù)并行、任務(wù)調(diào)度、負(fù)載平衡、任務(wù)容錯(cuò)、系統(tǒng)容錯(cuò)等,使用戶不需要考慮這些細(xì)節(jié)，而只要考慮任務(wù)間的邏輯關(guān)系。這樣不僅可以提高研發(fā)的效率還可以降低系統(tǒng)維護(hù)的成本。目前典型的分布式計(jì)算框架有:MapReduce是提出的一個(gè)并行計(jì)算框架，它可以在大量PC機(jī)上并行執(zhí)行海量數(shù)據(jù)的收集和分析任務(wù)。它把如何進(jìn)行任務(wù)并行執(zhí)行、如何進(jìn)行數(shù)據(jù)分布、如何容錯(cuò)、網(wǎng)絡(luò)帶寬時(shí)延等問(wèn)題的解決方案編碼,并封裝在了一個(gè)庫(kù)里面，使用戶只需要執(zhí)行數(shù)據(jù)運(yùn)算即可，而不必關(guān)心并行計(jì)算、容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡等復(fù)雜的細(xì)節(jié)。同時(shí)它又對(duì)上層應(yīng)用提供良好簡(jiǎn)單的抽象接口。MapReduce主要應(yīng)用在搜索、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘領(lǐng)域。Pregel是Google提出的迭代處理計(jì)算框架,它具有高效、可擴(kuò)展和容錯(cuò)的特性，并隱藏了分布式相關(guān)的細(xì)節(jié),展現(xiàn)給人們的僅僅是一個(gè)表現(xiàn)力很強(qiáng)、很容易編程的大型圖算法處理的計(jì)算框架。Pregel的主要應(yīng)用場(chǎng)景是大型的圖計(jì)算，例如交通線路、疾病爆發(fā)路徑、WEB搜索等相關(guān)領(lǐng)域。Dryad是微軟硅谷研究院創(chuàng)建的研究項(xiàng)目,主要用來(lái)提供一個(gè)基于Windows操作系統(tǒng)的分布式計(jì)算平臺(tái),總體用來(lái)支持有向無(wú)環(huán)圖類(lèi)型數(shù)據(jù)流的并行程序。微軟于年宣布，停止對(duì)Dryad進(jìn)行版本升級(jí)，轉(zhuǎn)投Hadoop即MapReduce計(jì)算框架。目前業(yè)界開(kāi)源的云計(jì)算平臺(tái)包含HDFS和MapReduce,為海量數(shù)據(jù)挖掘平臺(tái)提供完備的云計(jì)算支撐平臺(tái)。4.3輿情智能分析技術(shù)1自動(dòng)分類(lèi)技術(shù)基于內(nèi)容對(duì)經(jīng)過(guò)雙重過(guò)濾處理后的重要輿情自動(dòng)分類(lèi)，無(wú)需人工干預(yù),準(zhǔn)確率達(dá)到95%以上。先設(shè)置分類(lèi)關(guān)鍵詞，每一個(gè)關(guān)鍵詞都設(shè)置一個(gè)相應(yīng)的優(yōu)先級(jí)分值。對(duì)收集到的文章內(nèi)容進(jìn)行分析,分別對(duì)標(biāo)題和內(nèi)容進(jìn)行匹配,統(tǒng)計(jì)匹配的次數(shù)，然后根據(jù)設(shè)定好的關(guān)鍵字匹配模型對(duì)每個(gè)關(guān)鍵字進(jìn)行分值計(jì)算。分值超過(guò)一定分值的都將自動(dòng)處理所對(duì)應(yīng)的處理，匹配分值最高的關(guān)鍵字就自動(dòng)分類(lèi)。2自動(dòng)聚類(lèi)技術(shù)基于相似性算法的自動(dòng)聚類(lèi)技術(shù)，自動(dòng)對(duì)海量的無(wú)規(guī)則文檔進(jìn)行歸類(lèi)，把內(nèi)容相近的文檔歸為一類(lèi),并自動(dòng)為其生成主題詞,為確定類(lèi)目名稱(chēng)提供方便。3相似性排重技術(shù)采用"文章相似性技術(shù)"根據(jù)文檔內(nèi)容的匹配程度確定是否重復(fù),比利用網(wǎng)頁(yè)標(biāo)題和大小等規(guī)則判斷具有更強(qiáng)的準(zhǔn)確性、實(shí)用性以及運(yùn)行效率。采用中文分詞技術(shù)對(duì)文章關(guān)鍵字比較計(jì)算得出文章相似度相似度高于0.75以上的文章系統(tǒng)默認(rèn)處理為"已處理",無(wú)需再進(jìn)行任何操作,相似度位于0.5-0.75之間的相似轉(zhuǎn)載文章需要用戶在頁(yè)面進(jìn)行再次確認(rèn)，確保文章無(wú)漏處理。4.4自然語(yǔ)言智能處理技術(shù)1自動(dòng)分詞技術(shù)以詞典為基礎(chǔ)，規(guī)則與統(tǒng)計(jì)相結(jié)合的分詞技術(shù)，有效解決切分歧義。綜合運(yùn)用基于概率統(tǒng)計(jì)的語(yǔ)言模型方法，分詞準(zhǔn)確性達(dá)到99%。2自動(dòng)關(guān)鍵詞和自動(dòng)摘要技術(shù)對(duì)采集到的網(wǎng)絡(luò)信息,自動(dòng)摘取相關(guān)關(guān)鍵字，并生成摘要，并與快速瀏覽與檢索。3全文檢索技術(shù)全文檢索將傳統(tǒng)的全文檢索技術(shù)與最新的WEB搜索技術(shù)相結(jié)合，大大提升檢索引擎的性能指標(biāo)。還融合多種技術(shù),提供豐富的檢索手段以及同義詞等智能檢索方式。4.5網(wǎng)絡(luò)輿情處理流程網(wǎng)絡(luò)輿情監(jiān)測(cè)主要由網(wǎng)絡(luò)數(shù)據(jù)采集、數(shù)據(jù)處理、輿情分析與報(bào)告三大部分構(gòu)成。輿情信息采集對(duì)象主要以新聞門(mén)戶網(wǎng)站、微博、論壇、博客、貼吧等從海量的網(wǎng)頁(yè)中采集數(shù)據(jù)為輿情分析提供基礎(chǔ)數(shù)據(jù)。第五章方案設(shè)計(jì)5.1平臺(tái)實(shí)現(xiàn)的主要功能數(shù)據(jù)采集:根據(jù)用戶設(shè)置的信息源對(duì)數(shù)據(jù)進(jìn)行采集。數(shù)據(jù)處理:1＞信息預(yù)處理:去除網(wǎng)頁(yè)中的廣告、圖片、鏈接等無(wú)價(jià)值、無(wú)需關(guān)注的信息。并自動(dòng)識(shí)別標(biāo)題、來(lái)源、作者、發(fā)布時(shí)間、正文等信息。2＞二次分析處理：利用"多重雙向數(shù)據(jù)過(guò)濾模型"、知識(shí)庫(kù)引擎、中文分詞、全文檢索、文本自動(dòng)摘要等，進(jìn)行輿情過(guò)濾、自動(dòng)分類(lèi)、相似性排重、輿情分析。3＞數(shù)據(jù)統(tǒng)計(jì):對(duì)信息處理結(jié)果作進(jìn)一步統(tǒng)計(jì)分析，以圖表方式展現(xiàn)給用戶瀏覽。信息管理1＞系統(tǒng)配置:用于配置檢索數(shù)據(jù)源和檢索規(guī)則2＞用戶管理:配置用戶登錄賬戶和角色權(quán)限3＞用戶自定義設(shè)置:用戶根據(jù)需要自行設(shè)置瀏覽的信息范圍。輿情瀏覽：根據(jù)系統(tǒng)配置和用戶設(shè)置在網(wǎng)頁(yè)上顯示輿情信息。輿情操作：用戶可以手動(dòng)操作輿情。如：設(shè)置屬性、加入簡(jiǎn)報(bào)、收藏、上報(bào)等。自動(dòng)預(yù)警：經(jīng)過(guò)分析出現(xiàn)重大負(fù)面信息時(shí),系統(tǒng)將啟動(dòng)預(yù)警機(jī)制,迅速報(bào)警提示。5.2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)輿情監(jiān)測(cè)平臺(tái)對(duì)目標(biāo)網(wǎng)站進(jìn)行輿情采集，通過(guò)防火墻將外網(wǎng)與內(nèi)網(wǎng)隔離,從而保證內(nèi)網(wǎng)服務(wù)器的網(wǎng)絡(luò)安全；經(jīng)過(guò)一系列服務(wù)器群組對(duì)輿情數(shù)據(jù)清洗、過(guò)慮、分析后，最終以網(wǎng)頁(yè)的方式供用戶瀏覽。5.3功能架構(gòu)5.4輿情瀏覽輿情瀏覽包含了五個(gè)子模塊:分類(lèi)瀏覽、輿情來(lái)源、本地瀏覽、信息要素、輿情統(tǒng)計(jì)。?最新輿情實(shí)時(shí)展現(xiàn)最新獲取到的輿情信息,通過(guò)正負(fù)輿情研判后，按時(shí)間進(jìn)行倒排。?分類(lèi)瀏覽根據(jù)輿情內(nèi)容分類(lèi)，將輿情分類(lèi)為正面輿情、負(fù)面輿情、突發(fā)事件等,根據(jù)用戶選擇的分類(lèi)顯示輿情文章，默認(rèn)顯示所有輿情文章。?輿情來(lái)源根據(jù)用戶選擇的來(lái)源網(wǎng)站顯示輿情信息；默認(rèn)顯示所有網(wǎng)站的輿情信息、。?本地瀏覽分為本省和省外顯示輿情信息。本?。簽榈卿涃~戶所在省份，分支為本省所有城市；默認(rèn)顯示本省所有輿情信息;可根據(jù)用戶選擇的城市分站點(diǎn)刷新顯示輿情。省外:分支為除本省外國(guó)內(nèi)其它省份，可根據(jù)用戶選擇顯示省外所有或指定省份的輿情信息。?信息要素輿情信息分頁(yè)瀏覽，每頁(yè)顯示15條記錄，通過(guò)第一頁(yè)、上一頁(yè)、下一頁(yè)、最后一頁(yè)進(jìn)行翻頁(yè)；每條記錄顯示輿情標(biāo)題、摘要、高頻詞數(shù)、點(diǎn)擊數(shù)、回帖數(shù)、來(lái)源網(wǎng)站、相似文章數(shù)、相關(guān)文章數(shù)、發(fā)布時(shí)間；點(diǎn)擊［查看原文］或者文章標(biāo)題鏈接打開(kāi)文章內(nèi)容窗口查看詳細(xì)。?近期熱點(diǎn)按輿情熱度、點(diǎn)擊數(shù)、回復(fù)數(shù)、轉(zhuǎn)載數(shù)、時(shí)間對(duì)輿情數(shù)據(jù)進(jìn)行排序。?輿情統(tǒng)計(jì)在每一個(gè)輿情瀏覽都有顯示輿情分析圖，雙擊統(tǒng)計(jì)圖,便可查看輿情統(tǒng)計(jì)數(shù)據(jù)。5.5專(zhuān)題輿情專(zhuān)題輿情包含了四個(gè)子模塊:專(zhuān)題瀏覽、專(zhuān)題輿情導(dǎo)出、領(lǐng)導(dǎo)相關(guān)輿情、熱度分析。?專(zhuān)題瀏覽通過(guò)用戶自定義的輿情專(zhuān)題列表用戶可以輕松的區(qū)分和分類(lèi)查閱專(zhuān)題輿情。用戶可以依據(jù)輿情工作過(guò)程中的實(shí)際需要，定制完成后系統(tǒng)會(huì)對(duì)采集到的輿情信息自動(dòng)進(jìn)行歸類(lèi)并在后期自動(dòng)更新相關(guān)內(nèi)容。通過(guò)輿情專(zhuān)題的功能輕松的把各種來(lái)源的信息,根據(jù)設(shè)置的敏感關(guān)鍵字啟動(dòng)建立關(guān)聯(lián)和聚類(lèi)。?專(zhuān)題輿情導(dǎo)出根據(jù)用戶設(shè)置的過(guò)濾條件將輿情文章導(dǎo)出到word文檔中,可自定義文件名稱(chēng)和保存路徑。?領(lǐng)導(dǎo)相關(guān)輿情可根據(jù)用戶選擇的領(lǐng)導(dǎo)名字顯示相關(guān)輿情文章。?熱度分析用戶可以在專(zhuān)題中對(duì)很熱門(mén)的事件進(jìn)行進(jìn)一步的細(xì)分和管理,比如對(duì)其中的某個(gè)事件、新聞或帖子熱度進(jìn)行跟蹤并通過(guò)其閱讀和跟帖數(shù)量的變化描述其趨勢(shì)。5.6趨勢(shì)分析專(zhuān)題熱度:專(zhuān)題熱度日增量、熱度總趨勢(shì)站點(diǎn)分布:所篩選數(shù)據(jù)的站點(diǎn)分布柱狀圖,根據(jù)每篇對(duì)應(yīng)的站點(diǎn)名稱(chēng)。載體分布:所篩選數(shù)據(jù)的載體分布餅狀圖,根據(jù)每篇文章對(duì)應(yīng)的所屬載體。地域分布:所篩選數(shù)據(jù)的地域分布柱狀圖,根據(jù)文章中出現(xiàn)地域詞出現(xiàn)的頻率。5.7輿情過(guò)濾輿情過(guò)濾包含了五個(gè)子模塊:時(shí)間過(guò)濾、來(lái)源過(guò)濾、排重過(guò)濾、熱度過(guò)濾、顯示過(guò)濾、輿情排序。?時(shí)間過(guò)濾根據(jù)選擇的時(shí)間顯示輿情信息。時(shí)間可選項(xiàng):最近一天、最近三天、最近一周、最近一個(gè)月、自定義。自定義時(shí)間：由用戶設(shè)置起止時(shí)間，默認(rèn)為所有輿情信息。?來(lái)源過(guò)濾根據(jù)選擇的來(lái)源網(wǎng)站類(lèi)型顯示輿情信息。來(lái)源選項(xiàng)包括:新聞、微博、論壇、博客、貼吧、搜索引擎,默認(rèn)為全部。?排重過(guò)濾按照文章排重顯示輿情信息?？蛇x項(xiàng):文章排重、文章不排重。默認(rèn)選項(xiàng)為：文章不排重。?熱度過(guò)濾熱度高的輿情信息優(yōu)先顯示，熱度根據(jù)點(diǎn)擊量和回復(fù)量來(lái)評(píng)定。點(diǎn)擊量選項(xiàng):全部，點(diǎn)擊量＞1000、點(diǎn)擊量＞2000、點(diǎn)擊量＞10000,默認(rèn)全部；回復(fù)量選項(xiàng):全部，回復(fù)量＞1000、回復(fù)量＞2000、回復(fù)量＞10000,默認(rèn)全部；?顯示過(guò)濾顯示/隱藏輿情信息的來(lái)源、摘要、高頻詞；顯示選項(xiàng)：隱藏來(lái)源、隱藏摘要、隱藏高頻詞。默認(rèn)顯示來(lái)源、摘要和高頻詞。當(dāng)選擇隱藏時(shí)，相應(yīng)的選項(xiàng)變更為顯示。?輿情排序可根據(jù)網(wǎng)站、訪問(wèn)量、回復(fù)量、轉(zhuǎn)載量、發(fā)布時(shí)間、相關(guān)文章、相似文章來(lái)排序。5.8輿情操作輿情操作包含了八個(gè)子模塊:設(shè)置文章屬性、添加到輿情簡(jiǎn)報(bào)、添加到指定專(zhuān)題、添加到指定類(lèi)別、添加到收藏夾、添加到導(dǎo)控任務(wù)、添加到指定賬戶、上報(bào)輿情。?設(shè)置文章屬性可將輿情文章屬性設(shè)置為：正面、負(fù)面、重大負(fù)面、突發(fā)事件等。?添加到輿情簡(jiǎn)報(bào)將輿情文章加入輿情簡(jiǎn)報(bào)中。?添加到指定專(zhuān)題將輿情文章添加到指定的專(zhuān)題下。?添加到指定類(lèi)別將輿情文章添加指定的分類(lèi)中。?添加到收藏夾將輿情文章加入到個(gè)人收藏夾中。?添加到導(dǎo)控任務(wù)將輿情文章加入到指定的導(dǎo)控任務(wù)下。?添加到指定賬戶對(duì)賬戶作分析，將輿情文章納入指定的賬戶類(lèi)別下，賬戶類(lèi)別分為疑似賬戶、關(guān)注賬戶、屏蔽賬戶。?上報(bào)輿情對(duì)負(fù)面、重大負(fù)面、突發(fā)事件輿情文章做上報(bào)處理。5.9輿情報(bào)表輿情報(bào)表包含了六個(gè)子模塊:輿情日?qǐng)?bào)、輿情周報(bào)、輿情月報(bào)、輿情年報(bào)、輿情簡(jiǎn)報(bào)、簡(jiǎn)報(bào)格式。?輿情日?qǐng)?bào)主要是給用戶一個(gè)當(dāng)日詳細(xì)的信息采集來(lái)源站點(diǎn)及具體數(shù)目，讓用戶清楚的了解采集到輿情信息都來(lái)自哪些網(wǎng)站、各自有多少數(shù)量。?輿情周報(bào)根據(jù)用戶選擇的周報(bào)顯示輿情信息。?輿情月報(bào)根據(jù)用戶選擇的月報(bào)顯示輿情信息。?輿情年報(bào)根據(jù)用戶選擇的年報(bào)顯示輿情信息。?輿情簡(jiǎn)報(bào)結(jié)合用戶定義好的輿情模板格式自動(dòng)生成html瀏覽，而且用戶也可以將這些指定的輿情文件自動(dòng)生成word文件并下載后編輯、打印。?簡(jiǎn)報(bào)格式用戶可以根據(jù)本單位的工作習(xí)慣設(shè)置簡(jiǎn)報(bào)標(biāo)題,字體、顏色、大小、單位名稱(chēng)、批示空行等各種屬性。5.10輿情報(bào)警輿情報(bào)警包含五個(gè)子模塊：首頁(yè)報(bào)警、敏感報(bào)警、本地敏感報(bào)警、報(bào)警設(shè)置、報(bào)警任務(wù)。?首頁(yè)報(bào)警針對(duì)輿情信息在首頁(yè)位置出現(xiàn)的特殊意義和影響，網(wǎng)絡(luò)輿情監(jiān)測(cè)平臺(tái)專(zhuān)門(mén)針對(duì)各大新聞網(wǎng)站〔比如：新浪、搜狐、網(wǎng)易、騰訊、人民網(wǎng)等和本地有名的地方性門(mén)戶、知名論壇、微博等首頁(yè)信息進(jìn)行高效率監(jiān)控，以非常迅速的方法掃描這些網(wǎng)站的首頁(yè),如果首頁(yè)中出現(xiàn)了要監(jiān)控的關(guān)鍵字,則會(huì)以醒目的方式進(jìn)行報(bào)警。?敏感報(bào)警在首頁(yè)掃描完成后，平臺(tái)會(huì)按照指定的采集任務(wù)在采集目標(biāo)中采集輿情信息，采集到指定關(guān)鍵詞的輿情后自動(dòng)對(duì)其中文件的內(nèi)容進(jìn)行中文分詞并自動(dòng)比照，如果發(fā)現(xiàn)文章中內(nèi)容涉及到敏感詞，則以醒目的方式在"敏感報(bào)警"欄目中顯示。?本地敏感報(bào)警用戶在使用過(guò)程中，往往處于指導(dǎo)意義會(huì)采集上級(jí)單位的輿情同時(shí)出于借鑒意義會(huì)采集同類(lèi)兄弟單位的輿情這樣輿情的總數(shù)就會(huì)比較多。通過(guò)用戶設(shè)置的"地域、人名和機(jī)構(gòu)"關(guān)鍵詞分析，對(duì)上述這些輿情進(jìn)行了再次細(xì)分，把只與本地下屬單位有關(guān)的輿情歸納到"本地敏感"欄目中。?報(bào)警設(shè)置可以定義多個(gè)郵件、多個(gè)手機(jī)，可以定義任務(wù)啟動(dòng)時(shí)間、間隔和報(bào)警方式。?報(bào)警任務(wù)用戶可以根據(jù)自己的工作習(xí)慣和工作需要，定制報(bào)警任務(wù)。這些輿情的報(bào)警在指定的時(shí)間以郵件或者短信的方式推送到用戶的終端。5.11用戶設(shè)置用戶設(shè)置包含四個(gè)子模塊：方案設(shè)置、導(dǎo)出模板設(shè)置、修改密碼、用戶權(quán)限。?方案設(shè)置將用戶常用搜索設(shè)置保存為搜索模板。模板內(nèi)容包括:方案名稱(chēng)、關(guān)鍵字、排除關(guān)鍵詞等。?導(dǎo)出模板設(shè)置設(shè)置文章導(dǎo)出時(shí)的格式、內(nèi)容等規(guī)范。?修改密碼用戶修改個(gè)人登錄密碼,退出系統(tǒng)重新登錄時(shí)將使用新的密碼驗(yàn)證登錄。?用戶權(quán)限提供用戶組管理的概念，系統(tǒng)管理員可以通過(guò)設(shè)置組織的權(quán)限和對(duì)組成員的管理來(lái)批量管理用戶的權(quán)限。5.12輿情關(guān)鍵詞維護(hù)輿情關(guān)鍵詞維護(hù)包含三個(gè)子模塊:采集搜索關(guān)鍵詞維護(hù)、輿情預(yù)警關(guān)鍵詞維護(hù)、排除關(guān)鍵詞維護(hù)。?采集搜索關(guān)鍵詞維護(hù)設(shè)置輿情過(guò)濾、權(quán)重和用戶關(guān)鍵詞,對(duì)輿情信息搜索采集時(shí)的關(guān)鍵詞。?輿情預(yù)警關(guān)鍵詞維護(hù)用戶可根據(jù)負(fù)面、重大負(fù)面、突發(fā)事件相應(yīng)關(guān)鍵詞進(jìn)行設(shè)置。?排除關(guān)鍵詞維護(hù)非輿情信息的判定關(guān)鍵詞設(shè)置。5.13模塊維護(hù)該平臺(tái)具有非常好的開(kāi)放性和靈活性，通過(guò)"模塊維護(hù)"可以非常方面的打造一個(gè)個(gè)性化的輿情監(jiān)測(cè)管理平臺(tái)。用戶可按專(zhuān)題、類(lèi)別、收藏夾、領(lǐng)導(dǎo)人名等進(jìn)行設(shè)置和維護(hù)。第六章建設(shè)目標(biāo)及效益6.1建設(shè)目標(biāo)我國(guó)正處于社會(huì)發(fā)展的轉(zhuǎn)型期，各種社會(huì)矛盾不斷涌現(xiàn)。鑒于交通行業(yè)職責(zé)特殊性，在與社會(huì)各階層的長(zhǎng)期接觸中極易被置于矛盾的風(fēng)口浪尖上。任何涉及交通方面的負(fù)面信息,如果得不到及時(shí)有效的處理，在網(wǎng)絡(luò)環(huán)境下都有可能成為輿情風(fēng)暴，導(dǎo)致交通行業(yè)相關(guān)部門(mén)及工作人員形象受損嚴(yán)重。關(guān)注熱點(diǎn),抓住難點(diǎn),為領(lǐng)導(dǎo)決策參考服務(wù),如何快速的實(shí)現(xiàn)網(wǎng)絡(luò)輿情搜集處理工作，成為當(dāng)前輿情工作的當(dāng)務(wù)之急。針對(duì)這些問(wèn)題健立網(wǎng)絡(luò)輿情監(jiān)測(cè)平臺(tái)成功地實(shí)現(xiàn)了：?針對(duì)互聯(lián)網(wǎng)海量輿情自動(dòng)實(shí)時(shí)的監(jiān)測(cè)、自動(dòng)敏感內(nèi)容分析和自動(dòng)實(shí)時(shí)報(bào)警的功能。?有交攵地解決了傳統(tǒng)的以人工方式對(duì)輿情監(jiān)測(cè)的實(shí)施難題。?加快了網(wǎng)絡(luò)輿論的監(jiān)管效率有利于組織力量展開(kāi)信息整理、分析、引導(dǎo)和應(yīng)對(duì)工作，提高了XX交通相關(guān)部門(mén)對(duì)網(wǎng)絡(luò)突發(fā)輿情的公共事件應(yīng)對(duì)能力。?有利于全面掌握民意,提高執(zhí)政水平。?及時(shí)了解和掌握社情民意,提高宣傳思想工作的預(yù)見(jiàn)性、針對(duì)性、實(shí)效性。6.2經(jīng)濟(jì)和社會(huì)效益6.2.1有效的部署工作人員在實(shí)際工作中,網(wǎng)絡(luò)輿情監(jiān)測(cè)平臺(tái)的運(yùn)用，可以有效的進(jìn)行工作人員部

署,運(yùn)用網(wǎng)絡(luò)爬蟲(chóng)和大數(shù)據(jù)技術(shù)替代人工瀏覽的方式，將會(huì)節(jié)省大量人力，并將負(fù)責(zé)分析互聯(lián)網(wǎng)信息的人員從枯燥的重復(fù)性的查看互聯(lián)網(wǎng)信息的工作中解放出來(lái)把更有效的人力投入到對(duì)輿情信息結(jié)果的處理和防范等重點(diǎn)上。6.2.2降低人工對(duì)比分析誤差在本項(xiàng)目運(yùn)用中，通過(guò)該平臺(tái)以大數(shù)據(jù)挖掘技術(shù)為基礎(chǔ)，通過(guò)信息關(guān)聯(lián)分析與共享、人工經(jīng)驗(yàn)知識(shí)分享與機(jī)器自動(dòng)學(xué)習(xí)相結(jié)合的方式，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情信息的研判與事件綜合分析預(yù)測(cè)，改變以人工操作帶來(lái)的不便,提高了業(yè)務(wù)水平和工作效率。6.2.3提高理效能6.2.3提高理效能在該平臺(tái)中針對(duì)互聯(lián)網(wǎng)信息的虛擬性、隱蔽性、發(fā)散性、滲透性和隨意性等特點(diǎn)，網(wǎng)絡(luò)輿情基于自然語(yǔ)言理解的文本挖掘技術(shù)，提高了交通相關(guān)部門(mén)對(duì)于網(wǎng)絡(luò)輿情的應(yīng)對(duì)能力和快速反應(yīng)能力，加強(qiáng)了對(duì)社會(huì)面信息的全面動(dòng)態(tài)控制能力。建立網(wǎng)絡(luò)輿情監(jiān)測(cè)平臺(tái)，實(shí)現(xiàn)了在一定范圍內(nèi)網(wǎng)站信息發(fā)布進(jìn)行全面掌控,能夠?qū)Ω鞔笮侣劸W(wǎng)站、論壇、博客、微博、貼吧、搜索引擎等實(shí)時(shí)監(jiān)測(cè)、采集、內(nèi)容提取及排重；并且對(duì)獲取的信息進(jìn)行全面檢索、主題檢測(cè)、專(zhuān)題聚焦、相關(guān)信息推薦；按照業(yè)務(wù)需求定制信息分類(lèi)規(guī)則；為用戶輔助編輯提供信息服務(wù)。如重大負(fù)面輿情，突發(fā)事件預(yù)警自動(dòng)形成網(wǎng)絡(luò)信息報(bào)告、追蹤已發(fā)現(xiàn)的信息來(lái)源汲時(shí)發(fā)送到指定的監(jiān)管人員手機(jī)或郵件中。這對(duì)于隨時(shí)隨地掌握輿情信息；獲得輿情信息熱點(diǎn)、焦點(diǎn)