互聯(lián)網(wǎng)信息收集分析系統(tǒng)

互聯(lián)網(wǎng)信息收集分析系統(tǒng)項目前期報告一、 概述現(xiàn)代社會是一個信息社會，掌握必要的信息是發(fā)現(xiàn)問題、解決問題的前提。如何匯集網(wǎng)絡(luò)民情信息呢？需要建立網(wǎng)絡(luò)民情信息收集機構(gòu)和民情監(jiān)控系統(tǒng)，對重點網(wǎng)站的民情、重點論壇進行信息收集，全方位、多角度了解社情民意。《互聯(lián)網(wǎng)信息收集分析系統(tǒng)》將提供信息匯集服務(wù)，機構(gòu)及工作人員可以充分利用計算機網(wǎng)絡(luò)自動信息采集功能來收集相關(guān)信息，系統(tǒng)根據(jù)用戶信息需求，設(shè)定主題目標(biāo)，使用人工參與和自動信息采集相結(jié)合的方法完成信息收集?！痘ヂ?lián)網(wǎng)信息收集分析系統(tǒng)》是指通過對網(wǎng)絡(luò)各類信息匯集、分類、整合、篩選等技術(shù)處理，再形成對網(wǎng)絡(luò)熱點、動態(tài)、網(wǎng)民意見等實時統(tǒng)計報表的軟件系統(tǒng)平臺。二、 項目研發(fā)背景隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)媒體作為一種新的信息傳播形式，已深入人們的日常生活。網(wǎng)友言論活躍已達到前所未有的程度，不論是國內(nèi)還是國際重大事件，都能馬上形成網(wǎng)上輿論，通過這種網(wǎng)絡(luò)來表達觀點、傳播思想，進而產(chǎn)生巨大的輿論壓力，達到任何部門、機構(gòu)都無法忽視的地步?？梢哉f，互聯(lián)網(wǎng)已成為思想文化信息的集散地和社會輿論的放大器。隨著網(wǎng)絡(luò)的不斷發(fā)展，網(wǎng)絡(luò)民情越來越受到社會的關(guān)注。如何利用網(wǎng)絡(luò)了解民情，匯聚民智，以便科學(xué)決策？有必要建立網(wǎng)絡(luò)民情分析機制。為了能夠全方位保證網(wǎng)絡(luò)民情信息收集系統(tǒng)的日常運作，政府需要從物質(zhì)、制度、資金、人員等方面加以保障。信息匯集機制。現(xiàn)代社會是一個信息社會，掌握必要的信息是發(fā)現(xiàn)問題、解決問題的前提。如何匯集網(wǎng)絡(luò)民情信息呢？需要建立網(wǎng)絡(luò)民情信息收集機構(gòu)和民情監(jiān)控系統(tǒng)，對重點網(wǎng)站的民情、重點論壇進行信息收集，全方位、多角度了解社情民意。信息收集機構(gòu)及工作人員應(yīng)充分利用計算機網(wǎng)絡(luò)自動信息采集功能來收集相關(guān)信息，根據(jù)用戶信息需求，設(shè)定主題目標(biāo)，使用人工參與和自動信息采集相結(jié)合的方法完成信息收集。為了能夠全方位保證網(wǎng)絡(luò)民情信息收集系統(tǒng)的日常運作，政府需要從物質(zhì)、制度、資金、人員等方面加以保障。信息決策機制。收集信息以后，必須對社會民情信息進行針對性分析，以作為決策的依據(jù)。對收集到的信息素材進行分類，提取關(guān)鍵詞，按照主題重新組織信息，并生成民情信息。通過對所收集信息進行深入分析，理清思路，采用定性分析與定量分析相結(jié)合，進行計算機決策模擬與人工決策相結(jié)合的決策方式。同時，要建立科學(xué)的決策程序。運用信息反饋機制不斷完善分析決策。以按需定制的方式將民情信息提供給相關(guān)人或民情監(jiān)控部門，在民情分析系統(tǒng)運行過程中，民情監(jiān)控部門可以對已有的信息進行評估，又會產(chǎn)生新的信息需求，進而規(guī)劃新的民情監(jiān)控重點，開始新的民情監(jiān)控，形成一個具有生命特征的周期往復(fù)的社情民意反饋機制。問題解決機制。網(wǎng)絡(luò)民情是社會變化的晴雨表，網(wǎng)絡(luò)民情的變化反映了人們對政府的態(tài)度，研究和分析網(wǎng)絡(luò)民情目的是為了解決問題，促進社會和諧。一是建立民主參與平臺。政府部門可以通過政府網(wǎng)站對關(guān)系到群眾切身利益的政策舉行聽證會，與老百姓對話，獲取信息，征求意見。領(lǐng)導(dǎo)干部可以通過網(wǎng)絡(luò)，開辟個人主頁，建立博客，公布自己的電子郵箱，專門收集百姓意見，接受網(wǎng)上群眾信訪，定期與群眾進行面對面溝通和交流，了解百姓所需所求，幫助群眾解決實際問題。進而可以探索通過網(wǎng)絡(luò)參與決策的新形式，如民意測驗、電子投票、電子問責(zé)制等民主手段。為有效防止公職人員的越權(quán)行為，我們可以把某些工作制度，利用信息技術(shù)設(shè)計固定程序，在群眾的注視之下，由機器來執(zhí)行，從而把制度執(zhí)行過程中的人為干擾降低到最低限度，消除以權(quán)謀私的機會。二是建立危機干預(yù)平臺。通過網(wǎng)絡(luò)民情分析系統(tǒng)，在第一時間內(nèi)獲得最新網(wǎng)絡(luò)民情,并對這些民情進行有足夠時間的研判，特別是發(fā)現(xiàn)社會風(fēng)險苗頭，再決定采用何種方式進行化解。設(shè)計網(wǎng)絡(luò)民情應(yīng)急預(yù)案。預(yù)則立，不預(yù)則廢。為了有效防控危機（或社會風(fēng)險）的發(fā)生，應(yīng)該結(jié)合本地實情，借鑒成功案例，著眼未來，制定詳細而周密的應(yīng)急預(yù)案，以保證危機（或社會風(fēng)險）發(fā)生時臨危不懼，獲得最大限度的主動權(quán)。制定網(wǎng)絡(luò)民情預(yù)警預(yù)案時，可以將危機（或社會風(fēng)險）分為三級，即1級（重大）、2級（較大）、3級（一般）。根據(jù)具體等級類別，采取相應(yīng)的對策，調(diào)動與之對應(yīng)的資源和力量處理危機。運用技術(shù)手段引導(dǎo)控制。網(wǎng)管機構(gòu)要利用互聯(lián)網(wǎng)的監(jiān)控技術(shù)，實施對IP地址的監(jiān)測、跟蹤；實行網(wǎng)管全天候值班監(jiān)測，對“黃賭毒”和有損國家人民利益等負面信息進行及時清除；運用智能型軟件進行敏感詞組的自動過濾；部分重要論壇實行實名認證制度，通過對論壇發(fā)帖的延時審查及發(fā)布等措施凈化網(wǎng)絡(luò)環(huán)境，維護社會和諧穩(wěn)定。三、項目方案《互聯(lián)網(wǎng)信息收集分析系統(tǒng)》通過對熱點問題和重點領(lǐng)域比較集中的網(wǎng)站信息，如：網(wǎng)頁、論壇、BBS等，進行24小時監(jiān)控，隨時下載最新的消息和意見。下載后完成對數(shù)據(jù)格式的轉(zhuǎn)換及元數(shù)據(jù)的標(biāo)引。對下載本地的信息，進行初步的過濾和預(yù)處理。對熱點問題和重要領(lǐng)域?qū)嵤┍O(jiān)控，前提是必須通過人際交互建立輿情監(jiān)控的知識庫，用來指導(dǎo)智能分析的過程。對熱點問題的智能分析，首先基于傳統(tǒng)基于向量空間的特征分析技術(shù)上，對抓取的內(nèi)容做分類、聚類和摘要分析，對信息完成初步的再組織。然后在監(jiān)控知識庫的指導(dǎo)下進行基于輿情的語義分析，使管理者看到的民情民意更有效，更符合現(xiàn)實。最后將監(jiān)控的結(jié)果，分別推送到不同的職能部門，供制定對策使用?！痘ヂ?lián)網(wǎng)信息收集分析系統(tǒng)》是利用搜索引擎技術(shù)和網(wǎng)絡(luò)信息挖掘技術(shù)，通過網(wǎng)頁內(nèi)容的自動采集處理、敏感詞過濾、智能聚類分類、主題檢測、專題聚焦、統(tǒng)計分析，實現(xiàn)各單位對自己相關(guān)網(wǎng)絡(luò)輿情監(jiān)督管理的需要，最終形成輿情簡報、輿情專報、分析報告、移動快報，為決策層全面掌握輿情動態(tài)，做出正確輿論引導(dǎo)，提供分析依據(jù)?！痘ヂ?lián)網(wǎng)信息收集分析系統(tǒng)》是征對在一定的社會空間內(nèi)，圍繞中介性社會事件的發(fā)生、發(fā)展和變化，民眾對社會管理者產(chǎn)生和持有的社會政治態(tài)度于網(wǎng)絡(luò)上表達出來意愿集合而進行的計算機監(jiān)測的系統(tǒng)統(tǒng)稱?！熬W(wǎng)絡(luò)輿情”是較多群眾關(guān)于社會中各種現(xiàn)象、問題所表達的信念、態(tài)度、意見和情緒等等表現(xiàn)的總和。網(wǎng)絡(luò)輿情形成迅速，對社會影響巨大，加強互聯(lián)網(wǎng)信息監(jiān)管的同時，組織力量開展信息匯集整理和分析，對于及時應(yīng)對網(wǎng)絡(luò)突發(fā)的公共事件和全面掌握社情民意很有意義。（一）、它包括以下幾個主要子系統(tǒng)：1、 輿情分析引擎系統(tǒng)輿情分析引擎為系統(tǒng)的核心功能，其主要包括以下功能：熱點識別能力、自動分類、聚類分析、傾向性分析與統(tǒng)計、主題跟蹤、信息自動摘要功能、截取證據(jù)、趨勢分析、突發(fā)事件分析、報警系統(tǒng)、統(tǒng)計報告。2、 互聯(lián)網(wǎng)信息米集系統(tǒng)采用元搜索與信息雷達技術(shù)。智能信息抽取技術(shù)主要是針對特殊

客戶進行特定領(lǐng)域的信息采集。3、搜索引擎數(shù)據(jù)管理系統(tǒng)搜索引擎數(shù)據(jù)管理功能主要包括以下功能：對收集到信息進行預(yù)處理；對搜索引擎數(shù)據(jù)集進行階段性的數(shù)據(jù)維護；支持系統(tǒng)多用戶分級管理系統(tǒng)，包括用戶逐級進行審核功能；支持信息服務(wù)：最新報道、熱點新聞、分類閱讀、輿情簡報、信息檢索、RSS訂閱等服務(wù)；信息、文檔轉(zhuǎn)換技術(shù)：可以對信息進行傳統(tǒng)文件格式轉(zhuǎn)換。如：Doc、Excel、Access>Rss等文件生成?？缮蓤蟊?。ii.au*曜推疙花JavaScfim^jHiHTMLWListjf/htft挽計.M黠虹由fltHla雄神折蚣就城侶息涅聊思［F稅最般替地，F(xiàn)幟耳耳補卑F皿棍株臨聊Eii.au*曜推疙花JavaScfim^jHiHTMLWListjf/htft挽計.M黠虹由fltHla雄神折蚣就城侶息涅聊思［F稅最般替地，F(xiàn)幟耳耳補卑F皿棍株臨聊E快峻做是阿米幻段京互聯(lián)啊監(jiān)捶部丹地同最皤內(nèi)向尸肖站BBSitf.-. 境升讖站 員它_-I- 網(wǎng)絡(luò)Bj火堵，安全設(shè)臆俏息采瑰 .個文搜索啪擎IS執(zhí)史也控：f矣理詞版KU■曲血莎村/BBS也門帖fi「浙右什思陪*（二）、功能簡述?熱點識別能力可以根據(jù)新聞出處權(quán)威度、評論數(shù)量、發(fā)言時間密集程度等參數(shù)，識別出給定時間段內(nèi)的熱門話題。?傾向性分析與統(tǒng)計對信息的闡述的觀點、主旨進行傾向性分析。以提供參考分析依據(jù)。分析的依據(jù)可根據(jù)信息的轉(zhuǎn)載量、評論的回言信息時間密集度。來判別信息的發(fā)展傾向。?主題跟蹤主題跟蹤主要是指針對熱點話題進行信息跟蹤，并對其進行傾向性與趁勢分析。跟蹤的具體內(nèi)容包括：信息來源、轉(zhuǎn)載量、轉(zhuǎn)載地址、地域分布、信息發(fā)布者等相關(guān)信息元素。其建立在傾向性與趁勢分析的基礎(chǔ)上。?信息自動摘要功能能夠根據(jù)文檔內(nèi)容自動抽取文檔摘要信息，這些摘要能夠準(zhǔn)確代表文章內(nèi)容主題和中心思想。用戶無需查看全部文章內(nèi)容，通過該智能摘要即可快速了解文章大意與核心內(nèi)容，提高用戶信息利用效率。而且該智能摘要可以根據(jù)用戶需求調(diào)整不同長度，滿足不同的需求。主要包括文本信息摘要與網(wǎng)頁信息摘要兩個方面。?趨勢分析通過圖表展示監(jiān)控詞匯和時間的分布關(guān)系以及趨勢分析，包括地域信息分布。以提供階段性的分析。如：信息傳播的區(qū)域分布，轉(zhuǎn)載量與轉(zhuǎn)載網(wǎng)站類型等。?突發(fā)事件分析突發(fā)事件不外乎有以下幾種：自然災(zāi)害、社會災(zāi)難、戰(zhàn)爭、動亂和偶發(fā)事件等等。互聯(lián)網(wǎng)信息監(jiān)控分析系統(tǒng)主要是針對互聯(lián)網(wǎng)信息進行突發(fā)事件監(jiān)聽與分析。對熱點信息的傾向分析與趁勢分析，以監(jiān)聽信息的突發(fā)性。?報警系統(tǒng)報警系統(tǒng)主要是針對輿情分析引擎系統(tǒng)的熱點信息與突發(fā)事件進行監(jiān)聽分析，然后根據(jù)信息的語料庫與報警監(jiān)控信息庫進行分析。以確保信息的輿論健康發(fā)展。?統(tǒng)計報告根據(jù)輿情分析引擎處理后的結(jié)果庫生成報告，用戶可通過瀏覽器瀏覽，提供信息檢索功能，根據(jù)指定條件對熱點話題、傾向性進行查詢，并瀏覽信息的具體內(nèi)容，提供決策支持。（三）、系統(tǒng)應(yīng)用目標(biāo)?自定義監(jiān)察范圍，可按行業(yè)、按地域、按信息發(fā)布時間……等方式監(jiān)察信息內(nèi)容；?自定義監(jiān)察信息級別；?自定義監(jiān)察信息方式，手工與自動監(jiān)察相結(jié)合；?自動預(yù)警、報警，追查信息來源與散布范圍；?自定義規(guī)則實現(xiàn)對文字、圖片、視頻、論壇、博客、評論……等等信息的監(jiān)察與監(jiān)控；?自定義或自動掃瞄管轄段的網(wǎng)站；?自動重點跟蹤異常內(nèi)容變動頻繁的網(wǎng)站或信息來源；?自動保留計算機無法判別的意識形態(tài)內(nèi)容進行匯總反饋；?實現(xiàn)信息判別的自我學(xué)習(xí)和信息庫自動升級。四、項目承擔(dān)單位及基礎(chǔ)工作情況本項日將由昆明道林格科技有限公司及昆明理工大學(xué)信息工程與自動化學(xué)院共同承擔(dān)。1、昆明道林格科技有限公司簡介2、昆明理工大學(xué)信息工程與自動化學(xué)院五、項目市場策略《互聯(lián)網(wǎng)信息收集分析系統(tǒng)》根據(jù)其原有客戶希望能夠及時了解互聯(lián)網(wǎng)上與其有關(guān)的輿情信息的需求，使用多用戶版輿情監(jiān)控系統(tǒng)，為多家客戶提供輿情監(jiān)控、商情分析服務(wù)?！痘ヂ?lián)網(wǎng)信息收集分析系統(tǒng)》增強了針對信息情報分析的能力，能夠24小時自動對日標(biāo)行業(yè)網(wǎng)站（新聞、論壇、博客等）進行實時監(jiān)控，及時獲取與己行業(yè)有關(guān)的各項情報數(shù)據(jù)！系統(tǒng)提供用戶針對本行業(yè)的特點，使用智能輿情監(jiān)控系統(tǒng)，對各網(wǎng)站、論壇進行24小時監(jiān)控，將當(dāng)天（24小時內(nèi)）的用戶發(fā)帖數(shù)據(jù)進行整理分析（系統(tǒng)自動分析），歸類出一天內(nèi)、三天內(nèi)、一周內(nèi)、一月內(nèi)論壇用戶最關(guān)注的相關(guān)信息，以此做出符合用戶需求的決策，及時的把握行業(yè)的發(fā)展趨勢，走在同行的前邊?！痘ヂ?lián)網(wǎng)信息收集分析系統(tǒng)》結(jié)