大數(shù)據(jù)與網(wǎng)絡(luò)輿情分析

abit.io大數(shù)據(jù)與網(wǎng)絡(luò)輿情分析http://abit.io微趣大數(shù)據(jù)所有真實用戶都不獨立存在，緊密的社交圈在幫助用戶產(chǎn)生數(shù)據(jù)。社交大數(shù)據(jù)的內(nèi)部爆炸可以為任意分析提供充足的數(shù)據(jù)支撐超過6億互聯(lián)網(wǎng)真實用戶檔案數(shù)據(jù)。每天新產(chǎn)生的數(shù)億條的評論，及過去4年間數(shù)百億的各類觀點?，F(xiàn)在可以在一個平臺上掌握所有的這些聲音。通過這些大數(shù)據(jù)可回答以下問題：誰/哪些人在討論一個什么問題他們的觀點和期望到底是什么可自由組織的問題影響力評估用戶作息時間群體/個體習(xí)慣對比分析（作息，上網(wǎng)）自然狀態(tài)下的用戶言論自然狀態(tài)下的用戶言論移動設(shè)備更替社交關(guān)系網(wǎng)結(jié)構(gòu)社交關(guān)系結(jié)構(gòu)群體/個體興趣對比分析網(wǎng)絡(luò)輿情分析微博新浪微博用戶6.5億，日活躍4600萬，騰訊微博用戶6.2億，日活躍約1億。全國政務(wù)微博總數(shù)17萬，2012年增長2.5倍（其中在新浪微博6萬）。在新浪微博開通的企業(yè)微博總數(shù)27萬，2012年增長1.2倍。微信微信用戶3億，日活躍約2億，公眾號約200萬，認(rèn)證公眾號與服務(wù)號約20萬。新一輪的信息爆炸傳統(tǒng)門戶，論壇有價值信息量大約在一年1億條左右微博每天產(chǎn)生近2億條各類內(nèi)容社交媒體特點海量數(shù)據(jù)大量長尾和碎片和噪音互聯(lián)網(wǎng)輿情現(xiàn)狀互聯(lián)網(wǎng)輿情現(xiàn)狀在今天的中國，任意可能被在全社會范圍內(nèi)傳播的輿情都無法繞開微博這一傳播載體。只要內(nèi)容具有傳播價值，數(shù)億微博用戶中總有人會將其從門戶，論壇，朋友圈及其它各類媒介中放到微博中進(jìn)行傳播，因此微博可以說是大數(shù)據(jù)時代輿情監(jiān)測最重要的陣地。微博是目前中國唯一能夠滿足普通用戶將信息傳遞到全國皆知的需求的平臺。當(dāng)前互聯(lián)網(wǎng)輿情監(jiān)測的思路方案及時獲取完整獲取判別熱度判別真假可擴(kuò)展穩(wěn)定性API關(guān)鍵詞實時獲取XXXX非常穩(wěn)定頁面爬蟲重要優(yōu)先√√√√較穩(wěn)定主要的技術(shù)路線比較頁面爬蟲根據(jù)采集能力約束主要分為：“全采集”與“組織性采集”。案例–上海法官招嫖事件事件回放：2013.8.2網(wǎng)上開始大量傳播以視頻截圖為依據(jù)的披露上海高院法官集體招嫖的事件，該事件在全國范圍內(nèi)造成大范圍的傳播與討論，造成惡劣影響，微趣輿情平臺在這條暴露微博僅僅轉(zhuǎn)發(fā)11次之前就捕獲了該微博。案例特點：爆料人在騰訊微博上注冊用戶并進(jìn)行發(fā)布。該用戶爆料時，粉絲僅為9人，即初期整個互聯(lián)網(wǎng)中僅有9人有較小機會看到并傳播該信息。該信息經(jīng)過4小時左右傳播后被刪除，刪除前僅轉(zhuǎn)發(fā)了65次，但最終在全網(wǎng)范圍內(nèi)進(jìn)行擴(kuò)散。案例結(jié)論：輿情監(jiān)測必須全平臺。如僅監(jiān)測大號，無法確保輿情監(jiān)測業(yè)務(wù)的安全。基于社交網(wǎng)絡(luò)的輿情傳播力非常大，一不注意就造成輿論災(zāi)難。大數(shù)據(jù)采集社交媒體數(shù)據(jù)量較傳統(tǒng)門戶論壇增長了數(shù)百倍，傳統(tǒng)輿情平臺技術(shù)無力實現(xiàn)全數(shù)據(jù)采集。微博數(shù)據(jù)源都是高技術(shù)能力的互聯(lián)網(wǎng)公司，反采集技術(shù)成熟，難以攻破。（短信驗證，圖片識別等）大數(shù)據(jù)處理利用傳統(tǒng)的數(shù)據(jù)處理與存儲方式，要實時處理數(shù)以億計的數(shù)據(jù)需要投入龐大的硬件，一般公司無法承擔(dān)。例如鄧亞萍的即刻搜索，就投入了近700臺高性能服務(wù)器提供微博內(nèi)容的搜索服務(wù)，但仍然數(shù)據(jù)缺失嚴(yán)重。輿情的發(fā)現(xiàn)任意輿情系統(tǒng)最終都需要將數(shù)據(jù)呈現(xiàn)在用戶面前，在大量相關(guān)數(shù)據(jù)面前，人一天滿負(fù)荷瀏覽最多不會超過2000條微博，但在大數(shù)據(jù)的基礎(chǔ)上，往往相關(guān)數(shù)據(jù)都會超過這個極限。因此如何實時將最重要的輿情信息優(yōu)先放到用戶面前成為重要問題。輿論噪音的辨別與去除社交平臺中存在大量受控制的機器賬號，總量驚人，這些機器賬號可以被利用快速增長某些內(nèi)容的轉(zhuǎn)發(fā)量。需要有技術(shù)識別輿情的真假，防止被錯誤引導(dǎo)。輿情監(jiān)測的挑戰(zhàn)內(nèi)容傳播分析真實傳播評估大數(shù)據(jù)采集從09年開始研發(fā)搭建的高效分布式采集平臺，將近百個采集點毫無規(guī)律地放置在全球各地，使采集能力大增并且不易被平臺防抓取技術(shù)攔截，已穩(wěn)定采集4年相關(guān)數(shù)據(jù)。大數(shù)據(jù)處理自主研發(fā)了國際上最先進(jìn)的非關(guān)系型數(shù)據(jù)庫并利用分布式文件系統(tǒng)（hadoop）實現(xiàn)了低成本的高速數(shù)據(jù)讀寫。經(jīng)測試同等硬件環(huán)境下，讀取速度比SQLServer或Oracle快20倍，寫入快5倍。輿情的發(fā)現(xiàn)基于國際上一些權(quán)威的傳播研究論文，設(shè)計出能夠?qū)崟r評價輿情重要性的“熱度指數(shù)”，獲得國家相關(guān)獎項認(rèn)可。輿論噪音的辨別與去除探查整個社交網(wǎng)絡(luò)數(shù)億用戶情況，通過真實度算法識別網(wǎng)絡(luò)機器人，確保去除虛假互聯(lián)網(wǎng)聲音。應(yīng)對技術(shù)微博實時搜索微信實時搜索案例–平度事件最早影響力最大21-24號的數(shù)據(jù)統(tǒng)計日期微博數(shù)轉(zhuǎn)發(fā)數(shù)評論數(shù)微信數(shù)3.21486442201294213.22608781142774513.23614362971341003.24262396414241實時意見領(lǐng)袖的監(jiān)測傳播地域評估新媒體下的內(nèi)容引導(dǎo)什么是傳統(tǒng)媒體？電視、廣播、報紙、雜志、布告欄、電線桿……什么是新媒體？網(wǎng)絡(luò)視頻，IPTV，移動電視，數(shù)字報紙，數(shù)字雜志，博客，微博……新媒體的優(yōu)勢傳播速度更快，信息更及時覆蓋面更廣，受眾更多互動性更強新媒體的特點消解邊界信息多元化和自由選擇突破時空限制小眾化與長尾效應(yīng)自媒體什么是自媒體？@作業(yè)本784萬粉絲獨特的語言風(fēng)格，契合時事熱點的創(chuàng)作每條微博都有上千乃至數(shù)萬轉(zhuǎn)發(fā)評論牛鬼蛇神屌絲聚會這是什么？@王左中右每天一個漢字，讀懂中國@小丑出品PS&吐槽新媒體平臺上的

內(nèi)容包裝與品牌塑造獨特的原創(chuàng)內(nèi)容有針對性的受眾群體緊抓熱點關(guān)鍵的傳播點良好的互動我買了這么多貨不對版的植物我會告訴你嗎？太長!toolong!發(fā)布微博時其他考量發(fā)布時間：中午十二點整后續(xù)：由韓寒在十分鐘后進(jìn)行轉(zhuǎn)發(fā)后續(xù)：由亭林鎮(zhèn)工作室的微博以及其他朋友微博賬號進(jìn)行轉(zhuǎn)發(fā)并持續(xù)發(fā)酵最