互聯(lián)網(wǎng)輿情監(jiān)測(cè)與分析平臺(tái)V1.0

互聯(lián)網(wǎng)輿情監(jiān)測(cè)與分析平臺(tái)陳輝2024年5月3日汽車產(chǎn)業(yè)大數(shù)據(jù)應(yīng)用戰(zhàn)略助力產(chǎn)業(yè)研究，分析市場(chǎng)趨勢(shì)洞察消費(fèi)者的潛在需求產(chǎn)品分析產(chǎn)品需求，優(yōu)化產(chǎn)品結(jié)構(gòu)洞察改善空間，優(yōu)化產(chǎn)品設(shè)計(jì)制造C2B定制制造流程優(yōu)化營(yíng)銷精準(zhǔn)營(yíng)銷渠道管理創(chuàng)新銷售個(gè)性化推薦改造銷售流程，優(yōu)化用戶體驗(yàn)服務(wù)針對(duì)性，個(gè)性化服務(wù)服務(wù)流程優(yōu)化洞察需求預(yù)測(cè)趨勢(shì)精準(zhǔn)營(yíng)銷個(gè)性化定制運(yùn)營(yíng)優(yōu)化大數(shù)據(jù)應(yīng)用價(jià)值競(jìng)爭(zhēng)對(duì)手情報(bào)一切基于大數(shù)據(jù)的探索發(fā)現(xiàn)客戶需求獲取競(jìng)品對(duì)比分析輿情技術(shù)監(jiān)測(cè)與人工監(jiān)測(cè)人工監(jiān)測(cè)技術(shù)監(jiān)測(cè)監(jiān)測(cè)模式被動(dòng)查詢（事后檢索）主動(dòng)監(jiān)測(cè)（預(yù)置關(guān)鍵詞和監(jiān)測(cè)站點(diǎn)）監(jiān)測(cè)工具Google，Baidu搜索引擎爬蟲定向采集和結(jié)果索引監(jiān)測(cè)范圍搜索引擎涵蓋站點(diǎn)，大部分論壇，微博，封閉系統(tǒng)無法監(jiān)測(cè)定點(diǎn)監(jiān)測(cè)，可監(jiān)測(cè)論壇，微博等個(gè)性化封閉系統(tǒng)監(jiān)測(cè)方式特定時(shí)間，間斷實(shí)時(shí)，全天候，無人值守及時(shí)性很難做到及時(shí)，依賴于人工查詢實(shí)時(shí)采集，第一時(shí)間發(fā)現(xiàn)，預(yù)警分析研判基礎(chǔ)數(shù)據(jù)不完整，容易導(dǎo)致判斷不準(zhǔn)確自動(dòng)化獲取點(diǎn)擊量，評(píng)論數(shù)等基礎(chǔ)數(shù)據(jù)，語(yǔ)義分析，情感分析等支持輿論傾向性判斷，定量和定向分析結(jié)合成本效率成本投入大，效率低采集，加工和初步分析自動(dòng)完成，只需少量人工分析，大大提高效率輿情監(jiān)測(cè)的創(chuàng)新點(diǎn)全，快，準(zhǔn)監(jiān)測(cè)范圍廣快速地主動(dòng)發(fā)現(xiàn)判斷準(zhǔn)確體驗(yàn)好自主性高易用性好轉(zhuǎn)換思路互聯(lián)網(wǎng)思維產(chǎn)品更新迭代及時(shí)擁抱市場(chǎng)變化數(shù)據(jù)源數(shù)據(jù)集成數(shù)據(jù)整合數(shù)據(jù)分析數(shù)據(jù)可視化決策探索分析組織存儲(chǔ)采集整理iUAPDatalnsightYonyouBQBQMobile3rdiUAPDl（數(shù)據(jù)集成）DataIntegratoriUAPCDC（實(shí)時(shí)數(shù)據(jù)同步）ChangeDataCapture數(shù)據(jù)采集數(shù)據(jù)質(zhì)量模型管理模型管理數(shù)據(jù)轉(zhuǎn)換組件文件插件化，可擴(kuò)展的數(shù)據(jù)類型支持JDBCODBCJMSSOAPOthers實(shí)時(shí)增量pushpullYonyouAE（加速引擎）AccelerstionEngineiUAPUDH（大數(shù)據(jù)引擎）iUAPDistributionforHadoopClusterManagerNoSQLSQLHadoop/HDFSSQLonHadoop統(tǒng)一建模與管理海量結(jié)構(gòu)化數(shù)據(jù)分析DataStudio調(diào)度用戶元數(shù)據(jù)倉(cāng)庫(kù)日志監(jiān)控OLAP模型挖掘模型元數(shù)據(jù)語(yǔ)義模型用友數(shù)據(jù)平臺(tái)應(yīng)用架構(gòu)高級(jí)分析平臺(tái)UDH大數(shù)據(jù)平臺(tái)日志采集分析用戶行為分析個(gè)性化推薦服務(wù)互聯(lián)網(wǎng)輿情分析OpenAPI……機(jī)器數(shù)據(jù)監(jiān)控公有云平臺(tái)數(shù)據(jù)采集數(shù)據(jù)API數(shù)據(jù)集成云倉(cāng)社交數(shù)據(jù)宏觀數(shù)據(jù)電商數(shù)據(jù)行業(yè)數(shù)據(jù)企業(yè)數(shù)據(jù)精準(zhǔn)營(yíng)銷競(jìng)爭(zhēng)對(duì)手分析滿意度分析廣告效果監(jiān)測(cè)市場(chǎng)熱點(diǎn)預(yù)測(cè)公開數(shù)據(jù)服務(wù)SaaS云應(yīng)用架構(gòu)輿情監(jiān)測(cè)互聯(lián)網(wǎng)輿情簡(jiǎn)報(bào)與熱點(diǎn)趨勢(shì)行業(yè)競(jìng)品監(jiān)測(cè)報(bào)告產(chǎn)品口碑監(jiān)測(cè)關(guān)鍵事件預(yù)警定向監(jiān)測(cè)（不同行業(yè)，微博等）關(guān)聯(lián)分析與數(shù)據(jù)挖掘服務(wù)個(gè)性化定制分析開放API接口，與第三方系統(tǒng)集成聯(lián)合第三方伙伴，提供數(shù)據(jù)服務(wù)定制分析開放平臺(tái)應(yīng)用服務(wù)應(yīng)用架構(gòu)數(shù)據(jù)源采集/存儲(chǔ)分析引擎數(shù)據(jù)排重關(guān)鍵詞過濾清洗整理超鏈分析全文索引編碼識(shí)別內(nèi)容存儲(chǔ)入庫(kù)磁盤陣列網(wǎng)頁(yè)爬蟲OpenAPI中文分詞輿情詞庫(kù)自動(dòng)聚類自動(dòng)摘要信息過濾熱點(diǎn)發(fā)現(xiàn)趨勢(shì)分析近期熱點(diǎn)專題偵測(cè)服務(wù)平臺(tái)簡(jiǎn)報(bào)專題報(bào)告短信預(yù)警郵件預(yù)警微信預(yù)警詞云傳播路徑圖時(shí)間趨勢(shì)圖褒貶分析話題演化熱點(diǎn)聚類聲量排行榜網(wǎng)頁(yè)彈窗…..垂直應(yīng)用1垂直應(yīng)用2垂直應(yīng)用3垂直應(yīng)用4垂直應(yīng)用5垂直應(yīng)用6….電商家電旅游汽車金融能源….銷售人員客服人員公關(guān)人員產(chǎn)品人員運(yùn)維人員…….客戶行業(yè)領(lǐng)域產(chǎn)品優(yōu)勢(shì)數(shù)據(jù)抓取系統(tǒng)并行高效的數(shù)據(jù)抓取系統(tǒng)，按需擴(kuò)展支持實(shí)時(shí)和定時(shí)調(diào)度，靈活指定抓取策略智能化網(wǎng)頁(yè)提取技術(shù)，復(fù)雜網(wǎng)站情況下的數(shù)據(jù)獲取技術(shù)大數(shù)據(jù)處理平臺(tái)基于Hadoop／Spark技術(shù)構(gòu)建存儲(chǔ)平臺(tái)，支持PB數(shù)據(jù)量支持多種文本處理，數(shù)據(jù)挖掘分析算法支持私有化部署的管理監(jiān)控，提供針對(duì)數(shù)倉(cāng)的查詢工具數(shù)據(jù)分析模型豐富的商業(yè)分析模型原型，與分析挖掘工具集成支持企業(yè)內(nèi)部數(shù)據(jù)推送到云平臺(tái)，利用云端工具實(shí)現(xiàn)智能分析核心流程與文本處理技術(shù)簡(jiǎn)介數(shù)據(jù)獲取與整理爬蟲管理系統(tǒng)爬蟲版本管理爬蟲1爬蟲N…...爬蟲元數(shù)據(jù)文件調(diào)度系統(tǒng)調(diào)度隊(duì)列／定時(shí)器／負(fù)載均衡加入調(diào)度隊(duì)列調(diào)度周期／當(dāng)前狀態(tài)執(zhí)行節(jié)點(diǎn)1執(zhí)行節(jié)點(diǎn)2執(zhí)行節(jié)點(diǎn)N…...按需，動(dòng)態(tài)擴(kuò)展指定網(wǎng)站URL（如:)URL掃描（排除autohome域名下的鏈接）寫入NoSQL數(shù)據(jù)庫(kù)爬蟲管理系統(tǒng)爬取流程讀取增量更新的網(wǎng)頁(yè)URL語(yǔ)義解析，提取元數(shù)據(jù)和內(nèi)容解析后的結(jié)構(gòu)化數(shù)據(jù)寫入大數(shù)據(jù)平臺(tái)深度<8實(shí)時(shí)創(chuàng)建索引情感分析，打分1234567示例地址標(biāo)題發(fā)布時(shí)間內(nèi)容爬蟲管理系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)存儲(chǔ)模型文本分析—分詞Content(正文）中文分詞器清洗（CSS，Tag，編碼）分詞組詞典去停用詞分詞結(jié)果詞性標(biāo)注魅星MX5已經(jīng)裝好了！效果很贊，首先是燈泡很不錯(cuò)跟原車瓦數(shù)很匹配，近光很亮，白天感覺，燈光就已經(jīng)強(qiáng)大了。而且店家解釋很耐心詳細(xì)，完全都是自己動(dòng)手安裝的。當(dāng)然建議沒有安裝經(jīng)驗(yàn)的還是找專用師傅裝啊詞典停留詞文本分析—情感分析分詞結(jié)果文本評(píng)分得到整段文本的情感傾向正面／負(fù)面詞庫(kù)0.0-0.4:負(fù)面0.4-0.6:中性0.6-1.0:正面回寫到倉(cāng)庫(kù)字段中（sentiment）分析服務(wù)數(shù)據(jù)倉(cāng)庫(kù)（Hbase）索引文件（新聞）索引文件（論壇）索引文件（電商）…...實(shí)時(shí)更新索引統(tǒng)一查詢服務(wù)競(jìng)品動(dòng)態(tài)輿情走勢(shì)來源統(tǒng)計(jì)分析定制分析…...業(yè)務(wù)流程概覽數(shù)據(jù)抓取數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)應(yīng)用爬蟲腳本爬蟲管理并行調(diào)度網(wǎng)頁(yè)解析數(shù)據(jù)存儲(chǔ)文本分析實(shí)時(shí)索引預(yù)置功能個(gè)性化定制增加定向網(wǎng)站的內(nèi)容抓取，需要按照腳本模版增加新的腳本，并加入到管理系統(tǒng)中正面和負(fù)面詞典（post.txt，neg.txt)—共享個(gè)性化的分析模型，以及可視化展現(xiàn)要求支持查詢工具檢索數(shù)據(jù)，導(dǎo)入導(dǎo)出，支持R，Tableau，用友BQ等工具進(jìn)行分析云端大數(shù)據(jù)管理系統(tǒng)采集系統(tǒng)租戶管理調(diào)度監(jiān)控來源管理門戶社交政府論壇商業(yè)網(wǎng)站博客企業(yè)內(nèi)部系統(tǒng)資源數(shù)據(jù)排重關(guān)鍵詞過濾清洗整理中文分詞全文索引數(shù)據(jù)倉(cāng)庫(kù)HBaseSearch(Solr)ImpalaSparkStorm分析引擎社交媒體行業(yè)專題倉(cāng)庫(kù)自動(dòng)分詞數(shù)據(jù)分類聚類分析關(guān)系識(shí)別相似性識(shí)別關(guān)鍵詞抽取褒貶分析熱詞分析業(yè)務(wù)模型熱點(diǎn)分析庫(kù)競(jìng)品分析庫(kù)負(fù)面監(jiān)控庫(kù)輿情資料庫(kù)新聞媒體類博客論壇案例介紹案例介紹案例介紹案例介紹案例介紹產(chǎn)品屬性／特點(diǎn)問題規(guī)則發(fā)現(xiàn)解決方案轉(zhuǎn)化問題相關(guān)文本規(guī)則數(shù)據(jù)知識(shí)發(fā)現(xiàn)搜索文本處理挖掘分析深度探索由單向深入的傳統(tǒng)知識(shí)系統(tǒng)，轉(zhuǎn)化為基于業(yè)務(wù)問題的數(shù)據(jù)探查和知識(shí)發(fā)現(xiàn)過程針對(duì)大數(shù)據(jù)，提供的是知識(shí)探索的工具，而不是預(yù)定問題的答案（專家系統(tǒng)）案例介紹3.7

行業(yè)成功應(yīng)用在現(xiàn)有系統(tǒng)之上可以進(jìn)行哪些擴(kuò)展“商品輿情”功能中增加專業(yè)性指標(biāo)現(xiàn)有的demo上，“商品輿情”功能上，還沒有將汽車按照各個(gè)專業(yè)性指標(biāo)進(jìn)行劃分，如下圖：“商品輿情”中增加專業(yè)性指標(biāo)未來的深化應(yīng)用，可以把北汽B40下面，擴(kuò)展出外觀、機(jī)動(dòng)性、內(nèi)飾、油耗等屬性，可以針對(duì)某一個(gè)具體的功能點(diǎn)進(jìn)行分析，如下圖：“商品輿情”中增加多維度分析在增加專業(yè)性指標(biāo)后，可以以某個(gè)指標(biāo)為維度來進(jìn)行分析。比如，以“越野能力”為維度，對(duì)比各個(gè)車型的性能，如下圖：“商品輿情”中增加多維度分析也可以以功能點(diǎn)下面的某個(gè)評(píng)價(jià)為維度，對(duì)比各個(gè)車型。比如，以“爬坡慢”為維度，對(duì)比各個(gè)車型，如下圖：其他汽車廠商如何應(yīng)用輿情系統(tǒng)上海大眾柯斯達(dá)一汽馬自達(dá)競(jìng)爭(zhēng)對(duì)手情報(bào)監(jiān)測(cè)用于競(jìng)爭(zhēng)對(duì)手的情報(bào)監(jiān)控。針對(duì)具體的競(jìng)爭(zhēng)對(duì)手，設(shè)置關(guān)鍵詞，創(chuàng)建簡(jiǎn)報(bào)，若競(jìng)爭(zhēng)對(duì)手有任何動(dòng)態(tài)，都可以及時(shí)把消息發(fā)送到指定郵箱。監(jiān)控范圍可以是專業(yè)性的網(wǎng)站，也可以是某些論壇。很可能北汽也在他們的監(jiān)控范圍。如圖：技術(shù)監(jiān)測(cè)用于技術(shù)情報(bào)的監(jiān)控。針對(duì)具體技術(shù)領(lǐng)域，設(shè)置關(guān)鍵詞，創(chuàng)建簡(jiǎn)報(bào)，若該技術(shù)領(lǐng)域有任何動(dòng)態(tài)，都可以及時(shí)把消息發(fā)送到指定郵箱。監(jiān)控范圍可以是專業(yè)性的網(wǎng)站，也可以是某些論壇。很可能北汽也在他們的監(jiān)控范圍。如圖：售后服務(wù)監(jiān)控這是在一個(gè)汽車論壇發(fā)現(xiàn)的。推測(cè)一汽馬自達(dá)對(duì)一些常用的汽車論壇進(jìn)行監(jiān)控，如果用戶發(fā)表一些抱怨信息、服務(wù)合規(guī)性信息等，輿情系統(tǒng)會(huì)即使把這些信息已簡(jiǎn)報(bào)形式發(fā)送到售服人員的郵箱，確保一汽馬自達(dá)馬上做出反應(yīng)。這是對(duì)