大數(shù)據(jù)解決方案的應用

1、大數(shù)據(jù)解決方案的應用技術創(chuàng)新，變革未來用戶行為分析12社會化行為分析3多媒體內容分析社會輿情社會情報安防視頻海量圖片語音數(shù)據(jù)用戶行為分析需求用戶行為指揮著營銷活動的走向：從新品開發(fā)到價格制定、從渠道管理到品牌管理、。營銷圍繞用戶展開，用戶行為分析是營銷工作的首要階段。目前用戶行為分析主要應用在以下幾個方面：1. 產品設計與營銷2. 產品客戶群定位或細分3. 商業(yè)分析與盈利模式調整4. 推薦系統(tǒng)用戶行為分析方法用戶特征分析找出各類用戶的行為特點關聯(lián)分析即關聯(lián)規(guī)則，把用戶的一種使用（消費）習慣和另外的使用（消費）習慣進行關聯(lián)分析分類與預測利用分類技術，可以將用戶歸屬為一個特定的類異常分析對行為特征

2、異常的個體進行分析TopN分析TopN用戶能夠最大程度低影響該類用戶的特征（研究最活躍用戶的特征），因此對TopN用戶采取相應的策略措施是最有效的方式產品客戶群定位客戶群A客戶群B客戶群C客戶群D客戶群E客戶群F用戶標識和特征用戶精細劃分精準營銷協(xié)同過濾推薦引擎基于用戶的協(xié)同過濾基于物品的協(xié)同過濾用戶行為分析流程設計數(shù)據(jù)預處理用戶行為數(shù)據(jù)表分析結果用戶行為分析模塊用戶分類用戶聚類統(tǒng)計分析展示系統(tǒng)用戶行為分析結果產品性質分析結果用戶行為分析通用架構方案XData-hadoop分布式文件系統(tǒng)HDFS數(shù)據(jù)業(yè)務信令檢測WLAN話單經(jīng)分數(shù)據(jù)倉庫分析應用數(shù)據(jù)抽取數(shù)據(jù)轉換數(shù)據(jù)裝載數(shù)據(jù)計算數(shù)據(jù)寫入數(shù)據(jù)讀取物理

3、存儲物理存儲物理存儲物理存儲精確營銷GPRS話單WAP日志Gn信令簡單統(tǒng)計分析數(shù)據(jù)采集存儲計算結果寫入客戶研究數(shù)據(jù)存取數(shù)據(jù)存取流量內容研究綜合分析智能營銷支持流量價值評估經(jīng)分系統(tǒng)老應用統(tǒng)一展現(xiàn)目標客戶提取Map/Reduce服務封裝新增改造現(xiàn)有系統(tǒng)A接口數(shù)據(jù)流量運營分析平臺用戶終端數(shù)據(jù)讀取流量運營分析平臺整體架構經(jīng)分系統(tǒng)實際部署XData平臺從接口機采集數(shù)據(jù)入XData-hadoop分布式文件系統(tǒng)，同時負責數(shù)據(jù)預處理，生產數(shù)據(jù)的清洗和轉換，以及各平臺間的數(shù)據(jù)交換。庫外任務由XData管理平臺統(tǒng)一調度、監(jiān)控。傳統(tǒng)據(jù)倉庫庫內處理工作逐漸遷移至庫外，只提供應用層展現(xiàn)功能。經(jīng)分系統(tǒng)實際運行效果業(yè)務需求

4、現(xiàn)有關系型數(shù)據(jù)庫存儲能力有限，只能保存三個月的數(shù)據(jù)大量歷史數(shù)據(jù)堆積，造成數(shù)據(jù)管理困難刷卡交易量激增，導致對大規(guī)模交易信息監(jiān)管困難新業(yè)務需求： 商戶評分，持卡用戶興趣分析方案規(guī)模可容納300TB原始數(shù)據(jù)存放一年的所有刷卡交易信息平均每天新增導入數(shù)據(jù)約700GB方案架構構建50臺雙路x86服務器規(guī)模的XData大數(shù)據(jù)一體機提供350TB原始刷卡信息存儲容量系統(tǒng)提供50萬每秒的記錄穩(wěn)定導入速度隨機單條記錄毫秒級返回，萬級別的范圍查詢5秒內返回典型案例-中國銀聯(lián)離線數(shù)據(jù)分析系統(tǒng)KeyvalueLegalSearch ConditiondatebankID.1.01助力銀聯(lián)建立大規(guī)模交易數(shù)據(jù)分析平臺銀聯(lián)

5、大規(guī)模交易數(shù)據(jù)分析平臺千億條交易數(shù)據(jù)導入數(shù)據(jù)存儲和挖掘風險管控，決策支持利用分布式文件系統(tǒng)（HDFS）作為提供其高可靠性的底層存儲數(shù)據(jù)從DB2中導入 支持1000億級別的記錄的查詢和分析采用支持海量數(shù)據(jù)高并發(fā)訪問的Hbase用戶行為分析12社會化行為分析3多媒體內容分析社會輿情社會情報安防視頻海量圖片語音數(shù)據(jù)社會化輿情需求六要素大數(shù)據(jù)輿情定義網(wǎng)絡輿情是由于各種事件的刺激而產生的通過互聯(lián)網(wǎng)傳播的人們對于該事件的所有認知、態(tài)度、情感和行為傾向的集合.網(wǎng)絡輿情六大要素：網(wǎng)絡、事件、網(wǎng)民、情感、傳播互動、影響力在獲取，分析，研判大規(guī)模信息的技術上，輿情系統(tǒng)需要利用大數(shù)據(jù)技術來面對海量信息處理的挑戰(zhàn)；網(wǎng)

6、絡輿情利用大數(shù)據(jù)技術對群體信息的統(tǒng)計和分析，趨勢研判.系統(tǒng)功能智能采集實時搜索話題追蹤與分析分類輿情輿情預警熱點輿情可視化展示社會化輿情綜合運用系統(tǒng)社會化情報分析需求邏輯推理綜合統(tǒng)計比較聯(lián)系特征解釋碰撞比對頻率分析語義分析多維融合深度挖掘大數(shù)據(jù)傳統(tǒng)社會化情報分析綜合運用系統(tǒng)面向客戶情報綜合信息平臺主要面向各級公安機關、各業(yè)務警種。通過數(shù)據(jù)采集功能，將各種數(shù)據(jù)信息進行分類整合，實現(xiàn)數(shù)據(jù)資源整合匯總；主要功能提供對海量文本、圖片、視音頻等數(shù)字化內容進行智能檢索、實現(xiàn)公安業(yè)務信息數(shù)據(jù)深層次挖掘, 完成海量信息的智能分析處理、預測；優(yōu)勢系統(tǒng)結合先進的情報分析處理方法和自主研發(fā)設計大數(shù)據(jù)平臺， 結合第三

7、方經(jīng)驗豐富的應用開發(fā)商，為用戶提供切實有效的服務。社會化行為分析方案架構涉及本地的輿情信息分析追蹤輿情事件的傳播與發(fā)展突發(fā)事件輿情分析過濾違法違規(guī)信息、敏感信息網(wǎng)絡社情民意搜集與分析情報信息搜索與挖掘充分了解網(wǎng)絡社情民意應用領域輿情和大數(shù)據(jù)解決方案前已經(jīng)應用于中國證監(jiān)會、 中國銀監(jiān)會、 工信部、 質檢總局、ZC部X所、 中國工商銀行、 中國移動、上海、福建、新疆各省輿情監(jiān)測部門。XData大數(shù)據(jù)系統(tǒng)已在軍工、金融、電信、政府、教育等多個行業(yè)完成部署與應用。某部某信息安全系統(tǒng)某部某所熱點信息監(jiān)控系統(tǒng)一期數(shù)十萬個熱點同時監(jiān)控，關鍵信息聚集，提供個性化查詢功能數(shù)據(jù)存儲數(shù)據(jù)檢索數(shù)據(jù)分析用戶行為分析12

8、社會化行為分析3多媒體內容分析社會輿情社會情報安防視頻海量圖片語音數(shù)據(jù)海量圖像視頻處理需求視頻線索庫構建利用智能視頻分析工具，提取人、車、物圖片和視頻片段，并構建描述庫視頻目標檢索通過圖樣，快速定位相似目標。通過樣圖，搜索相似圖片。視頻目標軌跡挖掘輸入目標圖樣，快速挖掘相似目標活動軌跡影像分析人臉、人體、車輛圖像清晰度還原，等大規(guī)模圖片寫入大規(guī)模交通探頭圖片集中入庫與管理視頻圖像大數(shù)據(jù)綜合處理系統(tǒng) 后臺：視頻線索建庫視頻、圖像移動警務拷貝VSearch視頻分析、檢索和研判視頻線索建庫 圖像識別、分析和檢索圖像入庫PSearch Xdata大數(shù)據(jù)處理系統(tǒng)MapReduceParastor Hba

9、se 語音撥號語音導航室內設備控制語音-文檔檢索語音-語音檢索聽寫數(shù)據(jù)錄入智能語音翻譯音頻-人物識別語音識別需求當前語音識別應用問題：處理速度有待提高音視頻大數(shù)據(jù)處理平臺視頻線索庫構建音視頻目標檢索音視頻增強視頻和線索管理Xdata大數(shù)據(jù)處理平臺視頻目標軌跡挖掘隱馬爾可夫模型(HMM)人工神經(jīng)元網(wǎng)絡(ANN)N元統(tǒng)計模型文法規(guī)則處理機制圖像數(shù)據(jù)模型特征提取算法索引結構查詢表達模式VideoSpeed 轉碼加速智能語音翻譯汽車語音導航室內設備控制語音-文檔檢索哼唱搜索處理速度提高數(shù)10倍以上。大數(shù)據(jù)行業(yè)方案分類電信公安廣電交通金融醫(yī)療衛(wèi)生人保國稅電網(wǎng)海關，統(tǒng)計，司法，其他政府部門電信大數(shù)據(jù)需求系

10、統(tǒng)分散建設，難以實現(xiàn)資源和應用共享經(jīng)營分析、信令監(jiān)測、綜合網(wǎng)絡分析、不良信息監(jiān)測、上網(wǎng)日志留存等大數(shù)據(jù)系統(tǒng)垂直建設較多，另外很多省分公司的系統(tǒng)建設存在重復建設、應用重復開發(fā)、各類專家資源無法共享等情況；數(shù)據(jù)分散存儲，標準化程度低各大數(shù)據(jù)系統(tǒng)數(shù)據(jù)模型不統(tǒng)一，跨系統(tǒng)綜合分析困難；統(tǒng)一管理難度較高；以OLTP為核心的傳統(tǒng)架構，難以滿足新業(yè)務發(fā)展要求多采用高端架構建設（類IOE），成本極高；僅具備結構化數(shù)據(jù)處理能力，無法支持飛速增長的非結構化、半結構化數(shù)據(jù)處理；對高速增長的數(shù)據(jù)，傳統(tǒng)架構很難滿足存儲需求；電信行業(yè)大數(shù)據(jù)方案框架1、實時監(jiān)控實時監(jiān)測和查看監(jiān)控點過車信息、車輛圖片等。2、關聯(lián)查詢機動車數(shù)據(jù)

11、查詢、特殊數(shù)據(jù)查詢、車輛軌跡查詢、設備及工作狀態(tài)查詢、其他信息系統(tǒng)的深度關聯(lián)查詢等。 3、統(tǒng)計分析包括點位統(tǒng)計、流量統(tǒng)計、考核統(tǒng)計、設備統(tǒng)計、成功案例統(tǒng)計、車牌識別率統(tǒng)計等各種統(tǒng)計功能，并以表格、曲線圖、柱狀圖、餅形圖等多種形式展現(xiàn)。4、布控攔截、比對報警應能對各類嫌疑車輛進行布控報警，實施攔截處置。針對布控車輛和違法車輛進行比對預警管理，實現(xiàn)對報警信息的接受、查詢、確認、發(fā)布等。并支持客戶端、Web頁面、LED屏、SMS短信報警等多通道報警方式。5、視頻監(jiān)控在各類動態(tài)視頻（實時圖像和錄像資料）聯(lián)網(wǎng)應用基礎上，實現(xiàn)實時預覽、歷史圖像檢索回放、遠程控制、截圖功能（圖片抓拍、圖像抓錄）、視頻巡檢、

12、分組輪巡、網(wǎng)上巡邏、報警聯(lián)動、智能調度、預案管理、警情聯(lián)動等主要功能。6、智能研判包括：重點車輛軌跡研判、高危時段、地區(qū)車輛研判、頻繁出入車輛研判、同行車輛關聯(lián)研判、套牌車輛研判、車案區(qū)域關聯(lián)研判、車輛活動規(guī)律研判等。公安行業(yè)需求公安行業(yè)大數(shù)據(jù)方案框架廣電行業(yè)需求多樣的需求感知社交媒體相似性 廣電行業(yè)解決方案架構交通管理決策，主要是支持交通流量計劃、完善交通法規(guī)、自適應式交通控制；出行信息服務，涉及到實時道路狀況查詢，支持出行者的多種終端設備等；商用車輛監(jiān)管;航班管家， 軌道交通運輸， 水路客運，貨運雙11，物流 交通行業(yè)需求交通行業(yè)大數(shù)據(jù)架構金融行業(yè)需求 銀行服務互聯(lián)網(wǎng)模式化 銀行服務趨向扁

13、平化， 電子支付，金融服務等趨向移動終端，過程數(shù)據(jù)激增，催生大數(shù)據(jù)需求互聯(lián)網(wǎng)模式的重要內涵是個性化，個性化依賴大數(shù)據(jù)分析 歷史堆積數(shù)據(jù)處理拋棄垂直架構傳統(tǒng)小機+盤陣的分析架構處理海量數(shù)據(jù)能力受限并行數(shù)據(jù)庫分析低價值密度數(shù)據(jù)性價比差Hadoop離線分析架構開始進入銀行海量數(shù)據(jù)處理領域 大數(shù)據(jù)分析支持訪問安全大量終端交易訪問信息分析有助銀行外部安全銀行內部系統(tǒng)數(shù)據(jù)（郵件，業(yè)務，辦公等）分析有助內部信息安全金融行業(yè)大數(shù)據(jù)實現(xiàn)架構HTTP服務器其他訪問RDBMS數(shù)據(jù)來源：數(shù)據(jù)倉庫（結構），數(shù)據(jù)庫（結構），日志數(shù)據(jù)（非結構） 數(shù)據(jù)批處理:X86架構的hadoop平臺 數(shù)據(jù)應用:工具分析；數(shù)據(jù)展示，定制化

14、的展現(xiàn)服務數(shù)據(jù)來源：數(shù)據(jù)通常來源于諸如公共衛(wèi)生系統(tǒng)（婦幼、防疫、血站等）、院內系統(tǒng)、及對兩種系統(tǒng)融合的區(qū)域衛(wèi)生平臺。數(shù)據(jù)規(guī)模：由于公衛(wèi)系統(tǒng)相對獨立，其數(shù)據(jù)量相對較小，通常情況下，單一公衛(wèi)系統(tǒng)中一年的數(shù)據(jù)規(guī)模約為10T；院內系統(tǒng)的應用類型繁多，諸如CISC、PACS等均會產生大量的數(shù)據(jù)，普通三甲醫(yī)院的數(shù)據(jù)規(guī)模約為幾十T；區(qū)域平臺是基于EMR（個人健康檔案）及EHR（個人電子病歷）建立的，其數(shù)據(jù)量比上述兩種系統(tǒng)的總和還要龐大，通常的市級區(qū)域衛(wèi)生平臺的一年的數(shù)據(jù)規(guī)模約為上百T。 數(shù)據(jù)類型：根據(jù)日趨完善的國家標準，各系統(tǒng)產生的數(shù)據(jù)格式也日趨標準，但由于醫(yī)療的業(yè)務系統(tǒng)諸多，數(shù)據(jù)類型也呈現(xiàn)多樣化趨勢。不僅

15、僅具有病人主索引系統(tǒng)中的結構化數(shù)據(jù)，PACS系統(tǒng)中還存在Dicom、JPG的文件，手術系統(tǒng)中還會有視頻文件，用于病歷中的XML文件也是醫(yī)療應用中重要的數(shù)據(jù)類型之一。醫(yī)療衛(wèi)生行業(yè)需求醫(yī)療衛(wèi)生行業(yè)方案架構人保國稅行業(yè)需求1大數(shù)據(jù)實現(xiàn)稅源精細化管理依靠手工操作和人海戰(zhàn)術的粗放型管理模式，既管不好也管不住所有的納稅人2大數(shù)據(jù)讓“難管”行業(yè)變得簡單房地產業(yè)和建筑安裝業(yè)流動性大、中間環(huán)節(jié)復雜，難以監(jiān)控，歷來是征管難點3大數(shù)據(jù)讓“假發(fā)票”不再肆虐大數(shù)據(jù)平臺推出的網(wǎng)絡發(fā)票，具有“在線開票、數(shù)字防偽、全面監(jiān)控、查驗便捷”4醫(yī)保， 就業(yè)， 社保大數(shù)據(jù)精細分析人保國稅行業(yè)發(fā)展趨勢國家電網(wǎng)大數(shù)據(jù)需求電網(wǎng)業(yè)務數(shù)據(jù)大致分為三類