ETHINK可視化挖掘,Spark大數(shù)據(jù)的實(shí)現(xiàn)及行業(yè)應(yīng)用案例31

1、目錄聯(lián)合實(shí)驗(yàn)室大數(shù)據(jù)分析平臺(tái)產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例中國科大-象形科技大數(shù)據(jù)商業(yè)智能聯(lián)合實(shí)驗(yàn)室，由科大多位博導(dǎo)、教授領(lǐng)銜，集中了30位博士、碩士，20位大數(shù)據(jù)研發(fā)人員的聯(lián)合研發(fā)隊(duì)伍，在多個(gè)大數(shù)據(jù)技術(shù)領(lǐng)域進(jìn)行技術(shù)研究和成果轉(zhuǎn)化。聯(lián)合實(shí)驗(yàn)室介紹技術(shù)基礎(chǔ)研究方向研究方向關(guān)鍵任務(wù)制高點(diǎn)大數(shù)據(jù)可視化挖掘1）新型內(nèi)存迭代數(shù)據(jù)挖掘算法2）數(shù)據(jù)挖掘可視化開發(fā)平臺(tái)3）房地產(chǎn)、金融、電信等機(jī)器學(xué)習(xí)模型研究1）基于內(nèi)存計(jì)算的機(jī)器學(xué)習(xí)算法2）行業(yè)大數(shù)據(jù)深度機(jī)器學(xué)習(xí)模型3）大數(shù)據(jù)可視化挖掘大數(shù)據(jù)內(nèi)存計(jì)算1）基于內(nèi)存的迭代算法研究2）內(nèi)存大數(shù)據(jù)高速統(tǒng)計(jì)分析技術(shù)1）基于大數(shù)據(jù)內(nèi)存的計(jì)算技術(shù)2）國內(nèi)產(chǎn)品領(lǐng)先大數(shù)據(jù)語義分析

2、1）大數(shù)據(jù)自然語言識(shí)別2）非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)發(fā)現(xiàn)、集成技術(shù)大數(shù)據(jù)平臺(tái)的可視化集成目前是空白領(lǐng)域大數(shù)據(jù)云計(jì)算技術(shù)1）大數(shù)據(jù)云計(jì)算平臺(tái)技術(shù)2）商業(yè)智能云平臺(tái)技術(shù)1）云BI技術(shù)及大數(shù)據(jù)平臺(tái)的核心技術(shù)研究2）大數(shù)據(jù)云BI在國內(nèi)應(yīng)用是未來趨勢，有望建成國內(nèi)第一家云BI平臺(tái)實(shí)驗(yàn)室介紹-技術(shù)基礎(chǔ)研究方向產(chǎn)學(xué)研合作項(xiàng)目合作成果大數(shù)據(jù)環(huán)境下的無重疊視域跟蹤技術(shù)研究項(xiàng)目1）智慧城市合作2）9項(xiàng)大數(shù)據(jù)視頻專利3）多項(xiàng)國家自然科學(xué)基金4）大數(shù)據(jù)視頻分析平臺(tái)審計(jì)行業(yè)大數(shù)據(jù)知識(shí)推理系統(tǒng) （國家863項(xiàng)目）課題大數(shù)據(jù)環(huán)境下基于案例的知識(shí)推理平臺(tái)申請國家863計(jì)劃審計(jì)數(shù)據(jù)中心平臺(tái)，全國推廣中。房地產(chǎn)大數(shù)據(jù)分析建立房產(chǎn)數(shù)據(jù)開發(fā)

3、服務(wù)平臺(tái)，提供公眾服務(wù)。房地產(chǎn)價(jià)值評(píng)估。建立房產(chǎn)評(píng)估模型，房地產(chǎn)指數(shù)等模型。制造業(yè)大數(shù)據(jù)信息挖掘云圖制造業(yè)生產(chǎn)設(shè)備生命周期大數(shù)據(jù)分析。制造業(yè)信息云圖。碳交易平臺(tái)大數(shù)據(jù)碳金融算法與模型建立。碳交易與分析平臺(tái)。實(shí)驗(yàn)室介紹-研究成果開創(chuàng)了基于人類視覺智能的動(dòng)態(tài)目標(biāo)捕捉、跟蹤和行為分析的研究，在國內(nèi)外雜志、會(huì)議發(fā)表了多篇高水平論文。獲得視頻識(shí)別，知識(shí)學(xué)習(xí)與推理相關(guān)發(fā)明專利2項(xiàng)，申請發(fā)明專利7項(xiàng)。大數(shù)據(jù)環(huán)境下的無重疊視域跟蹤大數(shù)據(jù)技術(shù)，解決視頻領(lǐng)域的知識(shí)識(shí)別，知識(shí)發(fā)現(xiàn)，知識(shí)集成與跟蹤，推理等關(guān)鍵技術(shù)問題。多項(xiàng)國家自然科學(xué)基金大數(shù)據(jù)技術(shù)來實(shí)現(xiàn)國家經(jīng)濟(jì)免疫系統(tǒng)數(shù)據(jù)接口大數(shù)據(jù)知識(shí)推理系統(tǒng)疑點(diǎn)數(shù)據(jù)審計(jì)數(shù)據(jù)中心審

4、計(jì)跨12個(gè)行業(yè)，跨地區(qū)數(shù)據(jù)源傳統(tǒng)審計(jì)大數(shù)據(jù)審計(jì)無法跨地區(qū)、跨行業(yè)審計(jì)跨行業(yè)、跨區(qū)域?qū)徲?jì)事后審計(jì)、周期性審計(jì)連續(xù)審計(jì)復(fù)雜性隱蔽問題難以發(fā)現(xiàn)智能化，具有預(yù)測功能依據(jù)小樣本經(jīng)驗(yàn)地毯式排查大數(shù)據(jù)分析，建立抵御和預(yù)防手段審計(jì)行業(yè)大數(shù)據(jù)知識(shí)推理系統(tǒng) 房地產(chǎn)大數(shù)據(jù)利用大數(shù)據(jù)建模技術(shù)，實(shí)現(xiàn)房地產(chǎn)價(jià)格指數(shù)、房地產(chǎn)評(píng)估模型碳交易利用大數(shù)據(jù)建模技術(shù)，建立全省碳排放計(jì)量監(jiān)測體系的數(shù)據(jù)體系、技術(shù)體系、模型體系和評(píng)估體系，形成滿足碳排放計(jì)量關(guān)系方程和參數(shù)目錄聯(lián)合實(shí)驗(yàn)室大數(shù)據(jù)分析平臺(tái)產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例數(shù)據(jù)挖掘越來越多的應(yīng)用到了各個(gè)領(lǐng)域中，主要包括與客戶關(guān)系管理相關(guān)的模型、與風(fēng)險(xiǎn)控制相關(guān)的模型、與生產(chǎn)銷售預(yù)測相關(guān)的

5、模型等數(shù)據(jù)挖掘應(yīng)用領(lǐng)域產(chǎn)品名產(chǎn)品ETHINK可視化挖掘概要通過在瀏覽器內(nèi)，鼠標(biāo)拖拽形式實(shí)現(xiàn)加載數(shù)據(jù)、轉(zhuǎn)換、建模、評(píng)估、圖形以及結(jié)果輸出特點(diǎn)通過視覺工作方式輕松獲得此界面可以保障操作的靈活性在最短的時(shí)間內(nèi)形成最多樣的模型大數(shù)據(jù)挖掘，速度快關(guān)系型數(shù)據(jù)庫數(shù)據(jù)挖掘模型算法庫/語義分析 Hbase/Hive/Hdfs 可視化數(shù)據(jù)挖掘平臺(tái) 多維自助分析調(diào)度管理SQL接口JDBC/ODBC內(nèi)存計(jì)算服務(wù)Scala /Java/PythonOLAP Server手機(jī)平板電腦批處理實(shí)時(shí)流處理交互式查詢統(tǒng)計(jì)分析平臺(tái)ETHINK產(chǎn)品架構(gòu)特點(diǎn)一豐富建模方法特點(diǎn)可拖拽式建模JDBCWeb ServicesRestful

6、api可擴(kuò)展性強(qiáng)自定義模型，擴(kuò)充組件特點(diǎn)傳統(tǒng)的關(guān)系型數(shù)據(jù)(mysql、Oracle等)列式數(shù)據(jù)庫(Hbase)非結(jié)構(gòu)化數(shù)據(jù)(Hdfs、文件系統(tǒng))大數(shù)據(jù)（Hbase、Hive）特點(diǎn)二大數(shù)據(jù)處理特點(diǎn)開放型平臺(tái)BS結(jié)構(gòu)，一站式建模、評(píng)估、部署基于Spark平臺(tái)內(nèi)存計(jì)算運(yùn)算速度快特點(diǎn)GBPB特點(diǎn)三大數(shù)據(jù)處理能力特點(diǎn)基于Spark平臺(tái)內(nèi)存計(jì)算執(zhí)行數(shù)據(jù)挖掘時(shí)，方法論非常重要. 因?yàn)闇?zhǔn)確的方法論能夠提高作業(yè)速度, 能系統(tǒng)地減少各種進(jìn)展?fàn)顩r，所以選擇正確的方法論是很重要的. CRISP-DM 方法論是全球認(rèn)可的數(shù)據(jù)挖掘的標(biāo)準(zhǔn)執(zhí)行方法論.功能模塊金融電信行業(yè) 1.信用卡用戶流失預(yù)測 2.基于客戶分群的精準(zhǔn)智能營

7、銷 3.基于公司價(jià)值評(píng)價(jià)的證券策略投資 電力行業(yè) 1.電力負(fù)荷預(yù)測 2.自適應(yīng)防竊漏電實(shí)時(shí)診斷互聯(lián)網(wǎng)行業(yè) 1.電子商務(wù)網(wǎng)站用戶行為分析 2.基于用戶行為分析的定向廣告投放 3.企業(yè)信息系統(tǒng)用戶服務(wù)感知評(píng)估 制造業(yè)行業(yè) 1.制造設(shè)備生命周祺管理 2.制造業(yè)投入產(chǎn)出預(yù)測 公共服務(wù)業(yè) 1.空氣質(zhì)量預(yù)測 2.卷煙消費(fèi)者購買行為分析 3.納稅人偷稅漏稅評(píng)估場景應(yīng)用（實(shí)驗(yàn)室模擬實(shí)驗(yàn)課題）目錄聯(lián)合實(shí)驗(yàn)室大數(shù)據(jù)分析平臺(tái)產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例 交互式查詢 實(shí)時(shí) 在線處理 實(shí)時(shí) 流處理 批處理基于spark內(nèi)存的計(jì)算模型，同時(shí)支持批處理、交互式處理、流處理。技術(shù)架構(gòu)解決方案-要解決的問題技術(shù)架構(gòu)解決方案-分

8、布式內(nèi)存計(jì)算批處理應(yīng)用（分鐘級(jí)別小時(shí)級(jí)別）OLTP/在線事務(wù)處理應(yīng)用（毫秒秒級(jí)別）OLAP/在線交互式分析應(yīng)用（秒級(jí)別）實(shí)時(shí)流處理（持續(xù)不斷）技術(shù)架構(gòu)解決方案-交互式查詢通常的時(shí)間跨度在數(shù)十秒到數(shù)分鐘之間按數(shù)據(jù)維度進(jìn)行統(tǒng)計(jì)、聚合根據(jù)歷史數(shù)據(jù)進(jìn)行擬合和預(yù)測計(jì)算數(shù)據(jù)之間的相關(guān)性和模式等適合提供高速在線分析服典型應(yīng)用場景政府各部門數(shù)據(jù)證券交易銀行保險(xiǎn)企業(yè)ERP/CRM等適用于數(shù)據(jù)量在GB到TB的高速數(shù)據(jù)分析技術(shù)架構(gòu)解決方案-實(shí)時(shí)在線處理通常的時(shí)間跨度在數(shù)百毫秒到數(shù)秒之間數(shù)據(jù)來源多、高并發(fā)、數(shù)據(jù)處理量達(dá)分析結(jié)果快速響應(yīng)典型應(yīng)用場景 社交網(wǎng)絡(luò)分析、關(guān)聯(lián)關(guān)系分析用戶分類、用戶行為預(yù)測高并發(fā)查詢按主鍵毫秒級(jí)

9、檢索按多維度秒級(jí)檢索按照關(guān)鍵字秒級(jí)檢索事件驅(qū)動(dòng)計(jì)算模型，系統(tǒng)處于持續(xù)不斷計(jì)算之中，事件響應(yīng)延遲在毫秒秒級(jí)。流式計(jì)算系統(tǒng)處理應(yīng)用的處理邏輯是由源源不斷的數(shù)據(jù)流驅(qū)動(dòng)。典型應(yīng)用場景有金融在線欺詐預(yù)警廣告CTR推薦系統(tǒng)技術(shù)架構(gòu)解決方案-實(shí)時(shí)流處理技術(shù)架構(gòu)解決方案-批處理及離線挖掘時(shí)間跨度在數(shù)十分鐘到數(shù)小時(shí)之間。離線挖掘主要用于，多維統(tǒng)計(jì)預(yù)測，準(zhǔn)實(shí)時(shí)分析以及對(duì)客戶進(jìn)行聚類、分類等數(shù)據(jù)挖掘應(yīng)用。典型應(yīng)用場景電子商務(wù)推薦引擎流失客戶預(yù)測挽留日志清洗、ETL用戶行為分析目錄聯(lián)合實(shí)驗(yàn)室大數(shù)據(jù)分析平臺(tái)產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例項(xiàng)目需求將總行下發(fā)的數(shù)據(jù)及核心業(yè)務(wù)數(shù)據(jù)，經(jīng)過數(shù)據(jù)整理、加載到省級(jí)數(shù)據(jù)中心，并進(jìn)行各項(xiàng)業(yè)

10、務(wù)快速應(yīng)用開發(fā)數(shù)據(jù)源某省公積金中心，近五年的操作、交易記錄，共10億條左右。系統(tǒng)環(huán)境4臺(tái)X86架構(gòu)的PC服務(wù)器，共128G內(nèi)存單臺(tái)服務(wù)器，8核CPU,32G內(nèi)存解決方案Hbase導(dǎo)入海量數(shù)據(jù)，并支撐大數(shù)據(jù)查詢可視化設(shè)計(jì)、可視化報(bào)表實(shí)現(xiàn)了數(shù)據(jù)的實(shí)時(shí)分析行業(yè)應(yīng)用案例-金融 行業(yè)應(yīng)用案例-金融系統(tǒng)由對(duì)公客戶綜合積分子系統(tǒng)、展業(yè)通客戶綜合收益分析子系統(tǒng)、授信客戶資金結(jié)算子系統(tǒng)、對(duì)公柜面交易流水分析子系統(tǒng)等組成行業(yè)應(yīng)用案例-金融項(xiàng)目需求整合第三方支付數(shù)據(jù)資源，分析挖掘客戶交易、反饋信息、交易行等數(shù)據(jù)，實(shí)現(xiàn)精準(zhǔn)營銷，最大限度地提升產(chǎn)品價(jià)值數(shù)據(jù)源某第三方支付平臺(tái)交易、反饋數(shù)據(jù)，月交易記錄量1億條。系統(tǒng)環(huán)境臺(tái)

11、X86架構(gòu)的PC服務(wù)器，共96G內(nèi)存單臺(tái)服務(wù)器，8核CPU,16G內(nèi)存解決方案Hbase導(dǎo)入海量數(shù)據(jù)，并支撐大數(shù)據(jù)查詢Hive對(duì)歷史交易數(shù)據(jù)進(jìn)行分析可視化設(shè)計(jì)、可視化報(bào)表實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)分析基于ETHINK可視化挖掘平臺(tái)，完成精準(zhǔn)營銷建模持卡客戶多維分析：持卡客戶人口統(tǒng)計(jì)特征分析持卡客戶交易行為模式分析持卡客戶應(yīng)用場景分析特約商戶多維分析：商戶基本信息分析/商戶業(yè)務(wù)收益分析商戶價(jià)值貢獻(xiàn)度評(píng)估商戶收單風(fēng)險(xiǎn)分析持卡客戶和特約商戶雙向分析特定特征客戶特定時(shí)間消費(fèi)商戶分布分析特定時(shí)間在特定商戶消費(fèi)的客戶特征分析行業(yè)應(yīng)用案例-金融項(xiàng)目需求煙草工業(yè)企業(yè)目前積累了大量的數(shù)據(jù)信息，管理方式由粗放式管理轉(zhuǎn)為精細(xì)化管理，產(chǎn)生了利用大數(shù)據(jù)技術(shù)收集、管理和展示分析結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)和信息的訴求，于是如何利用這些數(shù)據(jù)創(chuàng)造更大的價(jià)值、為領(lǐng)導(dǎo)決策和企業(yè)精益管理提供有力支撐成為重要的課題。數(shù)據(jù)存儲(chǔ)近1年數(shù)據(jù)，每秒鐘10000個(gè)數(shù)據(jù)采集點(diǎn)系統(tǒng)環(huán)境硬件環(huán)境： 數(shù)據(jù)庫服務(wù)器1臺(tái)+4臺(tái)分布式pc server單臺(tái)4核，16G內(nèi)