EHINK可視化挖掘,Sark大數(shù)據(jù)的實現(xiàn)及行業(yè)應用案例

目錄聯(lián)合實驗室大數(shù)據(jù)分析平臺產品技術架構典型行業(yè)應用案例中國科大-象形科技大數(shù)據(jù)商業(yè)智能聯(lián)合實驗室，由科大多位博導、教授領銜，集中了30位博士、碩士，20位大數(shù)據(jù)研發(fā)人員的聯(lián)合研發(fā)隊伍，在多個大數(shù)據(jù)技術領域進行技術研究和成果轉化。聯(lián)合實驗室介紹技術基礎研究方向研究方向關鍵任務制高點大數(shù)據(jù)可視化挖掘1）新型內存迭代數(shù)據(jù)挖掘算法2）數(shù)據(jù)挖掘可視化開發(fā)平臺3）房地產、金融、電信等機器學習模型研究1）基于內存計算的機器學習算法2）行業(yè)大數(shù)據(jù)深度機器學習模型3）大數(shù)據(jù)可視化挖掘大數(shù)據(jù)內存計算1）基于內存的迭代算法研究2）內存大數(shù)據(jù)高速統(tǒng)計分析技術1）基于大數(shù)據(jù)內存的計算技術2）國內產品領先大數(shù)據(jù)語義分析1）大數(shù)據(jù)自然語言識別2）非結構化數(shù)據(jù)的知識發(fā)現(xiàn)、集成技術大數(shù)據(jù)平臺的可視化集成目前是空白領域大數(shù)據(jù)云計算技術1）大數(shù)據(jù)云計算平臺技術2）商業(yè)智能云平臺技術1）云BI技術及大數(shù)據(jù)平臺的核心技術研究2）大數(shù)據(jù)云BI在國內應用是未來趨勢，有望建成國內第一家云BI平臺實驗室介紹-技術基礎研究方向產學研合作項目合作成果大數(shù)據(jù)環(huán)境下的無重疊視域跟蹤技術研究項目1）智慧城市合作2）9項大數(shù)據(jù)視頻專利3）多項國家自然科學基金4）大數(shù)據(jù)視頻分析平臺審計行業(yè)大數(shù)據(jù)知識推理系統(tǒng)

（國家863項目）課題《大數(shù)據(jù)環(huán)境下基于案例的知識推理平臺》申請國家863計劃審計數(shù)據(jù)中心平臺，全國推廣中。房地產大數(shù)據(jù)分析建立房產數(shù)據(jù)開發(fā)服務平臺，提供公眾服務。房地產價值評估。建立房產評估模型，房地產指數(shù)等模型。制造業(yè)大數(shù)據(jù)信息挖掘云圖制造業(yè)生產設備生命周期大數(shù)據(jù)分析。制造業(yè)信息云圖。碳交易平臺大數(shù)據(jù)碳金融算法與模型建立。碳交易與分析平臺。實驗室介紹-研究成果開創(chuàng)了基于人類視覺智能的動態(tài)目標捕捉、跟蹤和行為分析的研究，在國內外雜志、會議發(fā)表了多篇高水平論文。獲得視頻識別，知識學習與推理相關發(fā)明專利2項，申請發(fā)明專利7項。大數(shù)據(jù)環(huán)境下的無重疊視域跟蹤大數(shù)據(jù)技術，解決視頻領域的知識識別，知識發(fā)現(xiàn)，知識集成與跟蹤，推理等關鍵技術問題。多項國家自然科學基金大數(shù)據(jù)技術來實現(xiàn)國家經濟免疫系統(tǒng)數(shù)據(jù)接口大數(shù)據(jù)知識推理系統(tǒng)疑點數(shù)據(jù)審計數(shù)據(jù)中心審計跨12個行業(yè)，跨地區(qū)數(shù)據(jù)源傳統(tǒng)審計大數(shù)據(jù)審計無法跨地區(qū)、跨行業(yè)審計跨行業(yè)、跨區(qū)域審計事后審計、周期性審計連續(xù)審計復雜性隱蔽問題難以發(fā)現(xiàn)智能化，具有預測功能依據(jù)小樣本經驗地毯式排查大數(shù)據(jù)分析，建立抵御和預防手段審計行業(yè)大數(shù)據(jù)知識推理系統(tǒng)房地產大數(shù)據(jù)利用大數(shù)據(jù)建模技術，實現(xiàn)房地產價格指數(shù)、房地產評估模型碳交易利用大數(shù)據(jù)建模技術，建立全省碳排放計量監(jiān)測體系的數(shù)據(jù)體系、技術體系、模型體系和評估體系，形成滿足碳排放計量關系方程和參數(shù)目錄聯(lián)合實驗室大數(shù)據(jù)分析平臺產品技術架構典型行業(yè)應用案例數(shù)據(jù)挖掘越來越多的應用到了各個領域中，主要包括與客戶關系管理相關的模型、與風險控制相關的模型、與生產銷售預測相關的模型等數(shù)據(jù)挖掘應用領域產品品名名產品品ETHINK可視視化化挖挖掘掘概要要通過過在在瀏瀏覽覽器器內內，，鼠鼠標標拖拖拽拽形形式式實實現(xiàn)現(xiàn)加加載載數(shù)數(shù)據(jù)據(jù)、、轉轉換換、、建建模模、、評評估估、、圖圖形形以以及及結結果果輸輸出出特點點通過過視視覺覺工工作作方方式式輕輕松松獲獲得得此此界界面面可可以以保保障障操操作作的的靈靈活活性性在最最短短的的時時間間內內形形成成最最多多樣樣的的模模型型大大數(shù)數(shù)據(jù)據(jù)挖挖掘掘，，速速度度快快關系系型型數(shù)數(shù)據(jù)據(jù)庫庫數(shù)據(jù)據(jù)挖挖掘掘模模型型算算法法庫庫/語義義分分析析Hbase/Hive/Hdfs可視視化化數(shù)數(shù)據(jù)據(jù)挖掘掘平平臺臺多維維自自助助分分析析調度管理SQL接口口JDBC/ODBC內存存計計算算服服務務Scala/Java/PythonOLAPServer手機機平板板電腦腦批處處理理實時時流流處處理理交互互式式查查詢詢統(tǒng)計計分分析析平平臺臺ETHINK產品品架架構構特點點一一豐富富建建模模方方法法特點點可拖拖拽拽式式建建模模JDBCWebServicesRestfulapi可擴擴展展性性強強自定定義義模模型型，，擴擴充充組組件件特點點傳統(tǒng)統(tǒng)的的關關系系型型數(shù)數(shù)據(jù)據(jù)(mysql、Oracle等)列式式數(shù)數(shù)據(jù)據(jù)庫庫(Hbase)非結構構化數(shù)數(shù)據(jù)(Hdfs、文件件系統(tǒng)統(tǒng))大數(shù)據(jù)據(jù)（Hbase、Hive）特點二二大數(shù)據(jù)據(jù)處理理特點開放型型平臺臺BS結構，，一站站式建建模、、評估估、部部署基于Spark平臺內存計計算運算速速度快快特點GBPB特點三三大數(shù)據(jù)據(jù)處理理能力力特點基于Spark平臺內存計計算執(zhí)行數(shù)數(shù)據(jù)挖挖掘時時，方方法論論非常常重要要.因為準準確的的方法法論能能夠提提高作作業(yè)速速度,能系統(tǒng)統(tǒng)地減減少各各種進進展狀狀況，，所以以選擇擇正確確的方方法論論是很很重要要的.CRISP-DM方法論論是全全球認認可的的數(shù)據(jù)據(jù)挖掘掘的標標準執(zhí)執(zhí)行方方法論論.功能模塊金融電信行業(yè)1.信用卡用戶流失預測2.基于客戶分群的精準智能營銷3.基于公司價值評價的證券策略投資電力行業(yè)1.電力負荷預測2.自適應防竊漏電實時診斷互聯(lián)網行業(yè)1.電子商務網站用戶行為分析2.基于用戶行為分析的定向廣告投放3.企業(yè)信息系統(tǒng)用戶服務感知評估

制造業(yè)行業(yè)1.制造設備生命周祺管理2.制造業(yè)投入產出預測公共服務業(yè)

1.空氣質量預測2.卷煙消費者購買行為分析3.納稅人偷稅漏稅評估場景應應用（（實驗驗室模模擬實實驗課課題））目錄聯(lián)合實驗室大數(shù)據(jù)分析平臺產品技術架構典型行業(yè)應用案例交互式查詢實時在線處理實時流處理

批處理基于spark內存的的計算算模型型，同同時支支持批批處理理、交交互式式處理理、流流處理理。技術架架構解解決方方案-要解決決的問問題技術架架構解解決方方案-分布式式內存存計算算批處理理應用用（分鐘鐘級別別~小時級級別））OLTP/在線事事務處處理應應用（毫秒秒~秒級別別）OLAP/在線交交互式式分析析應用用（秒級級別））實時流流處理理（持續(xù)續(xù)不斷斷）技術架架構解解決方方案-交互式式查詢詢通常的的時間間跨度度在數(shù)數(shù)十秒秒到數(shù)數(shù)分鐘鐘之間間按數(shù)據(jù)據(jù)維度度進行行統(tǒng)計計、聚聚合根據(jù)歷歷史數(shù)數(shù)據(jù)進進行擬擬合和和預測測計算數(shù)數(shù)據(jù)之之間的的相關關性和和模式式等適合提提供高高速在在線分分析服服典型應應用場場景政府各各部門門數(shù)據(jù)據(jù)證券交交易銀行保保險企業(yè)ERP/CRM等適用于于數(shù)據(jù)據(jù)量在在GB到TB的高速速數(shù)據(jù)據(jù)分析析技術架架構解解決方方案-實時在在線處處理通常的的時間間跨度度在數(shù)數(shù)百毫毫秒到到數(shù)秒秒之間間數(shù)據(jù)來來源多多、高高并發(fā)發(fā)、數(shù)數(shù)據(jù)處處理量量達分析結結果快快速響響應典型應應用場場景社交網網絡分分析、、關聯(lián)聯(lián)關系系分析析用戶分分類、、用戶戶行為為預測測高并發(fā)發(fā)查詢詢按主鍵鍵毫秒秒級檢檢索按多維維度秒秒級檢檢索按照關關鍵字字秒級級檢索索事件驅驅動計計算模模型，，系統(tǒng)統(tǒng)處于于持續(xù)續(xù)不斷斷計算算之中中，事事件響響應延延遲在在毫秒秒~秒級。。流式計計算系系統(tǒng)處處理應應用的的處理理邏輯輯是由由源源源不斷斷的數(shù)數(shù)據(jù)流流驅動動。典型應應用場場景有金融融在線線欺詐詐預警警廣告CTR推薦系系統(tǒng)技術架架構解解決方方案-實時流流處理理技術架架構解解決方方案-批處理理及離離線挖挖掘時間跨跨度在在數(shù)十十分鐘鐘到數(shù)數(shù)小時時之間間。離線挖挖掘主主要用用于，，多維維統(tǒng)計計預測測，準準實時時分析析以及及對客客戶進進行聚聚類、、分類類等數(shù)數(shù)據(jù)挖挖掘應應用。。典型應應用場場景電子商商務推推薦引引擎流失客客戶預預測挽挽留日志清清洗、、ETL用戶行行為分分析目錄聯(lián)合實驗室大數(shù)據(jù)分析平臺產品技術架構典型行業(yè)應用案例項目需需求將總行行下發(fā)發(fā)的數(shù)數(shù)據(jù)及及核心心業(yè)務務數(shù)據(jù)據(jù)，經經過數(shù)數(shù)據(jù)整整理、、加載載到省省級數(shù)數(shù)據(jù)中中心，，并進進行各各項業(yè)業(yè)務快快速應應用開開發(fā)數(shù)據(jù)源源某省公公積金金中心心，近近五年年的操操作、、交易易記錄錄，共共10億條左左右。。系統(tǒng)環(huán)環(huán)境4臺X86架構的的PC服務器器，共共128G內存單臺服服務器器，8核CPU,32G內存解決方方案Hbase導入海海量數(shù)數(shù)據(jù)，，并支支撐大大數(shù)據(jù)據(jù)查詢詢可視化化設計計、可可視化化報表表實現(xiàn)現(xiàn)了數(shù)數(shù)據(jù)的的實時時分析析行業(yè)應應用案案例-金融行業(yè)應應用案案例-金融系統(tǒng)由由對公公客戶戶綜合合積分分子系系統(tǒng)、、展業(yè)業(yè)通客客戶綜綜合收收益分分析子子系統(tǒng)統(tǒng)、授授信客客戶資資金結結算子子系統(tǒng)統(tǒng)、對對公柜柜面交交易流流水分分析子子系統(tǒng)統(tǒng)等組組成行業(yè)應用案例例-金融項目需求整合第三方支支付數(shù)據(jù)資源源，分析挖掘掘客戶交易、、反饋信息、、交易行等數(shù)數(shù)據(jù)，實現(xiàn)精精準營銷，最最大限度地提提升產品價值值數(shù)據(jù)源某第三方支付付平臺交易、、反饋數(shù)據(jù)，，月交易記錄錄量1億條。系統(tǒng)環(huán)境６臺X86架構的PC服務器，共96G內存單臺服務器，，8核CPU,16G內存解決方案Hbase導入海量數(shù)據(jù)據(jù)，并支撐大大數(shù)據(jù)查詢Hive對歷史交易數(shù)數(shù)據(jù)進行分析析可視化設計、、可視化報表表實現(xiàn)數(shù)據(jù)的的實時分析基于ETHINK可視化挖掘平平臺，完成精精準營銷建模模持卡客戶多維維分析：持卡客戶人口口統(tǒng)計特征分分析持卡客戶交易易行為模式分分析持卡客戶應用用場景分析特約商戶多維維分析：商戶基本信息息分析/商戶業(yè)務收益益分析商戶價值貢獻獻度評估／商商戶收單風險險分析持卡客戶和特特約商戶雙向向分析特定特征客戶戶特定時間消消費商戶分