大數(shù)據(jù) 趙天爍-魅族大數(shù)據(jù)可視化平臺建設(shè)之路-大數(shù)據(jù)and人工智能專場

MEIZU大數(shù)據(jù)可視化平臺建設(shè)之路目錄CONTENTS目錄CONTENTS現(xiàn)狀&問題01Yourlifecanbeenhanced,andyourhappinessenriched,whenyouchoosetochangeyourperspective.?現(xiàn)狀&問題--數(shù)據(jù)層_數(shù)據(jù)接入-渠道（形式）多樣化-格式多樣.臟數(shù)據(jù)-量級巨大-建模繁瑣數(shù)據(jù)查詢-性能差-易用性-實時性-數(shù)據(jù)更新.大規(guī)模計算.數(shù)據(jù)挖掘數(shù)據(jù)質(zhì)量.指標(biāo)、維度一致性.數(shù)據(jù)延遲?血緣關(guān)系.通知機(jī)制數(shù)據(jù)安全-指標(biāo)、維度權(quán)限?行級權(quán)限?參數(shù)化.權(quán)-數(shù)據(jù)交換脫敏?日志審計?現(xiàn)狀&問題--可視化層組件多終端.類型擴(kuò)展,視覺定制?條件樣式.聯(lián)動.自定義組件功能特性拖拽操作自由排版上卷下鉆區(qū)域分組聯(lián)動數(shù)據(jù)定義說明-移動端適配-大屏適配,PPT式數(shù)據(jù)報告,自定義主題?多端分享互動通知預(yù)警-底層數(shù)據(jù)異常通知?底層理恢復(fù)通知.業(yè)務(wù)波動通知?定時郵件目錄CONTENTS02標(biāo)Yourlifecanbeenhanced,andyourhappinessenriched,whenyouchoosetochangeyourperspective.?當(dāng)前目標(biāo)—優(yōu)先級1.基礎(chǔ)功能2.靈活擴(kuò)展3.體驗優(yōu)化4.平臺集成5.場景?當(dāng)前目標(biāo)組件？工具？平臺？解決方案？生態(tài)？結(jié)論CONCLUSIONYourlifecanbeenhanced,andyourhappinessenriched,whenyouchoosetochangeyourperspective.目錄CONTENTS03實現(xiàn)方案Yourlifecanbeenhanced,andyourhappinessenriched,whenyouchoosetochangeyourperspective.實現(xiàn)方案-定位統(tǒng)計分析門戶用戶自助其他應(yīng)用產(chǎn)品大數(shù)據(jù)可視化平臺KvhnMySQL數(shù)據(jù)交換平臺大數(shù)據(jù)安全CarbonData元數(shù)據(jù)平臺。實現(xiàn)方案為什么不直接購買商業(yè)產(chǎn)品?PARTONE01定制.視覺定制.交互細(xì)節(jié)定制?可視化類型.功能定制PARTTWO02產(chǎn)品集成-分析引擎集成-數(shù)據(jù)化運(yùn)營產(chǎn)品集成PARTTHREE03復(fù)用.數(shù)據(jù)集模型復(fù)用-數(shù)據(jù)接口復(fù)用.可視化組件復(fù)用.頁面復(fù)用PARTFOUR04快速響應(yīng).功能需求.內(nèi)容需求.環(huán)境運(yùn)維.查詢性能?解決方案-擻據(jù)層數(shù)據(jù)接入-渠道（形式）多樣化.格式多樣.臟數(shù)據(jù).量級巨大.融繁瑣數(shù)據(jù)訪問數(shù)據(jù)質(zhì)量.扌爵示、維度一致性.蜒延遲?血緣關(guān)系.敝機(jī)制數(shù)據(jù)安全?性能差-易用性?實時性-數(shù)據(jù)更新.大規(guī)模計算.數(shù)據(jù)挖掘-指標(biāo)、維度權(quán)限.行級權(quán)限,參數(shù)化鑒權(quán),數(shù)據(jù)交換脫敏?日志甫計@解決方案數(shù)據(jù)訪問分析引擎&數(shù)據(jù)交換&模型集市PARTONE實時計算?SparkStreaming?Storm?TindexPARTTWOOLAP?Kylin?Vertica?TindexPARTTHREE即系查詢?Kylin?Vertica.mysql分庫分表PARTFOUR文未檢索?ElasticSearch?Tindex?解決方案-分析引擎是否引入統(tǒng)一SQL訪問層？解決方案_分析引擎PARTONE實時計算PARTTWOOLAPPARTTHREE即系查詢PARTFOUR文本檢索?SparkStreaming?Storm1?Tindex1?Kyiin1?Vertica?Tindex1?Kyiin1?Vertica1?mysql分庫分表|?CarbonData?ElasticSearch?Tindex必要性遷移成本兼容性周期長成本高標(biāo)準(zhǔn)化性能優(yōu)化請求路由日志審計權(quán)限過濾VS硏QLRM多S訪?解決方案一分析引擎No解決方案_分析引擎PARTONE實時計算PARTTWOOLAPPARTTHREE即系查詢PARTFOUR文本檢索?SparkStreaming?Storm1?Tindex1?Kyiin1?Vertica?Tindex1?Kyiin1?Vertica1?mysql分庫分表|?CarbonData?ElasticSearch?Tindex條件標(biāo)簽N&腳本語^言數(shù)據(jù)導(dǎo)出分頁動態(tài)條件參數(shù)維度指標(biāo)字段S?解決方案-分析引擎數(shù)據(jù)交換&模型集市?@解決方案可視化塊&布局?解決方案--可視化價值VS成本標(biāo)準(zhǔn)化蹣VS定制化需求?解決方案-可視化PARTONE常用?只覆蓋常見、典型的：/區(qū)塊類型/視覺主題/布局結(jié)構(gòu)/功能特性PARTTWO擴(kuò)展.定制化需求潟自定義-自定義入口模板化__.不涉及多維分析等高級特性的封裝?解決方案-可視化ECHARTS表格折線圖柱狀圖餅圖地圖數(shù)據(jù)可視化區(qū)塊類型漏斗圖雷達(dá)圖1.1擴(kuò)展逬度條指標(biāo)塊文本框深色系視覺主題淺色系meizu主題色基于網(wǎng)格對齊邊界可擴(kuò)展網(wǎng)格布局不支持層疊布局結(jié)構(gòu)PC端終端適配移動端組內(nèi)共享條件布局分組

<組內(nèi)批量數(shù)據(jù)導(dǎo)岀大屏?解決方案-可視化正則控制文本框日期日期日期時間日期格式定義數(shù)字框范圍控制單選框多級單選框分組常用單選多級單選菜單條件控件開關(guān)按鈕組多選面板可視化多選多選幵關(guān)按鈕多選菜單條件配置手工輸入值來源事實表分析關(guān)聯(lián)動態(tài)SQL定義選擇全部問題值邊界大基數(shù)字段分頁加載條件層級關(guān)聯(lián)省市區(qū)-縣條件-＞可視化塊一對多映射頁面控件操作傳值形式URL參數(shù)傳入SDK調(diào)用值選框基于表達(dá)式的動態(tài)默認(rèn)值動態(tài)默認(rèn)值v'綁m元數(shù)據(jù)平臺服務(wù)-~~?解決方案-可視化、全量導(dǎo)出關(guān)聯(lián)數(shù)據(jù)交換平臺多維分析，自助取數(shù)等功能暫不涉及標(biāo)簽平臺接入推退到第二期在線JS編輯+預(yù)覽/數(shù)據(jù)查詢請求響應(yīng)callback------J模塊定義標(biāo)準(zhǔn)化丿/外部前端組件引入統(tǒng)一由平臺負(fù)責(zé)人管理可配置參數(shù)注冊方式標(biāo)準(zhǔn)化自定義預(yù)警規(guī)則數(shù)據(jù)脫敏問題數(shù)據(jù)導(dǎo)岀/部分導(dǎo)出直接由可視化平臺自身響應(yīng)需求收集流程管理相關(guān)系統(tǒng)需求收集流程管理相關(guān)系銃其他特性問題反饋解決方案--布局結(jié)構(gòu)走過的彎路踩過的坑?默認(rèn)hbox模式/靈活性太差____?布局管理器+多套布局策略實現(xiàn)/兼容性問題/維護(hù)成本高.類PPT的絕對位置自由布局/復(fù)雜度過高/用戶體驗欠佳■解決方案--布局結(jié)構(gòu)基于網(wǎng)格的E?3E-ifr*E=3目疋義布局PC、移動端、大屏獨(dú)立模板化?解決方案集成&服務(wù)化@解決方案--服務(wù)化分析引擎服務(wù)化PARTONE統(tǒng)一概念模型/降低維護(hù)成本/提升復(fù)用性/數(shù)據(jù)質(zhì)量統(tǒng)一管理/性能可用性統(tǒng)T尤PARTTWOClient封裝.月蒔ID+條件參數(shù)結(jié)構(gòu)?數(shù)據(jù)獲取細(xì)節(jié)在平臺中定義?支持同步、異步方式.異步方式支持消息通知Result^ListMapString,Object?result-jXXXService.query'params)Result<List<VisitorDetail>result2=XXXService.query819,params)@解決方案--服務(wù)化可視化塊SDKPARTONE統(tǒng)一概念模型/避免重復(fù)開發(fā)/統(tǒng)一安全測試/統(tǒng)~共組件/促進(jìn)交流/共享/推進(jìn)DPL落地Charts?load【"'，condition^'html_element')解決方案―集成元數(shù)據(jù)平臺隹ctJPARTONE模型共享/各層模型元數(shù)據(jù)可選擇性接入/指標(biāo)、維度定義標(biāo)注/基于血緣關(guān)系的定義繼承/沉淀高質(zhì)量數(shù)據(jù)集市PARTTWO質(zhì)量管理/數(shù)據(jù)延爬知/數(shù)據(jù)異常波動通知/基于血緣關(guān)系通知/基于血緣關(guān)系