金融大數(shù)據(jù)平臺(tái)的應(yīng)用場(chǎng)景

1、金融大數(shù)據(jù)平臺(tái)的應(yīng)用場(chǎng)景目錄 TOC o 1-3 h z u HYPERLINK l _Toc490675209 1大數(shù)據(jù)在銀行的應(yīng)用場(chǎng)景 PAGEREF _Toc490675209 h 5 HYPERLINK l _Toc490675210 1.1 大類應(yīng)用 PAGEREF _Toc490675210 h 5 HYPERLINK l _Toc490675211 1.1.1營(yíng)銷類模型 PAGEREF _Toc490675211 h 5 HYPERLINK l _Toc490675212 1.1.2風(fēng)控類模型 PAGEREF _Toc490675212 h 5 HYPERLINK l _Toc4

2、90675213 1.1.3綜合評(píng)價(jià)模型 PAGEREF _Toc490675213 h 5 HYPERLINK l _Toc490675214 1.2 細(xì)分應(yīng)用 PAGEREF _Toc490675214 h 5 HYPERLINK l _Toc490675215 1.2.1客戶風(fēng)險(xiǎn)畫(huà)像 PAGEREF _Toc490675215 h 5 HYPERLINK l _Toc490675216 1.2.2客戶綜合評(píng)級(jí) PAGEREF _Toc490675216 h 6 HYPERLINK l _Toc490675217 1.2.3客戶綜合預(yù)授信 PAGEREF _Toc490675217 h 6

3、 HYPERLINK l _Toc490675218 1.2.4客戶風(fēng)險(xiǎn)定價(jià) PAGEREF _Toc490675218 h 6 HYPERLINK l _Toc490675219 1.2.5客戶利潤(rùn)貢獻(xiàn)評(píng)價(jià) PAGEREF _Toc490675219 h 6 HYPERLINK l _Toc490675220 1.2.6客戶綜合營(yíng)銷分析 PAGEREF _Toc490675220 h 6 HYPERLINK l _Toc490675221 1.2.7客戶流失分析 PAGEREF _Toc490675221 h 6 HYPERLINK l _Toc490675222 1.2.8貸后實(shí)時(shí)監(jiān)控分析

4、 PAGEREF _Toc490675222 h 6 HYPERLINK l _Toc490675223 1.2.9欺詐風(fēng)險(xiǎn)防范 PAGEREF _Toc490675223 h 7 HYPERLINK l _Toc490675224 2大數(shù)據(jù)建模平臺(tái)Data Insight PAGEREF _Toc490675224 h 8 HYPERLINK l _Toc490675225 2.1 概述 PAGEREF _Toc490675225 h 8 HYPERLINK l _Toc490675226 2.1.1體系結(jié)構(gòu) PAGEREF _Toc490675226 h 8 HYPERLINK l _To

5、c490675227 2.2 DataInsight主要特性 PAGEREF _Toc490675227 h 9 HYPERLINK l _Toc490675228 2.2.1一體化的大數(shù)據(jù)挖掘應(yīng)用平臺(tái) PAGEREF _Toc490675228 h 9 HYPERLINK l _Toc490675229 2.2.2并行化大數(shù)據(jù)挖掘運(yùn)行平臺(tái) PAGEREF _Toc490675229 h 9 HYPERLINK l _Toc490675230 2.2.3高效的大數(shù)據(jù)挖掘落地平臺(tái) PAGEREF _Toc490675230 h 10 HYPERLINK l _Toc490675231 2.3 D

6、ataInsight主要功能 PAGEREF _Toc490675231 h 10 HYPERLINK l _Toc490675232 2.3.1模型工作流 PAGEREF _Toc490675232 h 10 HYPERLINK l _Toc490675233 2.3.2可視化數(shù)據(jù)探索 PAGEREF _Toc490675233 h 11 HYPERLINK l _Toc490675234 2.3.3并行化算法 PAGEREF _Toc490675234 h 12 HYPERLINK l _Toc490675235 2.3.4多建模語(yǔ)言支持 PAGEREF _Toc490675235 h 1

7、4 HYPERLINK l _Toc490675236 2.3.5模型應(yīng)用管理 PAGEREF _Toc490675236 h 15 HYPERLINK l _Toc490675237 2.3.6模型即服務(wù) PAGEREF _Toc490675237 h 16 HYPERLINK l _Toc490675238 3大數(shù)據(jù)分析展示平臺(tái)Discovery PAGEREF _Toc490675238 h 18 HYPERLINK l _Toc490675239 3.1 平臺(tái)架構(gòu) PAGEREF _Toc490675239 h 18 HYPERLINK l _Toc490675240 3.1.1數(shù)據(jù)引

8、擎 PAGEREF _Toc490675240 h 20 HYPERLINK l _Toc490675241 3.1.2BI Server PAGEREF _Toc490675241 h 21 HYPERLINK l _Toc490675242 3.1.3交互分析模塊 PAGEREF _Toc490675242 h 21 HYPERLINK l _Toc490675243 3.1.4API PAGEREF _Toc490675243 h 22 HYPERLINK l _Toc490675244 3.2 平臺(tái)特性 PAGEREF _Toc490675244 h 22 HYPERLINK l _T

9、oc490675245 3.3 交互式體驗(yàn) PAGEREF _Toc490675245 h 23 HYPERLINK l _Toc490675246 3.3.1構(gòu)建數(shù)據(jù)視圖 PAGEREF _Toc490675246 h 23 HYPERLINK l _Toc490675247 3.3.2圖表類型 PAGEREF _Toc490675247 h 24 HYPERLINK l _Toc490675248 4案例介紹 PAGEREF _Toc490675248 h 26 HYPERLINK l _Toc490675249 4.1 某大型銀行卡收單專業(yè)化服務(wù)公司 PAGEREF _Toc490675

10、249 h 26 HYPERLINK l _Toc490675250 4.1.1持卡人特征歸納 PAGEREF _Toc490675250 h 26 HYPERLINK l _Toc490675251 4.1.2持卡人交易行為預(yù)測(cè) PAGEREF _Toc490675251 h 27 HYPERLINK l _Toc490675252 4.1.3商圈聚類 PAGEREF _Toc490675252 h 27 HYPERLINK l _Toc490675253 4.2 某商業(yè)銀行 PAGEREF _Toc490675253 h 27 HYPERLINK l _Toc490675254 4.2.1

11、優(yōu)質(zhì)不良客戶分類 PAGEREF _Toc490675254 h 27 HYPERLINK l _Toc490675255 4.2.2員工賬戶監(jiān)測(cè)預(yù)警 PAGEREF _Toc490675255 h 30大數(shù)據(jù)在銀行的應(yīng)用場(chǎng)景大類應(yīng)用營(yíng)銷類模型此類模型主要客戶細(xì)分為基礎(chǔ)，建立客戶的360度視圖，建立應(yīng)用于客戶營(yíng)銷的業(yè)務(wù)模型，如：商戶交易分析模型、商戶行業(yè)分析模型、商戶綜合利潤(rùn)貢獻(xiàn)模型、客戶刷卡交易分析模型、產(chǎn)品推薦模型等。風(fēng)控類模型該類模型主要用于信貸業(yè)務(wù)和欺詐防范，并與目前的征信建設(shè)相結(jié)合，如：商戶評(píng)分模型及審批規(guī)則、行業(yè)風(fēng)險(xiǎn)識(shí)別模型、人行征信報(bào)告評(píng)分模型、個(gè)人信用分析模型、風(fēng)險(xiǎn)定價(jià)模型、風(fēng)

12、險(xiǎn)客戶預(yù)警模型、貸后實(shí)時(shí)監(jiān)控模型、反欺詐模型等。綜合評(píng)價(jià)模型該類模型以之前的相關(guān)模型為基礎(chǔ)，并通過(guò)規(guī)則引擎整合多個(gè)模型，進(jìn)行加工處理，并根據(jù)不同業(yè)務(wù)需求產(chǎn)生不同的客戶綜合評(píng)價(jià)，如：客戶綜合利潤(rùn)貢獻(xiàn)模型、POS商戶綜合評(píng)價(jià)模型、綜合預(yù)授信模型、綜合風(fēng)險(xiǎn)判斷模型等。細(xì)分應(yīng)用客戶風(fēng)險(xiǎn)畫(huà)像依據(jù)客戶內(nèi)部數(shù)據(jù)，結(jié)合各種外部數(shù)據(jù)源，排查不良信息，綜合決策，建立客戶全方位畫(huà)像，并進(jìn)行綜合評(píng)分，最大程度挖掘優(yōu)質(zhì)客戶，排除潛在風(fēng)險(xiǎn)客戶，從客戶前期篩選上進(jìn)行風(fēng)險(xiǎn)前移客戶綜合評(píng)級(jí) 結(jié)合客戶的交易情況和購(gòu)買理財(cái)產(chǎn)品狀況，并結(jié)合客戶的個(gè)人信用綜合分析，對(duì)商戶建立綜合評(píng)級(jí)，并進(jìn)一步應(yīng)用于我司的各種貸款產(chǎn)品中?？蛻艟C合預(yù)授信

13、針對(duì)客戶的綜合評(píng)級(jí)，結(jié)合不同業(yè)務(wù)類型，利用大數(shù)據(jù)評(píng)分和決策引擎規(guī)則判斷，對(duì)潛在貸款客戶進(jìn)行預(yù)授信額度的試算，方便后期業(yè)務(wù)營(yíng)銷，同時(shí)可將業(yè)務(wù)風(fēng)險(xiǎn)前置?？蛻麸L(fēng)險(xiǎn)定價(jià)針對(duì)客戶的綜合評(píng)級(jí)，對(duì)不同信用級(jí)別的客戶采取不同的定價(jià)策略，以收益覆蓋風(fēng)險(xiǎn)為原則，優(yōu)化我司相關(guān)業(yè)務(wù)產(chǎn)品的定價(jià)。客戶利潤(rùn)貢獻(xiàn)評(píng)價(jià)綜合分析客戶在我行的存量業(yè)務(wù)，進(jìn)行利潤(rùn)貢獻(xiàn)度評(píng)判，方便我行后期深度營(yíng)銷客戶?？蛻艟C合營(yíng)銷分析通過(guò)客戶關(guān)系深度挖掘和持有業(yè)務(wù)深入分析，判斷最適合營(yíng)銷給客戶的產(chǎn)品，同時(shí)結(jié)合我司的優(yōu)勢(shì)產(chǎn)品政策，加大綜合營(yíng)銷力度，為營(yíng)銷客戶提供全面支持，避免盲目營(yíng)銷的情況?？蛻袅魇Х治鐾ㄟ^(guò)大數(shù)據(jù)挖掘，如客戶在我司POS業(yè)務(wù)變動(dòng)情況，交易

14、頻次、交易時(shí)間等多種綜合指標(biāo)，對(duì)客戶的流失情況進(jìn)行分析和綜合預(yù)測(cè)，判斷潛在流失客戶，并增加營(yíng)銷力度，采取相應(yīng)措施，最大程度上挽救客戶。貸后實(shí)時(shí)監(jiān)控分析利用內(nèi)部數(shù)據(jù)和引入的外部數(shù)據(jù)，通過(guò)規(guī)則引擎的實(shí)時(shí)抓取和判斷，對(duì)已放款客戶的貸后情況進(jìn)行實(shí)時(shí)分析，并進(jìn)行區(qū)分高風(fēng)險(xiǎn)、中風(fēng)險(xiǎn)、低風(fēng)險(xiǎn)客戶，并進(jìn)行預(yù)警推送。欺詐風(fēng)險(xiǎn)防范 通過(guò)建立黑名單、灰名單機(jī)會(huì)，完善相應(yīng)的規(guī)則引擎，對(duì)虛假交易、套現(xiàn)、電商詐騙等欺詐交易行為進(jìn)行自動(dòng)分析、挖掘，通過(guò)機(jī)器學(xué)習(xí)的方式提高銀聯(lián)商務(wù)防范風(fēng)險(xiǎn)業(yè)務(wù)的能力。大數(shù)據(jù)建模平臺(tái)Data Insight概述大數(shù)據(jù)挖掘是大數(shù)據(jù)中非常重要的一個(gè)組成部分。只有從大數(shù)據(jù)中挖掘出價(jià)值，大數(shù)據(jù)才有意義。

15、明略DataInsight是一款企業(yè)級(jí)的大數(shù)據(jù)挖掘平臺(tái)產(chǎn)品，通過(guò)應(yīng)用先進(jìn)的大數(shù)據(jù)技術(shù)，幫助企業(yè)實(shí)現(xiàn)了海量數(shù)據(jù)上的數(shù)據(jù)挖掘，獲取隱藏在大數(shù)據(jù)下的知識(shí)，為企業(yè)創(chuàng)造新的業(yè)務(wù)價(jià)值。與常見(jiàn)的只能進(jìn)行單機(jī)挖掘的產(chǎn)品不同，明略DataInsight基于Apache Spark架構(gòu)，使得數(shù)據(jù)挖掘能夠真正并行化起來(lái)，能夠真正的在海量數(shù)據(jù)機(jī)上進(jìn)行數(shù)據(jù)挖掘。突破了傳統(tǒng)數(shù)據(jù)挖掘工具只能在單機(jī)上建模的缺陷，使得企業(yè)大數(shù)據(jù)挖掘成為了可能。體系結(jié)構(gòu)明略DataInsight從上到下分為3層，分別是接口層，調(diào)度層和運(yùn)行層。其中：接口層：用來(lái)與用戶和外部系統(tǒng)進(jìn)行交互。接口層提供了可視化建模工具以及模型應(yīng)用系統(tǒng)界面，供用戶創(chuàng)建模

16、型和對(duì)生產(chǎn)環(huán)境中的模型進(jìn)行管理。此外，還提供了Restful API供其他外部系統(tǒng)進(jìn)行模型服務(wù)調(diào)用。調(diào)度層：調(diào)度層負(fù)責(zé)調(diào)度模型作業(yè)的運(yùn)行。一個(gè)模型作業(yè)由若干任務(wù)組成，每個(gè)任務(wù)的執(zhí)行環(huán)境和執(zhí)行次序都不一樣。調(diào)度層負(fù)責(zé)將任務(wù)發(fā)往合適的執(zhí)行器中運(yùn)行，并負(fù)責(zé)任務(wù)之間的通信和錯(cuò)誤處理等功能。運(yùn)行層：運(yùn)行層負(fù)責(zé)真正的運(yùn)行一個(gè)任務(wù)，運(yùn)行層是基于Spark并行架構(gòu)的，在Spark中啟動(dòng)了多個(gè)運(yùn)行器（Runner）來(lái)負(fù)責(zé)最終任務(wù)的執(zhí)行。這兒的運(yùn)行器可以是普通的Spark任務(wù)，也可以是R或者Python的容器。DataInsight主要特性一體化的大數(shù)據(jù)挖掘應(yīng)用平臺(tái)明略DataInsight提供高效的建模工具幫助

17、企業(yè)在大數(shù)據(jù)上進(jìn)行數(shù)據(jù)挖掘，同時(shí)提供模型應(yīng)用系統(tǒng)幫助企業(yè)整合從模型開(kāi)發(fā)到模型上線的大數(shù)據(jù)挖掘落地的全過(guò)程，真正使得大數(shù)據(jù)挖掘能在企業(yè)輕松落地。明略DataInsight從企業(yè)業(yè)務(wù)落地出發(fā)，幫助企業(yè)有效的管理大數(shù)據(jù)挖掘的各個(gè)階段，不單單為企業(yè)提供了高效的建模工具，同時(shí)也提供模型應(yīng)用管理系統(tǒng)幫助企業(yè)管理已經(jīng)建立好的模型，降低了模型部署、更新等維護(hù)的成本。明略DataInsight是基于大數(shù)據(jù)平臺(tái)的產(chǎn)品，這就意味著明略DataInsight的實(shí)驗(yàn)環(huán)境和生產(chǎn)環(huán)境融為一體。在實(shí)驗(yàn)環(huán)境中建立的模型可以很方便的在生產(chǎn)環(huán)境中應(yīng)用，降低了模型的部署和遷移成本。并行化大數(shù)據(jù)挖掘運(yùn)行平臺(tái)大數(shù)據(jù)時(shí)代的特點(diǎn)是數(shù)據(jù)量規(guī)模

18、巨大，傳統(tǒng)的單機(jī)算法已經(jīng)無(wú)法滿足大數(shù)據(jù)時(shí)代的需要，因此需要使用并行算法來(lái)處理和計(jì)算大數(shù)據(jù)。明略DataInsight是一款基于Apache Spark架構(gòu)的真正意義上的大數(shù)據(jù)挖掘平臺(tái)，其通過(guò)Spark提供的高性能內(nèi)存迭代計(jì)算引擎在多個(gè)節(jié)點(diǎn)上并行挖掘，解決了單機(jī)節(jié)點(diǎn)無(wú)法挖掘海量數(shù)據(jù)的問(wèn)題，同時(shí)提高了挖掘速度。明略DataInsight自主研發(fā)了大量并行運(yùn)行在Spark之上的數(shù)據(jù)挖掘算法。這些算法覆蓋了數(shù)據(jù)挖掘工作中最常用的算法種類。用戶可以非常方便的在明略DataInsight中使用這些算法來(lái)創(chuàng)建模型。在大數(shù)據(jù)挖掘?qū)嵺`中，使用并行化的數(shù)據(jù)挖掘算法只是整個(gè)挖掘工作中的一部分，更多的工作集中在數(shù)據(jù)預(yù)

19、處理方面。在大數(shù)據(jù)環(huán)境下，單機(jī)處理海量數(shù)據(jù)顯然是不現(xiàn)實(shí)的。明略DataInsight提供了多種數(shù)據(jù)預(yù)處理的并行化算法，幫助用戶高效的對(duì)數(shù)據(jù)進(jìn)行處理。高效的大數(shù)據(jù)挖掘落地平臺(tái)明略DataInsight專注于提高企業(yè)大數(shù)據(jù)挖掘的效率。在大數(shù)據(jù)挖掘?qū)嵺`中，往往70%-80%的時(shí)間和精力耗費(fèi)在數(shù)據(jù)探索和數(shù)據(jù)處理上面。因此，提高數(shù)據(jù)探索和數(shù)據(jù)處理的效率會(huì)大大加速整個(gè)大數(shù)據(jù)挖掘的落地速度。明略DataInsight提供了交互式可視化的數(shù)據(jù)探索工具。明略DataInsight幫助用戶實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行探索，來(lái)指引其尋找更好的解決方法。同時(shí)，明略DataInsight提供了大量的圖表形式供用戶更加直觀的感受數(shù)據(jù)，

20、尋找數(shù)據(jù)中的規(guī)律。在數(shù)據(jù)處理方面，明略DataInsight除了提供大量的并行化數(shù)據(jù)處理算法之外，還對(duì)SQL進(jìn)行了良好的支持。用戶可以通過(guò)SQL語(yǔ)句對(duì)建模的中間結(jié)果進(jìn)行各種操作，這樣，具有SQL技能的用戶可以零學(xué)習(xí)成本的使用SQL對(duì)數(shù)據(jù)進(jìn)行各種探索和處理。DataInsight主要功能模型工作流企業(yè)大數(shù)據(jù)挖掘是一項(xiàng)系統(tǒng)性的工程，其涉及到從數(shù)據(jù)整合、數(shù)據(jù)探索、數(shù)據(jù)處理、模型建立、模型評(píng)估、模型調(diào)優(yōu)等一系列的過(guò)程。因此，單一的步驟是不足以表示大數(shù)據(jù)挖掘全過(guò)程。明略DataInsight中使用工作流的概念來(lái)表示整個(gè)建模過(guò)程。在明略DataInsight中，每個(gè)建模步驟都看做一個(gè)算子，每個(gè)算子接受若干

21、輸入，并且產(chǎn)生若干輸出。每個(gè)算子的輸出都可以作為其他算子的輸入，這樣，整個(gè)建模過(guò)程就可以形成一幅有向無(wú)環(huán)圖。建模過(guò)程的目的就變成了將原始的輸入通過(guò)一系列算子組合得到最終的業(yè)務(wù)結(jié)果。建模過(guò)程是一個(gè)不斷嘗試不斷探索的過(guò)程。用戶從原始數(shù)據(jù)出發(fā)，經(jīng)過(guò)對(duì)數(shù)據(jù)的探索和處理，應(yīng)用合適的算法，最終形成業(yè)務(wù)上可用的模型。在建模的過(guò)程中，會(huì)有很多嘗試性的步驟，用戶可以通過(guò)在模型工作流中添加分支的方法來(lái)進(jìn)行不同方法的嘗試。當(dāng)模型開(kāi)發(fā)完畢后，用戶可以從模型中生成應(yīng)用，這樣就可以在生產(chǎn)環(huán)境中使用應(yīng)用來(lái)產(chǎn)生業(yè)務(wù)結(jié)果。應(yīng)用從本質(zhì)上來(lái)看依然是工作流，記錄了原始數(shù)據(jù)如何一步一步的變?yōu)樽罱K的業(yè)務(wù)結(jié)果的過(guò)程，所不同的是，應(yīng)用中的工

22、作流只保留了產(chǎn)生業(yè)務(wù)結(jié)果的必要步驟，不再保留用戶在建模時(shí)所做的嘗試性的工作?？梢暬瘮?shù)據(jù)探索對(duì)數(shù)據(jù)的理解是數(shù)據(jù)挖掘過(guò)程中的重中之重。只有理解數(shù)據(jù)，才能知道如何從數(shù)據(jù)中挖掘出有價(jià)值的信息。數(shù)據(jù)探索的過(guò)程同時(shí)也是數(shù)據(jù)預(yù)處理的過(guò)程，用戶在探索數(shù)據(jù)時(shí)，需要將多種數(shù)據(jù)進(jìn)行關(guān)聯(lián)，并且對(duì)數(shù)據(jù)進(jìn)行不同形式的轉(zhuǎn)換，甚至使用多種算法來(lái)對(duì)數(shù)據(jù)進(jìn)行嘗試性的挖掘，來(lái)探索數(shù)據(jù)的意義。在形成最終模型之前，用戶需要通過(guò)大量的實(shí)驗(yàn)來(lái)找到一條切實(shí)可行的挖掘方法。在用戶進(jìn)行實(shí)驗(yàn)時(shí)，對(duì)實(shí)驗(yàn)的時(shí)效性要求非常高。用戶希望能夠盡快試錯(cuò)，排除那些不可靠的方法，快速的找到可行的方法。明略DataInsight提供了交互式數(shù)據(jù)探索工具供用戶對(duì)數(shù)據(jù)

23、進(jìn)行實(shí)驗(yàn)性的探索工作。明略DataInsight通過(guò)先進(jìn)的大數(shù)據(jù)技術(shù)，縮短了數(shù)據(jù)探索的時(shí)間，幫助用戶實(shí)時(shí)的對(duì)數(shù)據(jù)進(jìn)行探索和實(shí)驗(yàn)。同時(shí)，明略DataInsight通過(guò)可視化的方法，提供了常用的數(shù)據(jù)統(tǒng)計(jì)和分析的圖表，供用戶能夠直觀的從圖形中發(fā)掘數(shù)據(jù)背后的意義。并行化算法明略DataInsight是基于Spark架構(gòu)的并行化數(shù)據(jù)挖掘平臺(tái)。明略DataInsight自主研發(fā)了大量的并行化數(shù)據(jù)挖掘算法，這些算法解決了單機(jī)算法不能挖掘大數(shù)據(jù)的問(wèn)題，極大的方便了用戶在大數(shù)據(jù)上的數(shù)據(jù)挖掘。 此外，明略DataInsight是一款覆蓋整個(gè)建模過(guò)程的產(chǎn)品。除了數(shù)據(jù)挖掘的算法之外，明略DataInsight還提供了

24、若干數(shù)據(jù)處理的并行化算法，同樣也可以在模型工作流的算子中使用，對(duì)數(shù)據(jù)進(jìn)行并行化的處理。明略DataInsight支持的并行化算法列表如下：算法名稱算法類型SVM分類算法Logistic Regression分類算法Native Bayes分類算法Decision Tree分類算法Gradient Boosted Decision Tree分類算法Random Forest分類算法K近鄰分類算法Lasso Regression回歸算法Ridge Regression回歸算法Linear Regression回歸算法Gradient Boosted Regression回歸算法Regression

25、 Tree回歸算法DBScan聚類算法Hierachy聚類聚類算法Fuzzy聚類聚類算法K-means聚類算法PCA/KPCA特征變換LDA/KDA特征變換ARMA/ARIMA趨勢(shì)分析LS-SVM趨勢(shì)分析GPR（高斯過(guò)程回歸）趨勢(shì)分析Item based CF推薦算法User based CF推薦算法Alternating Least Squares推薦算法LDA自然語(yǔ)言處理Word2Vec自然語(yǔ)言處理FPGrowth頻繁模式&關(guān)聯(lián)規(guī)則BIDE頻繁模式&關(guān)聯(lián)規(guī)則Apriori頻繁模式&關(guān)聯(lián)規(guī)則相關(guān)性分析數(shù)理統(tǒng)計(jì)分布統(tǒng)計(jì)數(shù)理統(tǒng)計(jì)標(biāo)準(zhǔn)向量化算法數(shù)據(jù)預(yù)處理算法Hash向量化算法數(shù)據(jù)預(yù)處理算法標(biāo)準(zhǔn)歸一

26、化算法數(shù)據(jù)預(yù)處理算法去均值歸一化算法數(shù)據(jù)預(yù)處理算法極差歸一化算法數(shù)據(jù)預(yù)處理算法類別符號(hào)平衡采樣算法數(shù)據(jù)預(yù)處理算法隨機(jī)采樣算法數(shù)據(jù)預(yù)處理算法均勻采樣算法數(shù)據(jù)預(yù)處理算法均值/方差/協(xié)方差基礎(chǔ)數(shù)據(jù)計(jì)算模塊自定義計(jì)算方法基礎(chǔ)數(shù)據(jù)計(jì)算模塊多建模語(yǔ)言支持明略DataInsight是一款基于Spark的并行化大數(shù)據(jù)挖掘產(chǎn)品。用戶除了使用DataInsight中提供的算法和模型進(jìn)行建模之外，還可以使用其他外部語(yǔ)言進(jìn)行建模。目前，明略DataInsight提供Python和R供用戶自定義算子。明略DataInsight中的模型可以由不同語(yǔ)言的元素組合而成。用戶可以使用DataInsight原生的算法或者模型，也

27、可以使用通過(guò)Python或R自定義的算法和模型，這樣，極大的提高了建模的靈活性。此外，由于DataInsight中提供了外部語(yǔ)言，用戶可以直接通過(guò)這些外部語(yǔ)言來(lái)對(duì)數(shù)據(jù)進(jìn)行探索。Python和R中都包含了大量的優(yōu)秀的繪圖工具，用戶可以直接使用這些工具在DataInsight中進(jìn)行繪圖。模型應(yīng)用管理明略DataInsight是一款關(guān)注企業(yè)大數(shù)據(jù)挖掘落地全過(guò)程的產(chǎn)品。除了傳統(tǒng)數(shù)據(jù)挖掘軟件提供的建模工具之外，明略DataInsight還對(duì)建立完成模型的后續(xù)使用進(jìn)行管理，幫助用戶更好的在生產(chǎn)環(huán)境中應(yīng)用模型，以實(shí)現(xiàn)期望的業(yè)務(wù)目標(biāo)。在企業(yè)生產(chǎn)實(shí)踐中，模型效果是會(huì)隨著時(shí)間而不斷衰減的，而且存在模型失效的問(wèn)題。

28、為了保持模型的效果，就必須對(duì)模型進(jìn)行有效的維護(hù)。在傳統(tǒng)數(shù)據(jù)挖掘?qū)嵺`中，有專門的建模團(tuán)隊(duì)來(lái)負(fù)責(zé)模型維護(hù)，每一次模型維護(hù)都要經(jīng)歷模型重部署，重上線的過(guò)程，效率十分低下。明略DataInsight中，最終應(yīng)用于生產(chǎn)的模型稱為應(yīng)用。明略DataInsight通過(guò)應(yīng)用更新功能使用新數(shù)據(jù)重新訓(xùn)練應(yīng)用，使得衰減效應(yīng)變緩。應(yīng)用每次更新完，都會(huì)產(chǎn)生一個(gè)新的應(yīng)用版本，這樣同一應(yīng)用會(huì)保留多個(gè)版本，這些版本的輸入輸出都保持一致，用戶可以任選其中一個(gè)版本來(lái)產(chǎn)生最終的結(jié)果。應(yīng)用更新是一種簡(jiǎn)單而有效的方法，但是當(dāng)數(shù)據(jù)發(fā)生了較大的變化時(shí)，簡(jiǎn)單的更新應(yīng)用已不能維持模型效果，此時(shí)，需要深入到應(yīng)用細(xì)節(jié)對(duì)應(yīng)用進(jìn)行調(diào)整。明略DataI

29、nsight可以將應(yīng)用還原為工作流，用戶可以在開(kāi)發(fā)環(huán)境中打開(kāi)工作流，在已有的工作流之上重新建模，直到模型效果滿足業(yè)務(wù)需求。模型即服務(wù)明略DataInsight作為一款企業(yè)級(jí)的大數(shù)據(jù)挖掘平臺(tái)，通過(guò)Restful API向企業(yè)其他生產(chǎn)系統(tǒng)提供服務(wù)，外部系統(tǒng)可以通過(guò)調(diào)用Restful API實(shí)現(xiàn)模型的運(yùn)行和更新等操作。這樣，明略DataInsight可以作為企業(yè)統(tǒng)一的模型服務(wù)平臺(tái)，為企業(yè)各個(gè)生產(chǎn)系統(tǒng)進(jìn)行復(fù)雜的數(shù)據(jù)挖掘計(jì)算，提供各個(gè)生產(chǎn)系統(tǒng)所需的業(yè)務(wù)數(shù)據(jù)。例如，明略DataInsight可以通過(guò)人群畫(huà)像模型對(duì)客戶進(jìn)行畫(huà)像，將畫(huà)像結(jié)果提供給企業(yè)BI系統(tǒng)，在企業(yè)BI系統(tǒng)中結(jié)合其他數(shù)據(jù)一起繪制最終的業(yè)務(wù)報(bào)表

30、。根據(jù)用戶在API中指定的輸入和輸出，明略DataInsight中相應(yīng)的應(yīng)用就可以從輸入中讀取原始數(shù)據(jù)，進(jìn)過(guò)數(shù)據(jù)挖掘的復(fù)雜計(jì)算后，將結(jié)果數(shù)據(jù)存放到用戶指定的輸出中，這樣就完成了一次數(shù)據(jù)挖掘任務(wù)。明略DataInsight支持多種輸入輸出，包括基于大數(shù)據(jù)的HIVE、HBASE、HDFS等，還包括傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)，如Oracle、Mysql等，也包括一些NoSQL數(shù)據(jù)庫(kù)，如MongoDB、Redis等。明略DataInsight支持的API如下：功能API說(shuō)明運(yùn)行應(yīng)用/application/run運(yùn)行應(yīng)用的一個(gè)版本。需要指明應(yīng)用版本的ID，運(yùn)行的輸入、輸出，以及用戶token。系統(tǒng)從輸入中獲取數(shù)

31、據(jù)，經(jīng)過(guò)計(jì)算后將輸出結(jié)果存儲(chǔ)到用戶指定的輸出對(duì)象中。該API返回一個(gè)任務(wù)ID，用戶可以使用該ID進(jìn)行后續(xù)操作更新應(yīng)用/application/update更新應(yīng)用，生成一個(gè)新的應(yīng)用版本。用戶指明需要更新的應(yīng)用ID，新版本名稱、輸入的數(shù)據(jù)和用戶Token。系統(tǒng)通過(guò)輸入數(shù)據(jù)新生成一個(gè)應(yīng)用版本。該API返回一個(gè)任務(wù)ID和一個(gè)版本ID。停止任務(wù)/task/kill用戶傳入任務(wù)ID來(lái)停止一個(gè)正在運(yùn)行中的任務(wù)。查詢狀態(tài)/task/status用戶傳入任務(wù)ID來(lái)查詢?nèi)蝿?wù)的狀態(tài)。狀態(tài)包括任務(wù)正在運(yùn)行、運(yùn)行成功、運(yùn)行失敗和已停止。通過(guò)查詢?nèi)蝿?wù)狀態(tài)來(lái)決定下一步操作。通過(guò)明略DataInsight提供的API，用戶

32、可以在自己的系統(tǒng)中進(jìn)行調(diào)用。例如，用戶將一個(gè)應(yīng)用加入工作流中，通過(guò)run命令運(yùn)行一個(gè)應(yīng)用，然后不斷查詢狀態(tài)，直到狀態(tài)變?yōu)橐淹瓿?，再繼續(xù)下一步工作。由于輸入輸出都是由用戶指定，因此，用戶可以很方便的在工作流中加入數(shù)據(jù)挖掘的步驟。大數(shù)據(jù)分析展示平臺(tái)Discovery隨著大數(shù)據(jù)時(shí)代的帶來(lái)，急劇膨脹的數(shù)據(jù)規(guī)模、對(duì)細(xì)粒度數(shù)據(jù)探索的需求，以及對(duì)決策時(shí)效性的需求愈加旺盛，傳統(tǒng)的BI方案在解決數(shù)據(jù)規(guī)模、分析的時(shí)效性、數(shù)據(jù)粒度方面越發(fā)顯得困難。傳統(tǒng)的BI方案已經(jīng)很難滿足當(dāng)前業(yè)務(wù)需求，基于深入分析株洲所大數(shù)據(jù)分析展示平臺(tái)的業(yè)務(wù)需求特點(diǎn)和技術(shù)需求的基礎(chǔ)上，選擇基于海量數(shù)據(jù)的商務(wù)智能解決方案，以滿足業(yè)務(wù)和技術(shù)要求。平

33、臺(tái)架構(gòu)Discovery是基于Hadoop技術(shù)框架的大數(shù)據(jù)商業(yè)智能平臺(tái)，旨在幫助用戶挖掘大數(shù)據(jù)環(huán)境下的數(shù)據(jù)價(jià)值，解決傳統(tǒng)BI工具在大數(shù)據(jù)環(huán)境下無(wú)法使用的困境。Discovery是B/S架構(gòu)，基于大數(shù)據(jù)技術(shù)構(gòu)建，可同時(shí)支持大數(shù)據(jù)平臺(tái)和傳統(tǒng)的RDBMS；提供文本文件、JDBC、Cube、Search等多類型的數(shù)據(jù)源支持；Discovery平臺(tái)架構(gòu)如下：Discovery各個(gè)部分的主要功能如下：模塊組件主要功能數(shù)據(jù)源ERP/CRM支持對(duì)接客戶已有系統(tǒng)CDH/Hortonworks支持對(duì)接其他商用發(fā)行版RDBMS支持對(duì)接常用的關(guān)系型數(shù)據(jù)庫(kù)Excel/CSV支持常用的文本文件格式數(shù)據(jù)預(yù)處理MOLAP C

34、ube配置多維OLAP Cube的維度、指標(biāo)、數(shù)據(jù)更新方式等Search Index配置針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的索引數(shù)據(jù)引擎OLAP Engine支持ROLAP、MOLAP兩種OLAP分析，為上層交互提供Roll up、Drill down、Slice & Dice等支撐AD-hoc Engine針對(duì)關(guān)系型數(shù)據(jù)庫(kù)提供的查詢引擎，支持常見(jiàn)的RDBMS、Hive、Impala等Search Engine針對(duì)非結(jié)構(gòu)化數(shù)據(jù)提供的搜索引擎，支持對(duì)文本、圖片等非結(jié)構(gòu)化數(shù)據(jù)的檢索分析，同時(shí)也支持對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行明細(xì)粒度的分析。BI ServerSecurityBI Server提供針對(duì)訪問(wèn)連接(Https)、身份

35、認(rèn)證等安全保證的功能，確保數(shù)據(jù)安全不外泄。Administration針對(duì)Dashboard、圖表、數(shù)據(jù)預(yù)處理、分享等的權(quán)限控制，同時(shí)支持細(xì)粒度的數(shù)據(jù)訪問(wèn)權(quán)限控制。Business logic提供針對(duì)工作流、配置等的業(yè)務(wù)流程管理。Repository管理數(shù)據(jù)庫(kù)、表、Cube、索引等。交互分析引擎Report Engine通過(guò)可視化界面創(chuàng)建到CSV、RDBMS、Cube和Index的連接，Drag & Drop數(shù)據(jù)源中的維度和指標(biāo)，選擇圖表展現(xiàn)樣式，生成chart。Discovery基于D3渲染圖表，可支持大部分常用的展現(xiàn)形式并支持自定義。Dashboard Designer將Report En

36、gine生成的圖組裝為Dashboard，并提供自定義樣式等的接口。APIDiscovery對(duì)外提供的Dashboard接口和Report接口，方便第三方App將Dashboard和Report整合可視化將API下引擎提供的各類功能封裝為基于Html5的網(wǎng)頁(yè)，支持pc、mobile等展現(xiàn)和下載、分享。數(shù)據(jù)引擎Discovery的數(shù)據(jù)引擎包括OLAP、Ad-hoc和Search三部分，分別面向基于Cube的查詢、即席查詢和明細(xì)搜索三種業(yè)務(wù)場(chǎng)景，并由BI Server進(jìn)行統(tǒng)一調(diào)度。Discovery的OLAP引擎以Discovery的多維數(shù)據(jù)庫(kù)為核心，旨在對(duì)原始數(shù)據(jù)進(jìn)行抽取，轉(zhuǎn)換和加載，支撐Dis

37、covery的在線分析，是Discovery必不可少的一部分。Discovery的OLAP引擎同時(shí)支持ROLAP和MOLAP兩種模式，并且基于Hadoop生態(tài)系統(tǒng)進(jìn)行了針對(duì)性的優(yōu)化。OLAP引擎支持使用離線Cube進(jìn)行數(shù)據(jù)存儲(chǔ)，支持Cube數(shù)據(jù)定時(shí)全量以及增量更新。 Discovery的Ad-hoc引擎基于大數(shù)據(jù)生態(tài)體系的SQL引擎構(gòu)建，支持在海量數(shù)據(jù)集上進(jìn)行分鐘級(jí)別的即席查詢。 Discovery的Search引擎支持對(duì)數(shù)據(jù)進(jìn)行raw data級(jí)別的探索發(fā)現(xiàn)，在可觀的時(shí)間延遲內(nèi)，支持對(duì)原始數(shù)據(jù)集進(jìn)行靈活的數(shù)據(jù)探索分析。BI ServerBI Server支持對(duì)Discovery平臺(tái)內(nèi)的元數(shù)據(jù)

38、、權(quán)限等進(jìn)行統(tǒng)一授權(quán)管理。BI Server可支持行列級(jí)別的數(shù)據(jù)權(quán)限管理。交互分析模塊Discovery的分析模塊以Dashboard為分析的載體，每個(gè)分析中可向Dashboard內(nèi)加入任意數(shù)量的組件和控件。所有分析中的操作均通過(guò)拖拽和點(diǎn)擊完成，無(wú)需寫(xiě)SQL。 支持任意維度和指標(biāo)的切換，可以對(duì)已有的表樣字段進(jìn)行切換，從而進(jìn)行自由分析。任意維度和指標(biāo)切換的功能保障了當(dāng)查看分析的人員在查看分析時(shí)，如果針對(duì)已有的表樣產(chǎn)生額外的分析需求或改變了已有的分析需求，不需要重新制作分析，而可以直接通過(guò)切換維度和指標(biāo)實(shí)現(xiàn)。 可以選擇數(shù)據(jù)快速創(chuàng)建表格或者圖表以使數(shù)據(jù)可視化、添加過(guò)濾條件篩選數(shù)據(jù)，即時(shí)排序，使數(shù)據(jù)分

39、析更快捷。APIDiscovery提供靈活的數(shù)據(jù)接口，對(duì)于有一定開(kāi)發(fā)能力或者已有可視化工具的客戶，Discovery可以通過(guò)標(biāo)準(zhǔn)的數(shù)據(jù)接口對(duì)外輸出經(jīng)過(guò)處理和分析的數(shù)據(jù)，幫組用戶快速的生成定制報(bào)表。平臺(tái)特性基于大數(shù)據(jù)技術(shù)的優(yōu)異性能Discovery是一款真正支持海量大數(shù)據(jù)的BI產(chǎn)品。經(jīng)過(guò)測(cè)試，Discovery對(duì)于分組匯總表的計(jì)算，百億條數(shù)據(jù)規(guī)模，匯總計(jì)算均在3s內(nèi)完成。對(duì)于明細(xì)表的展示，均在1s內(nèi)即可完成。數(shù)據(jù)模型建立簡(jiǎn)單Discovery支持直接連接RDBMS或者Hadoop數(shù)據(jù)倉(cāng)庫(kù)、ROLAP和MOLAP連接Hadoop數(shù)據(jù)倉(cāng)庫(kù)，通過(guò)簡(jiǎn)單的Drag & Drop即可實(shí)現(xiàn)數(shù)據(jù)模型的建立。開(kāi)放

40、架構(gòu)方便集成Discovery可以結(jié)合數(shù)據(jù)倉(cāng)庫(kù)使用，也可以直接連接ERP/CRM等業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源，擴(kuò)展現(xiàn)有系統(tǒng)的功能，更好的利用現(xiàn)有IT資產(chǎn)。Discovery采用開(kāi)放的SOA架構(gòu)，提供了豐富的API接口，能夠方便地融合進(jìn)其他應(yīng)用系統(tǒng)，能方便實(shí)現(xiàn)與第三方系統(tǒng)的用戶和權(quán)限整合。易于非技術(shù)人員使用傳統(tǒng)BI的繁雜之處主要體現(xiàn)在兩個(gè)方面：技術(shù)人員需要花費(fèi)大量時(shí)間準(zhǔn)備數(shù)據(jù)以及業(yè)務(wù)人員基于數(shù)據(jù)偶得的一些分析需求實(shí)現(xiàn)過(guò)程復(fù)雜。Discovery基于明略MDP產(chǎn)品、結(jié)合BI的需求，提供完整的ETL工具協(xié)助用戶自行進(jìn)行數(shù)據(jù)準(zhǔn)備，大大降低了非IT人員使用產(chǎn)品的門檻。實(shí)施周期短、維護(hù)簡(jiǎn)單由于Discovery特有

41、的數(shù)據(jù)準(zhǔn)備模塊，除去原始需求溝通時(shí)間，技術(shù)人員在實(shí)施時(shí)無(wú)需花費(fèi)過(guò)多的時(shí)間來(lái)進(jìn)行數(shù)據(jù)處理，而Discovery特有的建模流程能夠極大的減少需求多變導(dǎo)致的數(shù)據(jù)準(zhǔn)備和溝通交流時(shí)間，真正做到了了實(shí)施周期短，后期也無(wú)需投入過(guò)多的人力和時(shí)間來(lái)維護(hù)系統(tǒng)，解決需求上的變動(dòng)。交互式體驗(yàn)構(gòu)建數(shù)據(jù)視圖視圖是從一個(gè)或多個(gè)實(shí)際表中獲得的，用于產(chǎn)生視圖的表叫做該視圖的基表。一個(gè)視圖就是行和列的集合，一般由以下組件組成：標(biāo)題、軸、區(qū)、單元格和標(biāo)記。提供以下幾個(gè)功能模塊來(lái)幫助用戶構(gòu)建數(shù)據(jù)視圖：拖動(dòng)字段用戶可以通過(guò)將字段從數(shù)據(jù)窗口拖到視圖中來(lái)構(gòu)建數(shù)據(jù)視圖。用戶可將字段拖到視圖中的各種活動(dòng)區(qū)域，或者將字段放置在功能面板上。若要從

42、功能面板移除字段，可將該字段從面板拖出，或點(diǎn)擊字段后的“X”標(biāo)簽。篩選用戶可使用篩選器來(lái)縮小視圖中的數(shù)據(jù)范圍。通過(guò)選擇特定維度成員或特定度量范圍，可以定義出具體的篩選器。例如，可在顯示四個(gè)不同地區(qū)產(chǎn)品銷售額的視圖上進(jìn)行篩選，篩選后只顯示用戶關(guān)心的兩個(gè)地區(qū)。排序支持計(jì)算排序和手動(dòng)排序。用戶可使用排序進(jìn)一步完善自己的視圖，并精確提取所需要的信息。采用計(jì)算排序方式排序時(shí)，出現(xiàn)在工作表上的每個(gè)維度都可獨(dú)立于任何其他維度進(jìn)行排序。采用手動(dòng)排序時(shí)，可以重新安排表中維度成員的順序，方法是拖動(dòng)這些維度成員，并控制這些成員在表中的排列順序。圖表類型Discovery中的圖表使用Echarts+D3組合方案實(shí)現(xiàn)。ECharts基于HTML5 Canvas，是一個(gè)開(kāi)源的純JavaScript圖表庫(kù)，有比較完備的基礎(chǔ)圖表類型，因此選擇ECharts作為Discovery基礎(chǔ)圖表類型的圖表庫(kù)。D3是基于JavaScript技術(shù)實(shí)現(xiàn)的圖表的函數(shù)庫(kù)，故D3也常被稱做D3.js。D3.js提供了大量原生的可視化效果，非帯適合根據(jù)實(shí)際可視化