移動大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)金融獲客

移動大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)金融獲客及經(jīng)營中的應(yīng)用互聯(lián)網(wǎng)金融面對的？什么是互聯(lián)網(wǎng)金融

互聯(lián)網(wǎng)金融“寶寶”網(wǎng)上金融超市P2P互聯(lián)網(wǎng)金融需要解決的問題問題產(chǎn)品銷售線上平臺流量案例分析諸多的功能，在客戶的喜好和公司利潤方面如何平衡？諸多的投放渠道，如何選擇，大咖一定高效嗎？諸多的頁面，頁面順序與客戶習(xí)慣的關(guān)系？諸多的用戶，在異常出現(xiàn)時(shí)如何在漫天吐槽前發(fā)現(xiàn)？諸多的用戶，如何精準(zhǔn)找到金融產(chǎn)品的目標(biāo)客戶群？解決方案

數(shù)據(jù)處理技術(shù)移動數(shù)據(jù)大數(shù)據(jù)大數(shù)據(jù)技術(shù)以及架構(gòu)什么是移動大數(shù)據(jù)

OnlineVelocityValueVarietyVolume大數(shù)據(jù)處理技術(shù)大數(shù)據(jù)處理技術(shù)傳統(tǒng)技術(shù)體系和缺陷大數(shù)據(jù)量查詢速度慢大集群構(gòu)建成本高昂多維交叉計(jì)算能力低效架構(gòu)不靈活無法自定義指標(biāo)大數(shù)據(jù)處理技術(shù)以Bitmap計(jì)算替換原始日志掃描（優(yōu)化存儲，降低成本）HashjoinhashtableLLocationSLocationHashjoinhashtableAAgentHashjoinhashtableCCustomer高效的內(nèi)存計(jì)算（優(yōu)化速度，優(yōu)化功能）優(yōu)化：邏輯計(jì)算等價(jià)優(yōu)化：串行改并行大表Join操作的難點(diǎn)和解決思路：Bitmap大數(shù)據(jù)處理技術(shù)Bitmap是什么Bitmapindexeshavetraditionallybeenconsideredtoworkwellforlow-cardinalitycolumns,whichhaveamodestnumberofdistinct

values,eitherabsolutely,orrelativetothenumberofrecordsthatcontainthedata.

……h(huán)ttp:///wiki/Bitmap_index#cite_note-ewah-13大數(shù)據(jù)處理技術(shù)Bitmap的生成大數(shù)據(jù)處理技術(shù)Bitmap的實(shí)現(xiàn)、壓縮算法和參考原生Bitmap（java）WAH（Word-AlignedHybrid）

https:///p/javaewah/ConciseSet（TalkingData）

https:///metamx/extendedsetFastBit（Vertica）https:///fastbit/參考資料http:///wiki/Bitmap_index大數(shù)據(jù)處理技術(shù)BitmapvsHive（次日留存）leftouterjoin(selectdevidfromactiveuserwherejob_time=20141008001501andproductid=3012470groupbydevid)lon(n.devid=l.devid)wherel.devidisnotnull;(selectdevidfromnewuserwherejob_time=20141007001501andproductid=3012470)nselectcount(*)from大數(shù)據(jù)處理技術(shù)BitmapvsHive172672904904172672大數(shù)據(jù)處理技術(shù)500

T0.9

T500

T0.9

TBitmapvsHive大數(shù)據(jù)處理技術(shù)架構(gòu)統(tǒng)計(jì)分析系統(tǒng)/標(biāo)簽&人群洞察系統(tǒng)統(tǒng)計(jì)分析系統(tǒng)介紹統(tǒng)計(jì)分析系統(tǒng)統(tǒng)計(jì)分析系統(tǒng)數(shù)據(jù)處理總線統(tǒng)計(jì)分析系統(tǒng)ETL框架Bitmap引擎（join）Counter引擎（count、sum）數(shù)據(jù)處理模塊統(tǒng)計(jì)分析系統(tǒng)數(shù)據(jù)處理單元統(tǒng)計(jì)分析系統(tǒng)DAG概念概念說明Batch以時(shí)間（分鐘）為單元的處理過程，指整個處理的全部步驟。MicroBatch本系統(tǒng)采用最小時(shí)間片為分鐘的處理模式。Task每個Node節(jié)點(diǎn)執(zhí)行的任務(wù)是Task，由輸入（InputSchema），計(jì)算過程（Process）和輸出組成（OutputSchema）DAG有向無循環(huán)圖，用于邏輯上定義整個數(shù)據(jù)處理過程，可以分解成多個小的DAG過程（原子化的DAG可以看成一個Pipeline）NodeDAG圖上的一個節(jié)點(diǎn)，可以認(rèn)為是一個計(jì)算單元，可以是ETL、Counter或者其他任意計(jì)算節(jié)點(diǎn)。EdgeDAG圖上的一條邊，標(biāo)明了數(shù)據(jù)處理的方向，兩端定義輸入輸出的Schema。統(tǒng)計(jì)分析系統(tǒng)元數(shù)據(jù)含義包含關(guān)系Domain定義元數(shù)據(jù)的業(yè)務(wù)域，例如Analytics1個域有多個FactTableFactTable定義OLAP輸入數(shù)據(jù)的Schema1個事實(shí)表有多個Column1個事實(shí)表有多個CubeColumn定義FactTable的字段屬性1個Column有多個ConstraintConstraint字段約束Cube定義數(shù)據(jù)立方體，由Metric和Dimension組成，是OLAP引擎的核心概念1個Cube擁有一個MetricMetric度量，在本系統(tǒng)中主要實(shí)現(xiàn)了count()、sum()、count(distinct())等多種度量能力1個Metric只能有一個處理引擎1個Metric可以有多種Dimension組合Dimension維度，表明在FactTable的哪些Column上進(jìn)行統(tǒng)計(jì)Engine引擎枚舉變量。目前僅支持count、bitmap個引擎。元數(shù)據(jù)統(tǒng)計(jì)分析系統(tǒng)?(Dimension(s),Metric(onFactTable))?定義了計(jì)算引擎，例如是counter引擎還是Bitmap引擎。FactTable定義了輸入數(shù)據(jù)。Metric定義了哪個字段為度量。Dimension(s)定義了哪些字段為維度。計(jì)算引擎根據(jù)以上的定義進(jìn)行計(jì)算、存儲。OLAP模型統(tǒng)計(jì)分析系統(tǒng)數(shù)據(jù)展現(xiàn)模塊類SQL語句（hql）select

'launchusergroup'

on

'sequencenumber','developerid','producttype','platformid','appversion','partnerid','sessionstart_day'

where

'developerid'=3007122

and

'sequencenumber'='1A385F2F31D92B2F2456785A1A05FDE0'

and

'platformid'=1

and

'producttype'=16

and

'sessionstart_day'

morethan

20130609

and

'sessionstart_day'

lessthan

20130809

groupby

'sessionstart_day'

orderby

'sessionstart_day';靈活的腳本定制能力Groovy統(tǒng)計(jì)分析系統(tǒng)數(shù)據(jù)處理時(shí)序統(tǒng)計(jì)分析系統(tǒng)使用案例自定義指標(biāo)（頁面訪問） <schema>sequencenumber,platformid,partnerid,developerid,devId,productid,sessionId,starttime,duration,versionName,versionCode,sdkVersion,refpagename,pagename,advertisingID,appStoreID,cracked,mobile,pixel,osVersion,os,mapn_mcc,mapn_mnc,isp,ip,country,channel,jailbroken,language</schema> collectordataschema自定義指標(biāo)（頁面訪問）ETLFactTable字段名稱類型約束developeridint

productidint

platformidint

partneridint

appversionstring50tduseridlong

refpagenameidint

pagenameidint

durationint

sessionidstring128starttimelong

starttime_hourint

自定義指標(biāo)（頁面訪問）計(jì)算引擎MetricMetricName字段引擎計(jì)算類型pagecountpagenameidcountercountdurationsumdurationcountersumpageusergrouptduseridbitmapgroupDimensionName字段1productid,platformid,refpagenameid,pagenameid,starttime_day2developerid,productid,platformid,pagenameid,starttime_day計(jì)算引擎

Dimension自定義指標(biāo)（頁面訪問）計(jì)算引擎CubeCubeNameMetricNameDimensionNamePage_refer_visitpagecount1Page_visitpagecount2Page_stay_durationdurationsum2Page_visit_userpageusergroup2Cube表結(jié)構(gòu)示例自定義指標(biāo)（頁面訪問）

查詢指標(biāo)頁面訪問次數(shù)Selectcount（metric_value）fromPage_visitwherestarttime_day=20150401;

頁面停留時(shí)長Selectsum（metric_value）fromPage_stay_durationwherestarttime_day=20150401;

頁面訪問人數(shù)Selectsum（metric_value）fromPage_visit_userwherestarttime_day=20150401;

標(biāo)簽&人群洞察系統(tǒng)介紹ID映射統(tǒng)一ID設(shè)備IDCookie賬號ID設(shè)備IDMacIDFAAndroidIDIMEI標(biāo)簽&人群洞察系統(tǒng)標(biāo)簽體系第三方興趣數(shù)據(jù)第一方用戶數(shù)據(jù)營銷活動數(shù)據(jù)潛在辦卡人群潛在綁卡人群潛在安裝人群潛在商品購買人群潛在活動參與人群潛在交叉購買人群持續(xù)優(yōu)化人群洞察人群洞察Select

count（*）

from

userwhere

user.興趣=‘愛電影’anduser.性別=‘男性’andanduser.地點(diǎn)<‘北京’;興趣=“愛電影”性別=“男性”地點(diǎn)=“北京”011001AND011001011111AND011001=Bitmap完成人群洞察結(jié)果標(biāo)簽關(guān)聯(lián)度標(biāo)簽關(guān)聯(lián)度/人群預(yù)測算法輸入數(shù)據(jù)：d1:a1,a2,a3,a5d2:a2,a4,a5d3:a1,a4,a5d4:a3,a4,a5d5:a1,a2,a3,a5d6:a2,a3,a4,a5d7:a1,a2,a4d8:a2,a3,a5