TalkingData營(yíng)銷云實(shí)時(shí)計(jì)算框架

1、天下?tīng)I(yíng)銷，唯快不破TalkingData營(yíng)銷云實(shí)時(shí)計(jì)算框架智能數(shù)據(jù)時(shí)代的來(lái)臨VolumeVelocityValueVeracityVariety數(shù)據(jù)數(shù)據(jù)體量數(shù)據(jù)多樣性數(shù)據(jù)時(shí)效性數(shù)據(jù)準(zhǔn)確性數(shù)據(jù)價(jià)值不“快”不“行”處理服務(wù)收集為什么要“快”？什 么 叫 “ 快 ”？ “快”的代價(jià)是什么？智能數(shù)據(jù)在廣告行業(yè)的實(shí)踐-營(yíng)銷云客群構(gòu)建上傳構(gòu)建人群POI構(gòu)建人群標(biāo)簽構(gòu)建人群Lookalike畫(huà)像洞察人口屬性終端屬性地理位置屬性行業(yè)指數(shù)客群營(yíng)銷廣告投放平臺(tái)EDMSMSCall Center效果評(píng)估觸達(dá)分析效果監(jiān)測(cè)營(yíng)銷云-挑戰(zhàn)數(shù)據(jù)的組織和規(guī)劃CollectbatchstreamIngest- magpiePre

2、pare- labelingserviceAnalyze- sampling servicePublishseagullsnipeAct- injecting serviceTalkingData 標(biāo)簽體系人口屬性：包含性別、年齡等人的基本特征 資產(chǎn)情況：車輛、房產(chǎn)、收入等資產(chǎn)特征 興趣特征：閱讀資訊、運(yùn)勱健康等興趣偏好 消費(fèi)特征：網(wǎng)上/線下消費(fèi)類別品牌等特征 位置特征：常駐城市、職住距離等設(shè)備屬性：所使用終端的特性等共有6大類，超過(guò)800個(gè)受眾定向標(biāo)簽，這些標(biāo)簽關(guān)聯(lián)的設(shè)備累加起來(lái)超過(guò)700億。如何利用這些標(biāo)簽為用戶提供快速的標(biāo)簽人群構(gòu)建，對(duì)人群進(jìn)行多維度的快速畫(huà)像是一個(gè)挑戰(zhàn)數(shù)據(jù)的BitMap

3、化Atom OLAP Cube:OLAP-Cube: multi-dimensional array of data數(shù)據(jù)的BitMap化計(jì)算：標(biāo)簽的BitMap運(yùn)算cityBitmap北京bitmap1天津bitmap2deviceBitmap蘋果bitmap3華為bitmap4計(jì)算：SELECT Device Where city=北京 and device=蘋果 運(yùn)算轉(zhuǎn)變成：Bitmap1 and bitmap3優(yōu)勢(shì)：存儲(chǔ)減少計(jì)算快支持join使用Spark做人群構(gòu)建，畫(huà)像TalkingData是把設(shè)備標(biāo)簽數(shù)據(jù)進(jìn)行了BitMap化處理，利用BitMap的快速And, Or運(yùn)算能力來(lái)做標(biāo)簽人

4、群構(gòu) 建和人群畫(huà)像。雖然Bitmap對(duì)數(shù)據(jù)有很好的壓縮能力，但是因?yàn)門alkingData積累的移勱設(shè)備數(shù)量龐大，生成的Bitmap很多都是幾百兆， 用來(lái)構(gòu)建、畫(huà)像的的Bitmap數(shù)據(jù)依然很大。最開(kāi)始的實(shí)現(xiàn)方案是把生成的Bitmap存在HDFS上，使用Spark集群來(lái)做這些運(yùn)算，但是運(yùn)算速遞，特別是 畫(huà)像速遞幵丌理想。 一個(gè)一千萬(wàn)人群構(gòu)建大概需要5分鐘， 畫(huà)像常常需要1個(gè)小時(shí)才完成。RocksDB是一個(gè)高性能的KV存儲(chǔ)系統(tǒng)，讀寫(xiě)性能很優(yōu)越，使用磁盤做存儲(chǔ)。比較適合我們這種Bitmap數(shù)量比 較多，總數(shù)據(jù)量大，又需要快速讀寫(xiě)的場(chǎng)景。 于是我們開(kāi)始調(diào)研RocksDB, 嘗試使用RocksDB來(lái)解決

5、人群構(gòu)建 和畫(huà)像的性能問(wèn)題。RocksDB計(jì)算引擎 架構(gòu)Bitmap Proxy（app layer proxy）Round-Robin機(jī)制發(fā)送請(qǐng)求；Rest Service（computing layer proxy） 提供基于表達(dá)式的bitmap的and，or，xor， count等REST服務(wù)接口；Bitmap Server（computing engine） 提供分布式bitmap計(jì)算能力，計(jì)算完成時(shí)同時(shí) 將操作結(jié)果進(jìn)行存儲(chǔ)；RocksDB（persistence layer）Key-Value存儲(chǔ)系統(tǒng)Rest ServiceBitmap ServerRocksDBRest Servi

6、ceBitmap ServerBitmap ProxyRocksDBRocksDBRocksDBRocksDBRocksDBRocksDBRocksDBRocksDB計(jì)算引擎 bitmap數(shù)據(jù)分片offset10001.10001.00011.11100.00010.2000000004000000006000000008000000001000000000 1200000000 1400000000 1600000000 1800000000000011.01010.10001.01000.11100.01010.10001.00110.00010.11100. 20000000000100

7、0.00110.01010.01010.11100.Horizontal ShardingRocksDB計(jì)算引擎 bitmap抽樣能力10億15億25億30億35億40億offset數(shù)量5億20億數(shù)據(jù)體量龐大，單一維度精度要求相對(duì)不高服務(wù)場(chǎng)景（例如數(shù)據(jù)交叉比對(duì)）某維度原始數(shù)據(jù)分布曲線抽樣后的數(shù)據(jù)分布曲線地理圍欄人群預(yù)估能力geo-fencegeohash-1bitmap-1geohash-2bitmap-2geohash-nbitmap-n實(shí)時(shí)廣告投放查詢構(gòu)建的人群BitMapVertica設(shè)備匘配服務(wù)BloomFilter媒體設(shè)備歸屬人群查詢歸屬人群列表營(yíng)銷云技術(shù)指標(biāo)功能模塊功能描述數(shù)據(jù)量處理時(shí)間人群構(gòu)建服務(wù)標(biāo)簽構(gòu)建1 億設(shè)備 5 secs上傳構(gòu)建1 億設(shè)備100萬(wàn)2000萬(wàn) 15 mins人群預(yù)估方圓5公里(1百萬(wàn)設(shè)備量) 1 sec人群畫(huà)像服務(wù)15個(gè)維度（1億設(shè)備量） 2 mins數(shù)據(jù)投放服務(wù)5種ID類型（1 億設(shè)備量） 10 mins前置機(jī)服務(wù)RTB查詢5億設(shè)備 5 ms（6000