互聯(lián)網(wǎng)數(shù)據(jù)@騰訊_2014

1、提綱 數(shù)據(jù)架構(gòu) 互聯(lián)網(wǎng)特點 構(gòu)建高性能數(shù)據(jù)分析架構(gòu) 數(shù)據(jù)倉庫（養(yǎng)數(shù)據(jù)） 數(shù)據(jù)應用（用數(shù)據(jù)） 指標搭建 業(yè)務分析模型 用戶挖掘模型 輔助決策特點：增長快、體量大、業(yè)務多、敏捷業(yè)務形態(tài) 增長快 體量大 業(yè)務多 敏捷分析能力 TB級增量數(shù)據(jù) PB級計算 實時計算需求 小時級報表實施 天級挖掘應用數(shù)據(jù)分析 工作內(nèi)容指標體系計算模型提取業(yè)務數(shù)據(jù)解讀、分析報表輸出數(shù)據(jù)提取流程建設橫向數(shù)據(jù)報表分析報告外掛、安全打擊推薦考核指標身份體系Profile用戶行為機能庫計算平臺展示平臺數(shù)據(jù)提取工具業(yè)務分析數(shù)據(jù)應用數(shù)據(jù)倉庫工具平臺高性能數(shù)據(jù)分析架構(gòu)細節(jié)一：SDK部分技術(shù)架構(gòu)SDK策略server上報接收server策

2、略配置探測資源池LB中間層展示庫終端移動網(wǎng)絡APN管道實時入庫基礎服務移動IP庫身份庫機能庫數(shù)據(jù)存儲計算云展示平臺TDW集群HQL計算聚類模型應用展現(xiàn)kafka消息serverstorm流式計算實時計算數(shù)據(jù)共享分發(fā)Hive集群細節(jié)二：零代碼開發(fā)，自動化運維 可視化拖拽+邏輯SQL = 零代碼細節(jié)三，以數(shù)據(jù)流為中心 數(shù)據(jù)任務 = 規(guī)范 + 配置項數(shù)據(jù)倉庫養(yǎng)數(shù)據(jù)MIG身份庫機能庫數(shù)平QQ畫像IP庫LBS庫p QQ畫像內(nèi)容豐富；公司內(nèi)都可用；p 業(yè)務群也會有自己的一些數(shù)據(jù)；p 數(shù)據(jù)質(zhì)量非常重要，用和養(yǎng)互相推動；今天的綱要 數(shù)據(jù)架構(gòu) 互聯(lián)網(wǎng)特點分析 構(gòu)建高性能數(shù)據(jù)分析架構(gòu) 數(shù)據(jù)倉庫（養(yǎng)數(shù)據(jù)） 數(shù)據(jù)應用

3、（用數(shù)據(jù)） 指標體系 業(yè)務分析模型 用戶挖掘模型 輔助決策從干系人角度來看指標體系產(chǎn)品經(jīng)理的疑惑 哪些是我們的潛在用戶？ 用戶流失原因是功能問題嗎？如何挽留？ 廣告需要精細化，避免用戶騷擾 用戶只能按arpu分類？ 用戶對分類推薦不感興趣，點擊率低用戶產(chǎn)品分析目標業(yè)務分析模型和用戶挖掘模型在線模型流動模型漏斗模型路徑模型拉新模型流失模型關(guān)聯(lián)模型病毒模型業(yè)務分析模型概覽模型分析目標在線模型業(yè)務活躍曲線及用戶形態(tài)流動模型業(yè)務健康度漏斗模型營銷類路徑模型用戶行為分析在線模型，平臺類業(yè)務的關(guān)鍵流動模型，體現(xiàn)業(yè)務整體健康度歷史用戶歷史用戶（1年內(nèi)開通過，上月末非開通）回流率回流率5.12%5.12%A

4、A業(yè)務用戶業(yè)務用戶（上月末用戶數(shù)）留存率留存率76.34%76.34%版本流失率版本流失率23.66%23.66%流失用戶流失用戶本月本月B B業(yè)務業(yè)務新注冊用戶新注冊用戶A A業(yè)務用戶業(yè)務用戶（本月）（本月）新注冊拉新占新注冊拉新占0.47%0.47%本月本月B B業(yè)務業(yè)務活躍用戶活躍用戶拉新占拉新占17.31%17.31%非非B B業(yè)務業(yè)務用戶用戶非非B B業(yè)務新開占業(yè)務新開占1.15%1.15%漏斗模型，渠道分析的利器曝光點擊下載激活路徑模型，功能行為分析數(shù)據(jù)挖掘的例子年齡在2023之間、最近一個月通過PC側(cè)A平臺大于5次并且最近一個月關(guān)閉了B業(yè)務C功能的白領(lǐng)用戶，屬于高流失概率用戶，屬

5、于高流失概率用戶，流失流失概概率率27%27%年齡在1417之間、最近一個月在A平臺B頻道訪問超過3次的男性用戶，喜歡喜歡C C類游戲類游戲的的概概率較高，對其率較高，對其推薦推薦成功成功概率為概率為3333% %年齡在1720之間、流失前未使用任何F功能、存活周期小于30天并且最近一個月使用B業(yè)務超過3天的女性用戶，通過通過C C功能提醒關(guān)懷，功能提醒關(guān)懷，回流回流概率較高，回流概率較高，回流概率概率25%25%用戶挖掘模型概覽模型分析目標常用算法拉新模型尋找對產(chǎn)品有興趣的潛在用戶進行推廣拉新分類：決策樹、Logistic回歸、神經(jīng)網(wǎng)絡流失模型提前預測用戶流失概率，做好挽留關(guān)聯(lián)模型內(nèi)容推送（

6、音樂、商品、書籍等）關(guān)聯(lián)規(guī)則、協(xié)同過濾病毒模型關(guān)系鏈推薦傳播關(guān)聯(lián)規(guī)則、協(xié)同過濾拉新模型，用于潛在渠道挖掘流失模型，目的在于挽留數(shù)據(jù)模型策略基礎屬性興趣屬性行為屬性渠道屬性預測：流失概率預測：挽留成功概率挽留價值 = 客戶價值 流失概率 挽留 成功概率優(yōu)先對挽留價值大的客戶實施挽留挽留分析-算法建模1智能標簽特征識別3用戶分群細化運營2關(guān)懷營銷減少騷擾挽留分析-模型命中優(yōu)化四倍提升挽留實施效果2011.2月1、關(guān)懷通知2、老用戶分級特權(quán)挽留關(guān)聯(lián)模型在推薦上的廣泛應用算法復雜度音樂推薦Lift值越高，相關(guān)性越強，推薦效果高基于關(guān)系鏈的病毒模型 又稱雪崩模型，口碑模型 來源于社交網(wǎng)絡關(guān)系鏈 幾何級蔓