互聯(lián)網(wǎng)數(shù)據(jù)分析@騰訊

互聯(lián)網(wǎng)數(shù)據(jù)分析@騰訊提綱數(shù)據(jù)架構(gòu)互聯(lián)網(wǎng)特點(diǎn)構(gòu)建高性能數(shù)據(jù)分析架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)（養(yǎng)數(shù)據(jù)）數(shù)據(jù)應(yīng)用（用數(shù)據(jù)）指標(biāo)搭建業(yè)務(wù)分析模型用戶(hù)挖掘模型輔助決策特點(diǎn)：增長(zhǎng)快、體量大、業(yè)務(wù)多、敏捷業(yè)務(wù)形態(tài)增長(zhǎng)快體量大業(yè)務(wù)多敏捷分析能力TB級(jí)增量數(shù)據(jù)PB級(jí)計(jì)算實(shí)時(shí)計(jì)算需求小時(shí)級(jí)報(bào)表實(shí)施天級(jí)挖掘應(yīng)用數(shù)據(jù)分析–工作內(nèi)容業(yè)務(wù)分析指標(biāo)體系計(jì)算模型提取業(yè)務(wù)數(shù)據(jù)解讀、分析報(bào)表輸出數(shù)據(jù)提取流程建設(shè)數(shù)據(jù)應(yīng)用橫向數(shù)據(jù)報(bào)表分析報(bào)告外掛、安全打擊推薦考核指標(biāo)數(shù)據(jù)倉(cāng)庫(kù)身份體系Profile用戶(hù)行為機(jī)能庫(kù)工具平臺(tái)計(jì)算平臺(tái)展示平臺(tái)數(shù)據(jù)提取工具高性能數(shù)據(jù)分析架構(gòu)細(xì)節(jié)一：SDK部分技術(shù)架構(gòu)SDK策略server上報(bào)接收server策略配置探測(cè)資源池LB中間層展示庫(kù)終端移動(dòng)網(wǎng)絡(luò)APN管道實(shí)時(shí)入庫(kù)基礎(chǔ)服務(wù)移動(dòng)IP庫(kù)身份庫(kù)機(jī)能庫(kù)數(shù)據(jù)存儲(chǔ)計(jì)算云展示平臺(tái)TDW集群HQL計(jì)算聚類(lèi)模型應(yīng)用展現(xiàn)kafka消息serverstorm流式計(jì)算實(shí)時(shí)計(jì)算數(shù)據(jù)共享分發(fā)Hive集群細(xì)節(jié)二：零代碼開(kāi)發(fā)，自動(dòng)化運(yùn)維可視化拖拽+邏輯SQL=零代碼細(xì)節(jié)三，以數(shù)據(jù)流為中心數(shù)據(jù)任務(wù)=規(guī)范+配置項(xiàng)數(shù)據(jù)倉(cāng)庫(kù)—養(yǎng)數(shù)據(jù)MIG身份庫(kù)機(jī)能庫(kù)數(shù)平QQ畫(huà)像IP庫(kù)LBS庫(kù)QQ畫(huà)像內(nèi)容豐富；公司內(nèi)都可用；業(yè)務(wù)群也會(huì)有自己的一些數(shù)據(jù)；數(shù)據(jù)質(zhì)量非常重要，用和養(yǎng)互相推動(dòng)；……今天的綱要數(shù)據(jù)架構(gòu)互聯(lián)網(wǎng)特點(diǎn)分析構(gòu)建高性能數(shù)據(jù)分析架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)（養(yǎng)數(shù)據(jù)）數(shù)據(jù)應(yīng)用（用數(shù)據(jù)）指標(biāo)體系業(yè)務(wù)分析模型用戶(hù)挖掘模型輔助決策從干系人角度來(lái)看指標(biāo)體系產(chǎn)品經(jīng)理的疑惑哪些是我們的潛在用戶(hù)？用戶(hù)流失原因是功能問(wèn)題嗎？如何挽留？廣告需要精細(xì)化，避免用戶(hù)騷擾用戶(hù)只能按arpu分類(lèi)？用戶(hù)對(duì)分類(lèi)推薦不感興趣，點(diǎn)擊率低用戶(hù)產(chǎn)品分析目標(biāo)業(yè)務(wù)分析模型和用戶(hù)挖掘模型在線(xiàn)模型流動(dòng)模型漏斗模型路徑模型拉新模型流失模型關(guān)聯(lián)模型病毒模型業(yè)務(wù)分析模型概覽模型分析目標(biāo)在線(xiàn)模型業(yè)務(wù)活躍曲線(xiàn)及用戶(hù)形態(tài)流動(dòng)模型業(yè)務(wù)健康度漏斗模型營(yíng)銷(xiāo)類(lèi)路徑模型用戶(hù)行為分析在線(xiàn)模型，平臺(tái)類(lèi)業(yè)務(wù)的關(guān)鍵流動(dòng)模型，體現(xiàn)業(yè)務(wù)整體健康度歷史用戶(hù)（1年內(nèi)開(kāi)通過(guò)，上月末非開(kāi)通）回流率5.12%A業(yè)務(wù)用戶(hù)（上月末用戶(hù)數(shù)）留存率76.34%版本流失率23.66%流失用戶(hù)本月B業(yè)務(wù)新注冊(cè)用戶(hù)A業(yè)務(wù)用戶(hù)（本月）新注冊(cè)拉新占0.47%本月B業(yè)務(wù)活躍用戶(hù)拉新占17.31%非B業(yè)務(wù)用戶(hù)非B業(yè)務(wù)新開(kāi)占1.15%漏斗模型，渠道分析的利器曝光點(diǎn)擊下載激活路徑模型，功能行為分析數(shù)據(jù)挖掘的例子年齡在20~23之間、最近一個(gè)月通過(guò)PC側(cè)A平臺(tái)大于5次并且最近一個(gè)月關(guān)閉了B業(yè)務(wù)C功能的白領(lǐng)用戶(hù)，屬于高流失概率用戶(hù)，流失概率27%年齡在14~17之間、最近一個(gè)月在A平臺(tái)B頻道訪(fǎng)問(wèn)超過(guò)3次的男性用戶(hù)，喜歡C類(lèi)游戲的概率較高，對(duì)其推薦成功概率為33%年齡在17~20之間、流失前未使用任何F功能、存活周期小于30天并且最近一個(gè)月使用B業(yè)務(wù)超過(guò)3天的女性用戶(hù)，通過(guò)C功能提醒關(guān)懷，回流概率較高，回流概率25%用戶(hù)挖掘模型概覽模型分析目標(biāo)常用算法拉新模型尋找對(duì)產(chǎn)品有興趣的潛在用戶(hù)進(jìn)行推廣拉新分類(lèi)：決策樹(shù)、Logistic回歸、神經(jīng)網(wǎng)絡(luò)流失模型提前預(yù)測(cè)用戶(hù)流失概率，做好挽留關(guān)聯(lián)模型內(nèi)容推送（音樂(lè)、商品、書(shū)籍等）關(guān)聯(lián)規(guī)則、協(xié)同過(guò)濾病毒模型關(guān)系鏈推薦傳播關(guān)聯(lián)規(guī)則、協(xié)同過(guò)濾拉新模型，用于潛在渠道挖掘流失模型，目的在于挽留數(shù)據(jù)模型策略基礎(chǔ)屬性興趣屬性行為屬性渠道屬性預(yù)測(cè)：流失概率預(yù)測(cè)：挽留成功概率挽留價(jià)值=客戶(hù)價(jià)值×流失概率×挽留成功概率優(yōu)先對(duì)挽留價(jià)值大的客戶(hù)實(shí)施挽留挽留分析-算法建模1智能標(biāo)簽特征識(shí)別3用戶(hù)分群細(xì)化運(yùn)營(yíng)2關(guān)懷營(yíng)銷(xiāo)減少騷擾挽留分析-模型命中優(yōu)化四倍提升挽留實(shí)施效果2011.2月1、關(guān)懷通知2、老用戶(hù)分級(jí)特權(quán)挽留關(guān)聯(lián)模型在推薦上的廣泛應(yīng)用算法復(fù)雜度音樂(lè)推薦Lift值越高，相關(guān)性越強(qiáng)，推薦效果高基于關(guān)系鏈的病毒模型又稱(chēng)雪崩模型，口碑模型來(lái)源于社交網(wǎng)絡(luò)關(guān)系鏈幾何級(jí)蔓延