大數(shù)據(jù)在B2C電商中的應(yīng)用 課件

大數(shù)據(jù)在B2C電商中的應(yīng)用——張昊旅游事業(yè)部頻道組大數(shù)據(jù)在B2C電商中的應(yīng)用——張昊舉例“推薦系統(tǒng)之王”

“InstantPersonalization”

應(yīng)用中心的智能算法好友推薦、親密度模型、好友智能分組……定向廣告算法、個性化推薦2…舉例“推薦系統(tǒng)之王”“InstantPersonaliz大數(shù)據(jù)相關(guān)應(yīng)用3用戶行為分析價格預(yù)測推薦系統(tǒng)評分預(yù)測問題流量分析供應(yīng)鏈管理實時定制報表廣告精準(zhǔn)投放行業(yè)信息監(jiān)控評論挖掘分析傳播熱點分析銷量預(yù)測CRM社會化圖譜挖掘LBS大數(shù)據(jù)相關(guān)應(yīng)用3用戶行為分析價格預(yù)測推薦系統(tǒng)評分預(yù)測問題流量推薦系統(tǒng)4推薦系統(tǒng)4流程架構(gòu)推薦系統(tǒng)5…用戶行為數(shù)據(jù)庫用戶屬性數(shù)據(jù)庫行為提取行為特征轉(zhuǎn)換特征向量特征物品相關(guān)推薦候選物品集合相關(guān)表1相關(guān)表2相關(guān)表N初始推薦結(jié)果過濾排序推薦解釋選擇最終推薦結(jié)果用戶行為反饋物品屬性ABC流程架構(gòu)推薦系統(tǒng)5…用戶行為數(shù)據(jù)庫用戶屬性數(shù)據(jù)庫行為提取行為推薦系統(tǒng)6協(xié)同過濾算法（CF）-UserCF/ItemCF奇異值分解(SVD）/隱語義模型（LFM）對分網(wǎng)絡(luò)/二分圖模型利用UGC標(biāo)簽利用上下文社會化推薦（socialrecommendation)算法融合機器學(xué)習(xí)從準(zhǔn)確性到多樣性推薦算法簡介推薦系統(tǒng)6協(xié)同過濾算法（CF）-UserCF/ItemCF奇推薦系統(tǒng)7協(xié)同過濾算法——基于商品/用戶間的相似度UserbasedCFItembasedCF余弦距離Jaccard距離歐氏距離海明距離推薦系統(tǒng)7協(xié)同過濾算法——基于商品/用戶間的相似度UserUserbasedCFItembasedCF推薦系統(tǒng)8典型應(yīng)用新聞推薦電子商務(wù)、圖書/電影推薦推薦原理有共同愛好的用戶喜歡與用戶之前喜歡的物品類似推薦結(jié)果小群體的熱點用戶的興趣傳承個性化要求不太明顯強烈內(nèi)容數(shù)量多較少更新速度快較慢適用領(lǐng)域時效性強、個性化不明顯長尾豐富、個性化需求強烈舉例GroupLens、DiggAmazon、Netflix用戶的新行為推薦結(jié)果不一定立即變化推薦結(jié)果實時變化推薦解釋難容易以歷史行為解釋協(xié)同過濾算法UserbasedCFItembasedCF推薦系統(tǒng)推薦系統(tǒng)9奇異值分解——探索相似度背后隱含根源分類1分類2分類3興趣1XXXXXXXXX興趣2XXXXXXXXX興趣3XXXXXXXXX推薦系統(tǒng)9奇異值分解——探索相似度背后隱含根源分類1分類2分推薦系統(tǒng)10二分圖模型——一個游走在用戶和商品之間的爬蟲高相似性的判斷標(biāo)準(zhǔn)：兩個頂點間有很多路徑相連；連接兩個頂點間的路徑長度都比較短；連接兩個頂點間的路徑不會出現(xiàn)大的頂點；推薦系統(tǒng)10二分圖模型——一個游走在用戶和商品之間的爬蟲高相推薦系統(tǒng)11算法總結(jié)用戶用戶商品特征商品喜歡、購買有相似興趣的好友喜歡、具有相似喜歡包含相似性判斷特征聚類推薦系統(tǒng)11算法總結(jié)用戶用戶商品特征商品喜歡、購買有相似興趣推薦系統(tǒng)12預(yù)測準(zhǔn)確度用戶滿意度覆蓋率多樣性新穎性驚喜度信任度實時性健壯性商業(yè)目標(biāo)系統(tǒng)評測離線實驗（offlineexperiment)用戶調(diào)查（userstudy）在線實驗（onlineexperiment）推薦系統(tǒng)12預(yù)測準(zhǔn)確度系統(tǒng)評測離線實驗用戶調(diào)查在線實驗推薦系統(tǒng)新的挑戰(zhàn)和方案——用戶意圖模糊情景下的多維度補充；平臺電商的店鋪定向、季節(jié)定向；反作弊問題；考慮用戶本身的權(quán)重和行為頻度；冷啟動問題；用戶疲勞；

……13推薦系統(tǒng)新的挑戰(zhàn)和方案——13評論挖掘14評論挖掘14評論挖掘15維克托·邁爾-舍恩伯格大數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)挖掘計算機應(yīng)用信息管理暢銷書“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。喜歡作者說的知道“是什么”就夠了，沒必要知道“為什么”這個理論。奧倫*埃奇奧尼因為自己買到了比同一架飛機乘客貴的機票而非常氣憤，因此他創(chuàng)造了最早的互聯(lián)網(wǎng)搜索引擎。且不說這個引擎的后續(xù)，至少埃奇奧尼創(chuàng)立的預(yù)測系統(tǒng)幫助乘客節(jié)省了很多錢。我們不需要知道機票為什么漲或者跌，我們只想著用最少的錢去買到同樣的機票，如此，這樣有預(yù)見性的數(shù)據(jù)庫就是起到了重要的作用。而在其他領(lǐng)域上，同樣的可以用這樣的大數(shù)據(jù)的思維方式去思考。數(shù)據(jù)不是靜止不動的，需要有變革的思維去看它。而現(xiàn)在的數(shù)據(jù)已經(jīng)成了一種商業(yè)資本，可以創(chuàng)造新的經(jīng)濟利益。從某種程度上說，大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術(shù)。明白這一點至關(guān)重要，也正是這一點促使該技術(shù)具備走向眾多企業(yè)的潛力。基本上，人們比以往任何時候都與數(shù)據(jù)或信息交互。谷歌搜索、Facebook的帖子和微博消息使得人們的行為和情緒的細節(jié)化測量成為可能。挖掘用戶的行為習(xí)慣和喜好，凌亂紛繁的數(shù)據(jù)背后找到更符合用戶興趣和習(xí)慣的產(chǎn)品和服務(wù)，并對產(chǎn)品和服務(wù)進行針對性地調(diào)整和優(yōu)化，……相關(guān)度分析自然語言處理這個商品不錯~評論挖掘15維克托·邁爾-舍恩伯格大數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)挖掘計算機評論挖掘16TF1*IDF1+TF2*IDF2+…+TFN*IDFNTF——詞頻：關(guān)鍵詞在文本中出現(xiàn)的頻率IDF——逆文本頻率指數(shù)log（D/DW）：關(guān)鍵詞在所有文本集中出現(xiàn)的頻率越高，IDF越低e.g.“原子能”“的”“應(yīng)用”TF：0.002、0.035、0.005IDF：8.96、0、1TF*IDF——文本與關(guān)鍵詞相關(guān)度的科學(xué)度量評論挖掘16TF1*IDF1+TF2*IDF2+評論挖掘大數(shù)據(jù)+自然語言處理技術(shù)（NLP）17文本相關(guān)度評論信息量評論情感分詞消歧互信息特征篩選主題LDA情感分析特征詞聚類詞性標(biāo)注向量空間模型TF*IDF評論挖掘大數(shù)據(jù)+自然語言處理技術(shù)（NLP）17文本相關(guān)度評論評論挖掘18（當(dāng)當(dāng)網(wǎng)）評論挖掘A/B測試結(jié)果：顧客體驗提升；購買決策時間變短；點擊評論次數(shù)減少；頁面停留時間降低；轉(zhuǎn)化率提升；全年貢獻過億；評論挖掘18（當(dāng)當(dāng)網(wǎng)）評論挖掘A/B測試結(jié)果：評論挖掘19評論挖掘19評分預(yù)測問題20——4分——3分——5分——？分預(yù)測幫助用戶決策評分預(yù)測問題20——4分——3分——5分——？分預(yù)測幫助用戶評分預(yù)測問題21常用算法：基于平均值；基于相似物品；隱語義與矩陣分解模型；算法融合；……評分預(yù)測問題21常用算法：歷史銷量價格產(chǎn)品季節(jié)性產(chǎn)品瀏覽量競爭對手情況產(chǎn)品曝光率營銷推廣產(chǎn)品評論供應(yīng)商質(zhì)量市場熱點目標(biāo)用戶特征……銷量預(yù)測模型22滿位率↓買斷風(fēng)險↓毛利↑運營效率↑歷史銷量價格產(chǎn)品季節(jié)性產(chǎn)品瀏覽量競爭對手情況產(chǎn)品曝光率營銷推一個旅游業(yè)的案例23F——近十萬億條價格記錄；票價預(yù)測準(zhǔn)確率達75%；平均每張機票為旅客節(jié)省50美元；2008年以1.15億美元被微軟收購，并入必應(yīng)；一個旅游業(yè)的案例23F——On

going——大數(shù)據(jù)+實時處理24Ongoing——大數(shù)據(jù)+實時處理24延伸閱讀25延伸閱讀25謝謝！謝謝！附——大數(shù)據(jù)有多大1分鐘產(chǎn)生的數(shù)據(jù)量：48小時新視頻@Youtube2000000次搜索請求@Google684478條分享消息@Facebook100000條新微博@Twitter3600張照片@Instagram90%的數(shù)據(jù)產(chǎn)生于最近兩年；2020年，非結(jié)構(gòu)化數(shù)據(jù)量10倍于結(jié)構(gòu)化數(shù)據(jù)；27附——大數(shù)據(jù)有多大1分鐘產(chǎn)生的數(shù)據(jù)量：27大容量Volume每天新增100TB統(tǒng)計數(shù)據(jù)客戶分析的可用維度1000多個每天處理上百億次用戶行為反饋高速度Velocity實時數(shù)據(jù)收集云數(shù)據(jù)分析調(diào)度Veracity精準(zhǔn)錯誤數(shù)據(jù)校準(zhǔn)上下文環(huán)境過濾Variety多樣性客戶多樣性商品多樣性通過算法和機器學(xué)習(xí)附——大數(shù)據(jù)之4V28大容量Volume每天新增100TB統(tǒng)計數(shù)據(jù)客戶分析的可用維附——大數(shù)據(jù)之客戶畫像29附——大數(shù)據(jù)之客戶畫像29附——人人“好友智能分組”30返回附——人人“好友智能分組”30返回附——大數(shù)據(jù)之用戶行為31電商網(wǎng)站中的典型用戶行為行為用戶類型數(shù)據(jù)規(guī)模實時展現(xiàn)瀏覽網(wǎng)頁注冊/匿名大×將商品加入購物車注冊中√購買商品注冊中√收藏商品注冊中√評論商品注冊小√給商品評分注冊小√搜索商品注冊/匿名大×點擊搜索結(jié)果注冊/匿名大×分享商品注冊小√返回附——大數(shù)據(jù)之用戶行為31電商網(wǎng)站中的典型用戶行為行為用戶類附——推薦系統(tǒng)32幫助用戶快速發(fā)現(xiàn)有用的信息；將新產(chǎn)品推薦給用戶；將商業(yè)上需要宣傳的商品推薦給用戶；不同種類商品的交叉推薦和打包推薦；不同頁面場景下的不同推薦需求；（e.g.首頁熱門和列表長尾）推薦需求附——推薦系統(tǒng)32幫助用戶快速發(fā)現(xiàn)有用的信息；推薦需求大數(shù)據(jù)在B2C電商中的應(yīng)用——張昊旅游事業(yè)部頻道組大數(shù)據(jù)在B2C電商中的應(yīng)用——張昊舉例“推薦系統(tǒng)之王”

“InstantPersonalization”

應(yīng)用中心的智能算法好友推薦、親密度模型、好友智能分組……定向廣告算法、個性化推薦34…舉例“推薦系統(tǒng)之王”“InstantPersonaliz大數(shù)據(jù)相關(guān)應(yīng)用35用戶行為分析價格預(yù)測推薦系統(tǒng)評分預(yù)測問題流量分析供應(yīng)鏈管理實時定制報表廣告精準(zhǔn)投放行業(yè)信息監(jiān)控評論挖掘分析傳播熱點分析銷量預(yù)測CRM社會化圖譜挖掘LBS大數(shù)據(jù)相關(guān)應(yīng)用3用戶行為分析價格預(yù)測推薦系統(tǒng)評分預(yù)測問題流量推薦系統(tǒng)36推薦系統(tǒng)4流程架構(gòu)推薦系統(tǒng)37…用戶行為數(shù)據(jù)庫用戶屬性數(shù)據(jù)庫行為提取行為特征轉(zhuǎn)換特征向量特征物品相關(guān)推薦候選物品集合相關(guān)表1相關(guān)表2相關(guān)表N初始推薦結(jié)果過濾排序推薦解釋選擇最終推薦結(jié)果用戶行為反饋物品屬性ABC流程架構(gòu)推薦系統(tǒng)5…用戶行為數(shù)據(jù)庫用戶屬性數(shù)據(jù)庫行為提取行為推薦系統(tǒng)38協(xié)同過濾算法（CF）-UserCF/ItemCF奇異值分解(SVD）/隱語義模型（LFM）對分網(wǎng)絡(luò)/二分圖模型利用UGC標(biāo)簽利用上下文社會化推薦（socialrecommendation)算法融合機器學(xué)習(xí)從準(zhǔn)確性到多樣性推薦算法簡介推薦系統(tǒng)6協(xié)同過濾算法（CF）-UserCF/ItemCF奇推薦系統(tǒng)39協(xié)同過濾算法——基于商品/用戶間的相似度UserbasedCFItembasedCF余弦距離Jaccard距離歐氏距離海明距離推薦系統(tǒng)7協(xié)同過濾算法——基于商品/用戶間的相似度UserUserbasedCFItembasedCF推薦系統(tǒng)40典型應(yīng)用新聞推薦電子商務(wù)、圖書/電影推薦推薦原理有共同愛好的用戶喜歡與用戶之前喜歡的物品類似推薦結(jié)果小群體的熱點用戶的興趣傳承個性化要求不太明顯強烈內(nèi)容數(shù)量多較少更新速度快較慢適用領(lǐng)域時效性強、個性化不明顯長尾豐富、個性化需求強烈舉例GroupLens、DiggAmazon、Netflix用戶的新行為推薦結(jié)果不一定立即變化推薦結(jié)果實時變化推薦解釋難容易以歷史行為解釋協(xié)同過濾算法UserbasedCFItembasedCF推薦系統(tǒng)推薦系統(tǒng)41奇異值分解——探索相似度背后隱含根源分類1分類2分類3興趣1XXXXXXXXX興趣2XXXXXXXXX興趣3XXXXXXXXX推薦系統(tǒng)9奇異值分解——探索相似度背后隱含根源分類1分類2分推薦系統(tǒng)42二分圖模型——一個游走在用戶和商品之間的爬蟲高相似性的判斷標(biāo)準(zhǔn)：兩個頂點間有很多路徑相連；連接兩個頂點間的路徑長度都比較短；連接兩個頂點間的路徑不會出現(xiàn)大的頂點；推薦系統(tǒng)10二分圖模型——一個游走在用戶和商品之間的爬蟲高相推薦系統(tǒng)43算法總結(jié)用戶用戶商品特征商品喜歡、購買有相似興趣的好友喜歡、具有相似喜歡包含相似性判斷特征聚類推薦系統(tǒng)11算法總結(jié)用戶用戶商品特征商品喜歡、購買有相似興趣推薦系統(tǒng)44預(yù)測準(zhǔn)確度用戶滿意度覆蓋率多樣性新穎性驚喜度信任度實時性健壯性商業(yè)目標(biāo)系統(tǒng)評測離線實驗（offlineexperiment)用戶調(diào)查（userstudy）在線實驗（onlineexperiment）推薦系統(tǒng)12預(yù)測準(zhǔn)確度系統(tǒng)評測離線實驗用戶調(diào)查在線實驗推薦系統(tǒng)新的挑戰(zhàn)和方案——用戶意圖模糊情景下的多維度補充；平臺電商的店鋪定向、季節(jié)定向；反作弊問題；考慮用戶本身的權(quán)重和行為頻度；冷啟動問題；用戶疲勞；

……45推薦系統(tǒng)新的挑戰(zhàn)和方案——13評論挖掘46評論挖掘14評論挖掘47維克托·邁爾-舍恩伯格大數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)挖掘計算機應(yīng)用信息管理暢銷書“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。喜歡作者說的知道“是什么”就夠了，沒必要知道“為什么”這個理論。奧倫*埃奇奧尼因為自己買到了比同一架飛機乘客貴的機票而非常氣憤，因此他創(chuàng)造了最早的互聯(lián)網(wǎng)搜索引擎。且不說這個引擎的后續(xù)，至少埃奇奧尼創(chuàng)立的預(yù)測系統(tǒng)幫助乘客節(jié)省了很多錢。我們不需要知道機票為什么漲或者跌，我們只想著用最少的錢去買到同樣的機票，如此，這樣有預(yù)見性的數(shù)據(jù)庫就是起到了重要的作用。而在其他領(lǐng)域上，同樣的可以用這樣的大數(shù)據(jù)的思維方式去思考。數(shù)據(jù)不是靜止不動的，需要有變革的思維去看它。而現(xiàn)在的數(shù)據(jù)已經(jīng)成了一種商業(yè)資本，可以創(chuàng)造新的經(jīng)濟利益。從某種程度上說，大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術(shù)。明白這一點至關(guān)重要，也正是這一點促使該技術(shù)具備走向眾多企業(yè)的潛力?；旧希藗儽纫酝魏螘r候都與數(shù)據(jù)或信息交互。谷歌搜索、Facebook的帖子和微博消息使得人們的行為和情緒的細節(jié)化測量成為可能。挖掘用戶的行為習(xí)慣和喜好，凌亂紛繁的數(shù)據(jù)背后找到更符合用戶興趣和習(xí)慣的產(chǎn)品和服務(wù)，并對產(chǎn)品和服務(wù)進行針對性地調(diào)整和優(yōu)化，……相關(guān)度分析自然語言處理這個商品不錯~評論挖掘15維克托·邁爾-舍恩伯格大數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)挖掘計算機評論挖掘48TF1*IDF1+TF2*IDF2+…+TFN*IDFNTF——詞頻：關(guān)鍵詞在文本中出現(xiàn)的頻率IDF——逆文本頻率指數(shù)log（D/DW）：關(guān)鍵詞在所有文本集中出現(xiàn)的頻率越高，IDF越低e.g.“原子能”“的”“應(yīng)用”TF：0.002、0.035、0.005IDF：8.96、0、1TF*IDF——文本與關(guān)鍵詞相關(guān)度的科學(xué)度量評論挖掘16TF1*IDF1+TF2*IDF2+評論挖掘大數(shù)據(jù)+自然語言處理技術(shù)（NLP）49文本相關(guān)度評論信息量評論情感分詞消歧互信息特征篩選主題LDA情感分析特征詞聚類詞性標(biāo)注向量空間模型TF*IDF評論挖掘大數(shù)據(jù)+自然語言處理技術(shù)（NLP）17文本相關(guān)度評論評論挖掘50（當(dāng)當(dāng)網(wǎng)）評論挖掘A/B測試結(jié)果：顧客體驗提升；購買決策時間變短；點擊評論次數(shù)減少；頁面停留時間降低；轉(zhuǎn)化率提升；全年貢獻過億；評論挖掘18（當(dāng)當(dāng)網(wǎng)）評論挖掘A/B測試結(jié)果：評論挖掘51評論挖掘19評分預(yù)測問題52——4分——3分——5分——？分預(yù)測幫助用戶決策評分預(yù)測問題20——4分——3分——5分——？分預(yù)測幫助用戶評分預(yù)測問題53常用算法：基于平均值；基于相似物品；隱語義與矩陣分解模型；算法融合；……評分預(yù)測問題21常用算法：歷史銷量價格產(chǎn)品季節(jié)性產(chǎn)品瀏覽量競爭對手情況產(chǎn)品曝光率營銷推廣產(chǎn)品評論供應(yīng)商質(zhì)量市場熱點目標(biāo)用戶特征……銷量預(yù)測模型54滿位率↓買斷風(fēng)險↓毛利↑運營效率↑歷史銷量價格產(chǎn)品季節(jié)性產(chǎn)品瀏覽量競爭對手情況產(chǎn)品曝光率營銷推一個旅游業(yè)的案例55F——近十萬億條價格記錄；票價預(yù)測準(zhǔn)確率達75%；平均每張機票為旅客節(jié)省50美元；2008年以1.15億美元被微軟收購，并入必應(yīng)；一個旅游業(yè)的案例23F——On

going——大數(shù)據(jù)+實時處理56Ongoing——大數(shù)據(jù)+實時處理24延伸閱讀57