大數(shù)據(jù)分析及應(yīng)用案例-精準(zhǔn)營(yíng)銷

1、大數(shù)據(jù)分析及應(yīng)用案例-基于用戶行為分析的產(chǎn)品推薦及銷量預(yù)測(cè)信息分析研究部1大數(shù)據(jù)分析上蘇寧目前現(xiàn)在遇到的技術(shù)問題大數(shù)據(jù)分析應(yīng)用上需求 訪談對(duì)象： 張偵 蘇寧商業(yè)智能中心技術(shù)團(tuán)隊(duì)基于用戶行為分析的產(chǎn)品推薦如何更好地控制用戶行為數(shù)據(jù)中的由于促銷等活動(dòng)所引起的數(shù)據(jù)短時(shí)突變。面向用戶的個(gè)性化推薦如何控制計(jì)算代價(jià)如何平衡推薦效果和推薦的豐富度產(chǎn)品銷量預(yù)測(cè)庫(kù)存優(yōu)化促銷管理基礎(chǔ)架構(gòu)構(gòu)建商品及用戶的詞庫(kù)管理系統(tǒng)2IBM WebSphere Commerce EnterpriseIBM中國(guó)研究院IBM業(yè)務(wù)伙伴SAPIBM業(yè)務(wù)伙伴西安筋斗云科技有限責(zé)任公司(Xian Smartcloud Technology C

2、o., Ltd.)案例一： 一家中國(guó)零售商通過洞悉客戶情緒及潮流趨勢(shì)得以創(chuàng)建效果更好的產(chǎn)品組合并且更加有效地銷售它們節(jié)省90% 將面向交叉銷售的全套服飾搭配時(shí)間縮短90%，消除了數(shù)小時(shí)的手動(dòng)工作解決方案的組件智慧的零售業(yè)務(wù)挑戰(zhàn)：這家零售商希望提高對(duì)流行趨勢(shì)、消費(fèi)者需求及其對(duì)服裝銷量影響的感知力以便提高營(yíng)銷活動(dòng)的個(gè)性化水平、產(chǎn)品推廣活動(dòng)的智慧性以及庫(kù)存規(guī)劃水平。智慧的解決方案：公司擴(kuò)展了產(chǎn)品視圖以便指導(dǎo)他們開展推銷與營(yíng)銷活動(dòng)。全新的分析引擎能夠從種類繁多的數(shù)據(jù)中發(fā)現(xiàn)模式 銷售事務(wù)、網(wǎng)站分析、客戶資料、產(chǎn)品評(píng)論和社交媒體內(nèi)容 從而了解公司服裝的購(gòu)買方式、地點(diǎn)和人群；客戶喜歡或者不喜歡某個(gè)產(chǎn)品的哪些

3、地方；市場(chǎng)中的最新流行趨勢(shì)是什么。這個(gè)全面的產(chǎn)品視圖還能幫助零售商通過調(diào)整產(chǎn)品線和庫(kù)存來響應(yīng)需求變化并且開發(fā)出個(gè)性化營(yíng)銷方案，從而增加銷量?，F(xiàn)在，客戶的市場(chǎng)影響力比以往任何時(shí)候都更加強(qiáng)大 不僅包括他們所說的內(nèi)容，而且還包括他們的行為方式與所購(gòu)商品。為了取得成功，零售商必須要聆聽客戶心聲，并且使用客戶心聲來指導(dǎo)業(yè)務(wù)決策。發(fā)現(xiàn)趨勢(shì)通過洞悉消費(fèi)者情緒以及提高經(jīng)銷和庫(kù)存管理水平來發(fā)現(xiàn)趨勢(shì)鎖定客戶通過個(gè)性化購(gòu)物體驗(yàn)來增加銷售量及客戶購(gòu)物金額3個(gè)性化推薦案例場(chǎng)景一：服裝搭配4推薦搭配列表點(diǎn)擊獲取商品信息服務(wù)器端功能個(gè)性化搭配系統(tǒng)個(gè)性化模板庫(kù)個(gè)性化模板建立及標(biāo)簽?zāi)K組合規(guī)則庫(kù)及自學(xué)習(xí)模塊個(gè)性化推薦商品搭配添

4、加/刪除商品社交媒體分享支撐技術(shù)：基于用戶行為分析的個(gè)性化推薦利用各種異構(gòu)數(shù)據(jù)（交易、行為、社交、內(nèi)容等），為不同的商業(yè)場(chǎng)景提供相應(yīng)的個(gè)性化推薦5技術(shù)方案應(yīng)用場(chǎng)景基于用戶行為的推薦根據(jù)用戶的歷史交易及行為，對(duì)用戶偏好進(jìn)行建模，進(jìn)行個(gè)性化推薦基于社會(huì)關(guān)系的推薦用戶消費(fèi)行為受到所處的各種社會(huì)關(guān)系網(wǎng)絡(luò)的影響，基于朋友關(guān)系，組織成員關(guān)系、信任關(guān)系等進(jìn)行個(gè)性化推薦基于隱含要素分析的推薦商品和用戶偏好有很多隱含要素組成，通過隱含要素分析，預(yù)測(cè)用戶對(duì)商品的偏好程度基于邊際效應(yīng)的推薦利用經(jīng)濟(jì)學(xué)原理，挖掘出不同商品的邊際效應(yīng)程度，區(qū)分頻繁購(gòu)買商品和非頻繁購(gòu)買商品，使系統(tǒng)更好的符合真實(shí)世界用戶的購(gòu)物行為，提供精準(zhǔn)

5、的商品推薦及營(yíng)銷技術(shù)優(yōu)勢(shì)利用各種異構(gòu)數(shù)據(jù)（交易、行為、社交、內(nèi)容等），提高推薦精度基于邊際效應(yīng)的推薦基于用戶上下文信息的推薦案例二： 個(gè)性化私信營(yíng)銷互動(dòng)6個(gè)性化推薦案例場(chǎng)景二：產(chǎn)品經(jīng)理查看推薦用戶的畫像7支撐技術(shù)：基于心理學(xué)模型的個(gè)性化建模根據(jù)人的性格定位推銷相應(yīng)產(chǎn)品并互動(dòng)海外銀行及國(guó)內(nèi)銀行案例 買家畫像樂活族技術(shù)宅都市小白領(lǐng)小清新系統(tǒng)流暢 分辨率高功能豐富67.1%51.2%34.4%外觀漂亮 78.2%屏幕大 手感舒適 60.3%41.5% Ta們的評(píng)價(jià) Ta們還購(gòu)買了 Ta們的評(píng)價(jià) Ta們還購(gòu)買了看看都是誰(shuí)買了這款產(chǎn)品？8對(duì)競(jìng)爭(zhēng)對(duì)手間關(guān)于產(chǎn)品及服務(wù)方面用戶的多維度反饋比較利用深度情感挖掘

6、技術(shù)給出每個(gè)維度用戶的滿意度及關(guān)鍵點(diǎn)給出不同時(shí)間段不同地域的對(duì)比圖TDBankBMOService RefundsService Fees/ChargesDebit Cards案例三： 產(chǎn)品服務(wù)細(xì)粒度對(duì)比9個(gè)性化推薦案例場(chǎng)景三：細(xì)粒度的產(chǎn)品分析來改善個(gè)性化推薦的精確度Original Review Sentences101. Tokenization & POS taggingProduct-AspectCategorization model Sentiment AssociationmodelNamed Entity Recognition model DSM ModelDSM Engin

7、e2. Named Entity Recognition3. Product AspectCategorization4. Aspect-oriented Sentiment Association5.Personalized Sentiment Scoring6.Aspect-orientedSummarization支撐技術(shù)：基于機(jī)器學(xué)習(xí)的深度情感挖掘?qū)⑸缃幻襟w數(shù)據(jù)及情感分析結(jié)果用以銷售預(yù)測(cè)情感分析對(duì)于預(yù)測(cè)精度有很大的提升實(shí)際上線部署分析46周的銷售數(shù)據(jù)加上15周的社交媒體數(shù)據(jù)用以訓(xùn)練， 來預(yù)測(cè)未來的銷售額某款相機(jī): 預(yù)測(cè)精度，MAPE（平均絕對(duì)百分比誤差）從31%降到了16% 案例四：零

8、售行業(yè)銷售預(yù)測(cè)12在預(yù)測(cè)模型中加入社交媒體中相關(guān)品牌產(chǎn)品的數(shù)據(jù)量信息及情感挖掘信息很大提升了預(yù)測(cè)精度“We love our Canon camera and put it to good use, but there are other models you should explore before purchasing”支撐技術(shù)： 將社交媒體分析加入銷售預(yù)測(cè)模型“Bought a Nikon Coolpix S6300 + waterproof case. Cant wait to play with it.”“We love our Canon camera and put it to

9、 good use, but there are other models you should explore before purchasing.”“#TodayDealshttp:/goo.gl/sJz5LThe Things IWantToDoBuya SelectSonyNEX Compact SystemCamera, Save $50 on a Qualifying Lens”“EntertowinaNewNikonD800fromKEHCamera, TheWorlds Largest UsedCamera Dealer bit.ly/KDVvXi ”商品及商品屬性識(shí)別識(shí)別結(jié)果

10、消歧將識(shí)別結(jié)果同商品列表匹配去除噪聲數(shù)據(jù)文本分析社交媒體數(shù)據(jù)商品標(biāo)準(zhǔn)名稱品類品牌產(chǎn)品名格式系列子系列Nikon D90 12.3MP DX-Format CMOS Digital SLR Camera cameraNikonD90DSLR_Canon EOS Rebel T31cameraCanonT3iDSLREOSRebelHarry Potter Half Blood Prince PS2Video games-Half Blood PrincePS2Harry Potter-購(gòu)買意愿情感挖掘結(jié)果用以加入預(yù)測(cè)模型的分析結(jié)果用戶反饋分析“Bought the wife a Nikon Co

11、olpix S6300 + waterproof case. Cant wait to play with it.”“We love our Canon camera and put it to good use, but there are other models you should explore before purchasing”討論量“Bought the wife a Nikon Coolpix S6300 + waterproof case. Cant wait to play with it.”“We love our Canon camera and put it to

12、good use, but there are other models you should explore before purchasing”產(chǎn)品認(rèn)同感13Demo: 大數(shù)據(jù)信息分析管理平臺(tái)應(yīng)用案例 EagleEye26.2% of the world is online1.8 billion people are online today and this number is estimated to reach 2.2 billion by 201363% research via social networking47% of the time they are influence

13、d by what is readUser generated content91% of consumers ranked peer input as the #1 aid to a buying decisionEagleEye ServicesComponent Web ServicesApplication Web ServicesDeep SentimentMiningNamed Entity RecognitionEntity RelationExtractionTaxonomy ManagementTopicDetectionEntitySearchEntity & Cat.Br

14、owsingEventTrackingTrendAnalysisOpinionDiscoveryCompetitorAnalysisApplicationsData Storing / Data Access / Search InterfaceAnalytics CloudBig Insights and StreamsDB2Smarter CommerceMobile 1stEMMSMAConsumer Electronics Brand Analysis Product Utility Mining Technology Trend AnalysisTelecommunications

15、Service Quality Analysis Competitor Analysis Customer Analysis Location Based Analysis Finance & Insurance Market Analysis Competitor Analysis Customer Service AnalysisRetail & CPG Service Quality Analysis Consumer Requirement Analysis Emergent Event Detection14短期目標(biāo) 大數(shù)據(jù)分析構(gòu)建后臺(tái)關(guān)聯(lián)知識(shí)庫(kù): 從產(chǎn)品自身屬性、說明書、銷售記錄、

16、用戶評(píng)論提煉知識(shí)點(diǎn)，并且建立語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)；標(biāo)準(zhǔn)化用戶查詢：把口語(yǔ)化的、不規(guī)范的查詢補(bǔ)充完善，并映射到標(biāo)準(zhǔn)產(chǎn)品術(shù)語(yǔ)；理解用戶的查詢需求：對(duì)用戶需求進(jìn)行語(yǔ)義歸類及消歧；基于語(yǔ)義關(guān)聯(lián)做精準(zhǔn)搭配推薦產(chǎn)品描述和說明銷售記錄用戶評(píng)論數(shù)據(jù)源標(biāo)準(zhǔn)化用戶查詢理解用戶的查詢需求精準(zhǔn)搭配推薦應(yīng)用層客戶偏好及客戶分群產(chǎn)品競(jìng)爭(zhēng)力分析分析模型產(chǎn)品競(jìng)爭(zhēng)力分析產(chǎn)品的社會(huì)化屬性產(chǎn)品相似度分析標(biāo)準(zhǔn)化用戶查詢理解用戶的查詢需求精準(zhǔn)搭配推薦15大數(shù)據(jù)信息分析管理平臺(tái)的設(shè)想應(yīng)用展現(xiàn)層數(shù)據(jù)存儲(chǔ)及索引存儲(chǔ)(Pig, Hive, HBase)索引(Solr)Map-reduce (Hadoop + Adaptive Map-Reduce)文

17、件系統(tǒng)(GPFS, HDFS)交易數(shù)據(jù)訂單信息商品信息用戶信息Session數(shù)據(jù)LOG信息結(jié)構(gòu)化數(shù)據(jù)產(chǎn)品評(píng)論在線咨詢電話中心商品描述圖片社會(huì)媒體非結(jié)構(gòu)化數(shù)據(jù)流媒體視頻非結(jié)構(gòu)化信息挖掘結(jié)構(gòu)化數(shù)據(jù)分析中文語(yǔ)義搜索技術(shù)中文分詞及書寫檢查技術(shù)文本分類技術(shù)命名實(shí)體識(shí)別深度輿情分析文本主題識(shí)別UIMA個(gè)性化推薦交互式文本信息可視化數(shù)據(jù)關(guān)聯(lián)(網(wǎng)絡(luò))可視化16 2013 IBM Corporation 17Traffic Engineering real use cases in eBay600 different running types of emails, always create/evolve n

18、ew types of emails Format design: customization Decide whom to sendDesign marketing message contentsEg1, if a person did some search, and looked at the search results, but did not buy. eBay will analyze the customer, and send him a follow-onemailEg2, if a person bought some product, in a week, eBay will send him an email to recommend relevant products