認(rèn)知數(shù)據(jù)分析及電商數(shù)據(jù)分析技能圖譜課件

電商數(shù)據(jù)分析導(dǎo)論1.1認(rèn)知數(shù)據(jù)分析1.2電商數(shù)據(jù)分析技能圖譜1什么是數(shù)據(jù)分析23CONTENTS數(shù)據(jù)分析的作用數(shù)據(jù)分析的標(biāo)準(zhǔn)流程4數(shù)學(xué)、統(tǒng)計(jì)學(xué)和運(yùn)籌學(xué)5數(shù)據(jù)分析方法論6數(shù)據(jù)分析工具7電商數(shù)據(jù)指標(biāo)體系數(shù)據(jù)是客觀的事實(shí)，能夠被收集的數(shù)據(jù)都是過(guò)去的事情。數(shù)據(jù)的歷史性信息的指向性什么叫數(shù)據(jù)分析每個(gè)人對(duì)相同的數(shù)據(jù)會(huì)產(chǎn)生不同的看法，所以不是所有從數(shù)據(jù)中提取的信息都能適用所有人。數(shù)據(jù)分析就是將數(shù)據(jù)轉(zhuǎn)變?yōu)橛行畔⒌倪^(guò)程兩大特性：數(shù)據(jù)分析的核心數(shù)據(jù)分析的核心就是建立參考系，也是使用不同的角度去觀察事物，運(yùn)用維度和指標(biāo)間的不同組合，能更清晰的看清事物的全貌例：分析自己的店鋪數(shù)據(jù)時(shí)需要建立同期的行業(yè)大盤(pán)參考系數(shù)據(jù)有用信息建立參考系同期的行業(yè)過(guò)去的自己同期的對(duì)手不同的角度介于兩者之間新角度轉(zhuǎn)換數(shù)據(jù)分析的作用PARTTWO數(shù)據(jù)分析的實(shí)用數(shù)據(jù)分析可以給決策者在運(yùn)營(yíng)過(guò)程中提供策略的決策依據(jù)，特定的分析維度可以幫助運(yùn)營(yíng)做出有效決策。例：某企業(yè)想要從線下轉(zhuǎn)入線上進(jìn)入市場(chǎng)做決策，選擇是開(kāi)淘寶店或者天貓店平臺(tái)店鋪數(shù)量數(shù)量占比銷(xiāo)售總額(元)銷(xiāo)售總額占比淘寶435198.91%193858.724.36%天貓481.09%601822.775.64%總計(jì)4399100%795681.5100.00%采集某企業(yè)所經(jīng)營(yíng)的類(lèi)目店鋪及經(jīng)營(yíng)店鋪，經(jīng)統(tǒng)計(jì)后得到數(shù)據(jù)，如果選擇入住淘寶平臺(tái)，將面臨激烈的競(jìng)爭(zhēng)，而天貓的競(jìng)爭(zhēng)小，份額大，所以建議入住天貓，由天貓進(jìn)入市場(chǎng)。例：企業(yè)在優(yōu)化產(chǎn)品標(biāo)題時(shí)，需要替換哪些詞，哪些詞能提高引流效果？采集某企業(yè)商品的關(guān)鍵詞數(shù)據(jù)，將關(guān)鍵詞換成詞根，發(fā)現(xiàn)“情人節(jié)”、“手工”和“友情”這3個(gè)詞的訪客數(shù)很低，沒(méi)有流量所以應(yīng)該換其他的有效詞；而且替換新詞會(huì)有更好的引流效果。數(shù)據(jù)分析的實(shí)用運(yùn)營(yíng)方向更清晰決策更精準(zhǔn)成功率更高數(shù)據(jù)分析給運(yùn)營(yíng)的作用數(shù)據(jù)分析的標(biāo)準(zhǔn)流程PARTTHREE數(shù)據(jù)分析的標(biāo)準(zhǔn)流程明確目標(biāo)明確分析維度和指標(biāo)采集數(shù)據(jù)數(shù)據(jù)清洗數(shù)據(jù)整理數(shù)據(jù)分析數(shù)據(jù)可視化數(shù)據(jù)報(bào)告數(shù)據(jù)分析前期流程明確目標(biāo)明確分析維度和指標(biāo)數(shù)據(jù)采集數(shù)據(jù)清洗采集的數(shù)據(jù)一般不可直接使用，可能會(huì)有一部分“臟數(shù)據(jù)”，如果不處理它們將會(huì)影響分析的結(jié)果，所以我們?cè)谡砬靶铏z查數(shù)據(jù)，發(fā)現(xiàn)“臟數(shù)據(jù)”就必須進(jìn)行清洗。例：我們從生意參謀下載數(shù)據(jù)，其中第三行觀測(cè)值存在“-”為標(biāo)記的缺失值，此類(lèi)缺失值如果不處理將無(wú)法進(jìn)行下次操作，因此需將數(shù)據(jù)中的“-”符號(hào)替換為數(shù)字“0”。統(tǒng)計(jì)日期PC端支付金額PC端支付商品數(shù)PC端支付老買(mǎi)家數(shù)2017-05-03907.624182017-05-04268.941512017-05-051,196.9215-2017-05-061,938.211622017-05-07319.15235數(shù)據(jù)整理子行業(yè)名稱(chēng)銷(xiāo)售額（千萬(wàn)元）時(shí)間T恤4,8772012年1月襯衫4,5262012年1月T恤15,2792012年2月襯衫17,5752012年2月T恤28,4202012年3月襯衫30,8462012年3月收集的數(shù)據(jù)一般都是零零散散的或者雜亂的，直接觀察數(shù)據(jù)很難知道數(shù)據(jù)的意義，或者洞察信息，所以數(shù)據(jù)只有通過(guò)整理，形成整潔的數(shù)據(jù)，才便于我們分析。例：圖1為女裝T恤和襯衫兩個(gè)品類(lèi)在2012年1-3月的銷(xiāo)售額數(shù)據(jù)，將數(shù)據(jù)整理為圖2的形式，更便于分析。圖1時(shí)間T恤襯衫總計(jì)2012年1月4877452694032012年2月1527917575328542012年3月284203084659266總計(jì)4857652947101523圖2數(shù)據(jù)分析關(guān)鍵詞詞根訪客數(shù)支付買(mǎi)家數(shù)工具箱34229五金451收納箱120加厚73大號(hào)50手提式21數(shù)據(jù)分析目的是將數(shù)據(jù)轉(zhuǎn)變成有效的信息。前面的步驟都是為了能在這一步得到信息，信息的提煉依靠對(duì)比法、拆分法、分組法等分析方法。例：將商品標(biāo)題中的詞根進(jìn)行分析，從而對(duì)標(biāo)題進(jìn)行優(yōu)化。通過(guò)對(duì)表中支付買(mǎi)家數(shù)進(jìn)行對(duì)比，可以發(fā)現(xiàn)“收納箱”和“大號(hào)”這兩個(gè)詞根的支付買(mǎi)家數(shù)為0，表示沒(méi)有用戶(hù)通過(guò)這兩個(gè)詞產(chǎn)生交易，因此得到的信息是“收納箱”和“大號(hào)”這兩個(gè)詞可以?xún)?yōu)化。數(shù)據(jù)可視化數(shù)據(jù)可視化旨在借助圖形化手段，清晰有效地傳達(dá)與溝通信息。產(chǎn)品點(diǎn)擊率指數(shù)轉(zhuǎn)化率指數(shù)交易指數(shù)流量指數(shù)口碑指數(shù)A0.850.420.590.740.94B0.620.480.510.780.86C0.960.670.830.550.74例：通過(guò)可視化圖表將數(shù)據(jù)直觀的展現(xiàn)出來(lái)。數(shù)據(jù)報(bào)告數(shù)據(jù)報(bào)告是將一系列分析結(jié)果具有邏輯性地進(jìn)行集中展現(xiàn)并闡述分析結(jié)論的文檔，可以使用PPT、Word制作報(bào)告。數(shù)學(xué)、統(tǒng)計(jì)學(xué)和運(yùn)籌學(xué)PARTFOUR電商數(shù)據(jù)分析的技能圖譜電商數(shù)據(jù)分析師和業(yè)務(wù)數(shù)據(jù)分析師的定位相似，需要多種技能的支撐才可以完成數(shù)據(jù)分析任務(wù)，因此可以知道數(shù)據(jù)分析并不是一個(gè)獨(dú)立的學(xué)科，它跟多個(gè)學(xué)科的知識(shí)有著緊密的聯(lián)系。電商數(shù)據(jù)人才除了能從數(shù)字中獲取有價(jià)值的信息之外，還需要具備熟練的數(shù)據(jù)處理能力。運(yùn)籌學(xué)數(shù)據(jù)分析方法論電商數(shù)據(jù)指標(biāo)體系數(shù)學(xué)和統(tǒng)計(jì)學(xué)數(shù)學(xué)和統(tǒng)計(jì)學(xué)是數(shù)據(jù)分析兩門(mén)最基本的理論知識(shí)學(xué)科，數(shù)據(jù)分析就是這兩門(mén)學(xué)科的應(yīng)用。運(yùn)籌學(xué)是現(xiàn)代管理學(xué)的一門(mén)重要專(zhuān)業(yè)基礎(chǔ)課，主要研究求解最優(yōu)解，可解決運(yùn)營(yíng)過(guò)程中的最佳決策問(wèn)題。數(shù)據(jù)分析方法論：數(shù)據(jù)分析方法論是前人分析的經(jīng)驗(yàn)歸納，套用方法論可以快速入門(mén)數(shù)據(jù)分析。工欲善其事必先利其器，數(shù)據(jù)分析單靠筆尖或者計(jì)算器速度太慢，而且面對(duì)大量資料的整理需要專(zhuān)業(yè)的技能，因此熟練掌握至少一個(gè)工具將大大提高數(shù)據(jù)分析的效率和精度。對(duì)于一名數(shù)據(jù)分析工作者來(lái)講，業(yè)務(wù)場(chǎng)景的敏銳度十分重要，只有懂業(yè)務(wù)的分析師才能將數(shù)據(jù)轉(zhuǎn)變成生產(chǎn)力。了解并掌握電商的數(shù)據(jù)指標(biāo)體系可以幫助分析者更快更準(zhǔn)確地開(kāi)展數(shù)據(jù)分析工作。數(shù)據(jù)分析方法論P(yáng)ARTFIVE數(shù)據(jù)分析方法論許多電商從業(yè)者在分析數(shù)據(jù)的時(shí)候會(huì)遇到許多問(wèn)題：不知從哪方面切入開(kāi)展分析？分析的內(nèi)容和指標(biāo)不知是否合理、完整？這些問(wèn)題都是因?yàn)榉治鋈藛T缺少方法論的緣故；方法論可以幫助分析人員依據(jù)某些軌跡順利地開(kāi)展分析活動(dòng)，常見(jiàn)的分析方法有以下9種。對(duì)比法拆分法分組法排序法交叉法只有通過(guò)參照物的對(duì)比才能了解現(xiàn)狀和發(fā)現(xiàn)問(wèn)題，通過(guò)橫向和縱向的對(duì)比找到自己所處的位置。將大問(wèn)題和相關(guān)的指標(biāo)拆解成多個(gè)小問(wèn)題和多個(gè)相關(guān)指標(biāo)，通過(guò)拆解問(wèn)題和指標(biāo)可以快速找到問(wèn)題產(chǎn)生的原因。將數(shù)據(jù)依據(jù)某些維度進(jìn)行分組統(tǒng)計(jì)，通過(guò)觀察分組后的結(jié)果洞察事物的特征?；谀硞€(gè)度量值進(jìn)行遞增或遞減的排列，通過(guò)排序后的結(jié)果清晰地反映所有觀測(cè)值的情況。將兩個(gè)及以上的維度進(jìn)行交叉分析，比如通過(guò)產(chǎn)品特征和價(jià)格區(qū)間兩個(gè)維度的交叉分析，找到更符合企業(yè)定位的細(xì)分市場(chǎng)。降維法分析問(wèn)題時(shí)指標(biāo)的信息量過(guò)多，采用業(yè)務(wù)梳理的方式選擇核心指標(biāo)進(jìn)行分析，減少過(guò)多指標(biāo)的干擾。在統(tǒng)計(jì)學(xué)上也可以使用主成分分析或因子分析的方法達(dá)到降維的目的。降維法分析問(wèn)題時(shí)指標(biāo)的信息量不足，通過(guò)計(jì)算派生出新的指標(biāo)，包含了更多的信息量，比如搜索競(jìng)爭(zhēng)度=搜索人氣÷商品數(shù)。指標(biāo)法在分析時(shí)采用指標(biāo)的方式分析結(jié)果，一般通過(guò)制成表格來(lái)查看分析結(jié)果。指標(biāo)法在分析時(shí)采用圖形的方式更加直觀地分析結(jié)果。數(shù)據(jù)分析方法論除了以上常見(jiàn)的分析方法之外，還有一些在業(yè)務(wù)上常用的思維分析框架，如以下7種方法。SWOT分析法通過(guò)該方法了解自己所處的環(huán)境，對(duì)內(nèi)外部因素進(jìn)行分析并制定應(yīng)對(duì)策略。描述性統(tǒng)計(jì)法描述性統(tǒng)計(jì)是用來(lái)概括、表述事物整體狀況以及事物間關(guān)聯(lián)、類(lèi)屬關(guān)系的統(tǒng)計(jì)方法，基于統(tǒng)計(jì)值來(lái)表示數(shù)據(jù)集的集中和離散等情況。矩陣分析法將主要因素放在矩陣的兩個(gè)維度軸進(jìn)行定量或者定性的分析，并通過(guò)某個(gè)點(diǎn)將數(shù)據(jù)分為四個(gè)象限。矩陣分析法將三個(gè)及以上的維度在表格、多維平面圖或者三維圖中進(jìn)行觀測(cè)分析。數(shù)據(jù)歸一化將數(shù)值映射在[0,1]的范圍上，消除因?yàn)橹涤虿煌a(chǎn)生的分析難點(diǎn)，一般配合多維分析法或在數(shù)據(jù)建模時(shí)使用。時(shí)間序列分析法針對(duì)連續(xù)的變化的時(shí)間數(shù)據(jù)的分析方法，主要用于預(yù)測(cè)連續(xù)的未來(lái)數(shù)據(jù)，比如分析店鋪每天的銷(xiāo)售額。時(shí)間序列分析法研究指標(biāo)間的相關(guān)程度，常用于尋找關(guān)鍵影響因素。數(shù)據(jù)分析工具PARTSIX數(shù)據(jù)分析工具掌握兩個(gè)及以上的分析工具才能更好的進(jìn)行數(shù)據(jù)分析，而分析工具又五花八門(mén)，可將工具分成以下3類(lèi)。數(shù)據(jù)分析與可視化統(tǒng)計(jì)與數(shù)據(jù)挖掘數(shù)據(jù)分析與可視化按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)。常見(jiàn)的數(shù)據(jù)庫(kù)有Access、MSSQL、MySQL、Oracle、DB2。用于組織數(shù)據(jù)進(jìn)行分析和可視化呈現(xiàn)的工具，常見(jiàn)的工具有Excel、PowerBI、Tableau。用于統(tǒng)計(jì)分析和數(shù)據(jù)挖掘算法的工具，常見(jiàn)的工具有R、Python、SPSS、SAS。數(shù)據(jù)分析工具根據(jù)企業(yè)的需求階段需要掌握的工具不同，具體如下。第一階段這個(gè)階段的企業(yè)現(xiàn)狀是數(shù)據(jù)用Excel或WPS文件存儲(chǔ)，數(shù)據(jù)文件多而雜亂，經(jīng)營(yíng)多年的電商企業(yè)甚至?xí)谐^(guò)10萬(wàn)張歷史數(shù)據(jù)的表格，無(wú)法對(duì)龐大歷史數(shù)據(jù)進(jìn)行分析，數(shù)據(jù)管理雜亂。這個(gè)階段企業(yè)需要解決數(shù)據(jù)的統(tǒng)一管理及分析的問(wèn)題。這個(gè)階段可選用Excel和MySQL，Excel解決分析層和應(yīng)用層的問(wèn)題，MySQL可解決大數(shù)據(jù)量的存儲(chǔ)和計(jì)算問(wèn)題，而且Excel和MySQL在國(guó)內(nèi)企業(yè)的占有率和普及率相對(duì)較高。前期第二階段這個(gè)階段的企業(yè)現(xiàn)狀是已經(jīng)實(shí)現(xiàn)了統(tǒng)一管理和分析數(shù)據(jù)，但隨著企業(yè)數(shù)據(jù)量和數(shù)據(jù)應(yīng)用能力的提升，原有的Excel已經(jīng)滿(mǎn)足不了大數(shù)據(jù)量下進(jìn)行多表建模聯(lián)合分析的需求，可能刷新一張分析模型文件所需的時(shí)間很久。

此時(shí)需要使用BI產(chǎn)品滿(mǎn)足復(fù)雜的業(yè)務(wù)建模需求，可選用微軟的PowerBI。部分企業(yè)在這個(gè)階段會(huì)有專(zhuān)業(yè)統(tǒng)計(jì)方法和數(shù)據(jù)挖掘的需求，可選擇SPSS，掌握難度不大。SPSS有兩個(gè)工具，一個(gè)是Statistics用于統(tǒng)計(jì)分析，一個(gè)是Modeler用于商業(yè)數(shù)據(jù)分析與挖掘，但是SPSS在國(guó)內(nèi)企業(yè)的占有率較低。數(shù)據(jù)分析工具根據(jù)企業(yè)的需求階段需要掌握的工具不同，具體如下。第三階段這個(gè)階段企業(yè)已經(jīng)屬于數(shù)據(jù)驅(qū)動(dòng)型的企業(yè)，數(shù)據(jù)應(yīng)用需要在生產(chǎn)、流通、銷(xiāo)售和管理等各個(gè)環(huán)節(jié)滲透，隨著數(shù)據(jù)種類(lèi)的復(fù)雜化，原有的數(shù)據(jù)采集、清洗及算法應(yīng)用的效率已經(jīng)滿(mǎn)足不了需求，要運(yùn)用IT技術(shù)和算法解決商業(yè)問(wèn)題，真正將數(shù)據(jù)轉(zhuǎn)變成生產(chǎn)力，因此可以在R和Python之間二者擇其一，這兩者都是應(yīng)用非常廣泛的編程語(yǔ)言。后期第四階段這個(gè)階段企業(yè)已經(jīng)是深度的數(shù)據(jù)驅(qū)動(dòng)型企業(yè)，進(jìn)入這個(gè)階段的企業(yè)只有少數(shù)的龍頭企業(yè)，它們通過(guò)技術(shù)手段極大地提高工作效率和商業(yè)收益，轉(zhuǎn)型智慧商業(yè)領(lǐng)域，運(yùn)用大數(shù)據(jù)和人工智能升級(jí)改造所有的環(huán)節(jié)。企業(yè)在這個(gè)階段需要應(yīng)用大數(shù)據(jù)框架（如hadoop）來(lái)解決并發(fā)問(wèn)題，以及