大數(shù)據(jù)分析方法課件

大數(shù)據(jù)分析方法交流關(guān)于分析思想、流程與工具的探討1大數(shù)據(jù)分析方法交流關(guān)于分析思想、流程與工具的探討1主要內(nèi)容引言數(shù)據(jù)分析的工作框架數(shù)據(jù)分析的實施流程總結(jié)主要內(nèi)容引言引言引言引言言數(shù)據(jù)必稱“大”的時代交通大數(shù)據(jù)、旅游大數(shù)據(jù)、網(wǎng)購大數(shù)據(jù)2011年開始的各種各樣的“V”：Volume、Variety、Velocity（Value、Veracity-真實性）各種全新的配套手段：存儲（云）；處理（并行）；保護(hù)（安全性）；分析（數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)）潛力無限vs言過其實？創(chuàng)新為主vs傳承為主？引言言數(shù)據(jù)必稱“大”的時代引言思考1：“大”數(shù)據(jù)，到底應(yīng)該多大？量級不嚴(yán)格、范圍不嚴(yán)格思考2：新方法，到底有多新？大多數(shù)傳承傳統(tǒng)方式新方法解決面窄思考3：新結(jié)論，到底多有價值？陳述事實多，推理結(jié)論少展示效果好，實踐應(yīng)用差總結(jié)：大數(shù)據(jù)更多是一種新的數(shù)據(jù)觀充分認(rèn)識數(shù)據(jù)的價值（潛力與局限）正確選擇分析的方法引言思考1：“大”數(shù)據(jù)，到底應(yīng)該多大？引言零售數(shù)據(jù)分析：我們的優(yōu)勢1、擁有最精華的數(shù)據(jù)，產(chǎn)出結(jié)論有說服力

（大而全不一定是長處：收集成本高、篩選困難）2、時間長涵蓋面廣，便于比較分析我們需要仔細(xì)分析的是：想做什么能做什么怎樣做引言零售數(shù)據(jù)分析：我們的優(yōu)勢數(shù)據(jù)分析的工作框架數(shù)據(jù)分析的工作框架工作框架需要的結(jié)論：既想要也想得到的數(shù)據(jù)資源和分析方法大量擴(kuò)充—右半邊擴(kuò)張分析對象理解和問題思考有所不足—左半邊停滯最重要的還是商業(yè)思維需要得到的結(jié)論數(shù)據(jù)分析可以解決的內(nèi)容大數(shù)據(jù)商業(yè)思維數(shù)據(jù)資源理解DeepUnderstanding分析方法洞察Insight

前瞻Prospect工作框架需要的結(jié)論：既想要也想得到的需要得到的結(jié)論數(shù)據(jù)分析可工作框架充分?jǐn)U展兩個部分，首先代表：理解宏觀問題給出系統(tǒng)假設(shè)將假設(shè)化簡至可被數(shù)據(jù)分析其次，兩項工作無法忽視：充分研究了解對象—我們想要知道什么

（發(fā)現(xiàn)問題）判斷我們想要研究的問題是否有意義

（減少人力損耗）工作框架充分?jǐn)U展兩個部分，首先代表：工作框架數(shù)據(jù)分析的六個階段1、對研究對象主觀的和客觀的、整體的和局部的認(rèn)識2、提出希望探索的宏觀的問題（自由的或是有明確的）3、探討分析這些問題并產(chǎn)生結(jié)論的價值4、為選出的研究問題提出充分的假設(shè)。5、將研究假設(shè)進(jìn)行拆解、劃分成為可定量分析的單元。6、結(jié)合數(shù)據(jù)資源和數(shù)據(jù)分析方法產(chǎn)生結(jié)論，驗證假設(shè)及理論的擴(kuò)展性。工作框架數(shù)據(jù)分析的六個階段工作框架兩個重要問題產(chǎn)生的結(jié)論要有理論解釋反面例子：消費額和停車場大小正相關(guān)

（相關(guān)性需要結(jié)合背景）機(jī)器學(xué)習(xí)方法解釋性差、往往模型擬合數(shù)據(jù)，由于現(xiàn)實世界太復(fù)雜，參數(shù)太多，因此使用效果并不好認(rèn)真思考提出問題的操作性反面例子：不同客戶的消費偏好分析、競爭力比較我們將結(jié)合六個步驟，分別討論完成它們的方法和一些重點問題工作框架兩個重要問題我們將結(jié)合六個步驟，分別討論完成它們的方數(shù)據(jù)分析的具體流程數(shù)據(jù)分析的具體流程步驟1：建立對對象的整體認(rèn)知內(nèi)容：對對象建立主觀印象意義：產(chǎn)生新問題；產(chǎn)生對問題的合理假設(shè)著手點：觀察現(xiàn)狀；例子：購物中心的消費習(xí)慣轉(zhuǎn)變觀察數(shù)據(jù)；例子：消費數(shù)據(jù)分析暗示的消費群體變化此外，聞?wù)哂行模豪樱和赓u數(shù)據(jù)暗示房價步驟1：建立對對象的整體認(rèn)知內(nèi)容：對對象建立主觀印象步驟2：提出希望探索的宏觀問題內(nèi)容：提出大目標(biāo)形式：“A對B的影響”、“A未來一年的銷售額”等易于描述的、可變因子不超過一個的問題。反面例子：不同業(yè)態(tài)對不同年齡段顧客的影響1、業(yè)態(tài)和年齡段范圍太廣2、“影響”未指明具體內(nèi)容導(dǎo)致此調(diào)查耗費資源、失去重點可改成：餐飲區(qū)域面積占比對顧客到店數(shù)目的影響（劃定業(yè)態(tài)、指明影響內(nèi)容、排除掉年齡因素）步驟2：提出希望探索的宏觀問題內(nèi)容：提出大目標(biāo)步驟3：探討闡述結(jié)論的價值相同的結(jié)論對不同的對象價值不同例：火車票訂票信息：增開列車？疏導(dǎo)客流？市政服務(wù)？思考分析結(jié)果對各種對象的可能價值正面例子：男女性消費者對購物中心環(huán)境設(shè)計的不同偏好反面例子：為不同地域的客戶設(shè)計不同會員禮品-成本反面例子：周邊辦公樓客流對銷售影響-無法采取措施步驟3：探討闡述結(jié)論的價值相同的結(jié)論對不同的對象價值不同步驟4：對宏觀問題提出充分假設(shè)內(nèi)容：將大問題提出各種各樣的小問題例子：顧客對購物中心服務(wù)的滿意度的影響因素假設(shè)1：服務(wù)人員對待客戶的態(tài)度假設(shè)2：購物中心提供的額外服務(wù)的種類假設(shè)3：購物中心的環(huán)境驗證假設(shè)來分析真實的影響因素及其影響程度步驟4：對宏觀問題提出充分假設(shè)內(nèi)容：將大問題提出各種各樣的小步驟5：將對象分解為可測量數(shù)據(jù)內(nèi)容：將各項假設(shè)提到的元素定量化以假設(shè)1：服務(wù)人員對待客戶的態(tài)度為例：數(shù)據(jù)庫中數(shù)據(jù)：出勤記錄、日?？己擞涗洝⑼对V記錄問卷調(diào)查數(shù)據(jù)：服務(wù)效率、服務(wù)意識、用詞方式、普通話標(biāo)準(zhǔn)、表現(xiàn)情感等相似的定量評分注：部分研究問題已經(jīng)明顯定量化，部分則需要人工確定量化標(biāo)準(zhǔn)步驟5：將對象分解為可測量數(shù)據(jù)內(nèi)容：將各項假設(shè)提到的元素定量步驟6：運(yùn)用數(shù)據(jù)分析方法產(chǎn)生結(jié)論內(nèi)容：套用各種數(shù)據(jù)方法產(chǎn)出結(jié)論形式：數(shù)值、概率值、圖表分析軟件和語言SPSS、SAS、Matlab、smartPLSPython、R等等分析方法：常規(guī)統(tǒng)計方法：T檢驗、方差分析、相關(guān)分析、回歸分析、因子分析、時間序列分析、結(jié)構(gòu)方程模型等，參考任意一本統(tǒng)計學(xué)教材。機(jī)器學(xué)習(xí)方法：聚類、分類、神經(jīng)網(wǎng)絡(luò)、決策樹等等，參考《機(jī)器學(xué)習(xí)導(dǎo)論》。步驟6：運(yùn)用數(shù)據(jù)分析方法產(chǎn)生結(jié)論內(nèi)容：套用各種數(shù)據(jù)方法產(chǎn)出結(jié)補(bǔ)充需要認(rèn)真防范的致命錯誤：1、與環(huán)境（背景）的結(jié)合

例：突發(fā)事件的影響2、認(rèn)真思考邏輯關(guān)聯(lián)

例：歷年節(jié)日的“同比”3、“見所未見”

例：飛回的戰(zhàn)斗機(jī)往往機(jī)艙損壞嚴(yán)重

專門提出：“相關(guān)”的欺騙性“萬物皆相關(guān)”數(shù)據(jù)相關(guān)≠邏輯相關(guān)

補(bǔ)充需要認(rèn)真防范的致命錯誤：總結(jié)總結(jié)總結(jié)大數(shù)據(jù)和新方法只是新的資源和工具挖掘數(shù)據(jù)價值的還是人