大數(shù)據(jù)分析方法課件

大數(shù)據(jù)分析方法交流關于分析思想、流程與工具的探討1大數(shù)據(jù)分析方法交流關于分析思想、流程與工具的探討1主要內(nèi)容引言數(shù)據(jù)分析的工作框架數(shù)據(jù)分析的實施流程總結主要內(nèi)容引言引言引言引言言數(shù)據(jù)必稱“大”的時代交通大數(shù)據(jù)、旅游大數(shù)據(jù)、網(wǎng)購大數(shù)據(jù)2011年開始的各種各樣的“V”：Volume、Variety、Velocity（Value、Veracity-真實性）各種全新的配套手段：存儲（云）；處理（并行）；保護（安全性）；分析（數(shù)據(jù)挖掘、機器學習）潛力無限vs言過其實？創(chuàng)新為主vs傳承為主？引言言數(shù)據(jù)必稱“大”的時代引言思考1：“大”數(shù)據(jù)，到底應該多大？量級不嚴格、范圍不嚴格思考2：新方法，到底有多新？大多數(shù)傳承傳統(tǒng)方式新方法解決面窄思考3：新結論，到底多有價值？陳述事實多，推理結論少展示效果好，實踐應用差總結：大數(shù)據(jù)更多是一種新的數(shù)據(jù)觀充分認識數(shù)據(jù)的價值（潛力與局限）正確選擇分析的方法引言思考1：“大”數(shù)據(jù)，到底應該多大？引言零售數(shù)據(jù)分析：我們的優(yōu)勢1、擁有最精華的數(shù)據(jù)，產(chǎn)出結論有說服力

（大而全不一定是長處：收集成本高、篩選困難）2、時間長涵蓋面廣，便于比較分析我們需要仔細分析的是：想做什么能做什么怎樣做引言零售數(shù)據(jù)分析：我們的優(yōu)勢數(shù)據(jù)分析的工作框架數(shù)據(jù)分析的工作框架工作框架需要的結論：既想要也想得到的數(shù)據(jù)資源和分析方法大量擴充—右半邊擴張分析對象理解和問題思考有所不足—左半邊停滯最重要的還是商業(yè)思維需要得到的結論數(shù)據(jù)分析可以解決的內(nèi)容大數(shù)據(jù)商業(yè)思維數(shù)據(jù)資源理解DeepUnderstanding分析方法洞察Insight

前瞻Prospect工作框架需要的結論：既想要也想得到的需要得到的結論數(shù)據(jù)分析可工作框架充分擴展兩個部分，首先代表：理解宏觀問題給出系統(tǒng)假設將假設化簡至可被數(shù)據(jù)分析其次，兩項工作無法忽視：充分研究了解對象—我們想要知道什么

（發(fā)現(xiàn)問題）判斷我們想要研究的問題是否有意義

（減少人力損耗）工作框架充分擴展兩個部分，首先代表：工作框架數(shù)據(jù)分析的六個階段1、對研究對象主觀的和客觀的、整體的和局部的認識2、提出希望探索的宏觀的問題（自由的或是有明確的）3、探討分析這些問題并產(chǎn)生結論的價值4、為選出的研究問題提出充分的假設。5、將研究假設進行拆解、劃分成為可定量分析的單元。6、結合數(shù)據(jù)資源和數(shù)據(jù)分析方法產(chǎn)生結論，驗證假設及理論的擴展性。工作框架數(shù)據(jù)分析的六個階段工作框架兩個重要問題產(chǎn)生的結論要有理論解釋反面例子：消費額和停車場大小正相關

（相關性需要結合背景）機器學習方法解釋性差、往往模型擬合數(shù)據(jù)，由于現(xiàn)實世界太復雜，參數(shù)太多，因此使用效果并不好認真思考提出問題的操作性反面例子：不同客戶的消費偏好分析、競爭力比較我們將結合六個步驟，分別討論完成它們的方法和一些重點問題工作框架兩個重要問題我們將結合六個步驟，分別討論完成它們的方數(shù)據(jù)分析的具體流程數(shù)據(jù)分析的具體流程步驟1：建立對對象的整體認知內(nèi)容：對對象建立主觀印象意義：產(chǎn)生新問題；產(chǎn)生對問題的合理假設著手點：觀察現(xiàn)狀；例子：購物中心的消費習慣轉變觀察數(shù)據(jù)；例子：消費數(shù)據(jù)分析暗示的消費群體變化此外，聞者有心：例子：外賣數(shù)據(jù)暗示房價步驟1：建立對對象的整體認知內(nèi)容：對對象建立主觀印象步驟2：提出希望探索的宏觀問題內(nèi)容：提出大目標形式：“A對B的影響”、“A未來一年的銷售額”等易于描述的、可變因子不超過一個的問題。反面例子：不同業(yè)態(tài)對不同年齡段顧客的影響1、業(yè)態(tài)和年齡段范圍太廣2、“影響”未指明具體內(nèi)容導致此調(diào)查耗費資源、失去重點可改成：餐飲區(qū)域面積占比對顧客到店數(shù)目的影響（劃定業(yè)態(tài)、指明影響內(nèi)容、排除掉年齡因素）步驟2：提出希望探索的宏觀問題內(nèi)容：提出大目標步驟3：探討闡述結論的價值相同的結論對不同的對象價值不同例：火車票訂票信息：增開列車？疏導客流？市政服務？思考分析結果對各種對象的可能價值正面例子：男女性消費者對購物中心環(huán)境設計的不同偏好反面例子：為不同地域的客戶設計不同會員禮品-成本反面例子：周邊辦公樓客流對銷售影響-無法采取措施步驟3：探討闡述結論的價值相同的結論對不同的對象價值不同步驟4：對宏觀問題提出充分假設內(nèi)容：將大問題提出各種各樣的小問題例子：顧客對購物中心服務的滿意度的影響因素假設1：服務人員對待客戶的態(tài)度假設2：購物中心提供的額外服務的種類假設3：購物中心的環(huán)境驗證假設來分析真實的影響因素及其影響程度步驟4：對宏觀問題提出充分假設內(nèi)容：將大問題提出各種各樣的小步驟5：將對象分解為可測量數(shù)據(jù)內(nèi)容：將各項假設提到的元素定量化以假設1：服務人員對待客戶的態(tài)度為例：數(shù)據(jù)庫中數(shù)據(jù)：出勤記錄、日?？己擞涗?、投訴記錄問卷調(diào)查數(shù)據(jù)：服務效率、服務意識、用詞方式、普通話標準、表現(xiàn)情感等相似的定量評分注：部分研究問題已經(jīng)明顯定量化，部分則需要人工確定量化標準步驟5：將對象分解為可測量數(shù)據(jù)內(nèi)容：將各項假設提到的元素定量步驟6：運用數(shù)據(jù)分析方法產(chǎn)生結論內(nèi)容：套用各種數(shù)據(jù)方法產(chǎn)出結論形式：數(shù)值、概率值、圖表分析軟件和語言SPSS、SAS、Matlab、smartPLSPython、R等等分析方法：常規(guī)統(tǒng)計方法：T檢驗、方差分析、相關分析、回歸分析、因子分析、時間序列分析、結構方程模型等，參考任意一本統(tǒng)計學教材。機器學習方法：聚類、分類、神經(jīng)網(wǎng)絡、決策樹等等，參考《機器學習導論》。步驟6：運用數(shù)據(jù)分析方法產(chǎn)生結論內(nèi)容：套用各種數(shù)據(jù)方法產(chǎn)出結補充需要認真防范的致命錯誤：1、與環(huán)境（背景）的結合

例：突發(fā)事件的影響2、認真思考邏輯關聯(lián)

例：歷年節(jié)日的“同比”3、“見所未見”

例：飛回的戰(zhàn)斗機往往機艙損壞嚴重

專門提出：“相關”的欺騙性“萬物皆相關”數(shù)據(jù)相關≠邏輯相關

補充需要認真防范的致命錯誤：總結總結總結大數(shù)據(jù)和新方法只是新的資源和工具挖掘數(shù)據(jù)價值的還是人