大數據技術及數據分析課程培訓演示

大數據技術及數據分析當前第1頁\共有50頁\編于星期六\4點2課程收益學習數理統(tǒng)計的理念熟悉常見的處理套路掌握常用軟件的使用解決學員的具體問題當前第2頁\共有50頁\編于星期六\4點3目錄數理統(tǒng)計常識數理統(tǒng)計技術當前第3頁\共有50頁\編于星期六\4點4目錄數理統(tǒng)計常識量化的重要性統(tǒng)計基礎知識數據挖掘簡介數理統(tǒng)計技術當前第4頁\共有50頁\編于星期六\4點5案例當前第5頁\共有50頁\編于星期六\4點6案例記者 在短時間內發(fā)生這么多起跳樓的事件，如果站在理論 角度上，發(fā)生率算不算高？樊富珉 按衛(wèi)生部統(tǒng)計，目前中國自殺率大概是十萬分之十六 左右。而富士康40多萬人，約十萬分之二三左右，大 學生我們也做過統(tǒng)計，大概十萬分之二到三左右。如 果從全國的自殺率來比的話，應該還是低的當前第6頁\共有50頁\編于星期六\4點7案例世界銀行發(fā)展委員會25日通過了發(fā)達國家向發(fā)展中國家轉移投票權的改革方案，這一改革從一個側面反映了世界經濟版圖的變化本次改革中，發(fā)達國家向發(fā)展中國家共轉移了3.13個百分點的投票權。中國在世行的投票權從目前的2.77%提高到4.42%，成為世界銀行第三大股東國，僅次于美國和日本世界銀行規(guī)則：任何重要的決議必須由85%以上的表決權決定名次國家改革后投票權改革前投票權1美國15.85%15.85%2日本6.84%7.62%3中國4.42%2.77%4德國4.00%4.35%5法國3.75%4.17%5英國3.75%4.17%7印度2.91%2.77%8俄羅斯2.77%2.77%8沙特2.77%2.77%10意大利2.64%2.71%當前第7頁\共有50頁\編于星期六\4點8案例在一次海難中，統(tǒng)計數據為頭等艙乘客319人，200人幸存二等艙乘客269人，117人幸存三等艙乘客699人，172人幸存從以上數據你可以發(fā)現什么？當前第8頁\共有50頁\編于星期六\4點9目錄數理統(tǒng)計常識量化的重要性統(tǒng)計基礎知識數據挖掘簡介數理統(tǒng)計技術當前第9頁\共有50頁\編于星期六\4點10誤差（波動）偶然誤差可減小但不可消除系統(tǒng)誤差可消除當前第10頁\共有50頁\編于星期六\4點11抽樣樣本大小AQL0.0100.0150.0250.0400.0650.10.150.250.400.651.01.52.54.06.510抽樣數收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退1~820/19~1530/116~2550/11/226~5080/11/22/351~90130/11/22/33/491~150200/11/22/33/45/6151~280320/11/22/33/45/67/8281~500500/11/22/33/45/67/810/11501~1200800/11/22/33/45/67/810/1114/151201~32001250/11/22/33/45/67/810/1114/1521/223201~100002000/11/22/33/45/67/810/1114/1521/2210001~350003150/11/22/33/45/67/810/1114/1521/2235001~1500005000/11/22/33/45/67/810/1114/1521/22150001~5000008000/11/22/33/45/67/810/1114/1521/22≥50000112500/11/22/33/45/67/810/1114/1521/22當前第11頁\共有50頁\編于星期六\4點12連續(xù)數據和離散數據連續(xù)數據定量信息含量大離散數據定性信息含量小當前第12頁\共有50頁\編于星期六\4點13判斷數據屬性銷售訂單準確度數據輸入準確度銷售地區(qū)用通規(guī)測量得到的孔徑用卡尺測量得到的孔徑客戶熱線對話時間空調制冷劑的重量一批顧客中不滿意的人數一批顧客中不滿意的比例當前第13頁\共有50頁\編于星期六\4點14數據的居中程度和離散程度主要的居中指標平均值 數據集的平均值中位數 數據排序后得到的中間數眾數 數據集中最頻繁出現的值主要的離散指標極差 數據集中最大值與最小值的差值方差 與平均值間距的平方和的平均值標準偏差 方差的平方根當前第14頁\共有50頁\編于星期六\4點15正態(tài)曲線大多數（但不是所有）數據符合正態(tài)分布當前第15頁\共有50頁\編于星期六\4點16目錄數理統(tǒng)計常識量化的重要性統(tǒng)計基礎知識數據挖掘簡介數理統(tǒng)計技術當前第16頁\共有50頁\編于星期六\4點17數據挖掘簡介數據挖掘（DataMining）的概念從數據庫數據中揭示出隱含的、未知的并有潛在價值的信息決策支持，基于人工智能、機器學習、模式識別、統(tǒng)計學、數據庫、可視化技術等，高度自動化地分析企業(yè)的數據，做出歸納性的推理，從中挖掘出潛在的模式，幫助做出正確的決策當前第17頁\共有50頁\編于星期六\4點18數據挖掘主要動作分類估值預測關聯聚集可視化描述當前第18頁\共有50頁\編于星期六\4點19案例第一次戰(zhàn)役 1950年10月26日 1950年11月02日第二次戰(zhàn)役 1950年11月25日 1950年12月02日第三次戰(zhàn)役 1950年12月31日 1951年01月08日當前第19頁\共有50頁\編于星期六\4點20案例豐田大規(guī)模召回事件引起全球強烈反響，引發(fā)豐田信譽危機當前第20頁\共有50頁\編于星期六\4點21目錄數理統(tǒng)計常識數理統(tǒng)計技術基礎動作圖表操作典型工具和應用當前第21頁\共有50頁\編于星期六\4點22基礎動作搜集整理分析評估展示當前第22頁\共有50頁\編于星期六\4點23目錄數理統(tǒng)計常識數理統(tǒng)計技術基礎動作圖表操作典型工具和應用當前第23頁\共有50頁\編于星期六\4點24圖表類型數字型邏輯型當前第24頁\共有50頁\編于星期六\4點25圖表的注意事項選取適當的圖表類型數量圖表應寫清單位引用資料應說明出處不要妄圖表達過多的信息圖例一般控制在五個以下盡量簡單明了、利于理解當前第25頁\共有50頁\編于星期六\4點26動態(tài)圖表當前第26頁\共有50頁\編于星期六\4點27報告制作原則提案型報告說明型報告當前第27頁\共有50頁\編于星期六\4點28文檔制作原則邏輯清晰方案多選文字精煉內容可視恰當修飾體積小巧制作迅速當前第28頁\共有50頁\編于星期六\4點29報告的需求管理報告的客戶誰在看報告？希望看什么？希望的頻率？希望的詳略？相關的技巧買點和賣點金字塔原理當前第29頁\共有50頁\編于星期六\4點30報告的素材準則中肯可比準確時效可靠清晰當前第30頁\共有50頁\編于星期六\4點31素材組織的FAB技巧Feature 特點Advantage 優(yōu)點Benefit 利益BenefitAdvantageFeature客戶關注點當前第31頁\共有50頁\編于星期六\4點32目錄數理統(tǒng)計常識數理統(tǒng)計技術基礎動作圖表操作典型工具和應用當前第32頁\共有50頁\編于星期六\4點33規(guī)范處理數據和數據有效性數據處理的良好習慣Excel數據有效性當前第33頁\共有50頁\編于星期六\4點34層別法、聚類和表格維度層別法、聚類一維表和二維表當前第34頁\共有50頁\編于星期六\4點35數據透視表當前第35頁\共有50頁\編于星期六\4點36將數據按順序等距分組，體現各組內頻數的柱狀圖輪廓符合正態(tài)分布曲線說明處于穩(wěn)定狀態(tài)通過異常輪廓形狀分析可定位異常的原因直方圖當前第36頁\共有50頁\編于星期六\4點37案例174185189196208190178184190205184185194191205205207207207206210209217214214206209210當前第37頁\共有50頁\編于星期六\4點38表現各項目頻度降序排列及累積比例二八原則大問題優(yōu)先柏拉圖當前第38頁\共有50頁\編于星期六\4點39ABC分析法A類0~70%，主要影響因素B類70~90%，次要影響因素C類90~100%，一般影響因素ABC的劃分不是絕對的當前第39頁\共有50頁\編于星期六\4點40練習張女士結婚五年以來與丈夫發(fā)生糾紛如下不做家務 28次深夜不歸 5次不良嗜好 5次沒送禮物 1次胡亂花錢 3次婆媳關系 50次異性交往 8次請制作柏拉圖并用ABC法分析當前第40頁\共有50頁\編于星期六\4點41散布圖、關聯規(guī)則和預測研究兩個特性之的內在關系坐標軸分別表示結果特性和原因特性使得解決問題時找出強相關的原因當前第41頁\共有50頁\編于星期六\4點42常見類型散布圖正相關強X的增加導致Y的明顯增加正相關弱X的增加導致Y的略微增加因變量自變量強正相關弱正相關因變量自變量當前第42頁\共有50頁\編于星期六\4點43常見類型負相關強X的增加導致Y的明顯減少負相關弱X的增加導致Y的略微減少散布圖因變量自變量強負相關自變量弱負相關因變量當前第43頁\共有50頁\編于星期六\4點44常見類型散布圖無相關Y的變化與X的變化毫無關系曲線關系X與Y之間無線性關系但符合某種曲線變化規(guī)律曲線相關因變量自變量不相關自變量因變量當前第44頁\共有50頁\編于星期六\4點45預測Forecast法趨勢線法當前第45頁\共有50頁\編于星期六\4點46單變量求解當前第46頁\共有50頁\編于星期六\4點47規(guī)劃求解當前第47頁\共有50頁\編于星期六\4點48矩陣數據分析法矩陣數據分析法（MatrixDataAnalysisChart）用于排定優(yōu)先級、做多目標決策量化表示各元素的關系，更準確地整理和分析結果當前第48頁\共有50頁\編于星期六\4點49案例

易于控制易于使用網絡性能軟件兼容便于維護總分權重易于控制041319.002