大數(shù)據(jù)技術(shù)及數(shù)據(jù)分析課程培訓(xùn)-師偉51

大數(shù)據(jù)技術(shù)及數(shù)據(jù)分析1課程收益學(xué)習(xí)數(shù)理統(tǒng)計(jì)的理念熟悉常見的處理套路掌握常用軟件的使用解決學(xué)員的具體問題2目錄數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)3目錄數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計(jì)技術(shù)4案例5案例記者 在短時(shí)間內(nèi)發(fā)生這么多起跳樓的事件，如果站在理論 角度上，發(fā)生率算不算高？樊富珉 按衛(wèi)生部統(tǒng)計(jì)，目前中國自殺率大概是十萬分之十六 左右。而富士康40多萬人，約十萬分之二三左右，大 學(xué)生我們也做過統(tǒng)計(jì)，大概十萬分之二到三左右。如 果從全國的自殺率來比的話，應(yīng)該還是低的6案例世界銀行發(fā)展委員會(huì)25日通過了發(fā)達(dá)國家向發(fā)展中國家轉(zhuǎn)移投票權(quán)的改革方案，這一改革從一個(gè)側(cè)面反映了世界經(jīng)濟(jì)版圖的變化本次改革中，發(fā)達(dá)國家向發(fā)展中國家共轉(zhuǎn)移了3.13個(gè)百分點(diǎn)的投票權(quán)。中國在世行的投票權(quán)從目前的2.77%提高到4.42%，成為世界銀行第三大股東國，僅次于美國和日本世界銀行規(guī)則：任何重要的決議必須由85%以上的表決權(quán)決定名次國家改革后投票權(quán)改革前投票權(quán)1美國15.85%15.85%2日本6.84%7.62%3中國4.42%2.77%4德國4.00%4.35%5法國3.75%4.17%5英國3.75%4.17%7印度2.91%2.77%8俄羅斯2.77%2.77%8沙特2.77%2.77%10意大利2.64%2.71%7案例在一次海難中，統(tǒng)計(jì)數(shù)據(jù)為頭等艙乘客319人，200人幸存二等艙乘客269人，117人幸存三等艙乘客699人，172人幸存從以上數(shù)據(jù)你可以發(fā)現(xiàn)什么？8目錄數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計(jì)技術(shù)9誤差（波動(dòng)）偶然誤差可減小但不可消除系統(tǒng)誤差可消除10抽樣樣本大小AQL0.0100.0150.0250.0400.0650.10.150.250.400.651.01.52.54.06.510抽樣數(shù)收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退1~820/19~1530/116~2550/11/226~5080/11/22/351~90130/11/22/33/491~150200/11/22/33/45/6151~280320/11/22/33/45/67/8281~500500/11/22/33/45/67/810/11501~1200800/11/22/33/45/67/810/1114/151201~32001250/11/22/33/45/67/810/1114/1521/223201~100002000/11/22/33/45/67/810/1114/1521/2210001~350003150/11/22/33/45/67/810/1114/1521/2235001~1500005000/11/22/33/45/67/810/1114/1521/22150001~5000008000/11/22/33/45/67/810/1114/1521/22≥50000112500/11/22/33/45/67/810/1114/1521/2211連續(xù)數(shù)據(jù)和離散數(shù)據(jù)連續(xù)數(shù)據(jù)定量信息含量大離散數(shù)據(jù)定性信息含量小12判斷數(shù)據(jù)屬性銷售訂單準(zhǔn)確度數(shù)據(jù)輸入準(zhǔn)確度銷售地區(qū)用通規(guī)測(cè)量得到的孔徑用卡尺測(cè)量得到的孔徑客戶熱線對(duì)話時(shí)間空調(diào)制冷劑的重量一批顧客中不滿意的人數(shù)一批顧客中不滿意的比例13數(shù)據(jù)的居中程度和離散程度主要的居中指標(biāo)平均值 數(shù)據(jù)集的平均值中位數(shù) 數(shù)據(jù)排序后得到的中間數(shù)眾數(shù) 數(shù)據(jù)集中最頻繁出現(xiàn)的值主要的離散指標(biāo)極差 數(shù)據(jù)集中最大值與最小值的差值方差 與平均值間距的平方和的平均值標(biāo)準(zhǔn)偏差 方差的平方根14正態(tài)曲線大多數(shù)（但不是所有）數(shù)據(jù)符合正態(tài)分布15目錄數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計(jì)技術(shù)16數(shù)據(jù)挖掘簡介數(shù)據(jù)挖掘（DataMining）的概念從數(shù)據(jù)庫數(shù)據(jù)中揭示出隱含的、未知的并有潛在價(jià)值的信息決策支持，基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫、可視化技術(shù)等，高度自動(dòng)化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助做出正確的決策17數(shù)據(jù)挖掘主要?jiǎng)幼鞣诸惞乐殿A(yù)測(cè)關(guān)聯(lián)聚集可視化描述18案例第一次戰(zhàn)役 1950年10月26日 1950年11月02日第二次戰(zhàn)役 1950年11月25日 1950年12月02日第三次戰(zhàn)役 1950年12月31日 1951年01月08日19案例豐田大規(guī)模召回事件引起全球強(qiáng)烈反響，引發(fā)豐田信譽(yù)危機(jī)20目錄數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用21基礎(chǔ)動(dòng)作搜集整理分析評(píng)估展示22目錄數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用23圖表類型數(shù)字型邏輯型24圖表的注意事項(xiàng)選取適當(dāng)?shù)膱D表類型數(shù)量圖表應(yīng)寫清單位引用資料應(yīng)說明出處不要妄圖表達(dá)過多的信息圖例一般控制在五個(gè)以下盡量簡單明了、利于理解25動(dòng)態(tài)圖表26報(bào)告制作原則提案型報(bào)告說明型報(bào)告27文檔制作原則邏輯清晰方案多選文字精煉內(nèi)容可視恰當(dāng)修飾體積小巧制作迅速28報(bào)告的需求管理報(bào)告的客戶誰在看報(bào)告？希望看什么？希望的頻率？希望的詳略？相關(guān)的技巧買點(diǎn)和賣點(diǎn)金字塔原理29報(bào)告的素材準(zhǔn)則中肯可比準(zhǔn)確時(shí)效可靠清晰30素材組織的FAB技巧Feature 特點(diǎn)Advantage 優(yōu)點(diǎn)Benefit 利益BenefitAdvantageFeature客戶關(guān)注點(diǎn)31目錄數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用32規(guī)范處理數(shù)據(jù)和數(shù)據(jù)有效性數(shù)據(jù)處理的良好習(xí)慣Excel數(shù)據(jù)有效性33層別法、聚類和表格維度層別法、聚類一維表和二維表34數(shù)據(jù)透視表35將數(shù)據(jù)按順序等距分組，體現(xiàn)各組內(nèi)頻數(shù)的柱狀圖輪廓符合正態(tài)分布曲線說明處于穩(wěn)定狀態(tài)通過異常輪廓形狀分析可定位異常的原因直方圖36案例17418518919620819017818419020518418519419120520520720720720621020921721421420620921037表現(xiàn)各項(xiàng)目頻度降序排列及累積比例二八原則大問題優(yōu)先柏拉圖38ABC分析法A類0~70%，主要影響因素B類70~90%，次要影響因素C類90~100%，一般影響因素ABC的劃分不是絕對(duì)的39練習(xí)張女士結(jié)婚五年以來與丈夫發(fā)生糾紛如下不做家務(wù) 28次深夜不歸 5次不良嗜好 5次沒送禮物 1次胡亂花錢 3次婆媳關(guān)系 50次異性交往 8次請(qǐng)制作柏拉圖并用ABC法分析40散布圖、關(guān)聯(lián)規(guī)則和預(yù)測(cè)研究兩個(gè)特性之的內(nèi)在關(guān)系坐標(biāo)軸分別表示結(jié)果特性和原因特性使得解決問題時(shí)找出強(qiáng)相關(guān)的原因41常見類型散布圖正相關(guān)強(qiáng)X的增加導(dǎo)致Y的明顯增加正相關(guān)弱X的增加導(dǎo)致Y的略微增加因變量自變量強(qiáng)正相關(guān)弱正相關(guān)因變量自變量42常見類型負(fù)相關(guān)強(qiáng)X的增加導(dǎo)致Y的明顯減少負(fù)相關(guān)弱X的增加導(dǎo)致Y的略微減少散布圖因變量自變量強(qiáng)負(fù)相關(guān)自變量弱負(fù)相關(guān)因變量43常見類型散布圖無相關(guān)Y的變化與X的變化毫無關(guān)系曲線關(guān)系X與Y之間無線性關(guān)系但符合某種曲線變化規(guī)律曲線相關(guān)因變量自變量不相關(guān)自變量因變量44預(yù)測(cè)Forecast法趨勢(shì)線法45單變量求解46規(guī)劃求解47矩陣數(shù)據(jù)分析法矩陣數(shù)據(jù)分析法（MatrixDataA