埃森哲大數(shù)據(jù)分析方法論及工具課件

consultingItechnologyoutsourcing大數(shù)據(jù)分析方法論目錄)概述Q數(shù)據(jù)分析框架③數(shù)據(jù)分析方法(數(shù)據(jù)理解&數(shù)據(jù)淮備分類與回歸①聚類分析關(guān)聯(lián)分析時序模型構(gòu)優(yōu)化◎數(shù)據(jù)分析支撐工具Copyrighte2019AccentureAllnightsreserved數(shù)據(jù)分析即從數(shù)據(jù)、信息到知識的過程,數(shù)據(jù)分析需要數(shù)學(xué)理論、行業(yè)經(jīng)驗(yàn)以及計算機(jī)工具三者結(jié)合具支撐各種廠薊開發(fā)了教據(jù)分析的工具、模玦,將分析模型數(shù)學(xué)&統(tǒng)計學(xué)知識封裝,使不了解技術(shù)的人也能夠快捷的實(shí)現(xiàn)數(shù)學(xué)藪據(jù)分析的基礎(chǔ),將整理、描述建模,快遠(yuǎn)響應(yīng)分析需求預(yù)測數(shù)據(jù)的手段、過程抽象為教學(xué)模型的理論知機(jī)器學(xué)習(xí)不需要人過多干預(yù),通過計算機(jī)自動學(xué)習(xí),發(fā)現(xiàn)數(shù)據(jù)規(guī)律,但結(jié)論不傳統(tǒng)分析在教據(jù)量較少時,傳統(tǒng)的易控制學(xué)習(xí)數(shù)據(jù)分析已能夠發(fā)現(xiàn)數(shù)據(jù)中包含的知識,包括結(jié)構(gòu)挖掘傳f分析、杜邦分析等模型教據(jù)挖掘法成熟,應(yīng)用廣泛,本嶔據(jù)挖掘是挖掘教據(jù)背后隱區(qū)文不展開介紹藏的知識的重要手段行業(yè)經(jīng)驗(yàn)分析誤區(qū)不了解分析模型的數(shù)學(xué)原理,會導(dǎo)致行業(yè)經(jīng)驗(yàn)錯誤的使用模型,而得出錯誤的分析行業(yè)經(jīng)驗(yàn)可在數(shù)據(jù)分析前確定分析需結(jié)論,影響業(yè)務(wù)決策,因此在選用分求,分析中檢驗(yàn)方法是否合理,以及析模型時,要深入了解該模型的原理分析后指導(dǎo)應(yīng)用,但行業(yè)特征不同和使用限制其應(yīng)用也不同,因此本文不展開介紹Copyrighte2019AccentureAllnightsreserved隨著計算機(jī)技術(shù)發(fā)展和數(shù)據(jù)分析理論的更新,當(dāng)前的數(shù)據(jù)分析逐步成為機(jī)器語言、統(tǒng)計知識兩個學(xué)科的交集(備選)數(shù)據(jù)分析工具各種廠商開發(fā)了數(shù)據(jù)分析的工具、模塊,將分析模型封裝,使不解技術(shù)的人也能夠快捷的實(shí)現(xiàn)數(shù)學(xué)建?？焖夙憫?yīng)分析需求數(shù)據(jù)分析傳統(tǒng)分析在數(shù)據(jù)量較少時,傳統(tǒng)的數(shù)據(jù)分析已能夠發(fā)現(xiàn)敖據(jù)數(shù)據(jù)中包含的知識,包括結(jié)構(gòu)分析、杜邦分析等模型信息處理傳統(tǒng)分析方法成熟,應(yīng)用廣泛,本文不展開介紹信息處理信息處理基于查詢,可以發(fā)現(xiàn)有用的信息。但是這種查詢的回答反映業(yè)務(wù)數(shù)據(jù)的是直接存放在數(shù)據(jù)庫中的信息數(shù)據(jù)挖掘就是充分利用了統(tǒng)計學(xué)和人工智能它們不反映復(fù)雜的模式,或隱藏在數(shù)據(jù)庫中的規(guī)律技術(shù)的應(yīng)用程序,并把這些高深復(fù)雜的技術(shù)封裝起來,使人們不用自己掌握這些技術(shù)也能完成同樣的功能,并且更專注于自己所要解決的問題Copyrighte2019AccentureAllnightsreserved隨著計算機(jī)科學(xué)的進(jìn)步,數(shù)據(jù)挖掘、商務(wù)智能、大數(shù)據(jù)等概念的出現(xiàn),數(shù)據(jù)分析的手段和方法更加豐富常規(guī)分析數(shù)據(jù)挖掘商務(wù)智能大數(shù)據(jù)技術(shù)數(shù)據(jù)可視化莉示教據(jù)之間的靜…統(tǒng)計學(xué)和計算機(jī)找·一系列以事實(shí)為支多種類型的據(jù)大數(shù)據(jù)葉代,展示態(tài)關(guān)系術(shù)等多學(xué)科的結(jié)合持,輔助商業(yè)決策的中,快進(jìn)獲取知識術(shù)和方法,會用名理解數(shù)掘、演繹數(shù)括專家系統(tǒng)、有能對數(shù)據(jù)質(zhì)量要求高赦據(jù)挖掘技術(shù)的衍·將據(jù)分析的范擴(kuò)展一般由數(shù)據(jù)倉庫!推向“將來從“過去”求搖、數(shù)提備份和復(fù)等部分組成對數(shù)據(jù)分析的體系化管理,數(shù)據(jù)分析的主體依然是數(shù)掘挖掘本文在描逑數(shù)據(jù)分析的流程后,重點(diǎn)介紹通用的數(shù)據(jù)分析方法和主流的應(yīng)用工具數(shù)據(jù)件分析隨著數(shù)據(jù)量的不斷擴(kuò)大,數(shù)據(jù)分析理論正處于飛速發(fā)展期,因此本文的方法側(cè)重于基礎(chǔ)原理介紹Copyrighte2019AccentureAllnightsreserved目錄概述數(shù)據(jù)分析框架③數(shù)據(jù)分析方法(數(shù)據(jù)理解&數(shù)據(jù)淮備分類與回歸①聚類分析關(guān)聯(lián)分析時序模型構(gòu)優(yōu)化◎數(shù)據(jù)分析支撐工具Copyrighte2019AccentureAllnightsreserved數(shù)據(jù)分析標(biāo)準(zhǔn)流程CRISP-DM為90年代由SG組織(當(dāng)時)提出,已被業(yè)界廣泛認(rèn)可的數(shù)據(jù)分析流程1.業(yè)務(wù)理解(businessunderstanding)確定目標(biāo)、明確分析需求2數(shù)據(jù)理解(dataunderstanding)收集原始數(shù)據(jù)、描述數(shù)據(jù)、探索數(shù)據(jù)、檢驗(yàn)效據(jù)質(zhì)量商業(yè)理解效據(jù)理解3.數(shù)據(jù)準(zhǔn)備(datapreparation)選擇數(shù)據(jù)、清洗數(shù)據(jù)、構(gòu)造數(shù)據(jù)、整合數(shù)據(jù)、格式化敖據(jù)建立模型4建立模型(modeling)選擇建模技術(shù)、參數(shù)調(diào)優(yōu)、生成測試計劃、構(gòu)建模型型評估5評估模型(evaluation)對模型進(jìn)行較為仝面的評價,評價結(jié)果、重審過程6部署(deployment分析結(jié)果應(yīng)用Copyrighte2019AccentureAllnightsreserved數(shù)據(jù)分析框架業(yè)務(wù)理解數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備》《建立模型》《模型評估應(yīng)用理解業(yè)務(wù)背景數(shù)據(jù)收集數(shù)據(jù)探索選擇方法、工評估分析需求數(shù)據(jù)清洗樓過程評估分析結(jié)果應(yīng)月氵毅撼轉(zhuǎn)換日具,建立模型氵模型結(jié)果許估]:分析模型改堤據(jù)分析的本質(zhì)日物取的敦?fù)?jù)必頻能氵運(yùn)用計方法對數(shù)氵綜合考慮業(yè)務(wù)君求對型的:理解業(yè)務(wù)背景敏據(jù)收集探索教據(jù)建立模型·建模過程評將模型應(yīng)用于是服務(wù)于業(yè)務(wù):夠正確反映業(yè)務(wù)需氵據(jù)進(jìn)行粼索,發(fā)現(xiàn)氵精廢、數(shù)據(jù)清況、準(zhǔn)確性、效率和:業(yè)務(wù)賓,才務(wù)理解,缺乏業(yè)會對業(yè)務(wù)將造成氵數(shù)據(jù)內(nèi)部規(guī)律?；ㄙM(fèi)成本等因素求,如果沒有並:求,否則分析轄論用性迷行評能實(shí)現(xiàn)數(shù)據(jù)分選擇最合適的型。佔(zhàn)析的真正價值務(wù)指導(dǎo),會導(dǎo)致:。數(shù)據(jù)特?fù)Q在實(shí)中對分析無法落地。:·數(shù)據(jù)清洗為了達(dá)到樓型的掬:分析目的,往往模型結(jié)果評估::和解決業(yè)務(wù)問教據(jù)要求,需要:用多個樸型,然后:評估是否有遺:題評估業(yè)務(wù)雪吏::原始數(shù)據(jù)中存在教:對教據(jù)進(jìn)行轉(zhuǎn)換通過后續(xù)的樸型評:的業(yè)務(wù),模型結(jié):據(jù)梨失和壞數(shù)據(jù)判斷分析需求是·如果不處理會號致否可以糝換為毅:模型失效,園此對致化、標(biāo)淮化等。整,以尋求取合初的業(yè)務(wù)問題需要結(jié)合業(yè)務(wù)寺!聚的及時跟蹤分析項(xiàng)目,菜:數(shù)據(jù)逼過過濾“去家進(jìn)行評估些需求是不能有噪”從而提取出有后期的樸型調(diào)轉(zhuǎn)換為數(shù)據(jù)分:效數(shù)據(jù)整和優(yōu)化符合商業(yè)邏輯致?lián)蛔?、?shù)據(jù):質(zhì)量極差等Copyrighte2019AcoentureAllnightsreserved數(shù)據(jù)分析框架業(yè)務(wù)理解數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備建立模型模型評估數(shù)據(jù)探KN法均方根誤差SVM算法均方誤差收集敖據(jù)正概率計神經(jīng)網(wǎng)絡(luò)特征描述〔45決策樹評估分析需求群間差異度分布特K均值算法群內(nèi)相似度業(yè)務(wù)符合度結(jié)構(gòu)分析FP-growth算法確需求Apriori算法支持度數(shù)據(jù)清躉信度教據(jù)摶換指效平滑}均方根誤差是支持向量機(jī)□均方誤差是否滿灰色理論一!正概率統(tǒng)計足要求灰色理論造傳算法Copyrighte2019AccentureAl