企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用

2020企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)：技術(shù)、架構(gòu)、實(shí)施與應(yīng)用演講人2025-11-111企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024011企業(yè)大數(shù)據(jù)戰(zhàn)略定位2企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20241企業(yè)大數(shù)據(jù)戰(zhàn)略定位201120122013

1.1宏觀1.2.1資源協(xié)同1.2.2戰(zhàn)略定位1.2.3啟動契機(jī)1.2.4大數(shù)據(jù)歷程1.2微觀

1.3本章小結(jié)3企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024022企業(yè)大數(shù)據(jù)職能規(guī)劃4企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20242企業(yè)大數(shù)據(jù)職能規(guī)劃2.1大數(shù)據(jù)組織架構(gòu)體系2.2大數(shù)據(jù)職位構(gòu)建體系2.3大數(shù)據(jù)制度和流程規(guī)范2.4本章小結(jié)DCAB5企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20242企業(yè)大數(shù)據(jù)職能規(guī)劃2.1大數(shù)據(jù)組織架構(gòu)體系A(chǔ)2.1.1大數(shù)據(jù)部門在企業(yè)中的角色2.1.2常見的大數(shù)據(jù)職能及職責(zé)B6企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024LOGOM.94275.CN2企業(yè)大數(shù)據(jù)職能規(guī)劃2.2大數(shù)據(jù)職位構(gòu)建體系2.2.1基礎(chǔ)平臺類2.2.2數(shù)據(jù)管理類2.2.3技術(shù)研發(fā)類2.2.4產(chǎn)品設(shè)計(jì)類2.2.5數(shù)據(jù)挖掘類2.2.6數(shù)據(jù)分析類7企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20242企業(yè)大數(shù)據(jù)職能規(guī)劃2.3大數(shù)據(jù)制度和流程規(guī)范CBA2.3.1制度和流程規(guī)范意義2.3.2制度和流程規(guī)范內(nèi)容2.3.3制度和流程規(guī)范模板8企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024033企業(yè)大數(shù)據(jù)解決方案9企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20243企業(yè)大數(shù)據(jù)解決方案3.1企業(yè)大數(shù)據(jù)解決方案實(shí)現(xiàn)方式3.2如何選擇解決方案3.3本章小結(jié)10企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20243企業(yè)大數(shù)據(jù)解決方案3.1企業(yè)大數(shù)據(jù)解決方案實(shí)現(xiàn)方式3.1.2第三方解決方案3.1.3聯(lián)合開發(fā)3.1.1獨(dú)立研發(fā)11企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20243.2如何選擇解決方案3企業(yè)大數(shù)據(jù)解決方案3.2.1外部環(huán)境分析3.2.2內(nèi)部環(huán)境分析3.2.5解決方案費(fèi)用評估3.2.4解決方案特性分析3.2.3需求規(guī)劃分析12企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024044企業(yè)大數(shù)據(jù)自主實(shí)施思路13企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20244企業(yè)大數(shù)據(jù)自主實(shí)施思路014.1制定規(guī)劃原則024.2制定目標(biāo)藍(lán)圖034.3制定建設(shè)目標(biāo)044.4明確組織規(guī)劃054.5設(shè)計(jì)技術(shù)方案064.6制定人才規(guī)劃14企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20244企業(yè)大數(shù)據(jù)自主實(shí)施思路4.7投入產(chǎn)出評估4.8數(shù)據(jù)風(fēng)險(xiǎn)管理4.9本章小結(jié)15企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20244企業(yè)大數(shù)據(jù)自主實(shí)施思路4.1制定規(guī)劃原則4.1.2實(shí)時(shí)性024.1.1價(jià)值性014.1.3高效性034.1.4安全性044.1.5延展性054.1.6全局性0616企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20244企業(yè)大數(shù)據(jù)自主實(shí)施思路4.4明確組織規(guī)劃CBA4.4.1組織結(jié)構(gòu)設(shè)計(jì)的作用4.4.2組織結(jié)構(gòu)設(shè)立的導(dǎo)向4.4.3組織結(jié)構(gòu)的最終設(shè)立17企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024LOGOM.94275.CN4企業(yè)大數(shù)據(jù)自主實(shí)施思路4.5設(shè)計(jì)技術(shù)方案14.5.1大數(shù)據(jù)系統(tǒng)建設(shè)方案24.5.2大數(shù)據(jù)系統(tǒng)與傳統(tǒng)BI的融合方案18企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20244企業(yè)大數(shù)據(jù)自主實(shí)施思路4.6制定人才規(guī)劃4.6.1指導(dǎo)思想4.6.2規(guī)劃原則4.6.3核心內(nèi)容19企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20244企業(yè)大數(shù)據(jù)自主實(shí)施思路4.7投入產(chǎn)出評估CBA4.7.1數(shù)據(jù)投入與產(chǎn)出的內(nèi)涵4.7.2數(shù)據(jù)投入與產(chǎn)出的特征4.7.3數(shù)據(jù)投入與產(chǎn)出的管理20企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20244企業(yè)大數(shù)據(jù)自主實(shí)施思路4.8數(shù)據(jù)風(fēng)險(xiǎn)管理4.8.1數(shù)據(jù)風(fēng)險(xiǎn)管理的概念4.8.2數(shù)據(jù)風(fēng)險(xiǎn)管理的類型4.8.3數(shù)據(jù)風(fēng)險(xiǎn)管理的原則4.8.4數(shù)據(jù)風(fēng)險(xiǎn)管理與控制21企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024055大數(shù)據(jù)技術(shù)介紹22企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20245.1核心技術(shù)015.1.1Hadoop生態(tài)5.1.2NoSQL025.1.3實(shí)時(shí)計(jì)算035.1.4全文檢索0423企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20245.1核心技術(shù)5.1.1Hadoop生態(tài)1.HDFS2.MapReduce3.Hive4.HBase5.Impala6.YARN7.Zookeeper24企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20245.1核心技術(shù)5.1.3實(shí)時(shí)計(jì)算1.Spark2.Storm25企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20245.2相關(guān)技術(shù)5.2.1數(shù)據(jù)可視化01

5.2.2數(shù)據(jù)緩存02

5.2.4關(guān)系型數(shù)據(jù)庫041.Oracle2.MySQL5.2.5數(shù)據(jù)ETL05

5.2.3中間件03

26企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20245.3大數(shù)據(jù)算法庫5大數(shù)據(jù)技術(shù)介紹1.RHadoop013.MLlib035.SystemML052.Mahout024.Python0427企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20245大數(shù)據(jù)技術(shù)介紹5.4本章小結(jié)28企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024066大數(shù)據(jù)架構(gòu)設(shè)計(jì)29企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20246大數(shù)據(jù)架構(gòu)設(shè)計(jì)6.1大數(shù)據(jù)架構(gòu)設(shè)計(jì)原則6.2大數(shù)據(jù)核心架構(gòu)要素6.3大數(shù)據(jù)架構(gòu)設(shè)計(jì)模式6.4本章小結(jié)DCAB30企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024077大數(shù)據(jù)技術(shù)開發(fā)31企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20247大數(shù)據(jù)技術(shù)開發(fā)7.1數(shù)據(jù)采集017.4功能服務(wù)047.2數(shù)據(jù)存儲027.5平臺管理057.3多維計(jì)算037.6應(yīng)用域0632企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20247大數(shù)據(jù)技術(shù)開發(fā)7.7本章小結(jié)33企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20247大數(shù)據(jù)技術(shù)開發(fā)7.1數(shù)據(jù)采集7.1.1批量采集17.1.2增量采集234企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20247.2數(shù)據(jù)存儲7大數(shù)據(jù)技術(shù)開發(fā)7.2.2Hive數(shù)據(jù)存儲引擎7.2.4MySQL關(guān)系型數(shù)據(jù)存儲引擎7.2.1HDFS文件存儲引擎7.2.3HBase列式存儲引擎35企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20247大數(shù)據(jù)技術(shù)開發(fā)7.5平臺管理7.5.1監(jiān)控管理7.5.2調(diào)度管理7.5.3權(quán)限管理36企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024088大數(shù)據(jù)工作流37企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20248大數(shù)據(jù)工作流8.1數(shù)據(jù)源8.4數(shù)據(jù)計(jì)算8.2數(shù)據(jù)處理8.5數(shù)據(jù)應(yīng)用8.6數(shù)據(jù)質(zhì)量管理8.3數(shù)據(jù)存儲38企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20248大數(shù)據(jù)工作流8.7本章小結(jié)39企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024LOGOM.94275.CN8大數(shù)據(jù)工作流8.1數(shù)據(jù)源8.1.1日志/文件18.1.3網(wǎng)絡(luò)爬蟲38.1.2數(shù)據(jù)庫28.1.4第三方API/合作440企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20248.2數(shù)據(jù)處理8大數(shù)據(jù)工作流DCBA8.2.1數(shù)據(jù)質(zhì)量校驗(yàn)8.2.2清洗轉(zhuǎn)換8.2.3質(zhì)量提升8.2.4數(shù)據(jù)脫敏E8.2.5集成整合41企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20248大數(shù)據(jù)工作流8.3數(shù)據(jù)存儲A8.3.1關(guān)系型數(shù)據(jù)庫8.3.2分布式文件系統(tǒng)B42企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20248.4數(shù)據(jù)計(jì)算8大數(shù)據(jù)工作流8.4.1三種數(shù)據(jù)計(jì)算時(shí)效性8.4.2結(jié)構(gòu)化數(shù)據(jù)計(jì)算8.4.3半/非結(jié)構(gòu)化數(shù)據(jù)計(jì)算8.4.4深度挖掘?qū)W習(xí)DCAB43企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20248大數(shù)據(jù)工作流8.5數(shù)據(jù)應(yīng)用8.5.1輔助決策18.5.2數(shù)據(jù)驅(qū)動244企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20248大數(shù)據(jù)工作流8.6數(shù)據(jù)質(zhì)量管理CBA8.6.1數(shù)據(jù)質(zhì)量建設(shè)的內(nèi)涵8.6.2影響數(shù)據(jù)質(zhì)量的常見因素8.6.3數(shù)據(jù)質(zhì)量建設(shè)的框架45企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/2024099企業(yè)大數(shù)據(jù)業(yè)務(wù)應(yīng)用46企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20249企業(yè)大數(shù)據(jù)業(yè)務(wù)應(yīng)用9.1大數(shù)據(jù)應(yīng)用場景概述9.2用戶畫像9.3個(gè)性化營銷9.6本章小結(jié)9.5征信9.4精準(zhǔn)廣告47企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20249.1大數(shù)據(jù)應(yīng)用場景概述9企業(yè)大數(shù)據(jù)業(yè)務(wù)應(yīng)用9.1.1場景商業(yè)目的分析9.1.2場景數(shù)據(jù)來源分析9.1.3場景數(shù)據(jù)難易分析9.1.4場景應(yīng)用舉例DCAB48企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20249企業(yè)大數(shù)據(jù)業(yè)務(wù)應(yīng)用9.2用戶畫像9.2.4應(yīng)用價(jià)值提煉9.2.5場景總結(jié)回顧9.2.1業(yè)務(wù)應(yīng)用背景9.2.2主要實(shí)現(xiàn)過程9.2.3關(guān)鍵應(yīng)用場景49企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20249企業(yè)大數(shù)據(jù)業(yè)務(wù)應(yīng)用9.3個(gè)性化營銷9.3.4應(yīng)用價(jià)值提煉9.3.5場景總結(jié)回顧9.3.1業(yè)務(wù)應(yīng)用背景9.3.2主要實(shí)現(xiàn)過程9.3.3關(guān)鍵應(yīng)用場景50企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20249企業(yè)大數(shù)據(jù)業(yè)務(wù)應(yīng)用9.4精準(zhǔn)廣告9.4.4應(yīng)用價(jià)值提煉9.4.5場景總結(jié)回顧9.4.1業(yè)務(wù)應(yīng)用背景9.4.2主要實(shí)現(xiàn)過程9.4.3關(guān)鍵應(yīng)用場景51企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20249企業(yè)大數(shù)據(jù)業(yè)務(wù)應(yīng)用9.5征信019.5.1應(yīng)用場景背景9.5.2主要實(shí)現(xiàn)過程020304059.5.3主要應(yīng)用場景9.5.4應(yīng)用價(jià)值提煉9.5.5場景總結(jié)回顧52企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/20241010企業(yè)大數(shù)據(jù)價(jià)值評估53企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/202410企業(yè)大數(shù)據(jù)價(jià)值評估10.1資產(chǎn)價(jià)值0110.2業(yè)務(wù)價(jià)值0210.3本章小結(jié)0354企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/202410.1資產(chǎn)價(jià)值10企業(yè)大數(shù)據(jù)價(jià)值評估0110.1.1數(shù)據(jù)規(guī)模10.1.2數(shù)據(jù)價(jià)值度0203040510.1.3數(shù)據(jù)鮮活性10.1.4數(shù)據(jù)關(guān)聯(lián)維度10.1.5數(shù)據(jù)粒度55企業(yè)大數(shù)據(jù)系統(tǒng)構(gòu)建實(shí)戰(zhàn)技術(shù)、架構(gòu)、實(shí)施與應(yīng)用5/8/202410企業(yè)大數(shù)據(jù)價(jià)值評估10.2業(yè)務(wù)價(jià)值0110.2.1用戶體驗(yàn)提升0210.2.2運(yùn)營優(yōu)化0310.2.3銷售貢獻(xiàn)0410.