大數(shù)據(jù)管理與應(yīng)用概論 課件 第二章 大數(shù)據(jù)管理的職能

2.1大數(shù)據(jù)管理的職能對(duì)大數(shù)據(jù)管理的認(rèn)識(shí)隨著大數(shù)據(jù)技術(shù)的發(fā)展以及大數(shù)據(jù)的廣泛應(yīng)用，我們對(duì)大數(shù)據(jù)管理的認(rèn)識(shí)經(jīng)過(guò)了如下三個(gè)階段。數(shù)據(jù)存儲(chǔ)階段數(shù)據(jù)應(yīng)用階段數(shù)據(jù)資產(chǎn)階段數(shù)據(jù)是數(shù)據(jù)，是我們管理的對(duì)象大數(shù)據(jù)管理的核心任務(wù)是收集數(shù)據(jù)，將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)是知識(shí)，是企業(yè)決策的使能器大數(shù)據(jù)管理的核心任務(wù)是從數(shù)據(jù)中挖掘共性規(guī)律和模式，用來(lái)支持組織決策數(shù)據(jù)是資產(chǎn)，是企業(yè)重要的無(wú)形資產(chǎn)大數(shù)據(jù)管理的核心價(jià)值是資產(chǎn)確權(quán)、資產(chǎn)評(píng)估、資產(chǎn)變現(xiàn)等大數(shù)據(jù)管理職能框架對(duì)象視角的管理職能使能視角的管理職能資產(chǎn)視角的管理職能大數(shù)據(jù)系統(tǒng)管理大數(shù)據(jù)項(xiàng)目管理大數(shù)據(jù)管理成熟度評(píng)估從管理對(duì)象、決策使能和數(shù)據(jù)資產(chǎn)等不同視角，企業(yè)的大數(shù)據(jù)管理需要完成不同的管理職能。這些職能不是孤立的活動(dòng)，而是以更好地服務(wù)企業(yè)戰(zhàn)略為目標(biāo)的系統(tǒng)工程。對(duì)象視角的管理職能將數(shù)據(jù)視為企業(yè)的管理對(duì)象，大數(shù)據(jù)管理是采集、集成、管理、應(yīng)用和清除數(shù)據(jù)資源的業(yè)務(wù)活動(dòng)的總和。從管理對(duì)象的視角，數(shù)據(jù)管理的任務(wù)是通過(guò)相關(guān)數(shù)據(jù)管理活動(dòng)，使得數(shù)據(jù)達(dá)到利益相關(guān)者對(duì)數(shù)據(jù)可用性、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的需求。目標(biāo)一：理解企業(yè)和利益相關(guān)者的數(shù)據(jù)需求目標(biāo)二：獲取、存儲(chǔ)、保護(hù)并確保數(shù)據(jù)資產(chǎn)的一致性目標(biāo)三：持續(xù)改進(jìn)數(shù)據(jù)的質(zhì)量目標(biāo)四：保證隱私和機(jī)密性，阻止未授權(quán)的使用目標(biāo)五：最大化數(shù)據(jù)資產(chǎn)價(jià)值的有效利用DAMA數(shù)據(jù)管理10大職能對(duì)象視角的管理職能?chē)?guó)際數(shù)據(jù)管理協(xié)會(huì)（DataManagementAssociation，DAMA）對(duì)每項(xiàng)職能的活動(dòng)及其交付物進(jìn)行了明確界定。以數(shù)據(jù)治理職能為例：數(shù)據(jù)管理計(jì)劃主要交付物理解企業(yè)數(shù)據(jù)戰(zhàn)略需求戰(zhàn)略企業(yè)需求發(fā)展和維護(hù)數(shù)據(jù)戰(zhàn)略愿景、使命、總線(xiàn)、案例、目標(biāo)、目的、原則、組件、度量、實(shí)現(xiàn)路線(xiàn)圖建立數(shù)據(jù)專(zhuān)業(yè)角色和組織數(shù)據(jù)管理服務(wù)組織和人員識(shí)別并任命數(shù)據(jù)管理專(zhuān)員數(shù)據(jù)治理委員會(huì)；數(shù)據(jù)管理專(zhuān)員委員會(huì)；數(shù)據(jù)管理專(zhuān)員團(tuán)隊(duì)建立數(shù)據(jù)治理和管理制度組織業(yè)務(wù)數(shù)據(jù)管理專(zhuān)員；協(xié)調(diào)數(shù)據(jù)管理專(zhuān)員；執(zhí)行數(shù)據(jù)管理專(zhuān)員制定并審核數(shù)據(jù)政策、標(biāo)準(zhǔn)和程序數(shù)據(jù)政策；數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)管理流程審閱和批準(zhǔn)數(shù)據(jù)架構(gòu)采納的企業(yè)數(shù)據(jù)模型相關(guān)的數(shù)據(jù)架構(gòu)計(jì)劃和發(fā)起數(shù)據(jù)管理項(xiàng)目和服務(wù)數(shù)據(jù)管理項(xiàng)目；數(shù)據(jù)管理服務(wù)評(píng)估數(shù)據(jù)資產(chǎn)價(jià)值和相關(guān)成本數(shù)據(jù)資產(chǎn)價(jià)值估算；數(shù)據(jù)管理成本估算數(shù)據(jù)管理控制主要交付物監(jiān)督數(shù)據(jù)專(zhuān)業(yè)組織和工作人員數(shù)據(jù)管理服務(wù)組織和人員協(xié)調(diào)數(shù)據(jù)治理活動(dòng)數(shù)據(jù)治理組織的計(jì)劃，會(huì)議，議事日程，文檔，會(huì)議記錄管理和解決數(shù)據(jù)相關(guān)問(wèn)題問(wèn)題記錄；問(wèn)題解決方法監(jiān)控和確保遵守法律法規(guī)合規(guī)報(bào)告；違規(guī)問(wèn)題監(jiān)控和確保符合數(shù)據(jù)政策、標(biāo)準(zhǔn)和架構(gòu)政策/標(biāo)準(zhǔn)/架構(gòu)/流程交流違規(guī)問(wèn)題監(jiān)督數(shù)據(jù)管理項(xiàng)目和服務(wù)

溝通和宣傳數(shù)據(jù)資產(chǎn)的價(jià)值

對(duì)象視角的管理職能?chē)?guó)際數(shù)據(jù)管理協(xié)會(huì)（DataManagementAssociation，DAMA）對(duì)每項(xiàng)職能的活動(dòng)及其交付物進(jìn)行了明確界定。以數(shù)據(jù)架構(gòu)管理職能為例：職能活動(dòng)主要交付物理解企業(yè)信息需求關(guān)鍵信息需求列表開(kāi)發(fā)和維護(hù)企業(yè)數(shù)據(jù)模型企業(yè)數(shù)據(jù)模型包括：主題域模型；概念模型；邏輯模型；術(shù)語(yǔ)字典分析和配合其他業(yè)務(wù)模型信息價(jià)值鏈分析矩陣包括：實(shí)體/功能；實(shí)體/組織和角色；實(shí)體/應(yīng)用定義和維護(hù)數(shù)據(jù)技術(shù)架構(gòu)數(shù)據(jù)技術(shù)架構(gòu)（技術(shù)、分布、使用）定義和維護(hù)數(shù)據(jù)整合架構(gòu)數(shù)據(jù)整合架構(gòu)；數(shù)據(jù)血緣關(guān)系/數(shù)據(jù)流；實(shí)體生命周期定義和維護(hù)數(shù)據(jù)倉(cāng)庫(kù)/商務(wù)智能架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)/商務(wù)智能架構(gòu)定義和維護(hù)企業(yè)分類(lèi)和命名空間企業(yè)分類(lèi)法；XML命名空間；內(nèi)容管理標(biāo)準(zhǔn)定義和維護(hù)元數(shù)據(jù)架構(gòu)元數(shù)據(jù)架構(gòu)對(duì)象視角的管理職能?chē)?guó)際數(shù)據(jù)管理協(xié)會(huì)（DataManagementAssociation，DAMA）對(duì)每項(xiàng)職能的活動(dòng)及其交付物進(jìn)行了明確界定。以數(shù)據(jù)開(kāi)發(fā)管理職能為例：職能活動(dòng)主要交付物分析信息需求信息需求規(guī)格說(shuō)明書(shū)開(kāi)發(fā)并維護(hù)概念數(shù)據(jù)模型概念數(shù)據(jù)模型圖和報(bào)告開(kāi)發(fā)并維護(hù)邏輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型圖和報(bào)告開(kāi)發(fā)并維護(hù)物理數(shù)據(jù)模型物理數(shù)據(jù)模型圖和報(bào)告開(kāi)發(fā)數(shù)據(jù)建模和數(shù)據(jù)庫(kù)設(shè)計(jì)標(biāo)準(zhǔn)數(shù)據(jù)建模標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)設(shè)計(jì)標(biāo)準(zhǔn)審閱數(shù)據(jù)模型和數(shù)據(jù)庫(kù)設(shè)計(jì)質(zhì)量設(shè)計(jì)審閱結(jié)果管理數(shù)據(jù)模型版本和整合模型管理內(nèi)容和庫(kù)實(shí)現(xiàn)開(kāi)發(fā)和測(cè)試數(shù)據(jù)庫(kù)的變更開(kāi)發(fā)和測(cè)試數(shù)據(jù)庫(kù)環(huán)境；數(shù)據(jù)庫(kù)表；其他數(shù)據(jù)庫(kù)對(duì)象建立和維護(hù)測(cè)試數(shù)據(jù)測(cè)試數(shù)據(jù)庫(kù)；測(cè)試數(shù)據(jù)職能活動(dòng)主要交付物設(shè)計(jì)物理數(shù)據(jù)庫(kù)數(shù)據(jù)定義規(guī)格說(shuō)明書(shū)OLAP多維數(shù)據(jù)集規(guī)格說(shuō)明書(shū)設(shè)計(jì)信息產(chǎn)品應(yīng)用屏幕展示；應(yīng)用報(bào)表設(shè)計(jì)數(shù)據(jù)訪(fǎng)問(wèn)服務(wù)數(shù)據(jù)訪(fǎng)問(wèn)服務(wù)設(shè)計(jì)規(guī)格說(shuō)明書(shū)設(shè)計(jì)數(shù)據(jù)整合服務(wù)源-目標(biāo)對(duì)應(yīng)關(guān)系；ETL設(shè)計(jì)規(guī)格說(shuō)明書(shū)；轉(zhuǎn)換設(shè)計(jì)遷移和轉(zhuǎn)換數(shù)據(jù)遷移的和轉(zhuǎn)換的數(shù)據(jù)建立和測(cè)試信息產(chǎn)品信息產(chǎn)品；屏幕展示；報(bào)表建立和測(cè)試數(shù)據(jù)訪(fǎng)問(wèn)服務(wù)數(shù)據(jù)訪(fǎng)問(wèn)服務(wù)（接口）建立和測(cè)試數(shù)據(jù)整合服務(wù)數(shù)據(jù)整合服務(wù)（ETL等）驗(yàn)證信息需求驗(yàn)證的需求；用戶(hù)的確認(rèn)準(zhǔn)備部署數(shù)據(jù)用戶(hù)培訓(xùn)；使用文檔對(duì)象視角的管理職能?chē)?guó)際數(shù)據(jù)管理協(xié)會(huì)（DataManagementAssociation，DAMA）對(duì)每項(xiàng)職能的活動(dòng)及其交付物進(jìn)行了明確界定。以數(shù)據(jù)操作管理職能為例：職能活動(dòng)主要交付物實(shí)施和控制數(shù)據(jù)庫(kù)環(huán)境產(chǎn)品數(shù)據(jù)庫(kù)環(huán)境維護(hù)管理產(chǎn)品數(shù)據(jù)庫(kù)的更改和發(fā)布獲取來(lái)自外部的數(shù)據(jù)外部數(shù)據(jù)規(guī)劃數(shù)據(jù)恢復(fù)數(shù)據(jù)可用性服務(wù)水平數(shù)據(jù)恢復(fù)計(jì)劃

備份和恢復(fù)數(shù)據(jù)數(shù)據(jù)庫(kù)備份和日志；恢復(fù)數(shù)據(jù)庫(kù)；業(yè)務(wù)連續(xù)性確定數(shù)據(jù)庫(kù)性能服務(wù)水平等級(jí)數(shù)據(jù)庫(kù)性能服務(wù)水平監(jiān)控并調(diào)整數(shù)據(jù)庫(kù)性能數(shù)據(jù)庫(kù)性能報(bào)告數(shù)據(jù)庫(kù)性能規(guī)劃數(shù)據(jù)留存方案數(shù)據(jù)留存方案；存儲(chǔ)管理程序歸檔、留存和清除數(shù)據(jù)歸檔的數(shù)據(jù)；留存的數(shù)據(jù)；清除的數(shù)據(jù)職能活動(dòng)主要交付物

支持專(zhuān)用數(shù)據(jù)庫(kù)地理空間數(shù)據(jù)庫(kù)；CAD/CAM數(shù)據(jù)庫(kù)；XML數(shù)據(jù)庫(kù)；對(duì)象數(shù)據(jù)庫(kù)理解數(shù)據(jù)技術(shù)需求數(shù)據(jù)技術(shù)需求定義和維護(hù)數(shù)據(jù)技術(shù)架構(gòu)數(shù)據(jù)技術(shù)架構(gòu)評(píng)估數(shù)據(jù)技術(shù)工具評(píng)估發(fā)現(xiàn)；工具選擇決定安裝和管理數(shù)據(jù)技術(shù)安裝的技術(shù)備案和跟蹤數(shù)據(jù)技術(shù)使用許可許可證庫(kù)存支持?jǐn)?shù)據(jù)技術(shù)使用和問(wèn)題已確定的；已解決的技術(shù)問(wèn)題對(duì)象視角的管理職能?chē)?guó)際數(shù)據(jù)管理協(xié)會(huì)（DataManagementAssociation，DAMA）對(duì)每項(xiàng)職能的活動(dòng)及其交付物進(jìn)行了明確界定。以數(shù)據(jù)安全管理職能為例：職能活動(dòng)主要交付物理解數(shù)據(jù)安全需求及監(jiān)管需求數(shù)據(jù)安全需求和監(jiān)管

定義數(shù)據(jù)安全策略

數(shù)據(jù)安全策略定義數(shù)據(jù)安全標(biāo)準(zhǔn)數(shù)據(jù)安全標(biāo)準(zhǔn)定義數(shù)據(jù)安全控制及措施數(shù)據(jù)安全控制和措施管理用戶(hù)、密碼和用戶(hù)組成員用戶(hù)賬戶(hù)；密碼；角色群組管理數(shù)據(jù)訪(fǎng)問(wèn)視圖與權(quán)限數(shù)據(jù)訪(fǎng)問(wèn)視圖；數(shù)據(jù)資源權(quán)限監(jiān)控用戶(hù)身份認(rèn)證與訪(fǎng)問(wèn)行為數(shù)據(jù)訪(fǎng)問(wèn)日志；安全通知警告；數(shù)據(jù)安全報(bào)告劃分信息密級(jí)分級(jí)別的文檔；分級(jí)別的數(shù)據(jù)庫(kù)審計(jì)數(shù)據(jù)安全數(shù)據(jù)安全審計(jì)報(bào)告對(duì)象視角的管理職能?chē)?guó)際數(shù)據(jù)管理協(xié)會(huì)（DataManagementAssociation，DAMA）對(duì)每項(xiàng)職能的活動(dòng)及其交付物進(jìn)行了明確界定。以數(shù)據(jù)質(zhì)量管理職能為例：職能活動(dòng)主要交付物建立和提升數(shù)據(jù)質(zhì)量意識(shí)數(shù)據(jù)質(zhì)量培訓(xùn)數(shù)據(jù)治理流程數(shù)據(jù)管理專(zhuān)員委員會(huì)定義數(shù)據(jù)質(zhì)量需求數(shù)據(jù)質(zhì)量需求文檔剖析、分析和評(píng)估數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量評(píng)估報(bào)告定義數(shù)據(jù)質(zhì)量測(cè)量指標(biāo)數(shù)據(jù)質(zhì)量度量文檔定義數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則測(cè)量和驗(yàn)證數(shù)據(jù)質(zhì)量需求數(shù)據(jù)質(zhì)量測(cè)試用例職能活動(dòng)主要交付物確定并評(píng)估數(shù)據(jù)質(zhì)量服務(wù)水平數(shù)據(jù)質(zhì)量服務(wù)級(jí)別持續(xù)衡量和監(jiān)控?cái)?shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量報(bào)告管理數(shù)據(jù)質(zhì)量問(wèn)題數(shù)據(jù)質(zhì)量問(wèn)題記錄清洗并糾正數(shù)據(jù)質(zhì)量缺陷數(shù)據(jù)質(zhì)量缺陷解決記錄設(shè)計(jì)并實(shí)施數(shù)據(jù)質(zhì)量管理操作程序運(yùn)營(yíng)數(shù)據(jù)質(zhì)量管理流程監(jiān)控?cái)?shù)據(jù)質(zhì)量管理的操作程序和績(jī)效運(yùn)營(yíng)數(shù)據(jù)質(zhì)量管理度量對(duì)象視角的管理職能?chē)?guó)際數(shù)據(jù)管理協(xié)會(huì)（DataManagementAssociation，DAMA）對(duì)每項(xiàng)職能的活動(dòng)及其交付物進(jìn)行了明確界定。以參考數(shù)據(jù)和主數(shù)據(jù)管理職能為例：職能活動(dòng)主要交付物

理解參考數(shù)據(jù)和主數(shù)據(jù)的整合需求

參考數(shù)據(jù)和主數(shù)據(jù)的整合需求識(shí)別參考數(shù)據(jù)和主數(shù)據(jù)來(lái)源及貢獻(xiàn)者數(shù)據(jù)源和貢獻(xiàn)者描述以及評(píng)估

定義和維護(hù)數(shù)據(jù)整合架構(gòu)參考數(shù)據(jù)和主數(shù)據(jù)整合架構(gòu)以及路線(xiàn)圖；數(shù)據(jù)整合服務(wù)設(shè)計(jì)規(guī)格說(shuō)明書(shū)實(shí)施參考數(shù)據(jù)和主數(shù)據(jù)解決方案參考數(shù)據(jù)管理應(yīng)用和數(shù)據(jù)庫(kù)；主數(shù)據(jù)管理應(yīng)用和數(shù)據(jù)庫(kù)；數(shù)據(jù)質(zhì)量服務(wù)；用于一般應(yīng)用的數(shù)據(jù)復(fù)制和訪(fǎng)問(wèn)服務(wù)；用于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)復(fù)制服務(wù)定義和維護(hù)數(shù)據(jù)匹配規(guī)則匹配規(guī)則記錄（功能規(guī)格說(shuō)明書(shū)）職能活動(dòng)主要交付物

建立“黃金版本”記錄可信的參考數(shù)據(jù)和主數(shù)據(jù)；交叉引用數(shù)據(jù)；數(shù)據(jù)血緣關(guān)系分析報(bào)告；數(shù)據(jù)質(zhì)量報(bào)告定義和維護(hù)數(shù)據(jù)層次及關(guān)聯(lián)關(guān)系層級(jí)和關(guān)聯(lián)關(guān)系定義

計(jì)劃和實(shí)施新數(shù)據(jù)源的整合數(shù)據(jù)源質(zhì)量和整合評(píng)估；被整合的新數(shù)據(jù)源復(fù)制和分發(fā)參考數(shù)據(jù)與主數(shù)據(jù)數(shù)據(jù)副本管理參考數(shù)據(jù)和主數(shù)據(jù)的變更變更請(qǐng)求流程；變更請(qǐng)求和響應(yīng)；變更請(qǐng)求度量

建立“黃金版本”記錄可信的參考數(shù)據(jù)和主數(shù)據(jù)；交叉引用數(shù)據(jù)；數(shù)據(jù)血緣關(guān)系分析報(bào)告；數(shù)據(jù)質(zhì)量報(bào)告對(duì)象視角的管理職能?chē)?guó)際數(shù)據(jù)管理協(xié)會(huì)（DataManagementAssociation，DAMA）對(duì)每項(xiàng)職能的活動(dòng)及其交付物進(jìn)行了明確界定。以數(shù)據(jù)倉(cāng)庫(kù)和商務(wù)智能管理職能為例：職能活動(dòng)主要交付物理解商務(wù)智能的信息需求數(shù)據(jù)倉(cāng)庫(kù)商務(wù)智能項(xiàng)目需求定義和維護(hù)數(shù)據(jù)倉(cāng)庫(kù)/商務(wù)智能架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)商務(wù)智能架構(gòu)實(shí)施數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù)；數(shù)據(jù)集市；聯(lián)機(jī)分析處理；數(shù)據(jù)立方體

實(shí)施商務(wù)智能工具和用戶(hù)界面商務(wù)智能工具和用戶(hù)環(huán)境；查詢(xún)和報(bào)表制作儀表盤(pán)；記分卡；分析應(yīng)用等處理商務(wù)智能所需數(shù)據(jù)可訪(fǎng)問(wèn)的數(shù)據(jù)整合詳細(xì)的數(shù)據(jù)質(zhì)量反饋監(jiān)控并調(diào)整數(shù)據(jù)倉(cāng)庫(kù)的處理過(guò)程數(shù)據(jù)倉(cāng)庫(kù)性能報(bào)告監(jiān)控并調(diào)整商務(wù)智能活動(dòng)和性能商務(wù)智能性能報(bào)告新建的索引新建的聚合對(duì)象視角的管理職能?chē)?guó)際數(shù)據(jù)管理協(xié)會(huì)（DataManagementAssociation，DAMA）對(duì)每項(xiàng)職能的活動(dòng)及其交付物進(jìn)行了明確界定。以文檔和內(nèi)容管理職能為例：職能活動(dòng)主要交付物規(guī)劃文檔/檔案管理文檔管理策略和路線(xiàn)圖實(shí)施文檔/檔案管理系統(tǒng)的獲取、存儲(chǔ)、訪(fǎng)問(wèn)與安全控制文檔/檔案管理系統(tǒng)；門(mén)戶(hù)；紙質(zhì)和電子版本的文檔備份和恢復(fù)文檔/檔案?jìng)浞菸募?；業(yè)務(wù)連續(xù)性保留和轉(zhuǎn)儲(chǔ)文檔/檔案存檔的文件；受管理的存儲(chǔ)審計(jì)文檔/檔案管理文檔/檔案管理審計(jì)定義并維護(hù)企業(yè)信息分類(lèi)和命名空間企業(yè)分析規(guī)范（信息內(nèi)容架構(gòu)）建立信息內(nèi)容元數(shù)據(jù)文檔/索引被索引的關(guān)鍵詞；元數(shù)據(jù)提供內(nèi)容訪(fǎng)問(wèn)和檢索門(mén)戶(hù)；內(nèi)容分析；杠桿化的信息治理信息內(nèi)容的質(zhì)量杠桿化的信息對(duì)象視角的管理職能?chē)?guó)際數(shù)據(jù)管理協(xié)會(huì)（DataManagementAssociation，DAMA）對(duì)每項(xiàng)職能的活動(dòng)及其交付物進(jìn)行了明確界定。以元數(shù)據(jù)管理職能為例：職能活動(dòng)主要交付物理解元數(shù)據(jù)的需求元數(shù)據(jù)需求定義并維護(hù)元數(shù)據(jù)架構(gòu)元數(shù)據(jù)架構(gòu)開(kāi)發(fā)和維護(hù)元數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)標(biāo)準(zhǔn)實(shí)現(xiàn)受控的元數(shù)據(jù)管理環(huán)境元數(shù)據(jù)度量整合元數(shù)據(jù)整合的元數(shù)據(jù)存儲(chǔ)庫(kù)管理元數(shù)據(jù)存儲(chǔ)庫(kù)受管理的元數(shù)據(jù)存儲(chǔ)庫(kù)管理原則、實(shí)施、策略分發(fā)和交付元數(shù)據(jù)元數(shù)據(jù)分發(fā)；元數(shù)據(jù)模型和架構(gòu)查詢(xún)、報(bào)告和分析元數(shù)據(jù)元數(shù)據(jù)質(zhì)量；元數(shù)據(jù)管理運(yùn)營(yíng)分析；元數(shù)據(jù)分析整合元數(shù)據(jù)整合的元數(shù)據(jù)存儲(chǔ)庫(kù)使能視角的管理職能將數(shù)據(jù)視為管理決策的使能器，大數(shù)據(jù)管理是面向管理決策問(wèn)題的問(wèn)題理解、數(shù)據(jù)準(zhǔn)備、模型構(gòu)建、決策支持等業(yè)務(wù)活動(dòng)的總和。從決策使能的視角，數(shù)據(jù)管理的任務(wù)是通過(guò)相關(guān)數(shù)據(jù)管理活動(dòng)，獲取數(shù)據(jù)中蘊(yùn)含的知識(shí)，從而有效的支持企業(yè)的管理決策。目標(biāo)一：理解管理決策所面臨問(wèn)題的表象及其本質(zhì)目標(biāo)二：集成相關(guān)數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行預(yù)處理目標(biāo)三：構(gòu)建并選擇有效的數(shù)據(jù)分析模型目標(biāo)四：應(yīng)用模型分析結(jié)果支持管理決策使能視角的管理職能問(wèn)題是指實(shí)際現(xiàn)象與預(yù)期之間有偏差的情形。當(dāng)一些不尋常的事情發(fā)生，或當(dāng)實(shí)際的結(jié)果偏離預(yù)期目標(biāo)時(shí)，便可能產(chǎn)生了“問(wèn)題”。表象：?jiǎn)T工離職率高問(wèn)題：福利待遇低？沒(méi)有晉升機(jī)會(huì)？上下級(jí)關(guān)系緊張？人崗不匹配？……愛(ài)因斯坦：“提出一個(gè)問(wèn)題往往比解決一個(gè)問(wèn)題更重要，因?yàn)榻鉀Q問(wèn)題也許僅是一個(gè)數(shù)學(xué)上或?qū)嶒?yàn)上的技能而已，而提出新的問(wèn)題、新的可能性，從新的角度去看舊問(wèn)題，卻需要有創(chuàng)造性的想象力，這標(biāo)志著科學(xué)的真正進(jìn)步?！眴?wèn)題理解使能視角的管理職能理解了需要解決的管理問(wèn)題，我們需要準(zhǔn)備有助于問(wèn)題解決的各種數(shù)據(jù)。數(shù)據(jù)準(zhǔn)備主要包括數(shù)據(jù)集成和數(shù)據(jù)預(yù)處理等活動(dòng)。數(shù)據(jù)整合多表數(shù)據(jù)多源數(shù)據(jù)數(shù)據(jù)轉(zhuǎn)換單位不一致數(shù)量級(jí)一致任務(wù)方法數(shù)據(jù)清洗忽略元組法、數(shù)據(jù)補(bǔ)齊發(fā)、噪音識(shí)別法、數(shù)據(jù)離散化法數(shù)據(jù)轉(zhuǎn)換Min-Max法、Z-Score法數(shù)據(jù)約簡(jiǎn)抽樣方法、主成分方法、相關(guān)性分析、決策樹(shù)歸納數(shù)據(jù)約簡(jiǎn)屬性約簡(jiǎn)樣本約簡(jiǎn)數(shù)據(jù)清洗缺失值噪音使能視角的管理職能基于準(zhǔn)備好的數(shù)據(jù)，模型構(gòu)建的任務(wù)是根據(jù)決策問(wèn)題的需求構(gòu)建相關(guān)模型，對(duì)模型效果進(jìn)行評(píng)估，并最終選擇決策支持所用模型。案例：數(shù)據(jù)挖掘輔助癌癥預(yù)測(cè)20萬(wàn)病例，77個(gè)變量人工神經(jīng)網(wǎng)絡(luò)、決策樹(shù)、邏輯回歸等方法K折交叉檢驗(yàn)方法進(jìn)行模型測(cè)試決策樹(shù)預(yù)測(cè)準(zhǔn)確率最高（93.6%），其次是人工神經(jīng)網(wǎng)絡(luò)（91.2%），最低的是邏輯回歸（89.2%）小結(jié)本節(jié)的主要內(nèi)容大數(shù)據(jù)管理的認(rèn)識(shí)大數(shù)據(jù)管理的職能框架對(duì)象視角的大數(shù)據(jù)管理使能視角的大數(shù)據(jù)管理2.1大數(shù)據(jù)管理的職能2.2大數(shù)據(jù)資產(chǎn)估值與交易大數(shù)據(jù)資產(chǎn)定義數(shù)據(jù)資產(chǎn)（DataAssets）是指由特定主體擁有或者控制，能夠被計(jì)算機(jī)識(shí)別，并且能帶來(lái)經(jīng)濟(jì)利益的信息資源。依托性多樣性?xún)r(jià)值易變性可加工性非實(shí)體性個(gè)人數(shù)據(jù)企業(yè)數(shù)據(jù)關(guān)系數(shù)據(jù)數(shù)據(jù)主體工業(yè)數(shù)據(jù)農(nóng)業(yè)數(shù)據(jù)醫(yī)療數(shù)據(jù)應(yīng)用行業(yè)第一方數(shù)據(jù)第二方數(shù)據(jù)第三方數(shù)據(jù)獲取方式大數(shù)據(jù)資產(chǎn)價(jià)值維度影響數(shù)據(jù)資產(chǎn)價(jià)值的因素主要從數(shù)據(jù)資產(chǎn)的收益和風(fēng)險(xiǎn)兩個(gè)維度考慮，數(shù)據(jù)資產(chǎn)的收益取決于數(shù)據(jù)資產(chǎn)的質(zhì)量和數(shù)據(jù)資產(chǎn)的應(yīng)用價(jià)值。數(shù)據(jù)資產(chǎn)的質(zhì)量是應(yīng)用價(jià)值的基礎(chǔ)，對(duì)數(shù)據(jù)的質(zhì)量水平有一個(gè)合理的評(píng)估，有利于對(duì)于數(shù)據(jù)的應(yīng)用價(jià)值進(jìn)行準(zhǔn)確預(yù)測(cè)。質(zhì)量維度應(yīng)用維度風(fēng)險(xiǎn)維度數(shù)據(jù)資產(chǎn)質(zhì)量?jī)r(jià)值的影響因素包含真實(shí)性、完整性、準(zhǔn)確性、數(shù)據(jù)成本、安全性等數(shù)據(jù)資產(chǎn)應(yīng)用價(jià)值的影響因素包含稀缺性、時(shí)效性、多維性、場(chǎng)景經(jīng)濟(jì)性。數(shù)據(jù)資產(chǎn)的風(fēng)險(xiǎn)主要源自于所在商業(yè)環(huán)境的法律限制和道德約束難點(diǎn)一：資產(chǎn)價(jià)值隨著不斷的加工而改變難點(diǎn)二：價(jià)值隨著使用次數(shù)與人數(shù)而改變難點(diǎn)三：價(jià)值隨著用戶(hù)的不同存在差異難點(diǎn)四：數(shù)據(jù)質(zhì)量相同可能產(chǎn)生不同的價(jià)值難點(diǎn)五：數(shù)據(jù)資產(chǎn)權(quán)屬分析比較復(fù)雜大數(shù)據(jù)資產(chǎn)價(jià)值維度案例：科技大數(shù)據(jù)價(jià)值評(píng)估科技大數(shù)據(jù)是一類(lèi)能夠反映人類(lèi)科技活動(dòng)狀態(tài)和過(guò)程的信息資源，可以支持人類(lèi)洞察新思想、發(fā)現(xiàn)新規(guī)律、發(fā)明新技術(shù)、開(kāi)發(fā)新產(chǎn)品。價(jià)值類(lèi)型科研院所高等院校科技企業(yè)政府機(jī)構(gòu)使用價(jià)值洞察新思想、發(fā)現(xiàn)新規(guī)律、發(fā)明新技術(shù)洞察新思想、發(fā)現(xiàn)新規(guī)律、發(fā)明新技術(shù)、培養(yǎng)創(chuàng)新人才發(fā)明新技術(shù)、開(kāi)發(fā)新產(chǎn)品、創(chuàng)新新模式、制定新政策制定新政策象征價(jià)值科學(xué)研究和社會(huì)服務(wù)的實(shí)力和地位科學(xué)研究、人才培養(yǎng)、社會(huì)服務(wù)的實(shí)力和地位市場(chǎng)的競(jìng)爭(zhēng)地位國(guó)家的戰(zhàn)略形象大數(shù)據(jù)資產(chǎn)價(jià)值維度案例：科技大數(shù)據(jù)價(jià)值評(píng)估科技大數(shù)據(jù)是一類(lèi)能夠反映人類(lèi)科技活動(dòng)狀態(tài)和過(guò)程的信息資源，可以支持人類(lèi)洞察新思想、發(fā)現(xiàn)新規(guī)律、發(fā)明新技術(shù)、開(kāi)發(fā)新產(chǎn)品。大數(shù)據(jù)資產(chǎn)價(jià)值維度案例：科技大數(shù)據(jù)價(jià)值評(píng)估科技大數(shù)據(jù)是一類(lèi)能夠反映人類(lèi)科技活動(dòng)狀態(tài)和過(guò)程的信息資源，可以支持人類(lèi)洞察新思想、發(fā)現(xiàn)新規(guī)律、發(fā)明新技術(shù)、開(kāi)發(fā)新產(chǎn)品?？萍即髷?shù)據(jù)多元價(jià)值鏈模型與價(jià)值評(píng)估方法，工程管理科技前沿，202241(3):31-38大數(shù)據(jù)資產(chǎn)估值方法數(shù)據(jù)資產(chǎn)價(jià)值的評(píng)估方法包括成本法、收益法和市場(chǎng)法三種基本方法及其衍生方法。成本法收益法市場(chǎng)法根據(jù)形成數(shù)據(jù)資產(chǎn)的成本進(jìn)行價(jià)值評(píng)估通過(guò)預(yù)計(jì)數(shù)據(jù)資產(chǎn)帶來(lái)的收益估計(jì)其價(jià)值根據(jù)相同或者相似的數(shù)據(jù)資產(chǎn)的近期或者往期成交價(jià)格大數(shù)據(jù)資產(chǎn)估值方法關(guān)于數(shù)據(jù)價(jià)值的評(píng)估，目前業(yè)界已有多個(gè)數(shù)據(jù)資產(chǎn)評(píng)估模型落地。其中，影響力最大是Gartner的數(shù)據(jù)估值模型體系（InformationValuationModels）。大數(shù)據(jù)資產(chǎn)估值方法關(guān)于數(shù)據(jù)價(jià)值的評(píng)估，目前業(yè)界已有多個(gè)數(shù)據(jù)資產(chǎn)評(píng)估模型落地。其中，影響力最大是Gartner的數(shù)據(jù)估值模型體系（InformationValuationModels）。內(nèi)在價(jià)值（IntrinsicValue）：數(shù)據(jù)資產(chǎn)的潛在可能價(jià)值。它主要衡量數(shù)據(jù)資產(chǎn)的準(zhǔn)確性和完整性，以及其他組織獲取該數(shù)據(jù)資產(chǎn)的可能性。業(yè)務(wù)價(jià)值（BusinessValue）：數(shù)據(jù)資產(chǎn)應(yīng)用于具體業(yè)務(wù)時(shí)產(chǎn)生的效用，它強(qiáng)調(diào)數(shù)據(jù)資產(chǎn)對(duì)業(yè)務(wù)的適用性和及時(shí)性。績(jī)效價(jià)值（PerformanceValue）：數(shù)據(jù)資產(chǎn)對(duì)業(yè)務(wù)績(jī)效目標(biāo)（如KPI）的影響?？?jī)效價(jià)值關(guān)注使用該項(xiàng)數(shù)據(jù)資產(chǎn)能在多大程度提升業(yè)務(wù)績(jī)效。成本價(jià)值（CostValue）：用來(lái)評(píng)估數(shù)據(jù)資產(chǎn)在獲取過(guò)程中的財(cái)務(wù)成本，也可用來(lái)評(píng)估數(shù)據(jù)資產(chǎn)損毀或丟失的財(cái)務(wù)風(fēng)險(xiǎn)，其作用類(lèi)似于成本法下的數(shù)據(jù)資產(chǎn)評(píng)估。市場(chǎng)價(jià)值（MarketValue）：數(shù)據(jù)資產(chǎn)在公開(kāi)交易市場(chǎng)上的財(cái)務(wù)價(jià)值，作用類(lèi)似于市場(chǎng)法下的數(shù)據(jù)資產(chǎn)評(píng)估。經(jīng)濟(jì)價(jià)值（EconomicValue）：收益法下的數(shù)據(jù)資產(chǎn)財(cái)務(wù)價(jià)值減去其使用周期中產(chǎn)生的費(fèi)用。大數(shù)據(jù)資產(chǎn)估值方法內(nèi)在價(jià)值衡量的是數(shù)據(jù)資產(chǎn)的正確性和完整性，以及其他組織擁有它的可能性。這表明，更專(zhuān)有或排他性的高質(zhì)量和可用數(shù)據(jù)具有更大的內(nèi)在價(jià)值潛力。內(nèi)在價(jià)值是以下方面的函數(shù):有效性（Validity），記錄被認(rèn)為是正確的百分比；完整性（Completeness），總記錄與潛在或假設(shè)記錄的百分比；稀缺（Scarcity），市場(chǎng)或競(jìng)爭(zhēng)對(duì)手可能也有相同數(shù)據(jù)的百分比；生命周期（Lifecycle），數(shù)據(jù)資產(chǎn)的任何給定單位(記錄)的合理可用性。大數(shù)據(jù)資產(chǎn)估值方法優(yōu)點(diǎn)：是可用的最簡(jiǎn)單的數(shù)據(jù)評(píng)估模型。數(shù)據(jù)質(zhì)量因素可以通過(guò)自動(dòng)分析和基本的市場(chǎng)了解來(lái)確定。它可以幫助快速比較不同數(shù)據(jù)資產(chǎn)的潛力，識(shí)別數(shù)據(jù)質(zhì)量、數(shù)據(jù)隱私或數(shù)據(jù)治理問(wèn)題，或者識(shí)別不應(yīng)該保留的數(shù)據(jù)。缺陷：不考慮數(shù)據(jù)實(shí)際或潛在與任何實(shí)際商業(yè)目的的相關(guān)性。大數(shù)據(jù)資產(chǎn)估值方法業(yè)務(wù)價(jià)值考慮了數(shù)據(jù)資產(chǎn)對(duì)實(shí)際業(yè)務(wù)使用的效用(與內(nèi)在價(jià)值不同)。它解決了數(shù)據(jù)的好壞程度、對(duì)業(yè)務(wù)的適用程度以及數(shù)據(jù)的最新程度。通過(guò)業(yè)務(wù)價(jià)值，可以方便地了解數(shù)據(jù)在現(xiàn)實(shí)世界中的潛在好處。業(yè)務(wù)價(jià)值是以下方面的函數(shù)：相關(guān)性（Relevance），數(shù)據(jù)對(duì)一個(gè)或多個(gè)業(yè)務(wù)流程的有用程度(0到1)；有效性（Validity），記錄被認(rèn)為是正確的百分比；完整性（Completeness），總記錄與潛在或假設(shè)記錄的百分比；及時(shí)性（Timeliness），捕獲和訪(fǎng)問(wèn)數(shù)據(jù)的新實(shí)例或更新實(shí)例的速度有多快。大數(shù)據(jù)資產(chǎn)估值方法優(yōu)點(diǎn)：業(yè)務(wù)價(jià)值將數(shù)據(jù)與實(shí)際業(yè)務(wù)價(jià)值聯(lián)系起來(lái)。實(shí)現(xiàn)相對(duì)簡(jiǎn)單，可以考慮實(shí)際和潛在的場(chǎng)景。缺陷：業(yè)務(wù)相關(guān)性可能是非常主觀(guān)的，可能需要進(jìn)行耗時(shí)的分析來(lái)確定。大數(shù)據(jù)資產(chǎn)估值方法績(jī)效價(jià)值著眼于數(shù)據(jù)資產(chǎn)對(duì)業(yè)務(wù)目標(biāo)的已實(shí)現(xiàn)或估計(jì)的影響，業(yè)務(wù)目標(biāo)表示為關(guān)鍵性能指標(biāo)(KPI)。該方法回答了以下問(wèn)題：擁有這些數(shù)據(jù)能在多大程度上提高業(yè)務(wù)性能?

PVI是一個(gè)簡(jiǎn)單的比率，通過(guò)合并給定的數(shù)據(jù)資產(chǎn)來(lái)計(jì)算KPI改進(jìn)，在任何給定數(shù)據(jù)實(shí)例的可用生命周期進(jìn)行推斷?；蛘邔?duì)于多個(gè)KPI，總體業(yè)績(jī)績(jī)效可以表示為個(gè)體業(yè)績(jī)績(jī)效的平均值:i=使用數(shù)據(jù)資產(chǎn)的業(yè)務(wù)流程實(shí)例(知情組)；c=不使用數(shù)據(jù)的業(yè)務(wù)流程實(shí)例(控制組)；n=測(cè)試測(cè)量的不同kpi的數(shù)量；T=任何數(shù)據(jù)實(shí)例的平均可用壽命；t=衡量KPI的持續(xù)時(shí)間。大數(shù)據(jù)資產(chǎn)估值方法優(yōu)點(diǎn):是硬性的、經(jīng)驗(yàn)的測(cè)量，是一個(gè)很好的預(yù)測(cè)或金融措施。它介紹了一個(gè)不需要進(jìn)行業(yè)務(wù)功能級(jí)分析的場(chǎng)景。缺陷：需要運(yùn)行一個(gè)或多個(gè)實(shí)驗(yàn)，可能涉及系統(tǒng)或流程更改。數(shù)據(jù)集成到流程中的方式會(huì)影響結(jié)果。它沒(méi)有考慮將數(shù)據(jù)合并到流程中的費(fèi)用。大數(shù)據(jù)資產(chǎn)估值方法成本價(jià)值是將數(shù)據(jù)資產(chǎn)作為生成、捕獲或收集數(shù)據(jù)所需的財(cái)務(wù)費(fèi)用進(jìn)行評(píng)估。亦可表示當(dāng)此數(shù)據(jù)資產(chǎn)變得不可用(例如，損壞、丟失)或被盜(特別是復(fù)制)時(shí)對(duì)業(yè)務(wù)的影響。當(dāng)數(shù)據(jù)資產(chǎn)沒(méi)有活躍的市場(chǎng)且其對(duì)收入的貢獻(xiàn)不能充分確定時(shí)，這種方法是首選的。此外，該模型還可用于評(píng)估數(shù)據(jù)資產(chǎn)損壞、丟失或被盜的潛在財(cái)務(wù)風(fēng)險(xiǎn)。ProcExp=捕獲數(shù)據(jù)所涉及的流程的年化成本；Attrib=可歸因于獲取數(shù)據(jù)的過(guò)程費(fèi)用的部分

；T=任何給定數(shù)據(jù)實(shí)例的平均壽命；t=測(cè)量過(guò)程費(fèi)用的時(shí)間段；n=直到數(shù)據(jù)被重新獲取，或直到業(yè)務(wù)連續(xù)性不再受丟失或損壞的數(shù)據(jù)影響的時(shí)間間隔。大數(shù)據(jù)資產(chǎn)估值方法優(yōu)點(diǎn)：成本價(jià)值是評(píng)估數(shù)據(jù)替換成本和如果丟失、被盜或損壞的負(fù)面業(yè)務(wù)影響的最佳方法。會(huì)計(jì)人員喜歡用這種更保守、更穩(wěn)定的方法評(píng)估大多數(shù)無(wú)形資產(chǎn)的初始價(jià)值。缺陷：一些因素需要評(píng)估和主觀(guān)性。這些成本很可能已經(jīng)被支出，因此CVI僅僅通過(guò)將數(shù)據(jù)從費(fèi)用轉(zhuǎn)為資產(chǎn)來(lái)表達(dá)數(shù)據(jù)的價(jià)值。大數(shù)據(jù)資產(chǎn)估值方法市場(chǎng)價(jià)值著眼于數(shù)據(jù)資產(chǎn)在開(kāi)放市場(chǎng)中的潛在或?qū)嶋H財(cái)務(wù)價(jià)值。數(shù)據(jù)貨幣化是在貿(mào)易伙伴之間進(jìn)行交易，以換取現(xiàn)金、貨物或服務(wù)，或其他考慮，如優(yōu)惠的合同條款和條件。然而，越來(lái)越多的公司直接通過(guò)托管的數(shù)據(jù)市場(chǎng)或特定行業(yè)的數(shù)據(jù)代理來(lái)銷(xiāo)售他們的數(shù)據(jù)。市場(chǎng)價(jià)值是以下方面的函數(shù)：ExclusivePrice=獨(dú)家價(jià)格；NumberofPartners=締約方數(shù)量；Premium=溢價(jià)。大數(shù)據(jù)資產(chǎn)估值方法優(yōu)點(diǎn)：市場(chǎng)價(jià)值對(duì)確定可銷(xiāo)售或可交易的數(shù)據(jù)資產(chǎn)的價(jià)值是最有用的。它還可以用于確定數(shù)據(jù)產(chǎn)品的價(jià)格點(diǎn)，或者進(jìn)行調(diào)整以確保對(duì)數(shù)據(jù)產(chǎn)品收取可接受的許可費(fèi)用。挑戰(zhàn)：對(duì)于非市場(chǎng)數(shù)據(jù)資產(chǎn)，它不是特別適用或有用。它包括高度主觀(guān)的因素，可能需要廣泛的市場(chǎng)分析。數(shù)據(jù)資產(chǎn)的獨(dú)占價(jià)格可能很難確定或估計(jì)。大數(shù)據(jù)資產(chǎn)估值方法經(jīng)濟(jì)價(jià)值采用傳統(tǒng)的收益法進(jìn)行資產(chǎn)評(píng)估，然后減去與數(shù)據(jù)的生命周期費(fèi)用，從而產(chǎn)生數(shù)據(jù)資產(chǎn)的財(cái)務(wù)凈值。該方法與績(jī)效價(jià)值方法一樣，是對(duì)數(shù)據(jù)資產(chǎn)實(shí)際價(jià)值的實(shí)證計(jì)算。因此，它更多的是一個(gè)落后指標(biāo)，而不是數(shù)據(jù)價(jià)值的領(lǐng)先指標(biāo)——除非第一個(gè)收入期能夠被充分估計(jì)。經(jīng)濟(jì)價(jià)值是以下方面的函數(shù)：Revenuei=使用數(shù)據(jù)資產(chǎn)產(chǎn)生的收入(知情組)。Revenuec=不含數(shù)據(jù)資產(chǎn)的收入(控制組)。T=任何給定數(shù)據(jù)、實(shí)例或記錄的平均預(yù)期壽命。t=執(zhí)行經(jīng)濟(jì)價(jià)值實(shí)驗(yàn)的時(shí)間。大數(shù)據(jù)資產(chǎn)估值方法優(yōu)點(diǎn)：經(jīng)濟(jì)價(jià)值是一種對(duì)數(shù)據(jù)對(duì)頂層和底層貢獻(xiàn)的實(shí)證分析。除了在以多種方式復(fù)制和應(yīng)用數(shù)據(jù)時(shí)確定與數(shù)據(jù)相關(guān)的費(fèi)用外，不需要進(jìn)行功能分析。缺陷：需要現(xiàn)場(chǎng)實(shí)驗(yàn)和估算數(shù)據(jù)成本的能力。許多傳統(tǒng)的企業(yè)領(lǐng)導(dǎo)仍然對(duì)嘗試數(shù)據(jù)創(chuàng)收過(guò)程的概念不太認(rèn)可。經(jīng)濟(jì)價(jià)值是一個(gè)跟蹤指標(biāo)。小結(jié)本節(jié)的主要內(nèi)容大數(shù)據(jù)資產(chǎn)定義大數(shù)據(jù)資產(chǎn)價(jià)值維度大數(shù)據(jù)資產(chǎn)估值方法2.2大數(shù)據(jù)資產(chǎn)估值與交易2.3大數(shù)據(jù)資產(chǎn)交易大數(shù)據(jù)商業(yè)模式相同的數(shù)據(jù)資產(chǎn)，由于其應(yīng)用領(lǐng)域、使用方法、獲利方式的不同，會(huì)造成其價(jià)值差異。因此對(duì)數(shù)據(jù)資產(chǎn)商業(yè)模式的關(guān)注，可以幫助資產(chǎn)評(píng)估專(zhuān)業(yè)人員了解數(shù)據(jù)資產(chǎn)活動(dòng)。提供數(shù)據(jù)服務(wù)模式：該模式的主營(yíng)業(yè)務(wù)為出售經(jīng)廣泛收集、精心過(guò)濾的時(shí)效性強(qiáng)的數(shù)據(jù)，為用戶(hù)提供各種商業(yè)機(jī)會(huì)。提供信息服務(wù)模式：該模式通過(guò)廣泛收集相關(guān)數(shù)據(jù)、深度整合萃取信息，以龐大的數(shù)據(jù)中心加上專(zhuān)用的數(shù)據(jù)終端，形成數(shù)據(jù)采集、信息萃取、價(jià)值傳遞的完整鏈條，通過(guò)為用戶(hù)提供信息服務(wù)的形式獲利。數(shù)字媒體模式：數(shù)字媒體公司通過(guò)多媒體服務(wù)，面向個(gè)體，廣泛搜集數(shù)據(jù)，發(fā)揮數(shù)據(jù)技術(shù)的預(yù)測(cè)能力，開(kāi)展精準(zhǔn)的自營(yíng)業(yè)務(wù)和第三方推廣營(yíng)銷(xiāo)業(yè)務(wù)。數(shù)據(jù)資產(chǎn)服務(wù)模式：提供全方位數(shù)據(jù)開(kāi)發(fā)和運(yùn)行保障服務(wù)，滿(mǎn)足用戶(hù)業(yè)務(wù)需求，提升客戶(hù)營(yíng)運(yùn)能力。通過(guò)評(píng)估數(shù)據(jù)集群運(yùn)行狀態(tài)優(yōu)化運(yùn)行方案，幫助客戶(hù)將數(shù)據(jù)資產(chǎn)轉(zhuǎn)化為實(shí)際的生產(chǎn)力。數(shù)據(jù)空間運(yùn)營(yíng)模式：該模式主要為第三方提供專(zhuān)業(yè)的數(shù)據(jù)存儲(chǔ)服務(wù)業(yè)務(wù)。數(shù)據(jù)資產(chǎn)技術(shù)服務(wù)模式：該模式為第三方提供開(kāi)發(fā)數(shù)據(jù)資產(chǎn)所需的應(yīng)用技術(shù)和技術(shù)支持作為商業(yè)模式。大數(shù)據(jù)產(chǎn)品類(lèi)型市場(chǎng)上交易的數(shù)據(jù)產(chǎn)品包括初級(jí)數(shù)據(jù)產(chǎn)品、中間數(shù)據(jù)產(chǎn)品和最終數(shù)據(jù)產(chǎn)品三種類(lèi)型。北京數(shù)據(jù)交易所數(shù)據(jù)產(chǎn)品類(lèi)型多層次數(shù)據(jù)產(chǎn)品類(lèi)型大數(shù)據(jù)產(chǎn)品類(lèi)型案例：飛常準(zhǔn)，國(guó)內(nèi)首個(gè)提供民航數(shù)據(jù)分析服務(wù)的專(zhuān)業(yè)平臺(tái)提供歷史準(zhǔn)點(diǎn)率、延誤率、延誤分析等服務(wù)。定期發(fā)布航空公司及機(jī)場(chǎng)發(fā)展趨勢(shì)報(bào)告、機(jī)隊(duì)分析報(bào)告、市場(chǎng)洞察報(bào)告等。根據(jù)客戶(hù)需求定制輔助性分析報(bào)告及解決方案。航班實(shí)時(shí)追蹤、行程規(guī)劃工具、航班動(dòng)態(tài)服務(wù)、航班舒適度指數(shù)。飛常準(zhǔn):做一門(mén)有關(guān)飛行數(shù)據(jù)的生意機(jī)場(chǎng)“大改造”：飛常準(zhǔn)的航旅數(shù)據(jù)生意飛常準(zhǔn)：用數(shù)據(jù)提升機(jī)場(chǎng)效率，挖掘用戶(hù)時(shí)間價(jià)值大數(shù)據(jù)產(chǎn)品類(lèi)型案例：上海市，普惠金融公共數(shù)據(jù)開(kāi)放系統(tǒng)大數(shù)據(jù)資產(chǎn)交易平臺(tái)在《大數(shù)據(jù)發(fā)展行動(dòng)綱要》等政策的引導(dǎo)下，我國(guó)政務(wù)大數(shù)據(jù)和行業(yè)大數(shù)據(jù)的開(kāi)放、共享和交易得到了創(chuàng)新性發(fā)展。國(guó)內(nèi)代表性數(shù)據(jù)交易所包括貴陽(yáng)大數(shù)據(jù)交易所、上海數(shù)據(jù)交易所、北京國(guó)際大數(shù)據(jù)交易所、廣州數(shù)據(jù)交易所等。大數(shù)據(jù)資產(chǎn)交易平臺(tái)國(guó)內(nèi)各大數(shù)據(jù)交易中心采取差異化的運(yùn)營(yíng)和盈利模式。交易中心（平臺(tái)）運(yùn)營(yíng)模式盈利模式數(shù)據(jù)領(lǐng)域上海數(shù)據(jù)交易中心綜合服務(wù)模式免費(fèi)、數(shù)據(jù)增值服務(wù)費(fèi)金融、文娛、交通、商業(yè)貴陽(yáng)大數(shù)據(jù)交易所綜合服務(wù)模式會(huì)員費(fèi)、交易費(fèi)、數(shù)據(jù)金融傭金、數(shù)據(jù)增值服務(wù)費(fèi)金融、教育、環(huán)境、法律、醫(yī)療、交通、商業(yè)、工業(yè)東湖大數(shù)據(jù)交易中心綜合服務(wù)模式銷(xiāo)售收入、數(shù)據(jù)增值服務(wù)金融、環(huán)境、法律、醫(yī)療、文娛、交通數(shù)據(jù)寶綜合服務(wù)模式數(shù)據(jù)增值服務(wù)模式金融、交通、商業(yè)、氣象浙江省數(shù)據(jù)開(kāi)放平臺(tái)開(kāi)放共享模式免費(fèi)金融、財(cái)稅、地理、法律、教育、氣象、醫(yī)療、工業(yè)、農(nóng)業(yè)、環(huán)境、就業(yè)等北京市政務(wù)數(shù)據(jù)資源網(wǎng)開(kāi)放共享模式免費(fèi)金融、財(cái)稅、地理、教育、醫(yī)療、農(nóng)業(yè)、環(huán)境、就業(yè)、文娛、商業(yè)等京東萬(wàn)象交易撮合模式數(shù)據(jù)增值服務(wù)費(fèi)金融、文娛、交通、人工智能、商業(yè)數(shù)據(jù)堂綜合服務(wù)模式銷(xiāo)售收入、數(shù)據(jù)增值服務(wù)費(fèi)環(huán)境、地理、文娛、交通、人工智能阿凡達(dá)數(shù)據(jù)綜合服務(wù)模式銷(xiāo)售收入、數(shù)據(jù)增值服務(wù)金融、生活服務(wù)、交通、文娛大數(shù)據(jù)資產(chǎn)交易平臺(tái)開(kāi)放共享模式：以政府公共數(shù)據(jù)為基礎(chǔ)，為社會(huì)大眾或各類(lèi)組織提供免費(fèi)下載和公共服務(wù)，并可通過(guò)第三方的創(chuàng)新服務(wù)開(kāi)展數(shù)據(jù)交易。開(kāi)放共享模式具有公益性特征，運(yùn)營(yíng)主體由政府來(lái)承擔(dān)。交易撮合模式：為數(shù)據(jù)供需雙方提供交易撮合，本身不存儲(chǔ)和分析數(shù)據(jù)，平臺(tái)監(jiān)管交易過(guò)程。（“淘寶”模式，例如，Databroker平臺(tái)）綜合服務(wù)模式：提供集數(shù)據(jù)匯聚、開(kāi)發(fā)利用、交易流通為一體的綜合服務(wù)。（“京東”模式，例如，F(xiàn)actual交易平臺(tái)）大數(shù)據(jù)資產(chǎn)交易平臺(tái)政府主導(dǎo)模式以政府意志為主，國(guó)有控股、民企參與的方式組建數(shù)據(jù)交易中心，動(dòng)力源于政府的積極推動(dòng)與支持。政府主導(dǎo)模式的特點(diǎn)是數(shù)據(jù)資源主要來(lái)源于政府及部分公共事業(yè)單位、參股企業(yè)、自主獲取等。優(yōu)勢(shì)：擁有穩(wěn)定、可靠的公共數(shù)據(jù)，有利于充分利用已有設(shè)施與資源，調(diào)動(dòng)政府、企事業(yè)單位積極性，保證數(shù)據(jù)供應(yīng)的量和質(zhì)，避免市場(chǎng)過(guò)度逐利產(chǎn)生的違法違規(guī)行為。案例：貴陽(yáng)大數(shù)據(jù)交易所有限公司大數(shù)據(jù)資產(chǎn)交易平臺(tái)市場(chǎng)主導(dǎo)模式市場(chǎng)主導(dǎo)的設(shè)立模式一般是由民營(yíng)企業(yè)或市場(chǎng)化程度高的國(guó)有企業(yè)控股，動(dòng)力源于數(shù)據(jù)要素的市場(chǎng)機(jī)會(huì)。其特點(diǎn)是中心（平臺(tái)）的數(shù)據(jù)資源主要依靠自己的途徑獲取。優(yōu)勢(shì)：市場(chǎng)主導(dǎo)的模式的優(yōu)勢(shì)是機(jī)制靈活，創(chuàng)新意識(shí)和主動(dòng)服務(wù)意識(shí)強(qiáng)，產(chǎn)品形態(tài)更加豐富，用戶(hù)體驗(yàn)感更好，如界面更友好、互動(dòng)性更強(qiáng)、數(shù)據(jù)標(biāo)準(zhǔn)化程度更高。案例：湖北華中大數(shù)據(jù)交易所大數(shù)據(jù)資產(chǎn)交易平臺(tái)案例：上海數(shù)據(jù)交易所上海數(shù)據(jù)交易所以構(gòu)建數(shù)據(jù)要素市場(chǎng)、推進(jìn)數(shù)據(jù)資產(chǎn)化進(jìn)程為使命，承擔(dān)數(shù)據(jù)要素流通制度和規(guī)范探索創(chuàng)新、數(shù)據(jù)要素流通基礎(chǔ)設(shè)施服務(wù)、數(shù)據(jù)產(chǎn)品登記和數(shù)據(jù)產(chǎn)品交易等職能，致力于打造全球數(shù)據(jù)要素配置的重要樞紐節(jié)點(diǎn)。大數(shù)據(jù)流通交易生態(tài)體系數(shù)據(jù)要素的價(jià)值釋放離不開(kāi)大數(shù)據(jù)流通交易生態(tài)體系的建設(shè)。例如，上海數(shù)據(jù)交易所一直致力于構(gòu)建多層次數(shù)據(jù)要素市場(chǎng)，打造全鏈條數(shù)商生態(tài)體系，不斷培育和規(guī)范新主體，構(gòu)建更加繁榮的流通交易生態(tài)。東湖大數(shù)據(jù)構(gòu)建大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新聯(lián)合體，通過(guò)數(shù)據(jù)產(chǎn)業(yè)生態(tài)的培育和發(fā)展，形成更加立體化的多維數(shù)據(jù)生態(tài)架構(gòu)。東湖大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新聯(lián)合體上海數(shù)據(jù)交易所數(shù)商生態(tài)大數(shù)據(jù)流通交易的問(wèn)題大數(shù)據(jù)流通交易市場(chǎng)規(guī)模加速增長(zhǎng)，大數(shù)據(jù)流通交易體制機(jī)制不斷完善。與此同時(shí)，我國(guó)大數(shù)據(jù)流通交易體系建設(shè)依然面臨諸多問(wèn)題。問(wèn)題一：數(shù)據(jù)進(jìn)場(chǎng)交易的意愿不足問(wèn)題二：權(quán)屬不清，交易成本上升問(wèn)題三：未能形成統(tǒng)一的定價(jià)標(biāo)準(zhǔn)問(wèn)題四：核心技術(shù)創(chuàng)新不足支撐不夠問(wèn)題五：缺乏有效治理，阻礙數(shù)據(jù)流通問(wèn)題六：部分交易機(jī)構(gòu)活躍度并不高問(wèn)題七：數(shù)據(jù)擁有主體多，資源整合難問(wèn)題八：數(shù)據(jù)要素交易市場(chǎng)同質(zhì)化明顯問(wèn)題九：監(jiān)管政策缺少對(duì)交易機(jī)構(gòu)的約束問(wèn)題十：跨學(xué)科數(shù)據(jù)人才缺乏小結(jié)本節(jié)的主要內(nèi)容大數(shù)據(jù)商業(yè)模式大數(shù)據(jù)產(chǎn)品類(lèi)型大數(shù)據(jù)交易平臺(tái)大數(shù)據(jù)生態(tài)體系大數(shù)據(jù)流通難題2.3大數(shù)據(jù)資產(chǎn)交易2.4大數(shù)據(jù)系統(tǒng)管理大數(shù)據(jù)系統(tǒng)管理背景體量大、類(lèi)型多、實(shí)時(shí)性是大數(shù)據(jù)的重要特征，這些特征使得大數(shù)據(jù)的管理不能采用單一的信息系統(tǒng)架構(gòu)，需要采用分而治之的方式，為每種類(lèi)型的數(shù)據(jù)設(shè)計(jì)特點(diǎn)的管理方法。另一方面，傳統(tǒng)的數(shù)據(jù)分析架構(gòu)無(wú)法適應(yīng)大數(shù)據(jù)的上述特點(diǎn)，需要設(shè)計(jì)高效的分布式架構(gòu)對(duì)數(shù)據(jù)進(jìn)行分析計(jì)算。大數(shù)據(jù)管理系統(tǒng)的挑戰(zhàn)從數(shù)據(jù)在信息系統(tǒng)中的生命周期看，大數(shù)據(jù)從數(shù)據(jù)源開(kāi)始，經(jīng)過(guò)分析、挖掘到最終獲得價(jià)值一般需要經(jīng)過(guò)多個(gè)主要環(huán)節(jié)，每個(gè)環(huán)節(jié)都面臨技術(shù)挑戰(zhàn)。處理環(huán)節(jié)挑戰(zhàn)數(shù)據(jù)收集將具有分布式、異構(gòu)性、多樣化及流式產(chǎn)生特點(diǎn)的數(shù)據(jù)收集到一起數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)層的擴(kuò)展性、容錯(cuò)性及存儲(chǔ)模型資源管理與服務(wù)協(xié)調(diào)

leader選舉、服務(wù)命名、分布式隊(duì)列、分布式鎖、發(fā)布訂閱功能等計(jì)算引擎不同場(chǎng)景下具有不同要求的計(jì)算任務(wù)數(shù)據(jù)分析大數(shù)據(jù)的海量性和異構(gòu)性等特征數(shù)據(jù)可視化大數(shù)據(jù)具有容量大、結(jié)構(gòu)復(fù)雜和維度多等特點(diǎn)大數(shù)據(jù)管理系統(tǒng)架構(gòu)為了應(yīng)對(duì)大數(shù)據(jù)管理的上述挑戰(zhàn)，企業(yè)通常會(huì)依據(jù)自己的數(shù)據(jù)戰(zhàn)略以及已經(jīng)擁有的數(shù)據(jù)基礎(chǔ)架構(gòu)等，來(lái)建設(shè)自己的大數(shù)據(jù)系統(tǒng)。Hadoop給出了一個(gè)收集、存儲(chǔ)和分析大數(shù)據(jù)的框架，目前很多大數(shù)據(jù)管理系統(tǒng)都是以該框架為基礎(chǔ)進(jìn)行構(gòu)建。由Apache基金會(huì)開(kāi)發(fā)的大數(shù)據(jù)分布式系統(tǒng)基礎(chǔ)架構(gòu)，是Apache基金會(huì)的開(kāi)源項(xiàng)目。大數(shù)據(jù)管理系統(tǒng)架構(gòu)HDFS（HadoopDistirbutedFileSystem）是Hadoop分布式文件系統(tǒng)。其設(shè)計(jì)理念主要是用來(lái)對(duì)GB甚至TB級(jí)別的大文件進(jìn)行存儲(chǔ)并能夠高效訪(fǎng)問(wèn)，文件存儲(chǔ)能夠運(yùn)行在普通的硬件上，即使硬件出現(xiàn)故障，也可以通過(guò)容錯(cuò)策略來(lái)保證數(shù)據(jù)的完整性。大數(shù)據(jù)管理系統(tǒng)架構(gòu)MapReduce是面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)。由Google公司研究提出的一種面向大規(guī)模數(shù)據(jù)處理的并行計(jì)算模型和方法。Google公司設(shè)計(jì)MapReduce的初衷主要是為了解決其搜索引擎中大規(guī)模網(wǎng)頁(yè)數(shù)據(jù)的并行化處理。大數(shù)據(jù)管理系統(tǒng)架構(gòu)ApacheYARN(YetAnotherResourceNegotiator)是Hadoop2.0引入的集群資源管理系統(tǒng)。用戶(hù)可以將各種服務(wù)框架部署在YARN上，由YARN進(jìn)行統(tǒng)一地管理和資源分配。大數(shù)據(jù)管理系統(tǒng)架構(gòu)下圖給出了一個(gè)基于Hadoop框架搭建的大數(shù)據(jù)管理系統(tǒng)架構(gòu)，該架構(gòu)主要包括大數(shù)據(jù)獲取系統(tǒng)、大數(shù)據(jù)存儲(chǔ)系統(tǒng)與計(jì)算平臺(tái)、大數(shù)據(jù)分析與計(jì)算工具、可視化以及服務(wù)接口等組成。大數(shù)據(jù)存儲(chǔ)管理大數(shù)據(jù)環(huán)境下，SQL和NoSQL代表兩種常見(jiàn)的數(shù)據(jù)庫(kù)類(lèi)型。SQL代表結(jié)構(gòu)化查詢(xún)語(yǔ)言，主要用在關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)中。NoSQL指的是“沒(méi)有SQL”（不使用SQL來(lái)查詢(xún)）或者不僅僅是SQL（使用SQL和非SQL查詢(xún)方式）。大數(shù)據(jù)存儲(chǔ)管理鍵值數(shù)據(jù)庫(kù)是一種非關(guān)系數(shù)據(jù)庫(kù)，它使用簡(jiǎn)單的鍵值方法來(lái)存儲(chǔ)數(shù)據(jù)。鍵值數(shù)據(jù)庫(kù)將數(shù)據(jù)存儲(chǔ)為鍵值對(duì)集合，其中鍵作為唯一標(biāo)識(shí)符。大數(shù)據(jù)存儲(chǔ)管理列族數(shù)據(jù)庫(kù)將數(shù)據(jù)存儲(chǔ)在列族中，而列族里的行則把許多列數(shù)據(jù)與本行的“行鍵”關(guān)聯(lián)起來(lái)。列族數(shù)據(jù)庫(kù)是一種能快速執(zhí)行跨集群寫(xiě)入操作并易于對(duì)此擴(kuò)展的數(shù)據(jù)庫(kù)。大數(shù)據(jù)存儲(chǔ)管理文檔數(shù)據(jù)庫(kù)是一類(lèi)典型的非關(guān)系型數(shù)據(jù)庫(kù)?！拔臋n”是文檔數(shù)據(jù)庫(kù)中的主要概念。此類(lèi)數(shù)據(jù)庫(kù)可存放并獲取文檔，其格式可以是XML、JSON、BSON等。大數(shù)據(jù)存儲(chǔ)管理圖數(shù)據(jù)庫(kù)以圖論為基礎(chǔ)，用圖來(lái)表示一個(gè)對(duì)象集合，包括頂點(diǎn)及連接頂點(diǎn)的邊。圖數(shù)據(jù)庫(kù)使用圖作為數(shù)據(jù)模型來(lái)存儲(chǔ)數(shù)據(jù)，可以高效地存儲(chǔ)不同頂點(diǎn)之間的關(guān)系。大數(shù)據(jù)存儲(chǔ)管理分類(lèi)典型應(yīng)用場(chǎng)景數(shù)據(jù)模型優(yōu)點(diǎn)缺點(diǎn)鍵值數(shù)據(jù)庫(kù)內(nèi)容緩存，主要用于處理大量數(shù)據(jù)的高訪(fǎng)問(wèn)負(fù)載，也用于一些日志系統(tǒng)等。鍵指向值

的鍵值對(duì)，通常用Hash表來(lái)實(shí)現(xiàn)查找速度快數(shù)據(jù)無(wú)結(jié)構(gòu)化，通常只被當(dāng)作字符串或者二進(jìn)制數(shù)據(jù)列族數(shù)據(jù)庫(kù)分布式的文件系統(tǒng)以列簇式存儲(chǔ)，將同一列數(shù)據(jù)存在一起查找速度快，可擴(kuò)展性強(qiáng)，更容易進(jìn)行分布式擴(kuò)展功能相對(duì)局限文檔數(shù)據(jù)庫(kù)Web應(yīng)用（與鍵值對(duì)類(lèi)似，值是結(jié)構(gòu)化的，不同的是數(shù)據(jù)庫(kù)能夠了解值的內(nèi)容）Key-Value對(duì)應(yīng)的鍵值對(duì)，值為結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)要求不嚴(yán)格，表結(jié)構(gòu)可變，不需要像關(guān)系型數(shù)據(jù)庫(kù)一樣需要預(yù)先定義表結(jié)構(gòu)查詢(xún)性能不高，而且缺乏統(tǒng)一的查詢(xún)語(yǔ)法。圖數(shù)據(jù)庫(kù)社交網(wǎng)絡(luò)，推薦系統(tǒng)等。專(zhuān)注于構(gòu)建關(guān)系圖譜圖結(jié)構(gòu)利用圖結(jié)構(gòu)相關(guān)算法。比如最短路徑尋址，N度關(guān)系查找等很多時(shí)候需要對(duì)整個(gè)圖做計(jì)算才能得出需要的信息，而且這種結(jié)構(gòu)不太好做分布式的集群方案。小結(jié)本節(jié)的主要內(nèi)容大數(shù)據(jù)管理系統(tǒng)的挑戰(zhàn)大數(shù)據(jù)管理系統(tǒng)架構(gòu)大數(shù)據(jù)存儲(chǔ)管理2.4大數(shù)據(jù)系統(tǒng)管理2.5大數(shù)據(jù)項(xiàng)目管理大數(shù)據(jù)項(xiàng)目管理大數(shù)據(jù)要在組織管理與決策中發(fā)揮作用，核心問(wèn)題是需要采取哪些步驟來(lái)確保數(shù)據(jù)項(xiàng)目能夠從規(guī)劃階段成功走到執(zhí)行階段。要實(shí)現(xiàn)數(shù)據(jù)落地應(yīng)用的目的，獲取數(shù)據(jù)分布式處理技術(shù)能力以及系統(tǒng)架構(gòu)專(zhuān)業(yè)知識(shí)固然重要，大數(shù)據(jù)項(xiàng)目相關(guān)的因素也同樣重要，而這些因素往往在探索新技術(shù)的過(guò)程中被忽視。因素一：結(jié)合企業(yè)戰(zhàn)略，理解問(wèn)題因素二：選擇適合的軟件解決方案因素三：分析并應(yīng)對(duì)項(xiàng)目風(fēng)險(xiǎn)因素四：組建大數(shù)據(jù)項(xiàng)目團(tuán)隊(duì)因素五：實(shí)現(xiàn)健壯、可維護(hù)的架構(gòu)和解決方案大數(shù)據(jù)項(xiàng)目管理的類(lèi)型了解組織要構(gòu)建什么，以及在設(shè)計(jì)可靠的解決方案時(shí)需要考慮哪些主要因素，是任何數(shù)據(jù)項(xiàng)目取得成功的基本條件。大數(shù)據(jù)項(xiàng)目主要包括如下三種類(lèi)型。數(shù)據(jù)項(xiàng)目類(lèi)型數(shù)據(jù)項(xiàng)目任務(wù)數(shù)據(jù)管道和數(shù)據(jù)暫存類(lèi)項(xiàng)目大數(shù)據(jù)的提取-轉(zhuǎn)換-加載型項(xiàng)目。涉及對(duì)數(shù)據(jù)的收集、暫存、存儲(chǔ)等，其目的是為后續(xù)數(shù)據(jù)處理和分析提供基礎(chǔ)。數(shù)據(jù)的處理和分析類(lèi)項(xiàng)目目的是為企業(yè)提供有價(jià)值的決策支持，如生成報(bào)告、開(kāi)發(fā)機(jī)器學(xué)習(xí)模型和算法等。應(yīng)用程序開(kāi)發(fā)類(lèi)項(xiàng)目提供能夠?qū)崟r(shí)支持業(yè)務(wù)需求的數(shù)據(jù)框架，例如Web應(yīng)用程序或移動(dòng)應(yīng)用程序的數(shù)據(jù)后端等。大數(shù)據(jù)項(xiàng)目成功的關(guān)鍵特征實(shí)施大數(shù)據(jù)項(xiàng)目的初衷通常是利用大數(shù)據(jù)更好地支撐管理決策。因此，成功的大數(shù)據(jù)項(xiàng)目通常具有如下特征：項(xiàng)目目標(biāo)清晰。與企業(yè)戰(zhàn)略目標(biāo)和運(yùn)營(yíng)模式相一致、內(nèi)部認(rèn)識(shí)統(tǒng)一。項(xiàng)目規(guī)劃完善。項(xiàng)目實(shí)施之前對(duì)項(xiàng)目功能規(guī)劃清晰，對(duì)項(xiàng)目實(shí)施進(jìn)程嚴(yán)格把控。技術(shù)選擇合適。技術(shù)并非越先進(jìn)越好，適合企業(yè)的技術(shù)才是最好的技術(shù)。員工技能合格。員工專(zhuān)業(yè)知識(shí)和能力符合大數(shù)據(jù)項(xiàng)目的要求。示范效果良好。大數(shù)據(jù)項(xiàng)目發(fā)揮作用是一個(gè)逐步推進(jìn)的過(guò)程。在特定應(yīng)用中取得顯著效果，有助于后續(xù)項(xiàng)目推進(jìn)。大數(shù)據(jù)項(xiàng)目失敗的原因大數(shù)據(jù)項(xiàng)目與企業(yè)戰(zhàn)略脫節(jié)。企業(yè)大數(shù)據(jù)項(xiàng)目沒(méi)有明確的目標(biāo)，沒(méi)有把大數(shù)據(jù)項(xiàng)目與企業(yè)戰(zhàn)略和運(yùn)營(yíng)模式有機(jī)融合。大數(shù)據(jù)商業(yè)用例不明確。大數(shù)據(jù)項(xiàng)目要實(shí)現(xiàn)的功能不明確，需要為企業(yè)提供哪些決策支持、需要哪些數(shù)據(jù)、需要構(gòu)建怎樣的模型等問(wèn)題不清晰。無(wú)法發(fā)掘出大數(shù)據(jù)的特殊價(jià)值。在數(shù)據(jù)分析過(guò)程中無(wú)法充分發(fā)揮量大、多模態(tài)、多維關(guān)聯(lián)等大數(shù)據(jù)特征帶來(lái)的優(yōu)勢(shì)，無(wú)法從大數(shù)據(jù)中獲取大價(jià)值。企業(yè)內(nèi)部對(duì)大數(shù)據(jù)項(xiàng)目無(wú)共識(shí)。企業(yè)不同層級(jí)對(duì)大數(shù)據(jù)作用的認(rèn)識(shí)不一致，前期可能為員工帶來(lái)更多的工作負(fù)荷，導(dǎo)致大數(shù)據(jù)項(xiàng)目拖延推進(jìn)或無(wú)人應(yīng)用等問(wèn)題。缺乏項(xiàng)目所需的核心技術(shù)。大數(shù)據(jù)項(xiàng)目對(duì)企業(yè)員工的數(shù)據(jù)意識(shí)和技術(shù)能力提出了更高的要求。如果企業(yè)員工無(wú)法達(dá)到相應(yīng)要求，在后續(xù)使用過(guò)程中往往無(wú)法達(dá)到預(yù)期目標(biāo)。大數(shù)據(jù)項(xiàng)目實(shí)施案例正泰集團(tuán)：傳統(tǒng)制造企業(yè)的數(shù)字化轉(zhuǎn)型之旅1.正泰集團(tuán)是怎樣的一家企業(yè)？2.正泰集團(tuán)為什么要進(jìn)行數(shù)字化轉(zhuǎn)型?內(nèi)外部驅(qū)動(dòng)因素是什么？3.正泰集團(tuán)在數(shù)字化轉(zhuǎn)型過(guò)程中遇到了哪些阻力與障礙？4.正泰集團(tuán)做了哪些戰(zhàn)略性回應(yīng)以克服阻力與障礙?5.如何理解正泰集團(tuán)大數(shù)據(jù)平臺(tái)運(yùn)營(yíng)邏輯?大數(shù)據(jù)項(xiàng)目實(shí)施案例1．正泰集團(tuán)是怎樣的一家企業(yè)？圍繞能源“供給-存儲(chǔ)-輸變-配售-消費(fèi)”體系，以新能源、能源配售、大數(shù)據(jù)、能源增值服務(wù)為核心業(yè)務(wù)，以光伏設(shè)備、儲(chǔ)能、輸配電、低壓電器、智能終端、軟件開(kāi)發(fā)、控制自動(dòng)化為支柱業(yè)務(wù)，打造平臺(tái)型企業(yè)，構(gòu)筑區(qū)域智慧能源綜合運(yùn)營(yíng)管理生態(tài)圈，為公共機(jī)構(gòu)、工商業(yè)及終端用戶(hù)提供一攬子能源解決方案。大數(shù)據(jù)項(xiàng)目實(shí)施案例2.正泰集團(tuán)為什么要進(jìn)行數(shù)字化轉(zhuǎn)型?內(nèi)外部驅(qū)動(dòng)因素是什么？外部驅(qū)動(dòng)因素：PTST分析政治（Political）：德國(guó)工業(yè)4.0、中國(guó)制造2025。經(jīng)濟(jì)（Economic）：數(shù)字經(jīng)濟(jì)已經(jīng)成為國(guó)民經(jīng)濟(jì)的新業(yè)態(tài)。在“互聯(lián)網(wǎng)下半場(chǎng)”，制造業(yè)擁抱數(shù)字技術(shù)成為必然趨勢(shì)。社會(huì)（Social）：人們對(duì)美好生活的向往。技術(shù)（Technological）：數(shù)字技術(shù)具有天生的顛覆性，繼續(xù)守成已經(jīng)無(wú)法應(yīng)挑戰(zhàn)，只有順數(shù)字化趨勢(shì)，及時(shí)調(diào)整戰(zhàn)略，打造數(shù)字化能力，才在新的環(huán)境下生存。內(nèi)部驅(qū)動(dòng)因素：集團(tuán)創(chuàng)始人的前瞻性戰(zhàn)略眼光以及企業(yè)自身成長(zhǎng)的要求。大數(shù)據(jù)項(xiàng)目實(shí)施案例3.正泰集團(tuán)在數(shù)字化轉(zhuǎn)型過(guò)程中遇到了哪些阻力與障礙？個(gè)人阻力：個(gè)人利益與舒適區(qū)的障礙不確定性和不安全感、知覺(jué)的選擇性、對(duì)熟悉事物的偏好在數(shù)字化轉(zhuǎn)型啟動(dòng)之初，集團(tuán)內(nèi)部除最高領(lǐng)導(dǎo)人之外的幾乎所有員工都沒(méi)有表現(xiàn)出對(duì)轉(zhuǎn)型的認(rèn)同，他們或認(rèn)為會(huì)威脅已有權(quán)力與地位，或認(rèn)為會(huì)改變穩(wěn)定的現(xiàn)狀怕自己無(wú)法適應(yīng)而淘汰，再加上對(duì)數(shù)字化轉(zhuǎn)型未來(lái)的不明晰而更愿意維持現(xiàn)狀。組織阻力：科層級(jí)組織的障礙正泰長(zhǎng)久以來(lái)建立的科層制組織架構(gòu)下的部門(mén)墻、與客戶(hù)打交道的界面等慣有組織路徑成為數(shù)字化流程改造中的障礙。大數(shù)據(jù)項(xiàng)目實(shí)施案例4.正泰集團(tuán)做了哪些戰(zhàn)略性回應(yīng)以克服阻力與障礙?設(shè)置首席數(shù)據(jù)官（CDO）。邀請(qǐng)從組織外部邀請(qǐng)了信息化專(zhuān)家負(fù)責(zé)集團(tuán)數(shù)字化轉(zhuǎn)型。選擇輕資產(chǎn)轉(zhuǎn)型模式。以整合管理型數(shù)據(jù)為起點(diǎn)，以讓集團(tuán)上下看到數(shù)字化能夠帶來(lái)的實(shí)際價(jià)值。在“生產(chǎn)智能化”階段，選擇兩個(gè)明星產(chǎn)品生產(chǎn)線(xiàn)為試點(diǎn)進(jìn)行智能化改造。通過(guò)教育溝通轉(zhuǎn)變員工認(rèn)識(shí)。董事長(zhǎng)親自出馬+外部咨詢(xún)專(zhuān)家數(shù)字化培訓(xùn)組織結(jié)構(gòu)平臺(tái)化變革。自上而下的變革，建立委員會(huì)模式和共享中心。大數(shù)據(jù)項(xiàng)目實(shí)施案例5.如何理解正泰集團(tuán)大數(shù)據(jù)平臺(tái)運(yùn)營(yíng)邏輯?原有的管理系統(tǒng)和生產(chǎn)系統(tǒng)是否能夠獲得所需數(shù)據(jù)？如何進(jìn)行數(shù)據(jù)集成？數(shù)據(jù)集成的關(guān)鍵是什么？如何面向不同業(yè)務(wù)需求開(kāi)發(fā)數(shù)據(jù)模型？組織結(jié)構(gòu)如何匹配大數(shù)據(jù)戰(zhàn)略？正泰集團(tuán)大數(shù)據(jù)平臺(tái)運(yùn)營(yíng)邏輯圖正泰集團(tuán)組織平臺(tái)化數(shù)據(jù)管道和暫存類(lèi)項(xiàng)目任務(wù)數(shù)據(jù)管道和數(shù)據(jù)暫存類(lèi)項(xiàng)目是3個(gè)數(shù)據(jù)項(xiàng)目類(lèi)型中范圍最廣的，因?yàn)樗婕皬耐獠繑?shù)據(jù)源到目標(biāo)數(shù)據(jù)源的整個(gè)路徑，并為構(gòu)建數(shù)據(jù)解決方案的其余部分奠定基礎(chǔ)。需要關(guān)注的任務(wù)包括七個(gè)方面。源數(shù)據(jù)收集方法的選擇針對(duì)數(shù)據(jù)收集與存儲(chǔ)的風(fēng)險(xiǎn)管理數(shù)據(jù)傳遞保證數(shù)據(jù)的管理和治理延遲和傳遞確認(rèn)針對(duì)數(shù)據(jù)傳遞的風(fēng)險(xiǎn)管理目標(biāo)數(shù)據(jù)的訪(fǎng)問(wèn)模式數(shù)據(jù)處理和分析類(lèi)項(xiàng)目數(shù)據(jù)的處理和分析是指對(duì)數(shù)據(jù)管道和數(shù)據(jù)暫存項(xiàng)目中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換和分析，以提取有用的價(jià)值。根據(jù)CRISP-DM流程，數(shù)據(jù)處理和分析類(lèi)項(xiàng)目的任務(wù)包括六個(gè)方面。業(yè)務(wù)理解：項(xiàng)目的起點(diǎn)是企業(yè)戰(zhàn)略和業(yè)務(wù)需求。數(shù)據(jù)理解：用何數(shù)據(jù)、數(shù)據(jù)在哪里、有何特征數(shù)據(jù)預(yù)處理：噪音、缺失值、約簡(jiǎn)模型構(gòu)建：構(gòu)建面向業(yè)務(wù)需求的決策支持模型模型評(píng)估：評(píng)估模型的效果，選擇效果最好的模型應(yīng)用部署：應(yīng)用模型支持決策，應(yīng)用效果反饋應(yīng)用程序開(kāi)發(fā)類(lèi)項(xiàng)目前兩類(lèi)項(xiàng)目關(guān)注數(shù)據(jù)收集和數(shù)據(jù)學(xué)習(xí)，而應(yīng)用程序開(kāi)發(fā)與部署使用數(shù)據(jù)向內(nèi)部或外部提供服務(wù)的應(yīng)用程序有關(guān)。這類(lèi)項(xiàng)目應(yīng)關(guān)注的事項(xiàng)有：廷遲和吞吐量：執(zhí)行一個(gè)操作需要多長(zhǎng)時(shí)間，系統(tǒng)每秒可處理多少個(gè)操作?局部狀態(tài)和一致性：如果系統(tǒng)在多個(gè)地區(qū)可用，那么它是如何進(jìn)行復(fù)制的?它是孤島式的、最終一致性的還是強(qiáng)一致性的？系統(tǒng)可用性：系統(tǒng)在發(fā)生故障和故障恢復(fù)方面有哪些特點(diǎn)?大數(shù)據(jù)項(xiàng)目的技術(shù)選型在實(shí)施大數(shù)據(jù)項(xiàng)目的過(guò)程中，企業(yè)的技術(shù)選型需要的因素包括：企業(yè)自身情況。自身業(yè)務(wù)需求、內(nèi)部團(tuán)隊(duì)需求、風(fēng)險(xiǎn)承受能力、員工技能水平等。內(nèi)外部專(zhuān)家建議。企業(yè)內(nèi)部技術(shù)專(zhuān)家，企業(yè)外部顧問(wèn)。專(zhuān)業(yè)分析機(jī)構(gòu)見(jiàn)解。參考Gartner和ForresterResearch等行業(yè)分析公司的報(bào)告。市場(chǎng)技術(shù)發(fā)展趨勢(shì)。從專(zhuān)業(yè)論壇、谷歌趨勢(shì)、GitHub活動(dòng)情況、行業(yè)和學(xué)術(shù)會(huì)議報(bào)告等活動(dòng)中分析技術(shù)和市場(chǎng)的發(fā)展趨勢(shì)。小結(jié)本節(jié)的主要內(nèi)容大數(shù)據(jù)項(xiàng)目管理的類(lèi)型大數(shù)據(jù)項(xiàng)目成功失敗的特征大數(shù)據(jù)項(xiàng)目的技術(shù)選型2.5大數(shù)據(jù)項(xiàng)目管理2.6大數(shù)據(jù)管理能力成熟度評(píng)估CMM與CMMICMM（CapabilityMaturityModelforSoftware）即軟件能力成熟度模型，90年代美國(guó)卡內(nèi)基梅隆大學(xué)的軟件工程研究所提出的一項(xiàng)重要標(biāo)準(zhǔn)。CMM的核心是把軟件開(kāi)發(fā)視為一個(gè)過(guò)程，并根據(jù)這一原則對(duì)軟件開(kāi)發(fā)和維護(hù)的過(guò)程進(jìn)行監(jiān)控和研究，以使其更加科學(xué)化、標(biāo)準(zhǔn)化，使企業(yè)（或組織）能夠更好地實(shí)現(xiàn)商業(yè)目標(biāo)。

CMMI（Capability

Maturity

Model

Integration）即能力成熟度模型集成，在CMM的基礎(chǔ)上建立起包括軟件工程、系統(tǒng)工程和軟硬件采購(gòu)等在內(nèi)的諸多模型的集成。CMMI不但包括了軟件開(kāi)發(fā)過(guò)程改進(jìn)，還包含系統(tǒng)集成、軟硬件采購(gòu)等方面的過(guò)程改進(jìn)內(nèi)容。CMMI國(guó)際通用，用于評(píng)價(jià)軟件企業(yè)而非個(gè)人。CMMI詳解初始級(jí)：組織開(kāi)發(fā)的軟件是不穩(wěn)定的，開(kāi)發(fā)過(guò)程中的計(jì)劃、預(yù)算、功能和質(zhì)量都是具有不確定性。管理級(jí)：組織已經(jīng)營(yíng)造出穩(wěn)定的、受控的開(kāi)發(fā)環(huán)境，項(xiàng)目是在受控狀態(tài)下運(yùn)行。定義級(jí)：組織對(duì)項(xiàng)目的實(shí)施不僅有一整套合理的管理措施，還要將這套管理體系與流程予以制度化、標(biāo)準(zhǔn)化，并推廣到全組織。定量管理級(jí)：組織的項(xiàng)目管理不僅形成了一種制度，而且要實(shí)現(xiàn)數(shù)字化的管理。持續(xù)優(yōu)化級(jí)：項(xiàng)目管理達(dá)到了最高的境界。能夠主動(dòng)地改善流程，運(yùn)用新技術(shù)，實(shí)現(xiàn)流程的優(yōu)化。數(shù)據(jù)管理能力成熟度國(guó)際標(biāo)準(zhǔn)CMMI-DMM數(shù)據(jù)管理能力成熟度評(píng)估模型由卡耐基-梅隆大學(xué)旗下的CMMI協(xié)會(huì)開(kāi)發(fā)，DMM模型用25個(gè)過(guò)程域，描述了企業(yè)數(shù)據(jù)管理應(yīng)建立的各項(xiàng)能力。類(lèi)別過(guò)程域類(lèi)別過(guò)程域數(shù)據(jù)管理戰(zhàn)略數(shù)據(jù)管理戰(zhàn)略、溝通、數(shù)據(jù)管理功能、業(yè)務(wù)案例、項(xiàng)目資助數(shù)據(jù)治理治理管理、業(yè)務(wù)詞匯表、元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量戰(zhàn)略、數(shù)據(jù)分析、數(shù)據(jù)質(zhì)量評(píng)估、數(shù)據(jù)清洗數(shù)據(jù)操作數(shù)據(jù)需求定義、數(shù)據(jù)生命周期管理、供應(yīng)商管理平臺(tái)與架構(gòu)架構(gòu)方法、架構(gòu)標(biāo)準(zhǔn)、數(shù)據(jù)管理平臺(tái)、數(shù)據(jù)集成、歷史數(shù)據(jù)、歸檔和保留支持流程度量與分析、過(guò)程管理、過(guò)程質(zhì)量保證、風(fēng)險(xiǎn)管理、配置管理數(shù)據(jù)管理能力成熟度國(guó)際標(biāo)準(zhǔn)CMMI-DMM數(shù)據(jù)管理能力成熟度評(píng)估模型由卡耐基-梅隆大學(xué)旗下的CMMI協(xié)會(huì)開(kāi)發(fā)，DMM模型用25個(gè)過(guò)程域，描述了企業(yè)數(shù)據(jù)管理應(yīng)建立的各項(xiàng)能力。根據(jù)CMMI-DMM數(shù)據(jù)管理能力成熟度評(píng)估模型，企業(yè)數(shù)據(jù)管理的能力主要分為五個(gè)層次，從低到高分別是可執(zhí)行級(jí)、可管理級(jí)、已定義級(jí)、可量度級(jí)和優(yōu)化管理級(jí)數(shù)據(jù)管理能力成熟度國(guó)際標(biāo)準(zhǔn)Gartner企業(yè)信息管理成熟度模型由Gartner公司提出，將企業(yè)數(shù)據(jù)管理成熟度劃分為六個(gè)階段來(lái)進(jìn)行定義，分別是：0無(wú)認(rèn)知階段，1有認(rèn)知階段，2被動(dòng)回應(yīng)階段，3主動(dòng)回應(yīng)階段，4已管理階段，5高效管理階段。數(shù)據(jù)管理能力成熟度國(guó)際標(biāo)準(zhǔn)Gartner企業(yè)信息管理成熟度模型由Gartner公司提出，將企業(yè)數(shù)據(jù)