大數(shù)據(jù)管理與應(yīng)用概論 課件 第五章 大數(shù)據(jù)質(zhì)量管理方法

5.1數(shù)據(jù)質(zhì)量概述數(shù)據(jù)質(zhì)量的概念對(duì)數(shù)據(jù)質(zhì)量的研究始于上世紀(jì)國(guó)外，許多學(xué)者對(duì)數(shù)據(jù)質(zhì)量提出了不同的定義，但至今學(xué)者在數(shù)據(jù)質(zhì)量的定義上尚未達(dá)成共識(shí)。國(guó)外學(xué)者Tayi等將“數(shù)據(jù)質(zhì)量”定義為“數(shù)據(jù)適于使用的程度”，并提出數(shù)據(jù)質(zhì)量判斷取決于數(shù)據(jù)消費(fèi)者，即數(shù)據(jù)質(zhì)量是數(shù)據(jù)為滿足業(yè)務(wù)需求和數(shù)據(jù)消費(fèi)者使用目的所具備的適合度或適用性。數(shù)據(jù)質(zhì)量的定義數(shù)據(jù)質(zhì)量的可變性數(shù)據(jù)質(zhì)量與特定環(huán)境、特定目標(biāo)和特定的初始條件密切相關(guān)強(qiáng)調(diào)數(shù)據(jù)質(zhì)量與數(shù)據(jù)生命周期的階段或過程高度耦合數(shù)據(jù)質(zhì)量的概念數(shù)據(jù)質(zhì)量管理是對(duì)數(shù)據(jù)從計(jì)劃、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用、消亡生命周期的每個(gè)階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等一系列管理活動(dòng)，并通過改善組織的管理水平以進(jìn)一步提高數(shù)據(jù)質(zhì)量。計(jì)劃獲取存儲(chǔ)共享維護(hù)應(yīng)用消亡數(shù)據(jù)生命周期識(shí)別度量監(jiān)控預(yù)警···數(shù)據(jù)質(zhì)量管理的必要性數(shù)據(jù)是每個(gè)組織在競(jìng)爭(zhēng)時(shí)代賴以生存的基礎(chǔ)，是處理各種業(yè)務(wù)功能的應(yīng)用程序和系統(tǒng)的基礎(chǔ)。數(shù)據(jù)質(zhì)量在組織中起著至關(guān)重要的作用：高質(zhì)量數(shù)據(jù)客戶服務(wù)運(yùn)營(yíng)效率業(yè)務(wù)規(guī)劃戰(zhàn)略決策有效管理價(jià)值回報(bào)數(shù)據(jù)質(zhì)量決定數(shù)據(jù)作為一種資產(chǎn)所具備的價(jià)值。高質(zhì)量數(shù)據(jù)通過滿足用戶需求來提升客戶的滿意度。高質(zhì)量數(shù)據(jù)可以顯著提高組織收入和利潤(rùn)。數(shù)據(jù)質(zhì)量是組織形成戰(zhàn)略性競(jìng)爭(zhēng)優(yōu)勢(shì)中的關(guān)鍵要素。影響數(shù)據(jù)質(zhì)量的因素對(duì)數(shù)據(jù)質(zhì)量進(jìn)行有效管理要首先識(shí)別影響數(shù)據(jù)質(zhì)量的原因。數(shù)據(jù)質(zhì)量問題貫穿數(shù)據(jù)生命周期的每個(gè)階段，從最初的數(shù)據(jù)創(chuàng)建和收集開始再經(jīng)數(shù)據(jù)處理、傳輸、存儲(chǔ)、歸檔和清除等各個(gè)步驟。數(shù)據(jù)質(zhì)量在數(shù)據(jù)生命周期中的過程···處理傳輸存儲(chǔ)歸檔清除不準(zhǔn)確性數(shù)據(jù)數(shù)據(jù)消息偏差消息偏差影響數(shù)據(jù)質(zhì)量的因素?cái)?shù)據(jù)質(zhì)量在數(shù)據(jù)生命周期的過程過程中有以下操作可能會(huì)影響數(shù)據(jù)質(zhì)量：影響數(shù)據(jù)質(zhì)量的操作主要內(nèi)容手動(dòng)數(shù)據(jù)輸入手動(dòng)數(shù)據(jù)輸入時(shí)，可能會(huì)提供錯(cuò)誤的、不完整的信息，從而導(dǎo)致數(shù)據(jù)問題數(shù)據(jù)捕獲過程中的驗(yàn)證實(shí)現(xiàn)數(shù)據(jù)捕獲的事務(wù)系統(tǒng)中，不充分不嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)驗(yàn)證過程可能無法捕獲錯(cuò)誤的數(shù)據(jù)輸入數(shù)據(jù)衰減或數(shù)據(jù)老化數(shù)據(jù)隨著時(shí)間的推移而退化，從而導(dǎo)致數(shù)據(jù)質(zhì)量下降業(yè)務(wù)流程管理與設(shè)計(jì)在業(yè)務(wù)流程管理與設(shè)計(jì)過程中缺乏統(tǒng)一的標(biāo)準(zhǔn)來解決業(yè)務(wù)需求和實(shí)現(xiàn)業(yè)務(wù)流程改進(jìn)，導(dǎo)致數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)等數(shù)據(jù)質(zhì)量問題數(shù)據(jù)遷移在數(shù)據(jù)遷移或轉(zhuǎn)換過程中，一些數(shù)據(jù)可能會(huì)在新數(shù)據(jù)庫或同一數(shù)據(jù)庫的新模式下發(fā)生很大變化，從而導(dǎo)致數(shù)據(jù)問題影響數(shù)據(jù)質(zhì)量的因素?cái)?shù)據(jù)質(zhì)量在數(shù)據(jù)生命周期的過程過程中有以下操作可能會(huì)影響數(shù)據(jù)質(zhì)量：影響數(shù)據(jù)質(zhì)量的操作主要內(nèi)容數(shù)據(jù)集成在組合沖突數(shù)據(jù)的過程中，錯(cuò)誤的數(shù)據(jù)映射規(guī)范和錯(cuò)誤的解決沖突的規(guī)則可能導(dǎo)致數(shù)據(jù)質(zhì)量問題數(shù)據(jù)清理糾正錯(cuò)誤數(shù)據(jù)元素的過程中，自動(dòng)數(shù)據(jù)清理算法由計(jì)算機(jī)程序?qū)崿F(xiàn)，但還是不可避免地會(huì)出現(xiàn)錯(cuò)誤組織變更組織上的變化，如企業(yè)并購(gòu)、重組等都有可能增加數(shù)據(jù)質(zhì)量問題系統(tǒng)升級(jí)數(shù)據(jù)可能會(huì)被篡改成以前版本可以接受的形式，而系統(tǒng)升級(jí)會(huì)暴露這些數(shù)據(jù)不準(zhǔn)確，從而帶來數(shù)據(jù)質(zhì)量問題數(shù)據(jù)清除數(shù)據(jù)清除可能會(huì)意外地影響錯(cuò)誤的數(shù)據(jù)，當(dāng)清除的一些相關(guān)數(shù)據(jù)超過或少于預(yù)期時(shí)，都會(huì)導(dǎo)致數(shù)據(jù)質(zhì)量問題影響數(shù)據(jù)質(zhì)量的因素?cái)?shù)據(jù)質(zhì)量在數(shù)據(jù)生命周期的過程過程中有以下操作可能會(huì)影響數(shù)據(jù)質(zhì)量：影響數(shù)據(jù)質(zhì)量的操作主要內(nèi)容缺乏對(duì)數(shù)據(jù)的多重使用和共享理解不同部門或小組需將數(shù)據(jù)用于不同的目的，但當(dāng)數(shù)據(jù)不再滿足組織中某個(gè)部門或運(yùn)營(yíng)團(tuán)隊(duì)的特定業(yè)務(wù)需求時(shí)，便會(huì)認(rèn)為數(shù)據(jù)質(zhì)量不好專業(yè)知識(shí)缺失對(duì)于以不當(dāng)方式存儲(chǔ)和使用數(shù)據(jù)的遺留系統(tǒng)，當(dāng)缺少專家知識(shí)時(shí)，數(shù)據(jù)可能無法得到正確使用缺乏通用的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)字典和元數(shù)據(jù)不同業(yè)務(wù)部門和元數(shù)據(jù)之間缺乏通用的數(shù)據(jù)標(biāo)準(zhǔn)，會(huì)導(dǎo)致數(shù)據(jù)質(zhì)量問題業(yè)務(wù)數(shù)據(jù)所有權(quán)和治理問題沒有明確定義的所有權(quán)、管理權(quán)、透明度和問責(zé)制，職能部門和業(yè)務(wù)部門的治理有限或不一致，都會(huì)導(dǎo)致數(shù)據(jù)質(zhì)量差黑客破壞黑客不僅可以破壞數(shù)據(jù)，還會(huì)竊取或刪除數(shù)據(jù)，極大地?fù)p害數(shù)據(jù)質(zhì)量小結(jié)本節(jié)的主要內(nèi)容數(shù)據(jù)質(zhì)量的概念數(shù)據(jù)質(zhì)量管理的必要性影響數(shù)據(jù)質(zhì)量的因素5.1數(shù)據(jù)質(zhì)量概述5.2數(shù)據(jù)質(zhì)量管理體系數(shù)據(jù)質(zhì)量評(píng)估框架數(shù)據(jù)質(zhì)量評(píng)估框架是一種手段，是一個(gè)組織可以用來定義它的數(shù)據(jù)環(huán)境的模型，明確有關(guān)數(shù)據(jù)質(zhì)量的屬性，在當(dāng)前的環(huán)境下分析數(shù)據(jù)質(zhì)量的屬性，提供保證數(shù)據(jù)質(zhì)量提高的手段。不同數(shù)據(jù)質(zhì)量評(píng)估框架間的差別主要體現(xiàn)在：評(píng)估對(duì)象階段步驟采用的策略和技術(shù)維度指標(biāo)花費(fèi)成本信息系統(tǒng)數(shù)據(jù)質(zhì)量評(píng)估框架一些具有代表性的數(shù)據(jù)質(zhì)量評(píng)估框架，其中部分框架將信息質(zhì)量和數(shù)據(jù)質(zhì)量等同?？蚣苊Q（全稱）主要內(nèi)容TDQM(TotalDataQualityManagement)基于過程管理，將信息看作一種產(chǎn)品，包括定義信息產(chǎn)品與質(zhì)量、信息產(chǎn)品質(zhì)量度量、分析信息產(chǎn)品質(zhì)量、提升信息產(chǎn)品質(zhì)量全過程。DWQ(TheDatawarehouseQualityMethodology)通過數(shù)據(jù)倉庫中語義豐富的質(zhì)量管理模型來評(píng)估數(shù)據(jù)倉庫質(zhì)量，從評(píng)估對(duì)象、質(zhì)量目標(biāo)、質(zhì)量查詢、質(zhì)量維度、質(zhì)量評(píng)估等方面定義數(shù)據(jù)倉庫數(shù)據(jù)質(zhì)量并建立模型。該模型可以直接集成到元數(shù)據(jù)庫系統(tǒng)概念庫中。TIQM(TotalInformationQualityManagement)該框架將信息質(zhì)量視作一種管理工具，從固有與實(shí)用兩方面對(duì)信息質(zhì)量進(jìn)行定義。將產(chǎn)品質(zhì)量原則用于信息，提出信息質(zhì)量評(píng)估的方法與維度，以及信息產(chǎn)品改進(jìn)的方法步驟。AIMQ(Amethodologyforinformationqualityassessment)從內(nèi)在信息質(zhì)量、上下文信息質(zhì)量、代表性信息質(zhì)量和可訪問性信息四個(gè)方面定義數(shù)據(jù)質(zhì)量，該框架包括信息質(zhì)量維度、一個(gè)信息質(zhì)量模型，以及解釋信息質(zhì)量的分析技術(shù)。數(shù)據(jù)質(zhì)量評(píng)估框架框架名稱（全稱）主要內(nèi)容CIHI(CanadianInstituteforHealthInformationmethodology)從質(zhì)量評(píng)估方法、信息質(zhì)量與公司數(shù)據(jù)處理、信息質(zhì)量與組織幾方面建立框架。CIHI(CanadianInstituteforHealthInformationmethodology)從質(zhì)量評(píng)估方法、信息質(zhì)量與公司數(shù)據(jù)處理、信息質(zhì)量與組織幾方面建立框架。DQA(DataQualityAssessment)該框架開發(fā)了客觀數(shù)據(jù)質(zhì)量度量的三種功能形式，提出了一種結(jié)合主觀和客觀數(shù)據(jù)質(zhì)量評(píng)估的方法。DQAF(DataQualityAssessmentFramework)該框架整體結(jié)構(gòu)呈級(jí)聯(lián)式展開，第一階層的每個(gè)維度分別在第二階層和第三階層的評(píng)估指標(biāo)中具體化。IQM(InformationQualityMeasurement)該框架分析和比較并整理了不同評(píng)測(cè)信息質(zhì)量工具的功能，用于以系統(tǒng)和有計(jì)劃的方式測(cè)量特定的IQ標(biāo)準(zhǔn)，并歸納為一種系統(tǒng)的評(píng)估方法。數(shù)據(jù)質(zhì)量評(píng)估框架——TDQM基于過程管理的全面數(shù)據(jù)質(zhì)量管理(TotalDataQualityManagement,TDQM)方法由RichardY.Wang首先提出，通過引入工程管理中的全面質(zhì)量管理方法，將信息(或數(shù)據(jù))視為產(chǎn)品，將信息生產(chǎn)過程看作是一個(gè)信息處理系統(tǒng)對(duì)源數(shù)據(jù)加工處理后生產(chǎn)出信息產(chǎn)品的過程。TDQM的內(nèi)容主要包括信息產(chǎn)品定義。定義信息產(chǎn)品特征、信息產(chǎn)品質(zhì)量要求、信息制造系統(tǒng)。信息產(chǎn)品度量。關(guān)鍵信息質(zhì)量指標(biāo)。信息產(chǎn)品分析。分析信息產(chǎn)品和導(dǎo)致信息質(zhì)量問題的根本原因。信息產(chǎn)品提升。確定需要改進(jìn)的領(lǐng)域。數(shù)據(jù)質(zhì)量評(píng)估框架——AIMQ在TDQM框架的基礎(chǔ)上，麻省理工學(xué)院小組提出AIMQ(amethodologyforinformationqualityassessment)框架。同時(shí)，研究小組開發(fā)并驗(yàn)證了一種問卷，通過收集關(guān)于數(shù)據(jù)質(zhì)量狀況的數(shù)據(jù)，可用于評(píng)估和檢測(cè)數(shù)據(jù)質(zhì)量四個(gè)象限的模型。AIMQ的內(nèi)容主要包括信息質(zhì)量維度。四個(gè)類別：內(nèi)在信息質(zhì)量、上下文信息質(zhì)量、代表性信息質(zhì)量和可訪問性信息質(zhì)量。PSP/IQ模型。將維度整合為四個(gè)象限：正確、可靠、有用和可用的信息。IQA工具的開發(fā)與管理。支持PSP/IQ模型和差距分析測(cè)量。信息質(zhì)量差距分析。提供一種工具來了解與其他組織和一個(gè)組織內(nèi)的不同利益相關(guān)者相比其信息質(zhì)量的缺陷。數(shù)據(jù)質(zhì)量評(píng)估框架——DQADQA(DataQualityAssessment)框架，于2002年由MIT的三位研究員提出。該框架側(cè)重于對(duì)數(shù)據(jù)質(zhì)量的評(píng)估，提出了一種結(jié)合主觀和客觀數(shù)據(jù)質(zhì)量評(píng)估的方法，并開發(fā)了客觀數(shù)據(jù)質(zhì)量度量的三種功能形式。DQA框架的數(shù)據(jù)質(zhì)量評(píng)估總體過程主觀和客觀數(shù)據(jù)質(zhì)量評(píng)估確定差異原因確定并采取改進(jìn)措施數(shù)據(jù)產(chǎn)品的收集者數(shù)據(jù)產(chǎn)品的保管者數(shù)據(jù)產(chǎn)品的消費(fèi)者主觀數(shù)據(jù)質(zhì)量評(píng)估需求經(jīng)驗(yàn)簡(jiǎn)單比率最小/最大值加權(quán)平均客觀數(shù)據(jù)質(zhì)量度量數(shù)據(jù)質(zhì)量評(píng)估框架——DQAFDQAF融合了“聯(lián)合國(guó)官方統(tǒng)計(jì)基本準(zhǔn)則”和“SDDS/GDDS”在內(nèi)的實(shí)踐經(jīng)驗(yàn)以及國(guó)際公認(rèn)的統(tǒng)計(jì)概念、定義。DQAF框架整體結(jié)構(gòu)呈級(jí)聯(lián)式展開，在第一階層提出質(zhì)量的先決條件以及衡量數(shù)據(jù)質(zhì)量的五個(gè)維度，然后將第一階層的每個(gè)維度分別在第二階層的評(píng)估要素和第三階層的評(píng)估指標(biāo)中具體化。DQAF框架質(zhì)量的先決條件保證誠(chéng)信方法健全性準(zhǔn)確性和可靠性適用性可獲取性法律和機(jī)構(gòu)環(huán)境資源相關(guān)性其他質(zhì)量管理基礎(chǔ)專業(yè)化透明度職業(yè)道德標(biāo)準(zhǔn)范圍概念和定義分類/部門劃分記錄基礎(chǔ)源數(shù)據(jù)評(píng)估源數(shù)據(jù)統(tǒng)計(jì)技術(shù)評(píng)估和確認(rèn)中間數(shù)據(jù)和統(tǒng)計(jì)產(chǎn)出修正研究頻率和及時(shí)性一致性修正政策和作法對(duì)用戶的幫助數(shù)據(jù)的可獲得性數(shù)據(jù)詮釋的可獲得性數(shù)據(jù)質(zhì)量維度在針對(duì)數(shù)據(jù)質(zhì)量維度領(lǐng)域的研究中，許多國(guó)際機(jī)構(gòu)和國(guó)家政府部門提出相應(yīng)的維度。國(guó)際機(jī)構(gòu)或國(guó)家政府部門數(shù)據(jù)質(zhì)量維度歐盟統(tǒng)計(jì)局相關(guān)性、準(zhǔn)確性、可比性、連貫性、及時(shí)性和準(zhǔn)時(shí)、可訪問性和清晰聯(lián)合國(guó)糧食及農(nóng)業(yè)組織相關(guān)性、準(zhǔn)確性、及時(shí)性、準(zhǔn)時(shí)性、可訪問性和明確性、可比性、一致性和完整性、源數(shù)據(jù)的完備性美聯(lián)邦政府（公眾傳播）實(shí)用性、客觀性（準(zhǔn)確、可靠、清晰、完整、無歧義）、安全性美國(guó)商務(wù)部可比性、準(zhǔn)確性、適用性美國(guó)國(guó)防部準(zhǔn)確性、完整性、一致性、適用性、唯一性及有效性加拿大統(tǒng)計(jì)局準(zhǔn)確性、及時(shí)性、適用性、可訪問性、銜接性、可解釋性澳大利亞國(guó)際收支統(tǒng)計(jì)局準(zhǔn)確性、及時(shí)性、適用性、可訪問性、方法科學(xué)性數(shù)據(jù)質(zhì)量維度根據(jù)國(guó)際機(jī)構(gòu)和國(guó)家政府部門數(shù)據(jù)質(zhì)量維度表，并結(jié)合TIQM框架，將數(shù)據(jù)質(zhì)量維度劃分為數(shù)據(jù)固有維度和數(shù)據(jù)使用維度。(一)數(shù)據(jù)固有維度

即與數(shù)據(jù)自身屬性相關(guān)的數(shù)據(jù)質(zhì)量維度，包括完整性、唯一性、有效性、準(zhǔn)確性、一致性、波動(dòng)性和數(shù)據(jù)覆蓋范圍。完整性數(shù)據(jù)元素完整性數(shù)據(jù)記錄完整性數(shù)據(jù)集完整性唯一性數(shù)據(jù)元素唯一性數(shù)據(jù)記錄唯一性一致性數(shù)據(jù)記錄一致性跨記錄一致性數(shù)據(jù)集一致性準(zhǔn)確性數(shù)據(jù)元素準(zhǔn)確性數(shù)據(jù)記錄準(zhǔn)確性有效性數(shù)據(jù)元素有效性數(shù)據(jù)覆蓋范圍數(shù)據(jù)覆蓋率波動(dòng)性數(shù)據(jù)質(zhì)量維度(二)數(shù)據(jù)使用維度即從用戶角度定義，與數(shù)據(jù)使用相關(guān)的數(shù)據(jù)質(zhì)量維度。包括數(shù)據(jù)及時(shí)性、時(shí)效性、相關(guān)性、安全性、可追溯性、可訪問性、可靠性、易于操作性、簡(jiǎn)潔性、可解釋性、可信度和聲譽(yù)。數(shù)據(jù)使用維度主要內(nèi)容及時(shí)性衡量數(shù)據(jù)屬性值是否是最新的時(shí)效性向用戶發(fā)送數(shù)據(jù)或向用戶提供數(shù)據(jù)的速度，是對(duì)數(shù)據(jù)存在到數(shù)據(jù)交付給用戶之間的時(shí)間間隔的度量相關(guān)性數(shù)據(jù)內(nèi)容和覆蓋范圍與使用目的相關(guān)的程度安全性為防止未經(jīng)授權(quán)的訪問而對(duì)數(shù)據(jù)訪問進(jìn)行適當(dāng)限制和管理的程度可追溯性將數(shù)據(jù)追溯到其起源的能力數(shù)據(jù)質(zhì)量維度(二)數(shù)據(jù)使用維度數(shù)據(jù)使用維度主要內(nèi)容可訪問性確定數(shù)據(jù)或元數(shù)據(jù)存在的難易程度，以及能夠快速、方便地訪問和檢索數(shù)據(jù)的形式或媒介的適用性?？煽啃灾笖?shù)據(jù)集在預(yù)期用途下的完整性、相關(guān)性、準(zhǔn)確性、唯一性和一致性，以及將數(shù)據(jù)追蹤到可靠來源的能力。易操作性指數(shù)據(jù)在不同任務(wù)中易于操作的程度。簡(jiǎn)潔性指數(shù)據(jù)被緊湊表示的程度。可解釋性用戶能輕松理解、正確使用和分析數(shù)據(jù)的程度?？尚哦扔脩粽J(rèn)為數(shù)據(jù)可信的程度、數(shù)據(jù)提供者或數(shù)據(jù)源的誠(chéng)信程度。聲譽(yù)指數(shù)據(jù)在來源或內(nèi)容方面受到高度重視的程度。數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)(一)ISO8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)ISO8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)是針對(duì)數(shù)據(jù)質(zhì)量制定的國(guó)際標(biāo)準(zhǔn)化組織標(biāo)準(zhǔn)，它由ISO工業(yè)自動(dòng)化系統(tǒng)與集成技術(shù)委員會(huì)（TC184）SC4小組委員會(huì)開發(fā)。ISO8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)由一般原則、主數(shù)據(jù)質(zhì)量、交易數(shù)據(jù)質(zhì)量、產(chǎn)品數(shù)據(jù)質(zhì)量4個(gè)部分組成。每個(gè)部分獨(dú)立發(fā)布，該標(biāo)準(zhǔn)是受版權(quán)保護(hù)的，不可免費(fèi)使用。ISO8000-1簡(jiǎn)介ISO8000-2術(shù)語一般原則主數(shù)據(jù)的語法、語義編碼、符合數(shù)據(jù)規(guī)范、主數(shù)據(jù)的數(shù)據(jù)來源、準(zhǔn)確性、完整性、質(zhì)量管理框架主數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)(一)ISO8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)ISO8000的重要部分主要包括：1.ISO8000-110主數(shù)據(jù)的語法、語義和數(shù)據(jù)規(guī)范2.ISO8000-120主數(shù)據(jù)的語法、語義和數(shù)據(jù)規(guī)范3.ISO8000-130主數(shù)據(jù)的準(zhǔn)確性4.ISO8000-140主數(shù)據(jù)的完整性5.ISO8000-150主數(shù)據(jù)質(zhì)量管理框架數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)(二)ISO22745：2010標(biāo)準(zhǔn)ISO22745:2010標(biāo)準(zhǔn)是一個(gè)關(guān)于開放技術(shù)字典和主數(shù)據(jù)應(yīng)用的國(guó)際標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)給出了表示、處理和交換主數(shù)據(jù)的描述技術(shù)，通過與ISO8000配合使用來描述數(shù)據(jù)需求。其核心內(nèi)容及標(biāo)識(shí)如下：1.開放的技術(shù)字典（theOpenTechnicalDictionary，OTD）。ISO22745的核心是OTD，它是一組詞條的集合，每一個(gè)詞條描述一個(gè)概念/元數(shù)據(jù)，包含概念/元數(shù)據(jù)的標(biāo)識(shí)符、術(shù)語和定義文本、注釋、樣例、圖像、超鏈接到源標(biāo)準(zhǔn)。數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)(二)ISO22745：2010標(biāo)準(zhǔn)1.開放的技術(shù)字典（theOpenTechnicalDictionary，OTD）。OTD的概念跨越整個(gè)供應(yīng)鏈，從供應(yīng)商->客戶->材料->存儲(chǔ)->服務(wù)；概念包含整個(gè)數(shù)據(jù)生命周期，從設(shè)計(jì)(CAD/CAM/CAE/PDM)->設(shè)備->制造/生產(chǎn)。OTD標(biāo)識(shí)符類型及定義如下：類型概念與舉例類一組具有相同特性的實(shí)體的集合。OTD不包含類的層次結(jié)構(gòu)，它是一個(gè)扁平的概念集。特征指物件的屬性，例如：螺紋級(jí)別、直徑、材質(zhì)，強(qiáng)度等。測(cè)量單位包括測(cè)量單位的國(guó)際系統(tǒng)和英制系統(tǒng)。測(cè)量約束如：極小值、極大值、正常值。特征類型指物件特征的類型，可以是枚舉類型。例如一周中的日子有七天，螺紋的方向有兩種。貨幣名稱例如，美元、歐元等。語言標(biāo)識(shí)符是指對(duì)不同的語言給定標(biāo)識(shí)符，以便對(duì)與語言相關(guān)的術(shù)語、縮略語和定義進(jìn)行語義識(shí)別。數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)(二)ISO22745：2010標(biāo)準(zhǔn)2.主數(shù)據(jù)。任何一條主數(shù)據(jù)記錄描述的都是“物件”，它可以是各種現(xiàn)實(shí)中具體的物體也可以是同樣物體的集合。3.標(biāo)識(shí)模式。標(biāo)識(shí)模式如圖。4.標(biāo)識(shí)指南（IdentificationGuide，IG）。IG是基于OTD中的概念、提供給買家用來描述主數(shù)據(jù)的一個(gè)母模板、一組基本規(guī)則。RAI，注冊(cè)權(quán)威標(biāo)識(shí)符RegistrationAuthorityIdentifierICD，國(guó)際碼標(biāo)志符InternationalCodeDesignatorOI，組織標(biāo)識(shí)符OrganizationIdentifierDI，數(shù)據(jù)標(biāo)識(shí)符DataIdentifierCSI，碼空間標(biāo)識(shí)符CodeSpaceIdentifierCC，概念碼ConceptcodeVI，版本標(biāo)識(shí)符VersionIdentifier數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)(三)GDDS(一般數(shù)據(jù)發(fā)布標(biāo)準(zhǔn))和SDDS(特別數(shù)據(jù)發(fā)布標(biāo)準(zhǔn))自1995年以來，國(guó)際貨幣基金組織出臺(tái)了一套數(shù)據(jù)發(fā)布標(biāo)準(zhǔn)，并分為兩種：特別數(shù)據(jù)發(fā)布標(biāo)準(zhǔn)（SpecialDataDisseminationStandard，簡(jiǎn)稱SDDS）和一般數(shù)據(jù)發(fā)布制度（GeneralDataDisseminationSystem，簡(jiǎn)稱GDDS）。其共同目標(biāo)是指導(dǎo)各國(guó)按統(tǒng)一標(biāo)準(zhǔn)，提供綜合、及時(shí)、可靠的經(jīng)濟(jì)和財(cái)政金融統(tǒng)計(jì)數(shù)據(jù)。但GDDS和SDDS這兩種數(shù)據(jù)發(fā)布標(biāo)準(zhǔn)也有很大的不同，主要體現(xiàn)在：1.數(shù)據(jù)的統(tǒng)計(jì)范圍、公布頻率和公布及時(shí)性。2.公布數(shù)據(jù)的質(zhì)量。3.公布數(shù)據(jù)的完整性。4.公眾獲取數(shù)據(jù)的公平性。小結(jié)本節(jié)的主要內(nèi)容數(shù)據(jù)質(zhì)量評(píng)估框架數(shù)據(jù)質(zhì)量維度數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)5.2數(shù)據(jù)質(zhì)量管理體系5.3數(shù)據(jù)質(zhì)量評(píng)估方法定性評(píng)估方法采用定性評(píng)估方法進(jìn)行評(píng)價(jià)時(shí)，通常先根據(jù)評(píng)價(jià)的目的和服務(wù)對(duì)象的需求，按照一定的準(zhǔn)則與要求，確定相關(guān)評(píng)價(jià)標(biāo)準(zhǔn)或指標(biāo)體系，建立評(píng)價(jià)標(biāo)準(zhǔn)及各賦值標(biāo)準(zhǔn)，再經(jīng)過評(píng)價(jià)者、專家和用戶打分或評(píng)定，最后統(tǒng)計(jì)出各數(shù)據(jù)庫的評(píng)價(jià)結(jié)果。定性評(píng)估方法的缺陷：評(píng)價(jià)指標(biāo)體系本身的合理性評(píng)價(jià)的滯后性評(píng)價(jià)結(jié)果的適用性問卷調(diào)查評(píng)價(jià)結(jié)果的可信性存在問題定性評(píng)估方法（一）用戶反饋法主要是由評(píng)價(jià)用戶提供相關(guān)的評(píng)價(jià)指標(biāo)體系和方法，然后根據(jù)其特定的信息需求從中選擇符合其需要的評(píng)價(jià)指標(biāo)和方法來評(píng)價(jià)信息資源。用戶反饋法的主要步驟：構(gòu)建相應(yīng)的統(tǒng)計(jì)數(shù)據(jù)用戶反饋模型設(shè)計(jì)滿意度測(cè)評(píng)指標(biāo)／項(xiàng)目體系獲取滿意度測(cè)評(píng)的原始數(shù)據(jù)對(duì)原始數(shù)據(jù)進(jìn)行分析處理得到滿意度指數(shù)對(duì)用戶滿意度的影響因素、影響路徑進(jìn)行分析，并改進(jìn)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量。定性評(píng)估方法（二）專家評(píng)議法通常是由給定科學(xué)領(lǐng)域的若干專家組成的評(píng)判委員會(huì)來評(píng)價(jià)科學(xué)活動(dòng)或其結(jié)果的一個(gè)過程。明確具體分析、預(yù)測(cè)的問題；由預(yù)測(cè)專家、專業(yè)領(lǐng)域的專家、推斷思維能力強(qiáng)的演繹專家等組成專家評(píng)議分析預(yù)測(cè)小組；舉行專家會(huì)議，對(duì)提出的問題進(jìn)行分析、討論和預(yù)測(cè)；分析、歸納專家會(huì)議的結(jié)果。公開性公正性可靠性效用性經(jīng)濟(jì)性專家評(píng)議的原則專家評(píng)議法的主要步驟：定性評(píng)估方法（三）第三方評(píng)測(cè)法第三方主要是相對(duì)于管理方、建庫單位以及信息用戶而言，建立符合特定信息需求的數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)體系，一般采用特定評(píng)價(jià)方法?？陀^性公正性合理性科學(xué)性特定評(píng)價(jià)方法評(píng)價(jià)指標(biāo)體系保證確定并采集所需求的信息數(shù)據(jù)對(duì)需求數(shù)據(jù)進(jìn)行分詞和標(biāo)注對(duì)需求數(shù)據(jù)進(jìn)行清洗和分類以形成數(shù)據(jù)池分析計(jì)算數(shù)據(jù)池之間的關(guān)系以及數(shù)據(jù)池的支撐程度根據(jù)數(shù)據(jù)模型量化計(jì)算各指標(biāo)形成數(shù)據(jù)質(zhì)量評(píng)價(jià)分析報(bào)告基于第三方評(píng)價(jià)數(shù)據(jù)質(zhì)量的主要步驟：定量評(píng)估方法定量評(píng)估方法是指按照數(shù)量分析方法，從客觀量化角度對(duì)基礎(chǔ)科學(xué)數(shù)據(jù)資源進(jìn)行的優(yōu)選與評(píng)價(jià)。但目前對(duì)科學(xué)數(shù)據(jù)資源進(jìn)行定量評(píng)估的實(shí)例較少，一般局限于訪問次數(shù)、登陸、鏈接和被鏈接等情況的探討。定量評(píng)估方法的缺陷：量化標(biāo)準(zhǔn)過于簡(jiǎn)單使得對(duì)信息難以進(jìn)行深層次的剖析和考察；統(tǒng)計(jì)方法本身存在技術(shù)上的缺陷；對(duì)學(xué)術(shù)性的科學(xué)數(shù)據(jù)價(jià)值高的數(shù)據(jù)共享平臺(tái)不完全適用。定量評(píng)估方法（一）訪問量統(tǒng)計(jì)基于網(wǎng)絡(luò)用戶對(duì)數(shù)據(jù)庫的登陸、訪問情況，比如定期統(tǒng)計(jì)每個(gè)數(shù)據(jù)庫的訪問量、用戶IP地址分布及下載量等，并依據(jù)網(wǎng)絡(luò)流量對(duì)數(shù)據(jù)庫進(jìn)行評(píng)價(jià)。訪問量統(tǒng)計(jì)主要通過以下指標(biāo)來進(jìn)行評(píng)估：下載量：下載數(shù)據(jù)的數(shù)量。注冊(cè)量：通過下載安裝的用戶中存在注冊(cè)行為的用戶數(shù)。啟動(dòng)次數(shù)：在某一個(gè)統(tǒng)計(jì)時(shí)間段的用戶打開APP的次數(shù)訪問頁數(shù)量：在某個(gè)統(tǒng)計(jì)周期內(nèi)用戶訪問產(chǎn)品的頁面數(shù)。定量評(píng)估方法（二）基于信息熵的評(píng)估信息熵方法從消除不確定性的角度來表達(dá)和描述信息的質(zhì)量，能夠客觀地測(cè)度信息量。在其他條件相同的情況下，信息量直接決定著信息作為生產(chǎn)要素的投入量和所創(chuàng)造的價(jià)值量?；谛畔㈧氐脑u(píng)估主要通過以下步驟進(jìn)行：假設(shè)某事件可能有n種不同狀態(tài)：S1，S2，…，Sn，每種狀態(tài)出現(xiàn)的概率分別是：，則該事件的信息量即信息熵可表示為：其中，信息熵H是度量事件不確定性和無知狀態(tài)的尺度，k是一個(gè)取決于度量單位的正的常數(shù)，

，，。定量評(píng)估方法（二）基于信息熵的評(píng)估信息熵越大，事件發(fā)生的不確定性就越大；反之則越小。事件不確定性的減小與信息熵成同方向變化，而不確定性的減少和消除正是信息價(jià)值和效用的體現(xiàn)，因此，信息熵的減少量可作為信息的效用和價(jià)值的評(píng)估標(biāo)準(zhǔn)。當(dāng)某事件各種狀態(tài)發(fā)生的概率相同時(shí)，時(shí)，信息熵取得最大值

，那么，在其他情況下信息熵的減少量應(yīng)為：即該事件所傳遞的信息效用大小的表達(dá)式。定量評(píng)估方法（三）關(guān)聯(lián)關(guān)系度量關(guān)聯(lián)數(shù)據(jù)是一類應(yīng)用了某些原則來連接的大型的、獨(dú)立的Web數(shù)據(jù)集。關(guān)聯(lián)數(shù)據(jù)之間展示了信息的關(guān)聯(lián)與整舍，其遵循以下4個(gè)原則：1）使用統(tǒng)一資源標(biāo)識(shí)符(URI)作為事務(wù)的名稱；2）使用HTIPURI，使人們能夠查找這些名稱；3）在有人查找一個(gè)URI時(shí)，可以使用標(biāo)準(zhǔn)(RDF*、SPARQL)來提供有用的信息；4）包含其他URI的鏈接，以便他們可以發(fā)現(xiàn)更多的信息。定量評(píng)估方法（三）關(guān)聯(lián)關(guān)系度量數(shù)據(jù)關(guān)聯(lián)關(guān)系可通過具體的數(shù)學(xué)方法進(jìn)行計(jì)算，如基于PRE原理的關(guān)系度量、基于獨(dú)立校驗(yàn)的關(guān)聯(lián)關(guān)系度量可由以下主要步驟進(jìn)行度量：1、基于PRE原理的關(guān)系度量若將隨機(jī)向量X和Y看作兩個(gè)變量簇，可通過比較兩個(gè)點(diǎn)簇間協(xié)方差結(jié)構(gòu)的相似性確定兩個(gè)隨機(jī)向量的關(guān)聯(lián)系數(shù)。

因此，RV系數(shù)提供了一個(gè)變量對(duì)樣本關(guān)聯(lián)系數(shù)的全局度量。定量評(píng)估方法（三）關(guān)聯(lián)關(guān)系度量1、基于PRE原理的關(guān)系度量

RV系數(shù)為：RV系數(shù)越接近1，則X、Y之間的線性相關(guān)度就越高。

設(shè)隨機(jī)向量的樣本矩陣為，當(dāng)樣本為非一維數(shù)據(jù)集時(shí)，需要對(duì)樣本矩陣進(jìn)行中心化處理：其中，是單位矩陣，1是取值為1的向量。定量評(píng)估方法（三）關(guān)聯(lián)關(guān)系度量2、基于獨(dú)立校驗(yàn)的關(guān)聯(lián)關(guān)系度量其累積概率分配函數(shù)定義為：由于邊際概率分配函數(shù)是多對(duì)一函數(shù)，故定義一般化邊際慨率分配函數(shù)的反函數(shù)為：基于獨(dú)立校驗(yàn)的關(guān)聯(lián)關(guān)系度量可通過概率分布函數(shù)計(jì)算關(guān)聯(lián)性。若有兩個(gè)隨機(jī)向量X與Y邊際概率分配函數(shù)分別為：綜合評(píng)估方法綜合評(píng)估方法主要是將定性和定量?jī)煞N方法有機(jī)地結(jié)合起來，從兩個(gè)角度對(duì)科學(xué)數(shù)據(jù)資源質(zhì)量進(jìn)行評(píng)價(jià)。層次分析法（AnalyticHierarchyProcess，AHP）模糊綜合評(píng)估法（FuzzyComprehensiveEvaluation，F(xiàn)CE）云模型評(píng)估法（CloudModel，CM）缺陷扣分法（DefectionSubtractionScore，DSS）模糊層次分析法（FuzzyAnalyticHierarchyProcess，F(xiàn)AHP）常用的綜合評(píng)估方法有：綜合評(píng)估方法下表從使用的難易程度、使用模型、應(yīng)用場(chǎng)景和適用范圍這四個(gè)方面對(duì)5種綜合評(píng)估方法進(jìn)行了對(duì)比。評(píng)估類型難易程度使用模型應(yīng)用場(chǎng)景適用范圍層次分析法（AHP）較簡(jiǎn)單層次結(jié)構(gòu)模型質(zhì)量指標(biāo)權(quán)重確定無限制模糊綜合評(píng)估法（FCE）復(fù)雜隸屬函數(shù)模糊性的質(zhì)量問題無限制云模型評(píng)估法（CM）復(fù)雜正態(tài)云模型模糊性與隨機(jī)性共存的質(zhì)量問題無限制缺陷扣分法（DSS）簡(jiǎn)單無產(chǎn)品質(zhì)量專業(yè)領(lǐng)域模糊層次分析法（FAHP）復(fù)雜隸屬函數(shù)+層次結(jié)構(gòu)模型影響因素較為復(fù)雜的質(zhì)量問題無限制綜合評(píng)估方法（一）層次分析法層次分析法（AnalyticHierarchyProcess，AHP）是美國(guó)運(yùn)籌學(xué)家T．L．Saaty在1977年提出的一種定性與定量相結(jié)合的決策分析方法。這種方法能夠?qū)?fù)雜的系統(tǒng)分解，把多目標(biāo)、多準(zhǔn)則而又難以量化處理的決策問題化為多層次單目標(biāo)問題，適用于多層次、多目標(biāo)規(guī)劃決策問題。綜合評(píng)估方法（一）層次分析法層次分析法主要步驟包括：1.建立層次結(jié)構(gòu)模型。將決策目標(biāo)、決策準(zhǔn)則和決策對(duì)象，按它們之間的相互關(guān)系分為最高層、中間層和最低層，繪出層次結(jié)構(gòu)圖。2.構(gòu)造判斷（成對(duì)比較）矩陣。在確定各層次各因素之間的權(quán)重時(shí)，常使用一致矩陣法，即所有因素兩兩相互比較，盡可能減少性質(zhì)不同的諸因素相互比較的困難，以提高準(zhǔn)確度。設(shè)

為要素i與要素j重要性比較結(jié)果。按兩兩比較結(jié)果構(gòu)成的矩陣稱作判斷矩陣。判斷矩陣具有如下性質(zhì)：綜合評(píng)估方法（一）層次分析法判斷矩陣元素的標(biāo)度方法如下表所示。因素i比因素j量化值因素i比因素j量化值同等重要1強(qiáng)烈重要7稍微重要3極端重要9較強(qiáng)重要5兩相鄰判斷的中間值2、4、6、8綜合評(píng)估方法（一）層次分析法3.層次單排序及其一致性檢驗(yàn)。對(duì)應(yīng)于判斷矩陣最大特征根的特征向量，經(jīng)歸一化后記為W

。W

的元素為同一層次因素對(duì)于上一層某因素相對(duì)重要性的排序權(quán)值，該過程即為層次單排序。

定義一致性指標(biāo)：

CI=0，有完全的一致性；

CI

接近于0，有滿意的一致性；

CI

越大，不一致性越嚴(yán)重。綜合評(píng)估方法（一）層次分析法

為了衡量CI的大小，引入隨機(jī)一致性指標(biāo)RI，平均隨機(jī)一致性指標(biāo)RI標(biāo)準(zhǔn)值如下：

定義一致性比率：，一般認(rèn)為一致性比率CR<0.1時(shí)，A的不一致程度在容許范圍之內(nèi)，有滿意的一致性，通過一致性檢驗(yàn)。可用其歸一化特征向量作為權(quán)向量，否則要重新構(gòu)造成對(duì)比較矩陣A，對(duì)

加以調(diào)整。4.層次總排序及其一致性檢驗(yàn)。計(jì)算某一層次所有因素對(duì)于最高層（總目標(biāo)）相對(duì)重要性的權(quán)值，稱為層次總排序。這一過程是從最高層次到最低層次依次進(jìn)行的。矩陣階數(shù)12345678910RI000.580.901.121.241.321.411.451.49綜合評(píng)估方法（二）模糊綜合評(píng)估法模糊綜合評(píng)估法是一種基于模糊數(shù)學(xué)的評(píng)價(jià)方法，以隸屬度理論為基礎(chǔ)，將定性評(píng)價(jià)轉(zhuǎn)化為定量評(píng)價(jià)。本小節(jié)在構(gòu)建評(píng)估指標(biāo)體系的基礎(chǔ)上，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行模糊綜合評(píng)估。其主要步驟包括：1.確定評(píng)價(jià)對(duì)象的因素論域。因素論域由描述被評(píng)價(jià)對(duì)象的m種因素構(gòu)成，表示為：，這里指數(shù)據(jù)質(zhì)量評(píng)估指標(biāo)體系的質(zhì)量指標(biāo)，即m個(gè)評(píng)價(jià)指標(biāo)。2.確定評(píng)價(jià)對(duì)象的評(píng)語等級(jí)論域。評(píng)語集是評(píng)價(jià)者對(duì)評(píng)價(jià)對(duì)象可能做出的各種總的評(píng)價(jià)結(jié)果組成的集合，表示為：

，就是對(duì)評(píng)價(jià)對(duì)象變化區(qū)間的一個(gè)劃分。其中

，代表第i個(gè)評(píng)價(jià)結(jié)果，n為總的評(píng)價(jià)結(jié)果數(shù)。具體等級(jí)可以依據(jù)評(píng)價(jià)內(nèi)容用適當(dāng)?shù)恼Z言進(jìn)行描述，如評(píng)估數(shù)據(jù)質(zhì)量可用好、較好、一般、較差、差這5種評(píng)語。綜合評(píng)估方法（二）模糊綜合評(píng)估法3.單因素評(píng)價(jià)。單獨(dú)從一個(gè)因素出發(fā)進(jìn)行評(píng)價(jià)，以確定評(píng)價(jià)對(duì)象對(duì)評(píng)價(jià)集合V的隸屬程度。在構(gòu)造等級(jí)模糊子集后，要逐個(gè)對(duì)評(píng)價(jià)對(duì)象從每個(gè)因素

進(jìn)行量化，即確定從單因素來看評(píng)價(jià)對(duì)象對(duì)各等級(jí)模糊子集的隸屬度，進(jìn)而得到模糊關(guān)系矩陣：

其中，表示某個(gè)評(píng)價(jià)對(duì)象從因素

來看對(duì)

等級(jí)模糊子集的隸屬度。一個(gè)評(píng)價(jià)對(duì)象在某個(gè)因素

方面的表現(xiàn)是通過模糊向量，單因素評(píng)價(jià)矩陣來刻畫的，即影響因素與評(píng)價(jià)對(duì)象之間的"合理關(guān)系"。綜合評(píng)估方法（二）模糊綜合評(píng)估法在確定隸屬度時(shí)，通常是由專家或與評(píng)價(jià)問題相關(guān)的專業(yè)人員依據(jù)評(píng)判等級(jí)對(duì)評(píng)價(jià)對(duì)象進(jìn)行打分，統(tǒng)計(jì)打分結(jié)果，然后根據(jù)絕對(duì)值減數(shù)法求得，即：其中，c

可以適當(dāng)選取，使得。4.確定評(píng)價(jià)因素的模糊權(quán)向量。為了反映各因素的重要程度，對(duì)各因素應(yīng)分配一個(gè)相應(yīng)的權(quán)數(shù)

，通常要求

，滿足;。在進(jìn)行模糊綜合評(píng)估時(shí)，權(quán)重對(duì)最終的評(píng)價(jià)結(jié)果會(huì)產(chǎn)生很大的影響。常用的確定權(quán)重的方法有：層次分析法、Delphi法、加權(quán)平均法和專家估計(jì)法。綜合評(píng)估方法（二）模糊綜合評(píng)估法5.多因素模糊評(píng)價(jià)。利用合適的合成算子將模糊權(quán)向量A與模糊關(guān)系矩陣R合成得到各評(píng)價(jià)對(duì)象的模糊綜合評(píng)估結(jié)果向量B。

R中不同的各行反映了某個(gè)評(píng)價(jià)對(duì)象從不同的單因素對(duì)各等級(jí)模糊子集的隸屬程度。用模糊權(quán)向量A對(duì)不同的行進(jìn)行綜合，可得到該評(píng)價(jià)對(duì)象從總體上對(duì)各等級(jí)模糊子集的隸屬程度，即模糊綜合評(píng)估結(jié)果向量B。模糊綜合評(píng)估的模型為：其中，是由A與R的第j列運(yùn)算得到，表示被評(píng)價(jià)對(duì)象從整體上看對(duì)等級(jí)模糊子集的隸屬度。綜合評(píng)估方法（二）模糊綜合評(píng)估法常用的模糊合成算子有以下四種：6.對(duì)模糊綜合評(píng)估結(jié)果進(jìn)行分析。模糊綜合評(píng)估的結(jié)果是評(píng)價(jià)對(duì)象對(duì)各等級(jí)模糊子集的隸屬度。通過將綜合評(píng)估結(jié)果B轉(zhuǎn)換為綜合分值，然后對(duì)多個(gè)評(píng)價(jià)對(duì)象進(jìn)行比較，并按其大小排序，從而挑選出最優(yōu)者。綜合評(píng)估方法（三）模糊層次分析法模糊層次分析法（FuzzyAnalyticHierarchyProcess，F(xiàn)AHP）以模糊變換理論為基礎(chǔ)，以模糊推理為主的定性和定量相結(jié)合、精確與非精確相統(tǒng)一的分析評(píng)判方法，適用于較為復(fù)雜的評(píng)判系統(tǒng)，評(píng)判級(jí)別包含2個(gè)及以上。主要從最底層（第k層）開始，向上逐層運(yùn)算，直至得到最后的評(píng)語集。第k層評(píng)判結(jié)果就是第k-1層因素的隸屬度。模糊層次分析模型不僅可以反映評(píng)判因素的不同層次，而且還避免了由于因素過多而難于分配權(quán)重的問題。綜合評(píng)估方法（三）模糊層次分析法為了能更加合理與全面地評(píng)估數(shù)據(jù)質(zhì)量，本小節(jié)系統(tǒng)地對(duì)單一目標(biāo)、群組目標(biāo)以及整體目標(biāo)所產(chǎn)生的評(píng)判結(jié)果進(jìn)行融合，建立綜合評(píng)判模型。主要步驟包括：1.由評(píng)價(jià)指標(biāo)構(gòu)成的集合：；2.由評(píng)價(jià)等級(jí)構(gòu)成的集合：；3.選取隸屬度函數(shù)：選用模糊統(tǒng)計(jì)法確定隸屬度。

各指標(biāo)取值歸一化處理，采用等間隔的方式從最小值到100%等分為5個(gè)等間隔區(qū)間，以此將評(píng)語集依次劃分為5個(gè)等級(jí)，分別對(duì)每個(gè)基礎(chǔ)指標(biāo)按其取值進(jìn)行評(píng)定，將其隸屬度歸納到“優(yōu)、良、中、一般、差”的對(duì)應(yīng)等級(jí)中。綜合評(píng)估方法（三）模糊層次分析法4.由評(píng)價(jià)指標(biāo)與評(píng)價(jià)等級(jí)構(gòu)成的模糊評(píng)價(jià)矩陣：其中，，表示第i個(gè)因素對(duì)第j種評(píng)語的隸屬度，由隸屬度函數(shù)計(jì)算得出。5.評(píng)價(jià)指標(biāo)賦權(quán)。數(shù)據(jù)集的單一目標(biāo)與群組目標(biāo)賦予同等權(quán)重；二級(jí)指標(biāo)權(quán)重采用主觀的層次分析法得出；對(duì)于基礎(chǔ)指標(biāo)，引入基于離差平方和的AHP與熵權(quán)法相結(jié)合的主客觀綜合賦權(quán)方法，求出基礎(chǔ)指標(biāo)的組合賦權(quán)系數(shù)。綜合評(píng)估方法（三）模糊層次分析法AHP法的主觀權(quán)重：

；利用熵權(quán)法確定的客觀權(quán)重：

；根據(jù)線性加權(quán)法，由組合賦權(quán)系數(shù)向量計(jì)算而得的第i個(gè)決策方案的多屬性綜合評(píng)價(jià)值可表示為：

其中，為樣本值。構(gòu)造如下目標(biāo)函數(shù)：由模糊矩陣與權(quán)重值得到的模糊綜合評(píng)判結(jié)果即為模糊集。根據(jù)第二層評(píng)語集，并結(jié)合二級(jí)指標(biāo)的權(quán)重得出一級(jí)指標(biāo)的評(píng)語集、。按照最大隸屬原則，即可確定數(shù)據(jù)的最終質(zhì)量等級(jí)評(píng)語集。小結(jié)本節(jié)的主要內(nèi)容定性評(píng)估方法定量評(píng)估方法綜合評(píng)估方法5.3數(shù)據(jù)質(zhì)量評(píng)估方法5.4數(shù)據(jù)質(zhì)量提升方法數(shù)據(jù)質(zhì)量提升方法數(shù)據(jù)質(zhì)量提升方法從數(shù)據(jù)流過程的視角出發(fā)，可作用于數(shù)據(jù)質(zhì)量管理的事前、事中、事后三個(gè)階段。通過對(duì)不同時(shí)期數(shù)據(jù)的不同處理方式，實(shí)現(xiàn)事前預(yù)防、事中監(jiān)控、事后改善。數(shù)據(jù)質(zhì)量管理的事前階段控制和業(yè)務(wù)含義關(guān)聯(lián)度不大的數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)處理過程的數(shù)據(jù)質(zhì)量的合規(guī)合理數(shù)據(jù)質(zhì)量管理的事中階段數(shù)據(jù)質(zhì)量管理的事后階段針對(duì)業(yè)務(wù)執(zhí)行過程存在的不規(guī)范、不合理之處，給出指導(dǎo)業(yè)務(wù)改進(jìn)的建議規(guī)范、標(biāo)準(zhǔn)的操作，以及清晰的流程系統(tǒng)，是確保產(chǎn)生正確數(shù)據(jù)的關(guān)鍵事前數(shù)據(jù)質(zhì)量提升方法（一）預(yù)防措施預(yù)防措施主要是通過防止低質(zhì)量數(shù)據(jù)進(jìn)入組織，把已知的錯(cuò)誤防止發(fā)生從而影響數(shù)據(jù)的質(zhì)量。預(yù)防措施的具體內(nèi)容主要包括:（1）建立數(shù)據(jù)輸入控制。創(chuàng)建數(shù)據(jù)輸入規(guī)則來防止無效或不準(zhǔn)確的數(shù)據(jù)進(jìn)入系統(tǒng)。（2）培訓(xùn)數(shù)據(jù)生產(chǎn)者。確保上游系統(tǒng)的員工了解數(shù)據(jù)對(duì)下游用戶的影響。（3）定義和執(zhí)行規(guī)則。創(chuàng)建一個(gè)用于應(yīng)用程序中“數(shù)據(jù)防火墻”。（4）要求數(shù)據(jù)供應(yīng)商提供高質(zhì)量數(shù)據(jù)。檢查外部數(shù)據(jù)供應(yīng)商的結(jié)構(gòu)、定義、數(shù)據(jù)源等流程。（5）實(shí)施數(shù)據(jù)治理和管理制度。確保參與規(guī)則、決策權(quán)和有效管理數(shù)據(jù)和信息資產(chǎn)的責(zé)任。（6）制定正式的變更控制。確保在實(shí)施之前對(duì)存儲(chǔ)數(shù)據(jù)的所有變更進(jìn)行定義和測(cè)試。事前數(shù)據(jù)質(zhì)量提升方法（二）建立數(shù)據(jù)質(zhì)量管理規(guī)范、制度和系統(tǒng)數(shù)據(jù)質(zhì)量管理是企業(yè)數(shù)據(jù)管理的重要組成部分，根據(jù)國(guó)內(nèi)外同業(yè)實(shí)踐經(jīng)驗(yàn)，數(shù)據(jù)質(zhì)量管理框架體系需要科學(xué)的組織保障體系、清晰的管理流程、明確的管理制度和有效的技術(shù)支撐平臺(tái)。主要內(nèi)容包括:（1）制定明確的質(zhì)量管控規(guī)范。制定完備的統(tǒng)計(jì)數(shù)據(jù)質(zhì)量考核、評(píng)價(jià)標(biāo)準(zhǔn)。（2）建立科學(xué)的統(tǒng)計(jì)制度。進(jìn)一步完善并改進(jìn)各項(xiàng)普查制度，建立健全相關(guān)法律法規(guī)。（3）應(yīng)用統(tǒng)計(jì)數(shù)據(jù)質(zhì)量管控系統(tǒng)。改變統(tǒng)計(jì)數(shù)據(jù)事后檢驗(yàn)的方法，實(shí)行質(zhì)量全過程控制。事前數(shù)據(jù)質(zhì)量提升方法（三）建立數(shù)據(jù)質(zhì)量閉環(huán)管理流程數(shù)據(jù)質(zhì)量管理流程包含五大步驟，這五大步驟以循環(huán)的形式存在，從而持續(xù)有效地對(duì)數(shù)據(jù)質(zhì)量進(jìn)行有效管理。數(shù)據(jù)質(zhì)量閉環(huán)管理流程設(shè)計(jì)數(shù)據(jù)質(zhì)量提升方案。（1）方案制定。確定數(shù)據(jù)質(zhì)量檢核范圍及檢核規(guī)則。（2）質(zhì)量評(píng)估。（3）問題管理。定期發(fā)布數(shù)據(jù)質(zhì)量報(bào)告。根據(jù)分析結(jié)果給出數(shù)據(jù)質(zhì)量提升和整改建議。（4）提升優(yōu)化。持續(xù)跟蹤分析整改情況。（5）跟蹤控制。事前數(shù)據(jù)質(zhì)量提升方法（四）成立數(shù)據(jù)治理組織健全的數(shù)據(jù)治理組織是全面開展數(shù)據(jù)治理工作的基礎(chǔ)，數(shù)據(jù)治理組織應(yīng)包括管理人員、業(yè)務(wù)人員和技術(shù)人員，缺一不可。數(shù)據(jù)治理組織可以設(shè)置三種角色：數(shù)據(jù)治理組織角色人員組成負(fù)責(zé)任務(wù)數(shù)據(jù)治理委員會(huì)由校領(lǐng)導(dǎo)、IT部負(fù)責(zé)人和業(yè)務(wù)部門負(fù)責(zé)人組成負(fù)責(zé)制定數(shù)據(jù)治理的目標(biāo)、制度、規(guī)范、流程、標(biāo)準(zhǔn)等，協(xié)調(diào)解決相關(guān)人員責(zé)、權(quán)、利問題，推行數(shù)據(jù)治理文化數(shù)據(jù)治理業(yè)務(wù)組由業(yè)務(wù)部門業(yè)務(wù)專家、系統(tǒng)管理員組成負(fù)責(zé)業(yè)務(wù)系統(tǒng)參數(shù)、基礎(chǔ)數(shù)據(jù)維護(hù)，以及審核、檢查、整改業(yè)務(wù)數(shù)據(jù)，在數(shù)據(jù)產(chǎn)生源頭提