DB11-T 2351-2024 數(shù)據(jù)資源治理通 用技術(shù)要求

丹、羅登亮、肖博勝、劉子莉、李孟凡、艾崧溥、李海翔、周曉波、徐數(shù)據(jù)資源治理通用技術(shù)要求數(shù)據(jù)資源治理框架主要涵蓋數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)生存周期管理以及數(shù)據(jù)治理組織構(gòu)建這三個(gè)重要安全管理和元數(shù)據(jù)管理貫穿于該周期的各個(gè)環(huán)節(jié)。而數(shù)據(jù)治理組織則致力于提供系統(tǒng)地管理與運(yùn)用企b)使用數(shù)據(jù)架構(gòu)來(lái)指導(dǎo)數(shù)據(jù)集成和控制，并使數(shù)據(jù)資源匯聚與需源的現(xiàn)狀和特點(diǎn)，為數(shù)據(jù)資源的治理提供基應(yīng)根據(jù)GB/T36073要求，針對(duì)數(shù)據(jù)模型中的數(shù)據(jù)定義，明確數(shù)據(jù)在組織、流程、系統(tǒng)等方面的分布關(guān)系，制定CRUD規(guī)劃，確保數(shù)據(jù)的安其中主題域是采購(gòu)與供應(yīng)商，主要涉及兩類數(shù)據(jù)實(shí)體供應(yīng)商和采購(gòu)合同。其中描述供應(yīng)商包括供應(yīng)商基本信息、潛在供應(yīng)商信息、供應(yīng)商績(jī)效、供應(yīng)商認(rèn)證信息和供應(yīng)商評(píng)價(jià)。以供應(yīng)信息為例，該信息只能在財(cái)務(wù)MIS系統(tǒng)中創(chuàng)建、修改和刪除，可以被項(xiàng)目管理應(yīng)設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)、減少重復(fù)開發(fā)、屏蔽源數(shù)據(jù)的影響等信息，實(shí)現(xiàn)數(shù)據(jù)血緣追蹤。數(shù)據(jù)架少包括數(shù)據(jù)來(lái)源層、數(shù)據(jù)支撐層、數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)分本層宜包括公共數(shù)據(jù)、企業(yè)數(shù)據(jù)和個(gè)人數(shù)據(jù)，涵蓋傳統(tǒng)的數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、分布式a)ODS：保存最原始數(shù)據(jù)，按業(yè)務(wù)概念組織細(xì)節(jié)數(shù)據(jù)，并進(jìn)行名稱、代碼等標(biāo)準(zhǔn)b)DWS：存儲(chǔ)整合后的明細(xì)數(shù)據(jù)，在本層應(yīng)進(jìn)行指標(biāo)與維度的標(biāo)準(zhǔn)化，包括數(shù)據(jù)清洗、脫敏c)DIM：公共維度表，用于建立一致性維度數(shù)據(jù)，規(guī)范化維度屬性，降低e)ADS：面向業(yè)務(wù)定制的應(yīng)用數(shù)據(jù)，根據(jù)不同的業(yè)務(wù)需求采用星型或雪本層實(shí)現(xiàn)對(duì)數(shù)據(jù)的深加工，宜建立滿足需求的數(shù)據(jù)統(tǒng)計(jì)分析模型，建立大數(shù)據(jù)運(yùn)行處理應(yīng)進(jìn)行數(shù)據(jù)資源分類，將數(shù)據(jù)進(jìn)行主題域劃分、歸類和a)應(yīng)能夠識(shí)別數(shù)據(jù)值域，包括參考數(shù)影響數(shù)據(jù)質(zhì)量的問(wèn)題主要包括技術(shù)、業(yè)務(wù)、管理三g)運(yùn)維要求：更新元數(shù)據(jù)的處理過(guò)程和規(guī)c)管理類元模型：包括系統(tǒng)資源、人員規(guī)范包括但不限于元數(shù)據(jù)標(biāo)準(zhǔn)、處理過(guò)程文檔、數(shù)據(jù)交換格式及應(yīng)用程序接d)數(shù)據(jù)加工：在入庫(kù)前對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、集成等加工處理，e)數(shù)據(jù)可追溯：記錄數(shù)據(jù)來(lái)源和處理過(guò)程，保留原始數(shù)據(jù)和處理b)規(guī)定數(shù)據(jù)格式的具體規(guī)范，例如字段名稱、字段類型、字應(yīng)規(guī)定數(shù)據(jù)接口的要求，例如接口名稱、參數(shù)、返數(shù)據(jù)探查應(yīng)包括單表數(shù)據(jù)內(nèi)容分析、多表間數(shù)據(jù)關(guān)系分析的指標(biāo)定義和準(zhǔn)入a)非空檢核：若字段應(yīng)為非空時(shí)，對(duì)字段e)修改文檔應(yīng)包括版本號(hào)、修改原因描述、修改過(guò)b)維護(hù)人員被告知錯(cuò)誤后，應(yīng)快速分析定位問(wèn)題類d)開發(fā)不規(guī)范導(dǎo)致的維護(hù)問(wèn)題，應(yīng)定期進(jìn)行開發(fā)規(guī)b)對(duì)于缺失的內(nèi)容，應(yīng)按規(guī)則進(jìn)行填充，c)對(duì)于內(nèi)容與該字段應(yīng)有內(nèi)容不符時(shí)，詳細(xì)識(shí)別問(wèn)題模型設(shè)計(jì)要求應(yīng)包括邏輯模型與物理模型規(guī)范，具體內(nèi)容b)表命名要求，宜使用單數(shù)名詞、復(fù)數(shù)名b)應(yīng)充分識(shí)別影響范圍，通知受影響內(nèi)容的負(fù)責(zé)人并由負(fù)責(zé)應(yīng)構(gòu)建數(shù)據(jù)變更的監(jiān)控、變更通知能力，完成上下游變b)傳輸?shù)臄?shù)據(jù)應(yīng)采用加密和防篡改技術(shù)保證數(shù)據(jù)的d)宜采用HTTP/HTTPS作為傳輸協(xié)議；a)數(shù)據(jù)資源提供方應(yīng)在數(shù)據(jù)共享交換平臺(tái)對(duì)數(shù)據(jù)資源進(jìn)行注冊(cè)和發(fā)布，內(nèi)b)數(shù)據(jù)需求方在數(shù)據(jù)共享交換平臺(tái)進(jìn)行數(shù)據(jù)資源的申請(qǐng)和訂閱訪問(wèn)，內(nèi)容應(yīng)包括但a)數(shù)據(jù)文件是接口單元的實(shí)例，每個(gè)數(shù)據(jù)文件應(yīng)且質(zhì)量子元素質(zhì)量子元根據(jù)實(shí)際循的標(biāo)準(zhǔn)，包括國(guó)際標(biāo)準(zhǔn)、國(guó)家標(biāo)在一個(gè)完整地?cái)?shù)據(jù)規(guī)劃中舊數(shù)據(jù)的銷毀一般也有一個(gè)比較詳細(xì)且具有根據(jù)實(shí)際數(shù)據(jù)結(jié)構(gòu)的手段，是數(shù)據(jù)表達(dá)的規(guī)在清晰可理解的數(shù)據(jù)模型定義以及滿足數(shù)據(jù)模型要求的數(shù)據(jù)集中元素的被檢核的數(shù)據(jù)集中根據(jù)實(shí)際檢核數(shù)據(jù)質(zhì)量時(shí)應(yīng)檢查是否提供可值域等內(nèi)容的數(shù)據(jù)字典為一種元數(shù)滿足元數(shù)據(jù)定義數(shù)根據(jù)實(shí)際立行動(dòng)和數(shù)據(jù)行為結(jié)果及完整性的滿足業(yè)務(wù)規(guī)則的數(shù)被檢核的數(shù)據(jù)集中權(quán)威參考根據(jù)實(shí)際參考數(shù)據(jù)是系統(tǒng)、應(yīng)用軟件、數(shù)據(jù)注：檢核數(shù)據(jù)質(zhì)量時(shí)應(yīng)收集參考數(shù)示例：一張用于一個(gè)特定字段的有滿足參考數(shù)據(jù)規(guī)則的數(shù)據(jù)集中元素的被檢核的數(shù)據(jù)集中根據(jù)實(shí)際安全規(guī)范是安全和隱私方面的規(guī)數(shù)據(jù)元素完整性根據(jù)實(shí)際需集中應(yīng)被賦值的數(shù)據(jù)元被賦值的數(shù)據(jù)集中元素的個(gè)預(yù)期被賦值的數(shù)據(jù)集中元素?cái)?shù)據(jù)記錄完整性根據(jù)實(shí)際需集中應(yīng)被賦值的數(shù)據(jù)記被賦值的數(shù)據(jù)集中元素的個(gè)預(yù)期被賦值的數(shù)據(jù)集中元素?cái)?shù)據(jù)內(nèi)容正滿足數(shù)據(jù)正確性要求的數(shù)據(jù)集中元素的個(gè)被檢核的數(shù)據(jù)集中元數(shù)據(jù)格式合數(shù)據(jù)格式（包括數(shù)據(jù)類型、數(shù)值范的內(nèi)容；身份證號(hào)不能出現(xiàn)標(biāo)點(diǎn)符滿足格式要求的數(shù)據(jù)被檢核的數(shù)據(jù)集中元重復(fù)的數(shù)據(jù)集中元素被檢核的數(shù)據(jù)集中元滿足唯一性要求的數(shù)被檢核的數(shù)據(jù)集中元臟數(shù)據(jù)出現(xiàn)率示例：事務(wù)發(fā)生回滾時(shí)由于回滾機(jī)制不健全或不完善導(dǎo)致可能出現(xiàn)臟有臟數(shù)據(jù)出現(xiàn)的數(shù)據(jù)被檢核的數(shù)據(jù)集中元根據(jù)實(shí)際需求定義同一數(shù)據(jù)在不同位置存儲(chǔ)或被不同應(yīng)用或用戶使置的統(tǒng)一數(shù)據(jù)被滿足相同數(shù)據(jù)一致性要求的數(shù)據(jù)集中元素被檢核的數(shù)據(jù)集中元根據(jù)實(shí)際需求定義根據(jù)一致性約束規(guī)則檢查關(guān)聯(lián)數(shù)滿足關(guān)聯(lián)數(shù)據(jù)一致性要求的數(shù)據(jù)集中元素被檢核的數(shù)據(jù)集中元基于時(shí)間段的正根據(jù)實(shí)際需求定義基于日期范圍的記錄數(shù)或頻率分布符合業(yè)務(wù)應(yīng)求滿有效性要求的數(shù)據(jù)被檢核的數(shù)據(jù)集中元基于時(shí)間點(diǎn)及時(shí)性根據(jù)實(shí)際需求定義基于時(shí)間戳的記延遲時(shí)間符合業(yè)滿足及時(shí)性要求的數(shù)被檢核的數(shù)據(jù)集中元根據(jù)實(shí)際需求定義數(shù)據(jù)集中同一對(duì)象的數(shù)據(jù)元素之間的相對(duì)時(shí)序關(guān)滿足時(shí)序性要求的數(shù)被檢核的數(shù)據(jù)集中元根據(jù)實(shí)際需求定義數(shù)據(jù)在應(yīng)時(shí)的可根據(jù)實(shí)際需求定義數(shù)據(jù)在設(shè)定有效生存周期內(nèi)的可滿足可用性要求的數(shù)據(jù)被檢核的數(shù)據(jù)集中元素造成數(shù)據(jù)錄入無(wú)法校驗(yàn)或校驗(yàn)不當(dāng)，引起數(shù)據(jù)重復(fù)等采集參數(shù)