DB34T4853.3-2024農(nóng)村供水管理系統(tǒng) 第3部分：數(shù)據(jù)加工

ICS35.02034CCSL7034安 徽 省 地 方 標(biāo) 準(zhǔn)DB34/T4853.3—2024農(nóng)村供水管理系統(tǒng)第3部分：數(shù)據(jù)加工Ruralwatersupplymanagementsystem—Part3：Dataprocessing20242024073020240830安徽省市場監(jiān)督管理局發(fā)布.DB34/T4853.3DB34/T4853.3—2024前 言本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件是DB34/T4853《農(nóng)村供水管理系統(tǒng)》的第3部分。DB34/T4853已經(jīng)發(fā)布了以下部分：——第1部分：數(shù)據(jù)元；——第2部分：數(shù)據(jù)采集；——第3部分：數(shù)據(jù)加工；——第4部分：數(shù)據(jù)存儲；——第5部分：應(yīng)用服務(wù)；——第6部分：運行維護(hù)。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由安徽省水利廳提出并歸口。本文件起草單位：安徽?。ㄋ炕春铀瘑T會）水利科學(xué)研究院（安徽省水利工程質(zhì)量檢測中心站爾信息技術(shù)有限責(zé)任公司、安徽省大禹水利工程科技有限公司。IDB34/T4853.3DB34/T4853.3—2024DB34/T4853.3DB34/T4853.3—2024農(nóng)村供水管理系統(tǒng)第3部分：數(shù)據(jù)加工范圍本文件適用于農(nóng)村供水管理系統(tǒng)的數(shù)據(jù)加工。規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T20271信息安全技術(shù)信息系統(tǒng)通用安全技術(shù)要求術(shù)語和定義下列術(shù)語和定義適用于本文件。前置數(shù)據(jù)庫predatabase數(shù)據(jù)安全。前置數(shù)據(jù)庫predatabase數(shù)據(jù)安全。4流程數(shù)據(jù)加工流程見圖1。1數(shù)據(jù)分析數(shù)據(jù)分析數(shù)據(jù)抽取數(shù)據(jù)抽取結(jié)果檢驗通過數(shù)據(jù)清洗標(biāo)準(zhǔn)化轉(zhuǎn)換錯誤數(shù)據(jù)修正可修正的結(jié)果檢驗通過數(shù)據(jù)清洗標(biāo)準(zhǔn)化轉(zhuǎn)換錯誤數(shù)據(jù)修正可修正的

不可修正的異常數(shù)據(jù)處置異常數(shù)據(jù)處置數(shù)據(jù)入庫數(shù)據(jù)入庫圖1數(shù)據(jù)加工流程數(shù)據(jù)分類待加工數(shù)據(jù)根據(jù)農(nóng)村供水管理業(yè)務(wù)應(yīng)用劃分為基礎(chǔ)數(shù)據(jù)、監(jiān)測數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、地理空間數(shù)據(jù)、外部共享數(shù)據(jù)五類。應(yīng)根據(jù)數(shù)據(jù)分類明確對應(yīng)的數(shù)據(jù)加工路徑、加工規(guī)則、加工目標(biāo)數(shù)據(jù)庫及相應(yīng)庫表信息。采用系統(tǒng)或人工方式將不滿足農(nóng)村供水管理系統(tǒng)業(yè)務(wù)需求、不符合數(shù)據(jù)格式要求、元數(shù)據(jù)或相關(guān)資料描述不完整的、數(shù)據(jù)關(guān)系不明確的數(shù)據(jù)篩除。數(shù)據(jù)抽取應(yīng)通過數(shù)據(jù)來源的前置庫進(jìn)行抽取。每次數(shù)據(jù)抽取工作應(yīng)至少記錄抽取標(biāo)志位、抽取時間、抽取來源、抽取數(shù)量、目標(biāo)庫表、抽取完成情況、操作人員；抽取操作中斷時可通過抽取標(biāo)志位、抽取時間確定抽取的數(shù)據(jù)。https、TLSP首次抽取應(yīng)采用全量抽取方式，非首次抽取宜采用增量抽取方式。結(jié)構(gòu)化數(shù)據(jù)宜采用直接讀庫方式抽取，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)宜通過數(shù)據(jù)服務(wù)方式抽取。數(shù)據(jù)清洗清洗原則準(zhǔn)確性、完整性：應(yīng)通過極大值、極小值、負(fù)值、空缺值、數(shù)據(jù)類型錯誤進(jìn)行判定。2符合性：結(jié)合農(nóng)村供水管理業(yè)務(wù)應(yīng)用規(guī)則和邏輯對數(shù)據(jù)準(zhǔn)確性進(jìn)行判定。唯一性：通過主鍵或標(biāo)志位檢驗等策略制定數(shù)據(jù)唯一性檢驗和去重規(guī)則。清洗操作方法根據(jù)業(yè)務(wù)需求將非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)（并非全部）轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)。刪除或修改不一致的數(shù)據(jù)。利用相關(guān)性分析方法消除冗余數(shù)據(jù)。刪除噪聲數(shù)據(jù)。刪除業(yè)務(wù)數(shù)據(jù)中不符合應(yīng)用規(guī)則或有邏輯錯誤的數(shù)據(jù)。處理空缺值。將過濾刪除掉的數(shù)據(jù)存入問題數(shù)據(jù)庫表。結(jié)果檢驗對清洗后數(shù)據(jù)對象的數(shù)據(jù)類型、數(shù)值、長度、格式以及數(shù)據(jù)內(nèi)容的表述進(jìn)行準(zhǔn)確性檢驗。應(yīng)對每個數(shù)據(jù)字段內(nèi)容的完整性進(jìn)行檢驗。應(yīng)對清洗前后的數(shù)據(jù)量進(jìn)行比對。系統(tǒng)應(yīng)建立異常反饋機制，將發(fā)現(xiàn)的異常數(shù)據(jù)及時反饋給原數(shù)據(jù)提供單位。對檢驗過程中發(fā)現(xiàn)的錯誤數(shù)據(jù)進(jìn)行修正。標(biāo)準(zhǔn)化轉(zhuǎn)換轉(zhuǎn)換規(guī)則轉(zhuǎn)換規(guī)則農(nóng)村供水管理系統(tǒng)業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)化轉(zhuǎn)換規(guī)則見附錄A。檢驗標(biāo)準(zhǔn)化轉(zhuǎn)換后應(yīng)對數(shù)據(jù)內(nèi)容的完整性、準(zhǔn)確性和合理性進(jìn)行檢驗。9數(shù)據(jù)入庫標(biāo)準(zhǔn)化轉(zhuǎn)換完成后數(shù)據(jù)應(yīng)即時入目標(biāo)數(shù)據(jù)庫。10安全與記錄安全數(shù)據(jù)加工安全應(yīng)符合GB/T20271規(guī)定。記錄數(shù)據(jù)加工記錄見表1。3表1數(shù)據(jù)加工記錄數(shù)據(jù)名稱數(shù)據(jù)類型數(shù)據(jù)來源數(shù)據(jù)流路徑變化記錄序號數(shù)據(jù)變化前數(shù)據(jù)變化后變化原因處理人員處理時間處理方法登記人:登記時間:44附錄A（資料性）表A.1給出了業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換規(guī)則。表A.1業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換規(guī)則業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換規(guī)則時間日期數(shù)據(jù)將各類日期統(tǒng)一轉(zhuǎn)換為八位的字符日期，如YYYYMMDD。將各類時間統(tǒng)一轉(zhuǎn)換為六位的字符時間，如HHMMSS。將各類日期時間統(tǒng)一轉(zhuǎn)換為十四位的字符日期時間，如YYYYMMDDHHMMSS。分類數(shù)據(jù)取值代碼將人員的性別數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為國標(biāo)性別信息代碼。將人員的民族數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為標(biāo)準(zhǔn)信息代碼。將人員的戶籍地址數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為行政區(qū)劃代碼。將人員的婚姻登記情況統(tǒng)一轉(zhuǎn)換為標(biāo)準(zhǔn)的婚姻狀況代碼。將居民身份證統(tǒng)一轉(zhuǎn)換為18位的身份證號。將各單位的社會信用代碼統(tǒng)一轉(zhuǎn)換為18位統(tǒng)一社會信用代碼。坐標(biāo)系將不同來源的坐標(biāo)數(shù)據(jù)統(tǒng)一采用WGS84坐標(biāo)系。根據(jù)具體需求將不同坐標(biāo)系的數(shù)據(jù)轉(zhuǎn)換為目標(biāo)坐標(biāo)系，數(shù)據(jù)類型為浮點型。構(gòu)筑物編碼將不同來源的構(gòu)筑物編碼數(shù)據(jù)統(tǒng)一為國家建筑標(biāo)準(zhǔn)代碼（GB50352）12633設(shè)備編碼將