DB3302T 1163-2024基層智治公共數(shù)據(jù)整合規(guī)范

3302Specificationforpublicdataintegrationofgrass-rootsintelligentgovernance本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定基層智治公共數(shù)據(jù)整合規(guī)范DB33/T2487公共數(shù)據(jù)安全體系建設(shè)DB3302/T1126—2021公4整合原則b)準(zhǔn)確性：通過動態(tài)更新和錯誤識別，使數(shù)據(jù)信息符合實際；d)一致性：整合前后數(shù)據(jù)信息內(nèi)容、含義無歧義；e)關(guān)聯(lián)性：多源數(shù)據(jù)之間建立對應(yīng)關(guān)系，相互關(guān)聯(lián)的數(shù)據(jù)信息內(nèi)容無矛盾。包括數(shù)據(jù)歸集、數(shù)據(jù)處理、質(zhì)量控制、成果形成四個流程環(huán)節(jié)（人工采集數(shù)據(jù)加工數(shù)據(jù)回流數(shù)據(jù)人工采集數(shù)據(jù)加工數(shù)據(jù)數(shù)據(jù)歸集數(shù)據(jù)清洗數(shù)據(jù)完善物聯(lián)感知數(shù)據(jù)數(shù)據(jù)清洗數(shù)據(jù)完善數(shù)據(jù)處理數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)分類質(zhì)量控制成果形成通過影像采集、AI識別、智能感知等設(shè)備終7.2.1.2人工采集數(shù)據(jù)應(yīng)以村（社區(qū)）為單位進(jìn)行7.2.1.3對數(shù)據(jù)進(jìn)行排序算法，按照預(yù)定義的重復(fù)標(biāo)識規(guī)則進(jìn)行檢測和去重，對刪除數(shù)據(jù)進(jìn)行單獨備7.2.1.4對數(shù)據(jù)按照重要性等級進(jìn)行判斷，根據(jù)判斷結(jié)果和缺失比例制定規(guī)則進(jìn)行刪除或填充，對刪7.2.1.5用統(tǒng)計分析方法、簡單規(guī)則庫或不同屬性間的約束、外部數(shù)據(jù)進(jìn)行檢測、識別，修正錯誤值7.2.1.6對多源數(shù)據(jù)進(jìn)行關(guān)聯(lián)性驗證，調(diào)整、去除關(guān)聯(lián)數(shù)據(jù)間的矛盾內(nèi)容，并通過分析檢測，使數(shù)據(jù)7.2.1.7對包括但不限于時間、日期、數(shù)值等錯誤顯示的格式進(jìn)行7.2.2.2應(yīng)對錯項、空項數(shù)據(jù)進(jìn)行核7.2.2.3根據(jù)產(chǎn)權(quán)部門、更新時間、數(shù)據(jù)質(zhì)量等屬性，建立數(shù)據(jù)更新機(jī)制和多源數(shù)據(jù)的優(yōu)先為基本數(shù)據(jù)，其他字段按照數(shù)源單位最新的更新時間為準(zhǔn)，針對一數(shù)多源情況（如），對數(shù)據(jù)設(shè)置標(biāo)簽（見附錄A），并建立人房數(shù)據(jù)關(guān)聯(lián)、人地數(shù)據(jù)關(guān)聯(lián)、人企數(shù)據(jù)關(guān)聯(lián)、房地數(shù)據(jù)關(guān)7.3.1數(shù)據(jù)質(zhì)量應(yīng)按DB33027.3.2應(yīng)對數(shù)據(jù)實行動態(tài)管理，實現(xiàn)回流、共享數(shù)據(jù)自動更新。人工采集數(shù)據(jù)經(jīng)核實后手動更新，并7.4.1應(yīng)形成數(shù)據(jù)庫及相應(yīng)數(shù)據(jù)元，整合過程相關(guān)記錄、文檔等整7.4.2數(shù)據(jù)元應(yīng)具備數(shù)據(jù)建模的可用7.4.3不同來源的相同數(shù)據(jù)元應(yīng)保持一致，并建立對應(yīng)關(guān)系（見附錄C）。123456789h)08：共青團(tuán)工作，握到某個標(biāo)簽對應(yīng)樣本的本質(zhì)特征，從而達(dá)到分類的a)分類定義：通過公司業(yè)務(wù)專家與技術(shù)專家積累的經(jīng)驗，將事件歸類；b)樣本打標(biāo)：將十萬綜合治理線上數(shù)據(jù)打上對應(yīng)的分c)算法訓(xùn)練：對事先標(biāo)注好的樣本，逐條進(jìn)行hanlp分詞處理，并基于訓(xùn)練好的詞向量庫、自生成的one-hot等來表征每條樣本的特征張量。采用深度學(xué)習(xí)環(huán)神經(jīng)網(wǎng)絡(luò)建模，批量輸入樣本特征集，利用梯度下降法，不斷調(diào)整模型輸出的樣本預(yù)測分類的概率分布，期望模型預(yù)測分類的概率分布和樣本實際標(biāo)注分類的概率分布越相似越好，e)接口對接：將標(biāo)準(zhǔn)的算法接口授權(quán)給業(yè)務(wù)系統(tǒng)，業(yè)務(wù)系統(tǒng)通過簡單對接后，即可調(diào)用，接口a)抽取數(shù)據(jù)：以每月評估每個模型一次為例，每月初，隨機(jī)抽取上月的部分?jǐn)?shù)據(jù)。原則上每個b)實施人工標(biāo)注：針對每個模型的數(shù)據(jù)進(jìn)行專業(yè)實施打標(biāo)，打標(biāo)過程中存在爭議的數(shù)據(jù)，參考線上用戶標(biāo)注結(jié)果，由三個或三個以上實