（高清版）GBT 41429-2022 消費品安全大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)規(guī)范

消費品安全大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)規(guī)范2022-04-15發(fā)布2022-11-01實施國家標(biāo)準(zhǔn)化管理委員會前言 I 2規(guī)范性引用文件 3術(shù)語和定義 4基本原則 25消費品安全大數(shù)據(jù)系統(tǒng)建設(shè)數(shù)據(jù)基本要求 6消費品安全大數(shù)據(jù)系統(tǒng)結(jié)構(gòu) 3參考文獻(xiàn) 6I本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由全國消費品安全標(biāo)準(zhǔn)化技術(shù)委員會(SAC/TC508)提出并歸口。本文件起草單位：中國標(biāo)準(zhǔn)化研究院、合肥鴻儒信息科技有限公司、浙江甲骨文超級碼科技股份有限公司、安徽磐石辦公物資有限公司、深圳市凱東源現(xiàn)代物流股份有限公司、廈門銀祥集團(tuán)有限公司、安徽省質(zhì)量和標(biāo)準(zhǔn)化研究院、浙江省產(chǎn)品質(zhì)量安全科學(xué)研究院、中國石油大學(xué)(北京)、南京航空航天大學(xué)、內(nèi)蒙古自治區(qū)產(chǎn)品質(zhì)量檢驗研究院、浙江工商大學(xué)、許昌市質(zhì)量技術(shù)監(jiān)督檢驗測試中心。1消費品安全大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)規(guī)范1范圍本文件規(guī)定了消費品安全大數(shù)據(jù)系統(tǒng)的基本原則、建設(shè)要求、系統(tǒng)結(jié)構(gòu)等內(nèi)容。本文件適用于開展消費品安全大數(shù)據(jù)系統(tǒng)建設(shè)。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T29263信息技術(shù)面向服務(wù)的體系結(jié)構(gòu)(SOA)應(yīng)用的總體技術(shù)要求3術(shù)語和定義下列術(shù)語和定義適用于本文件。消費品consumerproduct主要但不限于為個人使用而設(shè)計、生產(chǎn)的產(chǎn)品，包括產(chǎn)品的組件、零部件、附件、使用說明和包裝。消費品安全consumerproductsafety消費品免除了不可接受風(fēng)險的狀態(tài)。具有體量巨大、來源多樣、生成極快、多變等特征并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的包括大量數(shù)據(jù)集的數(shù)據(jù)。大數(shù)據(jù)系統(tǒng)bigdatasystem實現(xiàn)大數(shù)據(jù)參考體系結(jié)構(gòu)的全部或部分功能的系統(tǒng)。一種數(shù)據(jù)表示形式，按此種形式，由數(shù)據(jù)元素匯集而成的每個記錄的結(jié)構(gòu)都是一致的并且可以使用關(guān)系模型予以有效描述。2非結(jié)構(gòu)化數(shù)據(jù)unstructureddata不具有預(yù)定義模型或未以預(yù)定義方式組織的數(shù)據(jù)。云計算cloudcomputing一種通過網(wǎng)絡(luò)將伸縮性、彈性的共享物理和虛擬資源池以按需自服務(wù)的方式供應(yīng)和管理的模式。4基本原則4.1功能性消費品安全大數(shù)據(jù)系統(tǒng)應(yīng)具備對消費品安全數(shù)據(jù)進(jìn)行收集、存儲、預(yù)處理、分析和應(yīng)用等功能的綜消費品安全大數(shù)據(jù)系統(tǒng)應(yīng)具備故障檢測及預(yù)警、發(fā)生故障時可自動地進(jìn)行重啟或平滑切換到備份模塊的功能。4.3兼容性消費品安全大數(shù)據(jù)系統(tǒng)應(yīng)對硬件和軟件具備較好的兼容性。消費品安全大數(shù)據(jù)系統(tǒng)應(yīng)具備用戶認(rèn)證、權(quán)限管理、數(shù)據(jù)備份和恢復(fù)等功能，以確保數(shù)據(jù)的安全性。4.5可擴(kuò)展性消費品安全大數(shù)據(jù)系統(tǒng)應(yīng)具備集群在線擴(kuò)容和兼容功能，以確保平臺的可擴(kuò)展性。4.6可維護(hù)性消費品安全大數(shù)據(jù)系統(tǒng)應(yīng)具備集群狀態(tài)監(jiān)控、告警管理、審計日志和配置管理等功能，以確保平臺的可維護(hù)性。消費品安全大數(shù)據(jù)系統(tǒng)應(yīng)面向大眾化，不但專業(yè)人員、業(yè)務(wù)人員可以用，普通消費者也可以使用。5消費品安全大數(shù)據(jù)系統(tǒng)建設(shè)數(shù)據(jù)基本要求消費品安全大數(shù)據(jù)滿足大數(shù)據(jù)定義的基本要求：a)體量構(gòu)成大數(shù)據(jù)的數(shù)據(jù)集規(guī)模，應(yīng)達(dá)到PB級；b)數(shù)據(jù)可能來自多個數(shù)據(jù)倉庫、數(shù)據(jù)領(lǐng)域或多種數(shù)據(jù)類型；3d)數(shù)據(jù)真實，且動態(tài)變化。6消費品安全大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)消費品安全大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)一般由基礎(chǔ)設(shè)施層、數(shù)據(jù)資源層、數(shù)據(jù)管理層、計算分析層和應(yīng)用服務(wù)層等五個層次組成，如圖1所示。政府決策行業(yè)監(jiān)管企業(yè)管理機(jī)構(gòu)評價消費者維權(quán)應(yīng)用服務(wù)層業(yè)務(wù)辦理子系統(tǒng)監(jiān)督抽查風(fēng)險監(jiān)測許可證審批機(jī)構(gòu)管理決策管理子系統(tǒng)統(tǒng)計分析實時監(jiān)測數(shù)據(jù)可視化預(yù)警處置公共服務(wù)子系統(tǒng)生產(chǎn)企業(yè)行業(yè)部門生產(chǎn)企業(yè)行業(yè)部門第三方機(jī)構(gòu)計算分析層決策樹聚類分析引擎神經(jīng)網(wǎng)絡(luò)回歸關(guān)聯(lián)規(guī)則主成分分析模型管理預(yù)測模型統(tǒng)計模型模型驗證數(shù)據(jù)管理層數(shù)據(jù)流分布式文件系統(tǒng)關(guān)系數(shù)據(jù)結(jié)構(gòu)非結(jié)構(gòu)關(guān)系數(shù)據(jù)結(jié)構(gòu)(NoSQL)清洗轉(zhuǎn)換/加載主數(shù)據(jù)倉庫HadoopHadoop數(shù)據(jù)資源層基礎(chǔ)信息資源庫通報召回網(wǎng)絡(luò)臾情業(yè)務(wù)信息資源庫標(biāo)準(zhǔn)檢驗檢測標(biāo)準(zhǔn)其他信息資源庫經(jīng)濟(jì)發(fā)展經(jīng)濟(jì)發(fā)展制造業(yè)指數(shù)信用評價制造業(yè)指數(shù)基礎(chǔ)服務(wù)器設(shè)備網(wǎng)絡(luò)與通信設(shè)施云計算及云存儲設(shè)施信息采集設(shè)備信息安全設(shè)施其他設(shè)施圖1消費品安全大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)46.2基礎(chǔ)設(shè)施層基礎(chǔ)設(shè)施層包括服務(wù)器設(shè)備、網(wǎng)絡(luò)與通信設(shè)施、云計算及云存儲設(shè)施、信息采集設(shè)備、信息安全設(shè)施等。6.3數(shù)據(jù)資源層數(shù)據(jù)資源層實現(xiàn)對消費品安全結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的集中管理，為消費品安全大數(shù)據(jù)系統(tǒng)提供統(tǒng)一的數(shù)據(jù)來源，包括了基礎(chǔ)信息資源庫、業(yè)務(wù)信息資源庫和其他信息資源庫。6.3.2基礎(chǔ)信息資源庫基礎(chǔ)信息資源庫包括了監(jiān)督抽查、風(fēng)險監(jiān)測、消費者投訴、通報召回、質(zhì)量仲裁、傷害和事故檢測等6.3.3業(yè)務(wù)信息資源庫業(yè)務(wù)信息資源庫匯聚了計量、標(biāo)準(zhǔn)、檢驗檢測、認(rèn)證認(rèn)可等信息。6.3.4其他信息資源庫其他信息資源庫包括新興消費品產(chǎn)生的各類實時數(shù)據(jù)、宏觀經(jīng)濟(jì)、環(huán)境保護(hù)以及社會信用等信息。6.4數(shù)據(jù)管理層數(shù)據(jù)管理層負(fù)責(zé)從數(shù)據(jù)資源層獲取數(shù)據(jù)，通過清洗、轉(zhuǎn)換和加載等技術(shù)手段，以分布式文件系統(tǒng)、NoSQL、數(shù)據(jù)流、關(guān)系數(shù)據(jù)結(jié)構(gòu)等存儲類型，將原始數(shù)據(jù)或加工處理后的數(shù)據(jù)存儲到主數(shù)據(jù)倉庫、分布式數(shù)據(jù)庫和Hadoop平臺等。數(shù)據(jù)管理層的總體技術(shù)要求應(yīng)符合GB/T29263的規(guī)定。6.5計算分析層計算分析層是指運用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等分析技術(shù)從消費品安全大數(shù)據(jù)中發(fā)現(xiàn)知識的過程，包括分析引擎和模型管理兩部分。分析引擎中常用的方法包括決策樹、神經(jīng)網(wǎng)絡(luò)、回歸、關(guān)聯(lián)規(guī)則、聚類、貝葉斯估計、支持向量機(jī)、主成分分析等；模型管理包括預(yù)測模型、統(tǒng)計模型以及模型驗證等。6.6應(yīng)用服務(wù)層應(yīng)用服務(wù)層通過業(yè)務(wù)辦理、指揮決策、公共服務(wù)等子系統(tǒng)為政府決策、行業(yè)監(jiān)管、企業(yè)管理、機(jī)構(gòu)評價和消費者維權(quán)等提供應(yīng)用服務(wù)，一般包括但不限于業(yè)務(wù)辦理子系統(tǒng)、決策管理子系統(tǒng)和公共服務(wù)子系統(tǒng)。6.6.2業(yè)務(wù)辦理子系統(tǒng)業(yè)務(wù)辦理子系統(tǒng)主要實現(xiàn)對監(jiān)督抽查、生產(chǎn)許可證網(wǎng)上審批、檢測檢驗技術(shù)機(jī)構(gòu)分類監(jiān)管、質(zhì)量安全風(fēng)險監(jiān)測等業(yè)務(wù)的日常管理。56.6.3決策管理子系統(tǒng)決策管理子系統(tǒng)是在對產(chǎn)品數(shù)據(jù)、質(zhì)量檢測數(shù)據(jù)、質(zhì)量安全輿情等海量信息融合、分析和挖掘的基礎(chǔ)上，利用可視化技術(shù)對重點產(chǎn)品、重點區(qū)域的質(zhì)量進(jìn)行動態(tài)監(jiān)測、分析與預(yù)警。6.6.4