DB37T 3432-2018 農(nóng)業(yè)大數(shù)據(jù) 數(shù)據(jù)處理基本要求

DB37Agriculturalbigdata—Basicrequirementsfordataprocessi山東省質(zhì)量技術(shù)監(jiān)督局發(fā)布I 1 1 1 1 1 1 2 2 2 2 3 4 51農(nóng)業(yè)大數(shù)據(jù)數(shù)據(jù)處理基本要求本標準適用于山東省農(nóng)業(yè)領(lǐng)域大數(shù)據(jù)的處理、分凡是不注日期的引用文件，其最新版本（包括所有的修改單DB37/T3431—2018農(nóng)業(yè)大數(shù)據(jù)4術(shù)語和定義5概述b)數(shù)據(jù)傳輸：對采集的數(shù)據(jù)按約定方式進行安全傳輸；c)數(shù)據(jù)預處理：按照預處理操作流程將數(shù)據(jù)處理為易于存儲和分析的規(guī)范格式；d)數(shù)據(jù)存儲：對數(shù)據(jù)進行存儲和管理，實現(xiàn)對各種數(shù)據(jù)的有效組織；e)數(shù)據(jù)分析：對存儲數(shù)據(jù)計算和分析，獲取有價值信息和知識；f)可視化展現(xiàn)：將數(shù)據(jù)分析結(jié)果以直觀方式顯示給用戶，并與用戶實現(xiàn)交互。2b)應(yīng)依據(jù)數(shù)據(jù)采集需求確定數(shù)據(jù)采集范圍、選取數(shù)據(jù)采集方式、約定數(shù)據(jù)采集周期；e)應(yīng)從數(shù)據(jù)完整性、準確性、一致性等方面控制數(shù)據(jù)采集質(zhì)量。b)應(yīng)明確數(shù)據(jù)傳輸周期，按照約定頻次傳輸數(shù)據(jù)；c)應(yīng)滿足數(shù)據(jù)完整性、準確性等可靠性傳輸要求；a)應(yīng)制定數(shù)據(jù)清洗規(guī)則，對缺失數(shù)據(jù)、格式錯誤數(shù)據(jù)、邏輯錯誤數(shù)據(jù)等臟數(shù)據(jù)進行清洗；b)應(yīng)將不同來源、格式等數(shù)據(jù)進行集成；c)應(yīng)在數(shù)據(jù)完整性基礎(chǔ)上將數(shù)據(jù)集歸約表示；d)應(yīng)將數(shù)據(jù)格式轉(zhuǎn)換成適用于數(shù)據(jù)存儲和分析的形式；9數(shù)據(jù)存儲a)對象存儲、過程數(shù)據(jù)存儲、結(jié)構(gòu)數(shù)據(jù)存儲等不同類型的數(shù)據(jù)存儲應(yīng)滿足相對應(yīng)的存儲要求；b)應(yīng)滿足大數(shù)據(jù)存儲技術(shù)的高可靠、高可用、可擴展以及高性能等要求；d)應(yīng)滿足數(shù)據(jù)一致性、完整性和可用性等存儲質(zhì)量要求；3a)應(yīng)根據(jù)需求對敏感、涉密數(shù)據(jù)進行脫敏脫密操作；f)應(yīng)滿足展現(xiàn)內(nèi)容的清晰、直觀、形象等要求。412農(nóng)業(yè)農(nóng)村電子商務(wù)、休閑農(nóng)業(yè)、民宿旅游、農(nóng)產(chǎn)品期貨交易，以及農(nóng)3農(nóng)業(yè)行業(yè)統(tǒng)計監(jiān)測、預警防控、指揮調(diào)度、農(nóng)產(chǎn)品質(zhì)量安全追溯、農(nóng)4512