食品安全大數(shù)據(jù)獲取、存儲與分析集成架構(gòu)要求

食品安全大數(shù)據(jù)獲取、存儲與分析集成架構(gòu)要求本標準規(guī)定了食品安全大數(shù)據(jù)獲取、存儲與分析集成框架，包括食品安全大數(shù)據(jù)的管理框架、食品安全大數(shù)據(jù)的獲取機制、食品安全大數(shù)據(jù)的存儲機本標準所規(guī)范的食品安全大數(shù)據(jù)描述范圍包含網(wǎng)絡公開食品安全數(shù)據(jù)以及企業(yè)機構(gòu)私有的食品全鏈條個別環(huán)節(jié)食品安全數(shù)據(jù)。本標準構(gòu)建食品安全數(shù)據(jù)規(guī)范化描述，對多機構(gòu)多來源食品安全數(shù)本標準面向?qū)M行食品安全大數(shù)據(jù)分析應用合作有需求的各獨立機構(gòu)，通過食品安全大數(shù)據(jù)集成獲取、存儲及分析集成架構(gòu)標準對數(shù)據(jù)獲取及存儲進行規(guī)范，提供統(tǒng)一數(shù)據(jù)描述檢索格式，保證數(shù)據(jù)隱私前提下開展機構(gòu)間食品安全大數(shù)據(jù)合作本標準適用于食品安全監(jiān)管系統(tǒng)、食品安全數(shù)據(jù)管關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)(可能包括其數(shù)據(jù)描述),以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑、訪問權(quán)和鍵值結(jié)構(gòu)key-valuestru一種存儲范例,按此范例存儲的記錄由值中的關(guān)鍵注:在鍵值結(jié)構(gòu)下,數(shù)據(jù)通過關(guān)鍵詞檢索,同時由非關(guān)系數(shù)據(jù)庫軟件處理對于值中的數(shù)據(jù)的訪問。2云鏈融合架構(gòu)cloud-blockchainfusionar將云計算技術(shù)和區(qū)塊鏈技術(shù)相融合的大數(shù)據(jù)安全保護架構(gòu)。一種分布式機器學習技術(shù)，能夠讓各參與方在不披露本地數(shù)據(jù)的前提下，通過交換機器學習中API應用程序接口（ApplicationProgrammingInterface）ID身份標識號（IdentityDoJSONJava腳本對象標記（JavaScriptObjectNotatURI統(tǒng)一資源標識符（UniformResourceIdentifi4食品安全大數(shù)據(jù)獲取、存儲及分析集成架構(gòu)概述食品安全大數(shù)據(jù)獲取、存儲及分析集成是云計算、區(qū)塊鏈和聯(lián)邦學習在食品安全大數(shù)據(jù)管理與食品安全大數(shù)據(jù)采集獲取層包含數(shù)據(jù)源及數(shù)據(jù)獲取接口部分，數(shù)據(jù)源為互聯(lián)網(wǎng)公開發(fā)布食品安全數(shù)據(jù)，例如食品安全新聞事件報道網(wǎng)站、食品安全抽樣檢測機構(gòu)公開的檢驗檢測數(shù)據(jù)、消費者投訴舉報獲取的食品安全投訴舉報數(shù)據(jù)、食品安全在線銷售網(wǎng)站消費者食品安全購買及評論的公開數(shù)據(jù)等。上述渠道為獲取食品安全大數(shù)據(jù)的主要來源，體現(xiàn)多源性，數(shù)據(jù)獲取分為線上食品安全公開數(shù)據(jù)進行流數(shù)據(jù)采集，持續(xù)對站點數(shù)據(jù)進行獲取，線下食品安全私有數(shù)據(jù)進行導入采集，按照數(shù)據(jù)食品安全大數(shù)據(jù)存儲層采用云計算技術(shù)與區(qū)塊鏈技術(shù)結(jié)合的云鏈融合架構(gòu)完成食品安全大數(shù)據(jù)所獲取數(shù)據(jù)進行數(shù)據(jù)資源統(tǒng)一標識索引及日志管理。在此之上，使用基于智能合約的訪問控制策略對所存儲的食品安全數(shù)據(jù)進行管理，訪問控制對數(shù)據(jù)取用進行規(guī)范。為使用云鏈融合機制的聯(lián)邦學習提供數(shù)據(jù)分析材料，數(shù)據(jù)存儲采取長編碼與短編碼結(jié)合的方式，唯一標定數(shù)據(jù)資源位置以及數(shù)據(jù)資源元數(shù)據(jù)信息，使用云計算存儲數(shù)據(jù)資源，使用區(qū)塊鏈管理數(shù)據(jù)資源屬性，建立云鏈融合機制的品安全大數(shù)據(jù)應用中“快、專、精”問題，數(shù)據(jù)獲取層面向食品安全數(shù)據(jù)源及食品安全主體爬蟲機制獲取數(shù)據(jù)；數(shù)據(jù)存儲層利用云計算與區(qū)塊鏈技術(shù)建立長短編碼為基礎構(gòu)建面向事件溯源和多源異構(gòu)數(shù)據(jù)尋址的元數(shù)據(jù)管理設計；面向分析過程建立以云鏈融合為基礎的食品安全大數(shù)據(jù)獲取、存儲及分析集成架構(gòu)提供食品安全大數(shù)據(jù)獲取、存儲及分析的規(guī)范，對食品安全數(shù)據(jù)全生命周期進行有效管理，幫助完成相關(guān)食品安全從業(yè)機構(gòu)食品安全數(shù)據(jù)規(guī)范化和信4區(qū)塊鏈云存儲區(qū)塊鏈云存儲食品安全網(wǎng)絡大數(shù)據(jù)分析結(jié)果分發(fā)接口API云鏈融合機制的聯(lián)邦學習食品安全大數(shù)據(jù)解析協(xié)議基于智能合約的訪問控制食品安全大數(shù)據(jù)標識協(xié)議數(shù)據(jù)資源存數(shù)據(jù)資源存儲管理織方式接據(jù)口獲取數(shù)據(jù)源數(shù)據(jù)源食品安全大數(shù)據(jù)獲取系統(tǒng)分析存儲獲取5.1食品安全數(shù)據(jù)獲取架構(gòu)云鏈融合云鏈融合食品安全大數(shù)據(jù)云平臺接據(jù)口獲取數(shù)據(jù)抽取服務ETL數(shù)據(jù)基本描述數(shù)據(jù)源識別食品抽檢機構(gòu)公開數(shù)據(jù)食品抽檢機構(gòu)公開數(shù)據(jù)食品在線銷售平臺數(shù)據(jù)消費者投訴舉報信息食品新聞網(wǎng)站數(shù)據(jù)源食品安全大數(shù)據(jù)獲取系統(tǒng)食品安全區(qū)塊鏈5.2食品安全大數(shù)據(jù)獲取流程食品安全大數(shù)據(jù)獲取分為線上食品安全數(shù)據(jù)以及線下食品安全數(shù)據(jù)部分，對于線上網(wǎng)絡公開食品安全數(shù)據(jù)采用流數(shù)據(jù)采集，按照固定更新間隔對線上數(shù)據(jù)進行獲??；線下企業(yè)機構(gòu)生產(chǎn)流通環(huán)節(jié)數(shù)據(jù)源識別為對通過獲取食品安全數(shù)據(jù)時對數(shù)據(jù)來源進行識別確認，為數(shù)據(jù)來源基本屬性進行Name6{{}}數(shù)據(jù)構(gòu)成部分的描述從數(shù)據(jù)源獲取的數(shù)據(jù)進行描述，該部分屬性組成元數(shù)據(jù)組織的一部分，如NameUnit{{}}使用云鏈融合機制下的數(shù)據(jù)存儲方法，包括數(shù)據(jù)標識編碼、注冊與解析過程，利用云平臺存儲空間大的特點存儲通過數(shù)據(jù)源識別以及數(shù)據(jù)采集獲得的食品安全大數(shù)據(jù)，利用區(qū)塊鏈安全可信輕量級訪問特點進行數(shù)據(jù)的標識、注冊與解析任務，兩種結(jié)合完成食品安全大數(shù)據(jù)獲取、存儲與分析集成架構(gòu)的存儲部分，云數(shù)據(jù)中使用面向?qū)ο蟮臄?shù)據(jù)存儲格式，解決所采集數(shù)據(jù)的異構(gòu)性問題，區(qū)塊二級編碼以半結(jié)構(gòu)化存儲格式。在此基礎上提供數(shù)據(jù)訪問接口，作為云鏈融合下食品安全數(shù)據(jù)分析應用接口層數(shù)據(jù)上載數(shù)據(jù)上載數(shù)據(jù)更新數(shù)據(jù)更新數(shù)據(jù)請求數(shù)據(jù)請求…區(qū)塊鏈鍵值（Key-Value）標識編碼、注冊、解析協(xié)議區(qū)塊鏈鍵值（Key-Value）標識編碼、注冊、解析協(xié)議 存儲層云計算存儲…視頻文本表格食品安全數(shù)據(jù)數(shù)據(jù)源識別數(shù)據(jù)描述81Upload（食品安全數(shù)據(jù)）2.Cloudresponse4Blockchainresponse1Upload（食品安全數(shù)據(jù)）2.Cloudresponse4Blockchainresponse(短標識)3Register（表1&2字段、URI、數(shù)據(jù)簽名）區(qū)塊鏈元數(shù)據(jù)組織為存儲描述食品安全數(shù)據(jù)的屬性、所有者以及索引信息，元數(shù)據(jù)信息被存儲在區(qū)塊鏈上。其中通過標識完成對數(shù)據(jù)的唯一標記、對數(shù)據(jù)信息的記錄，通過標識解析方法完成食品安全有者標識”為數(shù)據(jù)擁有者在區(qū)塊鏈內(nèi)的唯一證書哈希，每個數(shù)據(jù)擁有者注冊后唯一且不變，保證全長短二級編碼使用短編碼實現(xiàn)多云食品安全數(shù)據(jù)的唯一標定，使用長編碼實現(xiàn)多云食品安全數(shù)食品安全數(shù)據(jù)上載流程包含云計算、區(qū)塊鏈、數(shù)據(jù)擁有者（依據(jù)數(shù)據(jù)獲取系統(tǒng)）三者參與，如云計算數(shù)據(jù)獲取系統(tǒng)93.Cloudparse4.Cloudresponse（食品安全數(shù)據(jù)）1Blockchain3.Cloudparse4.Cloudresponse（食品安全數(shù)據(jù)）1Blockchainparse食品安全大數(shù)據(jù)包含云計算、區(qū)塊鏈、數(shù)據(jù)請求者（聯(lián)邦學習節(jié)點）聯(lián)邦機器學習3）聯(lián)邦學習節(jié)點使用元數(shù)據(jù)URI請求獲取云端已存儲食品安全大數(shù)據(jù)分析機制通過聯(lián)邦學習方法對數(shù)據(jù)存儲機制中存儲的食品安全大數(shù)據(jù)進行分析。數(shù)據(jù)集劃分模塊提供數(shù)據(jù)集管理功能,可將食品模型導入模塊提供機器學習模型導入功能，可導入本地存儲的機器學習模模型下載模塊提供機器學習模型下載功能，可從區(qū)塊鏈中下載該算法對應的在上一輪訓練中上模型聚合模塊提供聯(lián)邦學習模型聚合功能，包括常用的模型聚合模型訓練及驗證模塊提供機器學習訓練和驗證功能，包括使用數(shù)據(jù)集劃分模塊中得到的訓練集對模型聚合模塊中得到的模型進行訓練；使用數(shù)據(jù)集劃分模塊中得到的驗證集，對訓練后的模型進參數(shù)上傳模塊提供模型參數(shù)上傳功能，可將模型訓練及驗證模塊得到的模型參數(shù)及數(shù)據(jù)集信息模型導出模塊提供模型導出功能，可將模型訓練及驗證模塊得到的模型保存為本地文件。數(shù)據(jù)分析模塊提供數(shù)據(jù)分析功能，可使用模型訓練及驗證模塊得到的模型對于數(shù)據(jù)集劃分模塊A.1屬性元素描述屬性元素用于描述食品安全大