2023XX區(qū)大數(shù)據(jù)平臺建設(shè)項目技術(shù)方案

XX區(qū)大數(shù)據(jù)平臺建設(shè)項目技術(shù)方案（一）項目目標(biāo)1、完善升級現(xiàn)有平臺功能，納入到大數(shù)據(jù)服務(wù)平臺中，新建相應(yīng)功能，形成完善、統(tǒng)一的平臺支撐服務(wù)能力，能夠與一期大數(shù)據(jù)平臺功能銜接。2、完成第二批部門數(shù)據(jù)目錄梳理，增強(qiáng)數(shù)據(jù)落地能力，并建設(shè)人口、法人等基礎(chǔ)庫，形成基礎(chǔ)、主題領(lǐng)域的數(shù)據(jù)支撐服務(wù)能力。3、數(shù)據(jù)匯聚與治理，對接全區(qū)各委辦局的系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)的匯聚與共享，滿足數(shù)據(jù)共享需求、政務(wù)服務(wù)、領(lǐng)導(dǎo)駕駛艙等數(shù)據(jù)應(yīng)用的需求。4、建設(shè)大數(shù)據(jù)運(yùn)營管理相關(guān)的制度標(biāo)準(zhǔn)，加強(qiáng)大數(shù)據(jù)運(yùn)營的管理能力。5、制定制度規(guī)范。（二）建設(shè)內(nèi)容本項目所建設(shè)內(nèi)容如下：1、標(biāo)準(zhǔn)規(guī)范設(shè)計按照國家法規(guī)要求履行規(guī)范文件發(fā)布流程，最終以相關(guān)文件經(jīng)專家審議通過為驗(yàn)收標(biāo)準(zhǔn)。要求標(biāo)準(zhǔn)包括一系列共享平臺關(guān)鍵標(biāo)準(zhǔn)，為平臺制定數(shù)據(jù)采集、交換、加工處理、信息共享、信息安全、標(biāo)準(zhǔn)的平臺接口規(guī)范，實(shí)現(xiàn)數(shù)據(jù)脫敏和數(shù)據(jù)保護(hù)的能力。建立大數(shù)據(jù)平能力服務(wù)平臺標(biāo)準(zhǔn)貫徹實(shí)施機(jī)制，編寫規(guī)則滿足統(tǒng)一性、標(biāo)準(zhǔn)間的協(xié)調(diào)性、不同版本的等效性、適用性和計劃性原則。2、物聯(lián)網(wǎng)接入建設(shè)建設(shè)針對物聯(lián)網(wǎng)設(shè)備或物聯(lián)網(wǎng)現(xiàn)有系統(tǒng)，進(jìn)行實(shí)時數(shù)據(jù)與批量數(shù)據(jù)的采集、接入等，匯聚和傳輸?shù)奈锫?lián)網(wǎng)平臺，為大數(shù)據(jù)平臺分析提供數(shù)據(jù)支撐。應(yīng)包括數(shù)據(jù)采集模塊、數(shù)據(jù)源管理模塊、數(shù)據(jù)接入模塊、日志管理模塊等。3、數(shù)據(jù)匯聚支持從XX區(qū)各相關(guān)部門匯聚登記數(shù)據(jù)資源并存儲，并將匯聚后的數(shù)據(jù)目錄在資源目錄管理中完成政務(wù)數(shù)據(jù)資源目錄導(dǎo)入、管理等工作。應(yīng)提供數(shù)據(jù)交換、數(shù)據(jù)抽取、數(shù)據(jù)抓取和數(shù)據(jù)填報等服務(wù)。4、數(shù)據(jù)處理基于大數(shù)據(jù)和可視化技術(shù)，提供面向數(shù)據(jù)開發(fā)、系統(tǒng)運(yùn)維等用戶的具備良好交互特性的平臺工具。應(yīng)包括數(shù)據(jù)加工處理模塊、數(shù)據(jù)質(zhì)量管理模塊等?？蓪?shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的處理，高效完成數(shù)據(jù)抽取、清洗、質(zhì)量稽核等各類數(shù)據(jù)流開發(fā)。5、數(shù)據(jù)管理對數(shù)據(jù)資源進(jìn)行統(tǒng)一管理，負(fù)責(zé)對大數(shù)據(jù)平臺所有接入數(shù)據(jù)進(jìn)行統(tǒng)一治理、安全管控和數(shù)據(jù)服務(wù)工作，同時負(fù)責(zé)統(tǒng)一對資源目錄和其他業(yè)務(wù)系統(tǒng)或數(shù)據(jù)分析需求提供數(shù)據(jù)輸出服務(wù)。6、數(shù)據(jù)庫建設(shè)大數(shù)據(jù)平臺通過匯聚XX市及XX區(qū)各委辦局的業(yè)務(wù)數(shù)據(jù),基于數(shù)據(jù)治理工具，根據(jù)業(yè)務(wù)主題需求建設(shè)各類基礎(chǔ)庫、主題庫和社會數(shù)據(jù)庫。7、數(shù)據(jù)開放形成資源開放服務(wù)體系，基于政務(wù)外網(wǎng)端門戶，為區(qū)各政府部門及社會單位提供可共享數(shù)據(jù)資源的在線查找、定位及下載服務(wù)，包括但不限于統(tǒng)一用戶登錄、工作動態(tài)、政策法規(guī)、下載中心、目錄導(dǎo)航、個人中心等功能。8、人工智能應(yīng)用人工智能技術(shù)，提供豐富的預(yù)置算法庫，提供數(shù)據(jù)建模，模型管理、模型評估、模型應(yīng)用等功能模塊。9、共性支持提供面向各業(yè)務(wù)專題分析的可視化分析工具、基礎(chǔ)模型和數(shù)據(jù)展現(xiàn)封裝工具，區(qū)各政府部門能夠根據(jù)業(yè)務(wù)模型利用分析工具開展數(shù)據(jù)挖掘及分析展現(xiàn)，可支持各部門開展大數(shù)據(jù)分析，支持各部門其他業(yè)務(wù)系統(tǒng)的數(shù)據(jù)接入及分析應(yīng)用。10、運(yùn)維管控運(yùn)維管控作為XX區(qū)大數(shù)據(jù)平臺項目中管理團(tuán)隊與物理資源之間的總通道，是人感知并控制包括存儲、數(shù)據(jù)、業(yè)務(wù)等資源運(yùn)營狀態(tài)的樞紐，通過運(yùn)維管控對接其他各服務(wù)和平臺。11、目錄梳理按照《XX市目錄鏈管理規(guī)則（試行）》（京經(jīng)信函［2019）220號）中關(guān)于政務(wù)數(shù)據(jù)資源目錄的管理要求，調(diào)研全區(qū)各部門（含科室）信息系統(tǒng)建設(shè)情況，梳理部門職責(zé)信息、業(yè)務(wù)名稱、所屬系統(tǒng)名稱、數(shù)據(jù)資源名稱、數(shù)據(jù)項中文名稱、數(shù)據(jù)項共享方式、數(shù)據(jù)項開放屬性等內(nèi)容，完善XX區(qū)“職責(zé)目錄-數(shù)據(jù)目錄-系統(tǒng)目錄”三級目錄體系，支持全區(qū)政務(wù)數(shù)據(jù)資源跨部門、跨層級、跨領(lǐng)域的共享和開放。（三）技術(shù)要求大數(shù)據(jù)服務(wù)平臺可根據(jù)業(yè)界標(biāo)準(zhǔn)滿足用戶體驗(yàn)，同時滿足XX區(qū)現(xiàn)有業(yè)務(wù)運(yùn)行需要和未來新增業(yè)務(wù)的接入需求，系統(tǒng)達(dá)到以下技術(shù)指標(biāo)：1、數(shù)據(jù)交換及處理端到端數(shù)據(jù)交換能力：系統(tǒng)支持?jǐn)?shù)據(jù)庫、文件和消息等多種交換方式，并具有良好的負(fù)載均衡能力，交換傳輸速率應(yīng)至少達(dá)到1500xlkmsg/sec,文件傳輸速率應(yīng)至少達(dá)到2M/sec,支持負(fù)載均衡、HA高可靠性、持久連接和客戶端存儲機(jī)制；系統(tǒng)響應(yīng)速度：節(jié)點(diǎn)之間支持HTTP/TCP/SSL安全傳輸協(xié)議，采用可靠事件傳輸機(jī)制保證數(shù)據(jù)傳輸質(zhì)量和效率，在網(wǎng)絡(luò)速度為100Mbps的情況下，傳輸1KB大小的數(shù)據(jù)，業(yè)務(wù)系統(tǒng)之間端到端每秒至少達(dá)到1000個（lKB*1000msg/sec）,保證業(yè)務(wù)系統(tǒng)的效率和可用性；目錄檢索操作響應(yīng)時間應(yīng)少于0.1秒。2、物聯(lián)網(wǎng)平臺響應(yīng)速度實(shí)時接收設(shè)備信息，延時〈二1分鐘；對接入后的每條記錄處理到轉(zhuǎn)發(fā)時長〈二3分鐘；實(shí)時性應(yīng)滿足及時轉(zhuǎn)發(fā)，延時不大于3分鐘；具備并發(fā)能力，每秒接入的記錄在2000條，計算框架應(yīng)有能力每秒處理數(shù)據(jù)在3000條的能力，以保證消息不積壓。3、數(shù)據(jù)管理的性能元數(shù)據(jù)分析響應(yīng)時間不大于5秒；批量數(shù)據(jù)元導(dǎo)入時間不大于10秒；數(shù)據(jù)模型加載時長不大于5秒。4、數(shù)據(jù)治理：數(shù)據(jù)清洗、轉(zhuǎn)換率峰值滿足5000條/秒，且并發(fā)任務(wù)數(shù)不小于100；數(shù)據(jù)質(zhì)量巡檢效率峰值滿足5000條/秒，且并發(fā)任務(wù)數(shù)不小于100；5、數(shù)據(jù)共享開放查詢查詢基礎(chǔ)數(shù)據(jù)（精確匹配）的響應(yīng)時間不大于3秒；查詢單個數(shù)據(jù)主題（百萬級）的響應(yīng)時間不大于3秒;目錄檢索的響應(yīng)時間不大于2秒；查詢統(tǒng)計報表（非實(shí)時統(tǒng)計）的響應(yīng)時間不大于3秒;支持第三方業(yè)務(wù)系統(tǒng)同時訪問數(shù)據(jù)服務(wù)接口的要求，接口響應(yīng)時間W3秒。（四）等保安全建設(shè)根據(jù)大數(shù)據(jù)平臺的業(yè)務(wù)特點(diǎn)和需要，構(gòu)建合理、先進(jìn)、可靠、綜合、統(tǒng)一的安全保障體系，包括平臺安全及數(shù)據(jù)安全，確保大數(shù)據(jù)平臺全生命周期數(shù)據(jù)信息安全及業(yè)務(wù)系統(tǒng)的正常運(yùn)行。系統(tǒng)達(dá)到國家信息安全等級保護(hù)三級的相關(guān)要求。（五）集成服務(wù)要求從數(shù)據(jù)集成、數(shù)據(jù)支撐和數(shù)據(jù)訪問三方面設(shè)計平臺的總體架構(gòu)。要求包含但不限于基礎(chǔ)設(shè)施、存儲計算、數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)資源、數(shù)據(jù)服務(wù)支撐、應(yīng)用服務(wù)，以及安全保障、標(biāo)準(zhǔn)規(guī)范、運(yùn)維安全保障體系三部分內(nèi)容，詳細(xì)描述設(shè)計各部分內(nèi)容具體功能及架構(gòu)分布。要求大數(shù)據(jù)服務(wù)平臺部署在XX區(qū)政務(wù)云環(huán)境中，可直接與現(xiàn)有的業(yè)務(wù)系統(tǒng)平臺聯(lián)通。云平臺統(tǒng)一提供主機(jī)、存儲、網(wǎng)絡(luò)