2023XX區(qū)大數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目技術(shù)方案

XX區(qū)大數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目技術(shù)方案（一）項(xiàng)目目標(biāo)1、完善升級(jí)現(xiàn)有平臺(tái)功能，納入到大數(shù)據(jù)服務(wù)平臺(tái)中，新建相應(yīng)功能，形成完善、統(tǒng)一的平臺(tái)支撐服務(wù)能力，能夠與一期大數(shù)據(jù)平臺(tái)功能銜接。2、完成第二批部門(mén)數(shù)據(jù)目錄梳理，增強(qiáng)數(shù)據(jù)落地能力，并建設(shè)人口、法人等基礎(chǔ)庫(kù)，形成基礎(chǔ)、主題領(lǐng)域的數(shù)據(jù)支撐服務(wù)能力。3、數(shù)據(jù)匯聚與治理，對(duì)接全區(qū)各委辦局的系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)的匯聚與共享，滿(mǎn)足數(shù)據(jù)共享需求、政務(wù)服務(wù)、領(lǐng)導(dǎo)駕駛艙等數(shù)據(jù)應(yīng)用的需求。4、建設(shè)大數(shù)據(jù)運(yùn)營(yíng)管理相關(guān)的制度標(biāo)準(zhǔn)，加強(qiáng)大數(shù)據(jù)運(yùn)營(yíng)的管理能力。5、制定制度規(guī)范。（二）建設(shè)內(nèi)容本項(xiàng)目所建設(shè)內(nèi)容如下：1、標(biāo)準(zhǔn)規(guī)范設(shè)計(jì)按照國(guó)家法規(guī)要求履行規(guī)范文件發(fā)布流程，最終以相關(guān)文件經(jīng)專(zhuān)家審議通過(guò)為驗(yàn)收標(biāo)準(zhǔn)。要求標(biāo)準(zhǔn)包括一系列共享平臺(tái)關(guān)鍵標(biāo)準(zhǔn)，為平臺(tái)制定數(shù)據(jù)采集、交換、加工處理、信息共享、信息安全、標(biāo)準(zhǔn)的平臺(tái)接口規(guī)范，實(shí)現(xiàn)數(shù)據(jù)脫敏和數(shù)據(jù)保護(hù)的能力。建立大數(shù)據(jù)平能力服務(wù)平臺(tái)標(biāo)準(zhǔn)貫徹實(shí)施機(jī)制，編寫(xiě)規(guī)則滿(mǎn)足統(tǒng)一性、標(biāo)準(zhǔn)間的協(xié)調(diào)性、不同版本的等效性、適用性和計(jì)劃性原則。2、物聯(lián)網(wǎng)接入建設(shè)建設(shè)針對(duì)物聯(lián)網(wǎng)設(shè)備或物聯(lián)網(wǎng)現(xiàn)有系統(tǒng)，進(jìn)行實(shí)時(shí)數(shù)據(jù)與批量數(shù)據(jù)的采集、接入等，匯聚和傳輸?shù)奈锫?lián)網(wǎng)平臺(tái)，為大數(shù)據(jù)平臺(tái)分析提供數(shù)據(jù)支撐。應(yīng)包括數(shù)據(jù)采集模塊、數(shù)據(jù)源管理模塊、數(shù)據(jù)接入模塊、日志管理模塊等。3、數(shù)據(jù)匯聚支持從XX區(qū)各相關(guān)部門(mén)匯聚登記數(shù)據(jù)資源并存儲(chǔ)，并將匯聚后的數(shù)據(jù)目錄在資源目錄管理中完成政務(wù)數(shù)據(jù)資源目錄導(dǎo)入、管理等工作。應(yīng)提供數(shù)據(jù)交換、數(shù)據(jù)抽取、數(shù)據(jù)抓取和數(shù)據(jù)填報(bào)等服務(wù)。4、數(shù)據(jù)處理基于大數(shù)據(jù)和可視化技術(shù)，提供面向數(shù)據(jù)開(kāi)發(fā)、系統(tǒng)運(yùn)維等用戶(hù)的具備良好交互特性的平臺(tái)工具。應(yīng)包括數(shù)據(jù)加工處理模塊、數(shù)據(jù)質(zhì)量管理模塊等?？蓪?shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的處理，高效完成數(shù)據(jù)抽取、清洗、質(zhì)量稽核等各類(lèi)數(shù)據(jù)流開(kāi)發(fā)。5、數(shù)據(jù)管理對(duì)數(shù)據(jù)資源進(jìn)行統(tǒng)一管理，負(fù)責(zé)對(duì)大數(shù)據(jù)平臺(tái)所有接入數(shù)據(jù)進(jìn)行統(tǒng)一治理、安全管控和數(shù)據(jù)服務(wù)工作，同時(shí)負(fù)責(zé)統(tǒng)一對(duì)資源目錄和其他業(yè)務(wù)系統(tǒng)或數(shù)據(jù)分析需求提供數(shù)據(jù)輸出服務(wù)。6、數(shù)據(jù)庫(kù)建設(shè)大數(shù)據(jù)平臺(tái)通過(guò)匯聚XX市及XX區(qū)各委辦局的業(yè)務(wù)數(shù)據(jù),基于數(shù)據(jù)治理工具，根據(jù)業(yè)務(wù)主題需求建設(shè)各類(lèi)基礎(chǔ)庫(kù)、主題庫(kù)和社會(huì)數(shù)據(jù)庫(kù)。7、數(shù)據(jù)開(kāi)放形成資源開(kāi)放服務(wù)體系，基于政務(wù)外網(wǎng)端門(mén)戶(hù)，為區(qū)各政府部門(mén)及社會(huì)單位提供可共享數(shù)據(jù)資源的在線(xiàn)查找、定位及下載服務(wù)，包括但不限于統(tǒng)一用戶(hù)登錄、工作動(dòng)態(tài)、政策法規(guī)、下載中心、目錄導(dǎo)航、個(gè)人中心等功能。8、人工智能應(yīng)用人工智能技術(shù)，提供豐富的預(yù)置算法庫(kù)，提供數(shù)據(jù)建模，模型管理、模型評(píng)估、模型應(yīng)用等功能模塊。9、共性支持提供面向各業(yè)務(wù)專(zhuān)題分析的可視化分析工具、基礎(chǔ)模型和數(shù)據(jù)展現(xiàn)封裝工具，區(qū)各政府部門(mén)能夠根據(jù)業(yè)務(wù)模型利用分析工具開(kāi)展數(shù)據(jù)挖掘及分析展現(xiàn)，可支持各部門(mén)開(kāi)展大數(shù)據(jù)分析，支持各部門(mén)其他業(yè)務(wù)系統(tǒng)的數(shù)據(jù)接入及分析應(yīng)用。10、運(yùn)維管控運(yùn)維管控作為XX區(qū)大數(shù)據(jù)平臺(tái)項(xiàng)目中管理團(tuán)隊(duì)與物理資源之間的總通道，是人感知并控制包括存儲(chǔ)、數(shù)據(jù)、業(yè)務(wù)等資源運(yùn)營(yíng)狀態(tài)的樞紐，通過(guò)運(yùn)維管控對(duì)接其他各服務(wù)和平臺(tái)。11、目錄梳理按照《XX市目錄鏈管理規(guī)則（試行）》（京經(jīng)信函［2019）220號(hào)）中關(guān)于政務(wù)數(shù)據(jù)資源目錄的管理要求，調(diào)研全區(qū)各部門(mén)（含科室）信息系統(tǒng)建設(shè)情況，梳理部門(mén)職責(zé)信息、業(yè)務(wù)名稱(chēng)、所屬系統(tǒng)名稱(chēng)、數(shù)據(jù)資源名稱(chēng)、數(shù)據(jù)項(xiàng)中文名稱(chēng)、數(shù)據(jù)項(xiàng)共享方式、數(shù)據(jù)項(xiàng)開(kāi)放屬性等內(nèi)容，完善XX區(qū)“職責(zé)目錄-數(shù)據(jù)目錄-系統(tǒng)目錄”三級(jí)目錄體系，支持全區(qū)政務(wù)數(shù)據(jù)資源跨部門(mén)、跨層級(jí)、跨領(lǐng)域的共享和開(kāi)放。（三）技術(shù)要求大數(shù)據(jù)服務(wù)平臺(tái)可根據(jù)業(yè)界標(biāo)準(zhǔn)滿(mǎn)足用戶(hù)體驗(yàn)，同時(shí)滿(mǎn)足XX區(qū)現(xiàn)有業(yè)務(wù)運(yùn)行需要和未來(lái)新增業(yè)務(wù)的接入需求，系統(tǒng)達(dá)到以下技術(shù)指標(biāo)：1、數(shù)據(jù)交換及處理端到端數(shù)據(jù)交換能力：系統(tǒng)支持?jǐn)?shù)據(jù)庫(kù)、文件和消息等多種交換方式，并具有良好的負(fù)載均衡能力，交換傳輸速率應(yīng)至少達(dá)到1500xlkmsg/sec,文件傳輸速率應(yīng)至少達(dá)到2M/sec,支持負(fù)載均衡、HA高可靠性、持久連接和客戶(hù)端存儲(chǔ)機(jī)制；系統(tǒng)響應(yīng)速度：節(jié)點(diǎn)之間支持HTTP/TCP/SSL安全傳輸協(xié)議，采用可靠事件傳輸機(jī)制保證數(shù)據(jù)傳輸質(zhì)量和效率，在網(wǎng)絡(luò)速度為100Mbps的情況下，傳輸1KB大小的數(shù)據(jù)，業(yè)務(wù)系統(tǒng)之間端到端每秒至少達(dá)到1000個(gè)（lKB*1000msg/sec）,保證業(yè)務(wù)系統(tǒng)的效率和可用性；目錄檢索操作響應(yīng)時(shí)間應(yīng)少于0.1秒。2、物聯(lián)網(wǎng)平臺(tái)響應(yīng)速度實(shí)時(shí)接收設(shè)備信息，延時(shí)〈二1分鐘；對(duì)接入后的每條記錄處理到轉(zhuǎn)發(fā)時(shí)長(zhǎng)〈二3分鐘；實(shí)時(shí)性應(yīng)滿(mǎn)足及時(shí)轉(zhuǎn)發(fā)，延時(shí)不大于3分鐘；具備并發(fā)能力，每秒接入的記錄在2000條，計(jì)算框架應(yīng)有能力每秒處理數(shù)據(jù)在3000條的能力，以保證消息不積壓。3、數(shù)據(jù)管理的性能元數(shù)據(jù)分析響應(yīng)時(shí)間不大于5秒；批量數(shù)據(jù)元導(dǎo)入時(shí)間不大于10秒；數(shù)據(jù)模型加載時(shí)長(zhǎng)不大于5秒。4、數(shù)據(jù)治理：數(shù)據(jù)清洗、轉(zhuǎn)換率峰值滿(mǎn)足5000條/秒，且并發(fā)任務(wù)數(shù)不小于100；數(shù)據(jù)質(zhì)量巡檢效率峰值滿(mǎn)足5000條/秒，且并發(fā)任務(wù)數(shù)不小于100；5、數(shù)據(jù)共享開(kāi)放查詢(xún)查詢(xún)基礎(chǔ)數(shù)據(jù)（精確匹配）的響應(yīng)時(shí)間不大于3秒；查詢(xún)單個(gè)數(shù)據(jù)主題（百萬(wàn)級(jí)）的響應(yīng)時(shí)間不大于3秒;目錄檢索的響應(yīng)時(shí)間不大于2秒；查詢(xún)統(tǒng)計(jì)報(bào)表（非實(shí)時(shí)統(tǒng)計(jì)）的響應(yīng)時(shí)間不大于3秒;支持第三方業(yè)務(wù)系統(tǒng)同時(shí)訪(fǎng)問(wèn)數(shù)據(jù)服務(wù)接口的要求，接口響應(yīng)時(shí)間W3秒。（四）等保安全建設(shè)根據(jù)大數(shù)據(jù)平臺(tái)的業(yè)務(wù)特點(diǎn)和需要，構(gòu)建合理、先進(jìn)、可靠、綜合、統(tǒng)一的安全保障體系，包括平臺(tái)安全及數(shù)據(jù)安全，確保大數(shù)據(jù)平臺(tái)全生命周期數(shù)據(jù)信息安全及業(yè)務(wù)系統(tǒng)的正常運(yùn)行。系統(tǒng)達(dá)到國(guó)家信息安全等級(jí)保護(hù)三級(jí)的相關(guān)要求。（五）集成服務(wù)要求從數(shù)據(jù)集成、數(shù)據(jù)支撐和數(shù)據(jù)訪(fǎng)問(wèn)三方面設(shè)計(jì)平臺(tái)的總體架構(gòu)。要求包含但不限于基礎(chǔ)設(shè)施、存儲(chǔ)計(jì)算、數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)資源、數(shù)據(jù)服務(wù)支撐、應(yīng)用服務(wù)，以及安全保障、標(biāo)準(zhǔn)規(guī)范、運(yùn)維安全保障體系三部分內(nèi)容，詳細(xì)描述設(shè)計(jì)各部分內(nèi)容具體功能及架構(gòu)分布。要求大數(shù)據(jù)服務(wù)平臺(tái)部署在XX區(qū)政務(wù)云環(huán)境中，可直接與現(xiàn)有的業(yè)務(wù)系統(tǒng)平臺(tái)聯(lián)通。云平臺(tái)統(tǒng)一提供主機(jī)、存儲(chǔ)、網(wǎng)絡(luò)