大數(shù)據(jù)平臺建設(shè)項目可行性方案

大數(shù)據(jù)平臺建設(shè)項目可行性方案大數(shù)據(jù)平臺建設(shè)方案第一章項目概況8 8 9 9 11 12 12 13 16 17 19 20 21 22 28 28 28 29 29 29 30 31 33 35 36 36 36 38 39 41 41 43 45 46 46 47 56 58 61 65 73 73 79 81 85 90 93 98 105 109 116 116 122 140 141 150 156 158 164 166 172 174 200 200 201 202 203 204 205 206 209 220 228 237 238 248 248 250 251 253 253 254 255 256 257 258 大數(shù)據(jù)平臺建設(shè)方案1.3項目建設(shè)依據(jù)大數(shù)據(jù)平臺建設(shè)方案1.4項目建設(shè)內(nèi)容和目標(biāo)1.4.1建設(shè)內(nèi)容對于本次公共大數(shù)據(jù)資源平臺的建設(shè)，將按照“總續(xù)依托基礎(chǔ)平臺的建設(shè)成果，逐步完善豐富公共本次公共大數(shù)據(jù)資源平臺建設(shè)項目將圍繞和遵循Y區(qū)智慧城市建設(shè)總體統(tǒng)籌規(guī)劃思想的指導(dǎo)下，按照H市大數(shù)據(jù)中心對市區(qū)兩級大數(shù)據(jù)資源平臺建設(shè)統(tǒng)一標(biāo)準(zhǔn)規(guī)范的要求下，以實際需求為導(dǎo)向，搭建Y區(qū)大數(shù)據(jù)資源平臺，加快推按需實現(xiàn)共享交換，逐步構(gòu)建形成Y區(qū)公共數(shù)據(jù)匯聚、整合、共享、應(yīng)用、展示、評價為“六位一體”的大數(shù)據(jù)資源體系，并通過構(gòu)建Y區(qū)數(shù)據(jù)基礎(chǔ)庫、專題庫和主題庫為核心的數(shù)據(jù)資產(chǎn)，充分挖掘與發(fā)揮數(shù)據(jù)應(yīng)用價值，構(gòu)建數(shù)據(jù)集成、數(shù)據(jù)共享、數(shù)據(jù)管理、數(shù)據(jù)決策的綜合管理服務(wù)體系，確保大數(shù)據(jù)平臺全面支撐Y區(qū)公共數(shù)據(jù)協(xié)同服務(wù)、城區(qū)管理協(xié)同服務(wù)、惠民數(shù)據(jù)協(xié)同服務(wù)和興業(yè)數(shù)據(jù)協(xié)同服務(wù)，實現(xiàn)全區(qū)的業(yè)務(wù)數(shù)據(jù)閉環(huán)，為全區(qū)經(jīng)濟(jì)建設(shè)、規(guī)劃布局，城市1）聚：推進(jìn)與市級人口、法人、空間地理庫的數(shù)據(jù)集成，促進(jìn)對接利用；逐步推進(jìn)視頻數(shù)據(jù)、物聯(lián)數(shù)據(jù)以及基層業(yè)務(wù)數(shù)據(jù)等采集匯聚；逐步2）管：構(gòu)建一站式數(shù)據(jù)資產(chǎn)管理平臺，通過與市級數(shù)據(jù)平臺級聯(lián)實現(xiàn)區(qū)內(nèi)上報數(shù)據(jù)的落地，結(jié)合區(qū)內(nèi)情況進(jìn)行本地數(shù)據(jù)資產(chǎn)目錄的管理，形成對數(shù)據(jù)的3）通：實現(xiàn)基于應(yīng)用場景的數(shù)據(jù)資源授權(quán)管理機(jī)制，推動公共數(shù)據(jù)按需充4）用：開展主題數(shù)據(jù)庫建設(shè)，推動數(shù)據(jù)資源整合及數(shù)據(jù)分析應(yīng)用。開展數(shù)據(jù)應(yīng)用模型及算法研究，探索數(shù)據(jù)服務(wù)模式創(chuàng)新；推進(jìn)區(qū)級跨部門數(shù)據(jù)智能應(yīng)大數(shù)據(jù)平臺建設(shè)方案5）安：打造整體安全管控體系，保證平臺上政務(wù)數(shù)據(jù)在數(shù)據(jù)匯聚、數(shù)據(jù)管1.4.2建設(shè)目標(biāo)管理平臺并實現(xiàn)基礎(chǔ)功能架構(gòu)，出臺相關(guān)管理辦法，支據(jù)共享需求；建立大數(shù)據(jù)資源中心，完成標(biāo)準(zhǔn)化數(shù)據(jù)倉及融合數(shù)據(jù)庫，為全區(qū)的政務(wù)處理、經(jīng)濟(jì)發(fā)展、社會民l建設(shè)統(tǒng)一的大數(shù)據(jù)資源管理與應(yīng)用平臺：建設(shè)包含數(shù)據(jù)支撐底座、數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)治理子系統(tǒng)、數(shù)據(jù)資源中心、數(shù)據(jù)共享子系統(tǒng)、統(tǒng)一運維子系統(tǒng)、數(shù)據(jù)安全管理子系統(tǒng)以及門戶子系統(tǒng)為核心功能的l啟動Y區(qū)大數(shù)據(jù)資源中心建設(shè)：完成標(biāo)準(zhǔn)化數(shù)據(jù)倉庫的設(shè)計與規(guī)劃建設(shè)，并完成與區(qū)各委辦業(yè)務(wù)與管理系統(tǒng)，匯聚各類業(yè)務(wù)數(shù)據(jù)，構(gòu)建Yl在Y區(qū)資源中心數(shù)據(jù)湖基礎(chǔ)上，建設(shè)基礎(chǔ)數(shù)據(jù)庫，包括人口綜合庫、法人綜合庫、電子證照庫以及地理空間庫，為全區(qū)各政務(wù)部門提供人l在Y區(qū)資源中心數(shù)據(jù)湖以及基礎(chǔ)庫的基礎(chǔ)上，持續(xù)深入大數(shù)據(jù)資源的l建立統(tǒng)一的ZF數(shù)據(jù)信息資源目錄，建立動態(tài)更新機(jī)制，明確全區(qū)各部門可向其他ZF機(jī)構(gòu)共享的公共數(shù)據(jù)，建立全區(qū)統(tǒng)一的數(shù)據(jù)交換共享平臺及數(shù)據(jù)中心，對上對下實現(xiàn)垂直共享，橫向打通各部門間的數(shù)據(jù)交1.5項目投資估算及建設(shè)周期本項目共投資XXX萬，計劃2022年10月底前完成公共大數(shù)據(jù)資源平臺的1.5.1項目投資估算項目投資金額共XXX萬元人民幣，資金來源主要為區(qū)財政投入，全部申請1.5.2服務(wù)周期要求10個月內(nèi)完成所有整體平臺的需求調(diào)研及建設(shè)實施工作，保障2022大數(shù)據(jù)平臺建設(shè)方案2.1項目單位概況2.1.1單位職責(zé)、內(nèi)設(shè)及下屬機(jī)構(gòu)、人員編制和業(yè)務(wù)情況2.1.2擬建項目與項目單位職責(zé)、業(yè)務(wù)的關(guān)系2.2信息化現(xiàn)狀Y區(qū)大數(shù)據(jù)中心在前期政務(wù)云相關(guān)各項目建設(shè)過程中，已基本完成全區(qū)政務(wù)外網(wǎng)系統(tǒng)的100%遷移上云，各上云單位的業(yè)務(wù)系統(tǒng)數(shù)據(jù)已根據(jù)各自條線管理上級單位要求進(jìn)行上報，區(qū)級層面的三清單和數(shù)據(jù)資源目錄梳理工作并未持續(xù)穩(wěn)定的開展。根據(jù)市級大數(shù)據(jù)中心的建設(shè)規(guī)劃及近年下發(fā)的各類政策文件要求，已逐步提出對區(qū)級數(shù)據(jù)管理部門的工作考核任務(wù)要求，其中提出市區(qū)級聯(lián)的推進(jìn)、數(shù)據(jù)治理和數(shù)據(jù)共享的執(zhí)行情況，但未建設(shè)配套體系的數(shù)據(jù)資目前Y區(qū)在政務(wù)云運營項目中，采購配置有一套數(shù)據(jù)總線工具，實現(xiàn)基本區(qū)溯源、數(shù)據(jù)集管理、數(shù)據(jù)運營管理等均未進(jìn)行相應(yīng)的功能或工作執(zhí)行，從而導(dǎo)致2.2.1本單位或本領(lǐng)域信息化建設(shè)的整體框架規(guī)劃或設(shè)想對于Y區(qū)大數(shù)據(jù)中心具有整體信息化指導(dǎo)意義的主要為市大數(shù)據(jù)中心的建設(shè)規(guī)劃，而目前市大數(shù)據(jù)中心已有關(guān)于政務(wù)云和市政務(wù)信息系統(tǒng)總體架構(gòu)在市電子政務(wù)云，市數(shù)據(jù)資源平臺和市公共賦能平大數(shù)據(jù)平臺建設(shè)方案為全市信息系統(tǒng)建設(shè)框架的基礎(chǔ)支撐平臺，支撐全市政務(wù)信息系統(tǒng)的數(shù)據(jù)資源的2.2.2現(xiàn)有應(yīng)用系統(tǒng)的情況流程審批、任務(wù)管理、數(shù)據(jù)表管理、數(shù)據(jù)源管理、監(jiān)控告警、租戶管理、安全組管理、離線任務(wù)等功能。所管理的數(shù)據(jù)為市級人口庫和法人庫相關(guān)數(shù)據(jù)，對于橫向的區(qū)級委辦單位的數(shù)據(jù)采集未進(jìn)行建設(shè)，對于其他市級所匯聚的業(yè)務(wù)條線側(cè)數(shù)2.2.3擬建項目與已有系統(tǒng)的關(guān)系根據(jù)現(xiàn)有應(yīng)用系統(tǒng)情況的分析，本次擬建的公共大數(shù)據(jù)資源平臺項目主要著重于區(qū)級公共數(shù)據(jù)的相關(guān)采集、治理、共享功能，與現(xiàn)有政務(wù)云運營服務(wù)項目中的數(shù)據(jù)總線建設(shè)相關(guān)。政務(wù)云運營服務(wù)項目主要為政務(wù)云的配套建設(shè)，是對基礎(chǔ)設(shè)施層的資源分配和使用提供支撐服務(wù)，而本次平臺主要圍繞數(shù)據(jù)層，即為利用基礎(chǔ)設(shè)施層的資源基礎(chǔ)，搭建數(shù)據(jù)層的平臺建設(shè)，故已有項目是本次項目建設(shè)的其中數(shù)據(jù)總線包括資源管理、API市場、流程審批、任務(wù)管理、數(shù)據(jù)表管理、數(shù)據(jù)源管理、監(jiān)控告警、租戶管理、安全組管理、離線任務(wù)等功能，通過數(shù)據(jù)產(chǎn)品實現(xiàn)建設(shè)，目前所管理的數(shù)據(jù)僅為市級人口庫和法人庫相關(guān)數(shù)據(jù)，對于橫向的大數(shù)據(jù)平臺建設(shè)方案區(qū)級委辦單位的數(shù)據(jù)采集未進(jìn)行建設(shè)，對于其他市級所匯聚的業(yè)務(wù)條線側(cè)數(shù)據(jù)，本次擬建項目在Y區(qū)政務(wù)云上申請資源，在數(shù)據(jù)總線系統(tǒng)基礎(chǔ)上進(jìn)行重建，現(xiàn)在的系統(tǒng)基本可以滿足擴(kuò)建需要，目前業(yè)務(wù)流程處于線下運轉(zhuǎn)，上線新數(shù)據(jù)資源平臺后把該有的流程正規(guī)化。數(shù)據(jù)總線系統(tǒng)是基礎(chǔ)設(shè)施層的資源基礎(chǔ)，對于橫向的區(qū)級委辦單位的數(shù)據(jù)采集未進(jìn)行建設(shè)，對于其他市級所匯聚的業(yè)務(wù)條線側(cè)數(shù)據(jù)，也未有相關(guān)落地工作。本次的公共大數(shù)據(jù)資源平臺以數(shù)據(jù)平臺工具的角度出發(fā)進(jìn)行區(qū)級公共數(shù)據(jù)的建設(shè)工作。實現(xiàn)數(shù)據(jù)資源管理、數(shù)據(jù)資源申請、市數(shù)據(jù)資源申請、區(qū)資源申請、目錄管理、數(shù)據(jù)歸集、三清單管理、基礎(chǔ)信息維護(hù)、指標(biāo)2.2.4現(xiàn)有網(wǎng)絡(luò)、設(shè)備以及其它信息資源情況根據(jù)調(diào)研情況了解，Y區(qū)大數(shù)據(jù)中心目前主要建有區(qū)級政務(wù)云，政務(wù)云有一個大數(shù)據(jù)平臺建設(shè)方案大數(shù)據(jù)平臺建設(shè)方案3.1項目建設(shè)的背景在公共數(shù)據(jù)管理和互聯(lián)網(wǎng)政務(wù)服務(wù)方面采取了一系列改革舉措，積累了一定的實踐經(jīng)驗，同時也面臨一些困難和問題。根據(jù)《H市公共數(shù)據(jù)和一網(wǎng)通辦管理辦法》要求，需要進(jìn)一步促進(jìn)公共數(shù)據(jù)資源整合和利用，推進(jìn)政務(wù)服務(wù)“一網(wǎng)通辦”等加快推進(jìn)數(shù)據(jù)治理促進(jìn)公共數(shù)據(jù)應(yīng)用實施方案》要求，2020年要全面建成貫穿數(shù)據(jù)全生命周期的大數(shù)據(jù)資源平臺，基本形成覆蓋全市地域、全行業(yè)領(lǐng)域的城市大數(shù)據(jù)樞紐，基本形成標(biāo)準(zhǔn)規(guī)范、開放競爭的H市為建設(shè)卓越全球城市，實現(xiàn)ZF治理能力現(xiàn)代化目標(biāo)，由市大數(shù)據(jù)中心牽頭，在公共數(shù)據(jù)管理和互聯(lián)網(wǎng)政務(wù)服務(wù)方面采取了一系列的實踐工作。包括建立統(tǒng)一的公共數(shù)據(jù)平臺，全面實現(xiàn)H市政務(wù)“一網(wǎng)通辦”，深入推進(jìn)“放管服”改革，持續(xù)優(yōu)化營商環(huán)境，切實提升群眾和企業(yè)獲得感的重要舉措。同時市委市ZF體協(xié)同、高效運行、精準(zhǔn)服務(wù)、科學(xué)管理的智慧ZF基本框架。根據(jù)《H市公共數(shù)據(jù)和一網(wǎng)通辦管理辦法》要求，前期已在“一網(wǎng)通辦”的政務(wù)服務(wù)領(lǐng)域進(jìn)行了信息化項目建設(shè)，在提升了ZF治理能力和公共服務(wù)水平的同時，也產(chǎn)生了匯聚全市針對全市公共數(shù)據(jù)的管理方式和管理要求，市里已下發(fā)多份文件，明確將該項管理工作作為考核要求提出，并將實際工作下發(fā)給各區(qū)要求配合完成。Y區(qū)大數(shù)據(jù)中心作為區(qū)級的數(shù)據(jù)管理部門，承擔(dān)著政策本地化落實、政務(wù)數(shù)據(jù)交換、信息化建設(shè)運維以及其他數(shù)據(jù)相關(guān)的工作職責(zé)，中心獨立掛牌意味著需進(jìn)一步根據(jù)市級要求及區(qū)里信息化發(fā)展方向，完成以政務(wù)數(shù)據(jù)交換共享為核心的實踐，成為全區(qū)政務(wù)數(shù)據(jù)的“樞紐中轉(zhuǎn)分中心”，為“一網(wǎng)通辦、一網(wǎng)統(tǒng)管”兩網(wǎng)建設(shè)提供有力支撐，從而輔助市級平臺支撐各城市管理大數(shù)據(jù)平臺建設(shè)方案3.2項目建設(shè)的依據(jù)3.2.1《H市公共數(shù)據(jù)和一網(wǎng)通辦管理辦法》第八條（發(fā)展規(guī)劃）區(qū)主管部門應(yīng)當(dāng)根據(jù)市級發(fā)展規(guī)劃，制定本區(qū)公共數(shù)據(jù)第十條（基礎(chǔ)設(shè)施）區(qū)主管部門負(fù)責(zé)本區(qū)電子政務(wù)外網(wǎng)、電子政務(wù)云、公共第十三條（大數(shù)據(jù)資源平臺建設(shè)要求）區(qū)公共大數(shù)據(jù)資源平臺應(yīng)當(dāng)與市大數(shù)第十七條（資源目錄）區(qū)主管部門可以根據(jù)實際需要，對本區(qū)內(nèi)未納入全市第二十二條（數(shù)據(jù)校核確認(rèn)）市級責(zé)任部門應(yīng)當(dāng)直接匯聚本系統(tǒng)公共數(shù)據(jù)；涉及區(qū)公共服務(wù)和管理機(jī)構(gòu)采集的公共數(shù)據(jù)，且無法實現(xiàn)直接匯聚的，由區(qū)主管第二十三條（數(shù)據(jù)整合）區(qū)主管部門應(yīng)當(dāng)依托公共大數(shù)據(jù)資源平臺，承接市第二十五條（共享交換方式）市大數(shù)據(jù)中心應(yīng)當(dāng)依托市大數(shù)據(jù)資源平臺，建設(shè)統(tǒng)一的共享交換子平臺，通過市、區(qū)兩級部署，實現(xiàn)公共管理和服務(wù)機(jī)構(gòu)之間第四十條（主管部門安全管理職責(zé)）市ZF辦公廳和區(qū)主管部門應(yīng)當(dāng)編制本制定并督促落實公共數(shù)據(jù)和電子政務(wù)安全管理制度，協(xié)調(diào)處理重大公共數(shù)據(jù)和電3.2.2《H市加快推進(jìn)數(shù)據(jù)治理促進(jìn)公共數(shù)據(jù)應(yīng)用實施方案》大數(shù)據(jù)平臺建設(shè)方案按照“應(yīng)編盡編”的原則，編制全量公共數(shù)據(jù)資源目錄，確定公共數(shù)據(jù)資源目錄配合任務(wù)：1）全面梳理公共數(shù)據(jù)共享需求，明確公共數(shù)據(jù)共享責(zé)任，編制“三清單”。2）根據(jù)事中事后綜合監(jiān)管應(yīng)用需要，梳理公共數(shù)據(jù)共享需求，編制形成2019年事中事后綜合監(jiān)管數(shù)據(jù)的需求清單和責(zé)任清單。3）根據(jù)城市精細(xì)化管理應(yīng)用需要，梳理公共數(shù)據(jù)共享需求，編制形成2019年城市精細(xì)化管理數(shù)據(jù)的編制形成2019年社區(qū)治理智能化數(shù)據(jù)的需求清單和責(zé)任清單。5）根據(jù)公共安全管理應(yīng)用需要，梳理公共數(shù)據(jù)共享需求，編制形成2019年公共安全管理數(shù)據(jù)的需求清單和責(zé)任清單。6）在各部門報送的公共數(shù)據(jù)資源目錄基礎(chǔ)上，構(gòu)建全市集中配合任務(wù)：1）制訂《H市政務(wù)信息系統(tǒng)整合實施方案》，明確信息系統(tǒng)整合的工作要求，牽頭推進(jìn)歷史遺留項目整合規(guī)范，開展信息化項目清理與合并，調(diào)整優(yōu)化信息化項目資金安排，加強(qiáng)信息化項目資金引導(dǎo)，推進(jìn)一批跨層級“大系配合任務(wù)：1）推進(jìn)市大數(shù)據(jù)資源平臺一期建設(shè)，實現(xiàn)跨部門和全過程數(shù)據(jù)管理，加強(qiáng)數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全管控，實現(xiàn)全市公共數(shù)據(jù)集中統(tǒng)一管理。2）建立公共數(shù)據(jù)質(zhì)量監(jiān)管機(jī)制，對各區(qū)、各部門數(shù)據(jù)數(shù)量、質(zhì)量、歸集、更新等工作進(jìn)行實時監(jiān)測和全面評價。各區(qū)、各部門要建立完善內(nèi)部數(shù)據(jù)質(zhì)量監(jiān)管機(jī)制，及時處配合任務(wù)：1）建設(shè)統(tǒng)一的公共大數(shù)據(jù)資源平臺，形成公共數(shù)據(jù)交換、共享的核心樞紐，提供跨部門、跨層級的公共數(shù)據(jù)交換共享和調(diào)度服務(wù)，并實現(xiàn)與國家大數(shù)據(jù)平臺建設(shè)方案配合任務(wù)：1）依托開放的電子政務(wù)云，通過購買服務(wù)方式，引入一批具有先進(jìn)性、創(chuàng)新性的第三方數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)等服務(wù)機(jī)構(gòu)，采用快速迭代的數(shù)據(jù)應(yīng)牽頭任務(wù)：1）建立由主要領(lǐng)導(dǎo)牽頭、信息化部門負(fù)責(zé)、業(yè)務(wù)部門參與的數(shù)據(jù)治理工作機(jī)制。2）開展各自領(lǐng)域的公共數(shù)據(jù)采集、歸集、整合、共享、開放、應(yīng)用等工作，做好公共數(shù)據(jù)治理相關(guān)工作。3）建立相應(yīng)的考核、督查和評估機(jī)制，配合任務(wù)：1）創(chuàng)新公共數(shù)據(jù)項目管理模式，規(guī)范數(shù)據(jù)管理和數(shù)據(jù)服務(wù)費用標(biāo)準(zhǔn)，推廣組件化、模塊化、快速迭代的應(yīng)用開發(fā)模式，推動信息化項目建設(shè)逐步向購買服務(wù)的模式轉(zhuǎn)變，建立數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全、數(shù)據(jù)應(yīng)用和政務(wù)云服務(wù)的長效運營工作機(jī)制。2）將公共數(shù)據(jù)歸集、整合、質(zhì)量、更新周期和共享應(yīng)用情況作為信息化項目立項審核和績效評價的重要依據(jù)，建立評估結(jié)果與信息化項目審核相銜接的工作機(jī)制。3）開展信息系統(tǒng)整合共享和數(shù)據(jù)治理專項審計。4）建設(shè)統(tǒng)一的安全監(jiān)測監(jiān)管平臺，加強(qiáng)電子政務(wù)外網(wǎng)、電子政務(wù)云、大數(shù)據(jù)資源電子政務(wù)災(zāi)難備份中心等的安全管理，通過購買服務(wù)方式，建立公共數(shù)據(jù)管控體定期組織開展培訓(xùn)、交流，總結(jié)成熟經(jīng)驗，做好公共數(shù)據(jù)治理專項試點成果轉(zhuǎn)化政策中明確要求各區(qū)、各部門應(yīng)梳理各信息系統(tǒng)的實際數(shù)據(jù)資產(chǎn)情況,形成公共數(shù)據(jù)庫表目錄；按照“應(yīng)編盡編”的原則,編制全量公共數(shù)據(jù)資源目錄,確定公共數(shù)據(jù)資源目錄的共享屬性。同時依托電子政務(wù)云實現(xiàn)公共數(shù)據(jù)歸集與整合,推進(jìn)數(shù)據(jù)共享與應(yīng)用。保障措施中要求建立由主要領(lǐng)導(dǎo)牽頭、信息化部門負(fù)責(zé)、業(yè)務(wù)部門參與的數(shù)據(jù)治理工作機(jī)制；開展各自領(lǐng)域的公共數(shù)據(jù)采集、歸集、整合、共享、開放、應(yīng)用等工作,做好公共數(shù)據(jù)治理相關(guān)工作；建立相應(yīng)的考核、督查和評3.2.3《H市公共數(shù)據(jù)質(zhì)量管理暫行辦法（征求意見稿）》發(fā)文中明確了區(qū)級主管部門的職責(zé)是負(fù)責(zé)指導(dǎo)、協(xié)調(diào)、推進(jìn)、監(jiān)督本行政區(qū)域內(nèi)公共數(shù)據(jù)質(zhì)量管理，建立本行政區(qū)內(nèi)公共數(shù)據(jù)質(zhì)量監(jiān)管機(jī)制，建設(shè)區(qū)公共大數(shù)據(jù)資源平臺，落實數(shù)據(jù)質(zhì)量工作。公共管理和服務(wù)機(jī)構(gòu)市本單位數(shù)據(jù)質(zhì)量的直大數(shù)據(jù)平臺建設(shè)方案接負(fù)責(zé)人，負(fù)責(zé)嚴(yán)格執(zhí)行數(shù)據(jù)質(zhì)量的規(guī)章制度，確保數(shù)據(jù)及時性、完整性和準(zhǔn)確三清單一目錄方面，要求區(qū)主管部門應(yīng)當(dāng)編制本區(qū)公共數(shù)據(jù)資源補(bǔ)充目錄。而提出數(shù)據(jù)共享需求的市級責(zé)任部門根據(jù)履職需要提交需求清單，并明確數(shù)據(jù)資數(shù)據(jù)整合方面，區(qū)主管部門應(yīng)當(dāng)依托區(qū)公共大數(shù)據(jù)資源平臺，開展本區(qū)公共數(shù)據(jù)質(zhì)量監(jiān)管方面，市大數(shù)據(jù)中心將定期出具市級責(zé)任部門和區(qū)主管部門的數(shù)據(jù)質(zhì)量報告。報告內(nèi)容包括檢查對象、檢查結(jié)果、問題種類、問題影響范圍及影響程度、歷史問題修復(fù)情況以及檢查時間等。數(shù)據(jù)質(zhì)量檢查規(guī)則隨數(shù)據(jù)質(zhì)量報3.2.4《2020年H市深化“一網(wǎng)通辦”改革工作要點》2020年2月9日H市委辦公廳向全市發(fā)布了《202改革工作要點》的通知，提出了對于2020年關(guān)于“一網(wǎng)通辦”的改革目標(biāo)，包括實行“兩個免于提交”（在開展政務(wù)服務(wù)和電子證照應(yīng)用、數(shù)據(jù)共享核驗、行政協(xié)助等方式，實行“凡是本市ZF部門核發(fā)的材料，原則上一律免于提交使個人辦事更加方便、快速，法人辦事更加高效、可），該文件將指導(dǎo)H市大數(shù)據(jù)中心在本次數(shù)據(jù)運營服務(wù)項目中關(guān)于2020年重點工12號文中要求實現(xiàn)公共數(shù)據(jù)“應(yīng)歸盡歸”，建立完善全市公共數(shù)據(jù)分層采集12號文中要求，深化公共數(shù)據(jù)共享、開放和應(yīng)用中要求各區(qū)配合市大數(shù)據(jù)中心依托大數(shù)據(jù)資源平臺，深化“一網(wǎng)通辦”主題數(shù)據(jù)庫建設(shè)，推進(jìn)主題數(shù)據(jù)整合和分析應(yīng)用，支撐國家相關(guān)數(shù)據(jù)報送。在深化電子證照歸集與應(yīng)用中拓展長三角3.2.5《關(guān)于加強(qiáng)數(shù)據(jù)治理促進(jìn)城市運行“一網(wǎng)統(tǒng)管”的指依托市、區(qū)兩級大數(shù)據(jù)資源平臺，實現(xiàn)城市運行“一網(wǎng)統(tǒng)管”業(yè)務(wù)數(shù)據(jù)、視頻數(shù)據(jù)、物聯(lián)數(shù)據(jù)、地圖數(shù)據(jù)集中統(tǒng)一管理，建立完善相關(guān)安全體系和標(biāo)準(zhǔn)體系，形形成“兩級統(tǒng)籌、三級開發(fā)、五級應(yīng)用”的城市運行“一網(wǎng)統(tǒng)管”總體架構(gòu)，依托市、區(qū)兩級電子政務(wù)外網(wǎng)和電子政務(wù)云設(shè)計城市運行管理平臺，市、區(qū)、街鎮(zhèn)開發(fā)相關(guān)應(yīng)用，網(wǎng)格和社區(qū)（單位、樓宇）部l業(yè)務(wù)數(shù)據(jù)——依托市、區(qū)兩級大數(shù)據(jù)資源平臺，統(tǒng)一業(yè)務(wù)數(shù)據(jù)采集標(biāo)準(zhǔn)，完善基層業(yè)務(wù)數(shù)據(jù)采集體系。各市級部門根據(jù)法定職責(zé)，明確本部門業(yè)務(wù)數(shù)據(jù)采集規(guī)范，經(jīng)市大數(shù)據(jù)中心統(tǒng)籌后，形成統(tǒng)一的業(yè)務(wù)數(shù)據(jù)采集技術(shù)標(biāo)準(zhǔn)；指導(dǎo)各區(qū)開展基層業(yè)務(wù)數(shù)據(jù)采集、歸集和治理，牽頭匯聚各區(qū)采集的基層業(yè)務(wù)數(shù)據(jù)，融合熱線、輿情等數(shù)據(jù)，形成本領(lǐng)域統(tǒng)一的數(shù)據(jù)資源池，l視頻數(shù)據(jù)——各市級部門根據(jù)業(yè)務(wù)需求，按照國家相關(guān)標(biāo)準(zhǔn)，制定視頻數(shù)據(jù)結(jié)構(gòu)化應(yīng)用場景和處理規(guī)則，由市大數(shù)據(jù)中心統(tǒng)籌形成基礎(chǔ)性、通用性視頻數(shù)據(jù)結(jié)構(gòu)化處理標(biāo)準(zhǔn)，指導(dǎo)各區(qū)統(tǒng)籌實施視頻l物聯(lián)數(shù)據(jù)——各市級部門根據(jù)業(yè)務(wù)需求，按照國家相關(guān)標(biāo)準(zhǔn)，制定各自領(lǐng)域物聯(lián)數(shù)據(jù)分析處理規(guī)則，由市大數(shù)據(jù)中心統(tǒng)籌形成基礎(chǔ)性、通用性物聯(lián)l地圖數(shù)據(jù)——依托我市空間地理底圖和各類圖層信息，疊加“一標(biāo)多實”的各類城市運行管理要素數(shù)據(jù)，整合各類地理數(shù)據(jù)，完善地圖更新和轉(zhuǎn)換聯(lián)動機(jī)制，形成統(tǒng)一的空間地理綜合數(shù)據(jù)庫，打造城市運行“一張圖”，支撐各類城市運行管理應(yīng)用。市大數(shù)據(jù)中心按照國家相關(guān)標(biāo)準(zhǔn)，結(jié)合各市大數(shù)據(jù)平臺建設(shè)方案級部門對地圖使用的業(yè)務(wù)應(yīng)用需求，統(tǒng)籌形成地圖數(shù)據(jù)基礎(chǔ)性和通用性標(biāo)l數(shù)據(jù)庫建設(shè)——依托市、區(qū)兩級大數(shù)據(jù)資源平臺，根據(jù)城市管理精細(xì)化、全面開展數(shù)據(jù)治理，推動公共安全、城市管理、社會治理、市場監(jiān)管、衛(wèi)生健康等領(lǐng)域的主題數(shù)據(jù)庫建設(shè)，強(qiáng)化數(shù)據(jù)質(zhì)量管理。建立市、區(qū)兩級數(shù)據(jù)更新聯(lián)動機(jī)制，實現(xiàn)主題數(shù)據(jù)庫數(shù)據(jù)在市、區(qū)、街鎮(zhèn)的實時流通共享，通過城市運行管理重點領(lǐng)域的綜合應(yīng)用帶動公共數(shù)據(jù)整合和分析應(yīng)用，推通過城市運行管理重點領(lǐng)域的綜合應(yīng)用帶動公共數(shù)據(jù)整合和分析應(yīng)用，推動市、3.3項目建設(shè)的必要性政策必要性：根據(jù)市里下發(fā)的政策要求，8號文中明確要求各區(qū)、各部門應(yīng)梳理各信息系統(tǒng)的實際數(shù)據(jù)資產(chǎn)情況,形成公共數(shù)據(jù)庫表目錄；按照“應(yīng)編盡編”的原則,編制全量公共數(shù)據(jù)資源目錄,確定公共數(shù)據(jù)資源目錄的共享屬性。同時依托電子政務(wù)云實現(xiàn)公共數(shù)據(jù)歸集與整合,推進(jìn)數(shù)據(jù)共享與應(yīng)用。保障措施中要求建立由主要領(lǐng)導(dǎo)牽頭、信息化部門負(fù)責(zé)、業(yè)務(wù)部門參與的數(shù)據(jù)治理工作機(jī)制；開展各自領(lǐng)域的公共數(shù)據(jù)采集、歸集、整合、共享、開放、應(yīng)用等工作,做好公共數(shù)據(jù)治理相關(guān)工作；建立相應(yīng)的考核、督查和評估機(jī)制,確保公共數(shù)據(jù)管理各項工作順利推進(jìn)。12號文中要求實現(xiàn)公共數(shù)據(jù)“應(yīng)歸盡歸”，建立完善全市公共數(shù)據(jù)分層采集體系,各區(qū)開展基層業(yè)務(wù)數(shù)據(jù)、視頻數(shù)據(jù)和物聯(lián)數(shù)據(jù)的統(tǒng)一規(guī)范采集和結(jié)構(gòu)化處據(jù)中心對區(qū)級大數(shù)據(jù)中心的考核工作及共享落地等工作。需形成Y區(qū)自己的數(shù)據(jù)實現(xiàn)公共數(shù)據(jù)的管理不僅僅是通過平臺工具的建設(shè)來完成，還需配套進(jìn)行數(shù)據(jù)的相關(guān)運營服務(wù)，才可真正意義上實現(xiàn)對全區(qū)公共數(shù)據(jù)的全面管治任務(wù)。根據(jù)大數(shù)據(jù)平臺建設(shè)方案市里下發(fā)的各類數(shù)據(jù)運營相關(guān)報告可知，對于數(shù)據(jù)運營需覆蓋數(shù)據(jù)治理、數(shù)據(jù)共享、數(shù)據(jù)開放、公共數(shù)據(jù)治理和大數(shù)據(jù)平臺建設(shè)的任務(wù)，同時根據(jù)業(yè)務(wù)需要加強(qiáng)對綜合庫主題庫等重點工作建設(shè)，根據(jù)該類任務(wù)的推進(jìn)，各區(qū)級管理部門有必要建立對區(qū)內(nèi)公共數(shù)據(jù)共享交換管理體系，以確保在市區(qū)級聯(lián)工作中能夠完成市里下發(fā)的各項考核要求。縱向的市區(qū)兩級交換體系落實到了本區(qū)，而區(qū)內(nèi)橫向的數(shù)需要借助區(qū)政務(wù)云的基礎(chǔ)設(shè)施資源、參考市級數(shù)據(jù)交換的體系，繼續(xù)提升區(qū)內(nèi)橫向的數(shù)據(jù)共享交換能力，用以配合Y區(qū)大數(shù)據(jù)中心的發(fā)展規(guī)劃與H市大數(shù)據(jù)中心這表明中國已將大數(shù)據(jù)視作戰(zhàn)略資源并上升為國家戰(zhàn)略，期望運用大數(shù)據(jù)推動經(jīng)信息化為中華民族帶來了千載難逢的機(jī)遇，能不能抓住機(jī)遇實現(xiàn)突破，關(guān)鍵是要規(guī)劃落實好國家大數(shù)據(jù)戰(zhàn)略，突破核心技術(shù)，不斷推動大數(shù)據(jù)技術(shù)產(chǎn)業(yè)創(chuàng)新發(fā)展，構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字經(jīng)濟(jì)，夯實網(wǎng)絡(luò)強(qiáng)國的基礎(chǔ)，培育中國經(jīng)濟(jì)發(fā)展的新引擎，更好服務(wù)我國經(jīng)濟(jì)社會發(fā)展和人民生活改善。深刻闡述了實施國家大數(shù)據(jù)戰(zhàn)略的重大意義、內(nèi)在要求和重點任務(wù)，為發(fā)展數(shù)字經(jīng)濟(jì)、建設(shè)數(shù)字中國家大數(shù)據(jù)戰(zhàn)略明確指出各級ZF、事業(yè)單位、科研機(jī)構(gòu)，以及社會組織、企業(yè)和商業(yè)機(jī)構(gòu)要深入挖掘大數(shù)據(jù)商用價值、民用價值、政用價值，推動大數(shù)據(jù)、智能化更好服務(wù)經(jīng)濟(jì)社會發(fā)展和促進(jìn)保障改善民生。要運用大數(shù)據(jù)、智能化引領(lǐng)產(chǎn)業(yè)轉(zhuǎn)型升級，推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能同實體經(jīng)濟(jì)深度融合，加快發(fā)展數(shù)字經(jīng)濟(jì)，推動制造業(yè)加速向數(shù)字化、網(wǎng)絡(luò)化、智能化發(fā)展。要運用大數(shù)據(jù)、智能化服務(wù)廣大社會民生，推進(jìn)大數(shù)據(jù)在擴(kuò)大扶貧、就業(yè)、交通、生態(tài)環(huán)境等領(lǐng)域普及應(yīng)用，提升公共服務(wù)均等化、普惠化、便捷化水平。要運用大數(shù)據(jù)、智能化因此，在區(qū)智慧城市建設(shè)總體統(tǒng)籌規(guī)劃思想的指導(dǎo)下，按照H市大數(shù)據(jù)中心對市區(qū)兩級大數(shù)據(jù)資源平臺建設(shè)統(tǒng)一標(biāo)準(zhǔn)規(guī)范的要求，以實際需求為導(dǎo)向，搭建Y大數(shù)據(jù)平臺建設(shè)方案評價為“六位一體”的大數(shù)據(jù)資源與綜合管理服務(wù)體系，充分挖掘與發(fā)揮數(shù)據(jù)應(yīng)用價值，為Y區(qū)領(lǐng)導(dǎo)決策和基層人員賦能，提供堅實的公共、城區(qū)管理、惠民和興業(yè)數(shù)據(jù)協(xié)同服務(wù)，為Y區(qū)經(jīng)濟(jì)和社會發(fā)展注入新動能，助力Y區(qū)經(jīng)濟(jì)、民生和文化建設(shè)的加速發(fā)展，是貫徹和落實國家大H市歷來重視政務(wù)數(shù)據(jù)資源的開放利用，積極落實政務(wù)大數(shù)據(jù)戰(zhàn)略部署，先后發(fā)布《H市政務(wù)數(shù)據(jù)資源共享管理辦法》、《H市ZF電子政務(wù)“十三五”發(fā)展規(guī)劃》、《H市政務(wù)大數(shù)據(jù)發(fā)展實施意見》、《H市電子政務(wù)云建設(shè)工作方案》、《H市加快推進(jìn)數(shù)據(jù)治理促進(jìn)公共數(shù)據(jù)應(yīng)用實施方案》等文件，明確提出“營造機(jī)數(shù)據(jù)采集匯聚能力大、共享開放程度高、分析挖掘應(yīng)用廣的政務(wù)大數(shù)據(jù)發(fā)展格局”，“全面建成貫穿數(shù)據(jù)全生命周期的政務(wù)大數(shù)據(jù)資源平臺，基本形成覆蓋全市地域、全行業(yè)領(lǐng)域的城市政務(wù)大數(shù)據(jù)樞紐，基本形成標(biāo)準(zhǔn)規(guī)范、開放競爭的政務(wù)大數(shù)據(jù)服務(wù)生態(tài)體系”。近兩年來，本市及部分區(qū)級ZF相繼成立政務(wù)大數(shù)據(jù)主因此，通過本項目的建設(shè)，搭建Y區(qū)公共大數(shù)據(jù)資源平臺實現(xiàn)對Y區(qū)公共與政務(wù)大數(shù)據(jù)的歸集、開放和應(yīng)用的管理，是響應(yīng)本市公共數(shù)據(jù)管理辦法的必然要時代，以“業(yè)務(wù)應(yīng)用系統(tǒng)建設(shè)為核心”的2.0時代，和以“打通數(shù)據(jù)、消除數(shù)據(jù)煙囪、開放共享和業(yè)務(wù)場景協(xié)同應(yīng)用為核心的城市大腦”的3.0新數(shù)據(jù)管理體系存在“縱強(qiáng)橫弱”的特點，系統(tǒng)內(nèi)部實施垂直管理，系統(tǒng)之間則相互制約，而在橫向上，ZF職能部門大多有專屬職能，各自獨立，互不聯(lián)通。信息系統(tǒng)煙囪林立，阻礙數(shù)據(jù)共享是當(dāng)下新型智慧城市建設(shè)需要解決的重中之重的難Y區(qū)在H市是較早全面推進(jìn)開展智慧城市建設(shè)的區(qū)域，其在中，積累了大量的信息系統(tǒng)。這些信息系統(tǒng)依據(jù)相關(guān)職能產(chǎn)生數(shù)據(jù)，但彼此之間互不連通，因此形成了大量的“數(shù)據(jù)煙囪”。不同的系統(tǒng)僅能支撐本部門的單一大數(shù)據(jù)平臺建設(shè)方案業(yè)務(wù)應(yīng)用，數(shù)據(jù)往往是孤立的、未經(jīng)整合的、片段的。從整個城市大數(shù)據(jù)的全局來看，單一業(yè)務(wù)的信息化缺少其他系統(tǒng)的數(shù)據(jù)支撐，很難形成具有“大數(shù)據(jù)智能共享、開放和應(yīng)用的要求，滿足與H市大數(shù)據(jù)資源平臺的對接，并承接市大數(shù)據(jù)資源平臺的落地數(shù)據(jù)資源，同時，歸集全區(qū)內(nèi)各單位公共數(shù)據(jù)資源，按需實現(xiàn)共享交換，逐步構(gòu)建集Y區(qū)公共數(shù)據(jù)匯聚、整合、共享、應(yīng)用、展示、評價六位于一體的大數(shù)據(jù)資源體系。依照市區(qū)一體的大數(shù)據(jù)資源的歸集、治理、共享、開放、應(yīng)用、安全等技術(shù)標(biāo)準(zhǔn)及管理辦法，打破各部門間的信息壁壘，解決數(shù)據(jù)煙囪難題，強(qiáng)化跨部門、跨行業(yè)的組織統(tǒng)籌力度，提升信息資源整合水平，全面加快城市信息資源的有序匯聚，深度共享、關(guān)聯(lián)分析、高效利用，實現(xiàn)全區(qū)跨層級、跨部門、跨系統(tǒng)、跨業(yè)務(wù)的數(shù)據(jù)開放共享交換、整合創(chuàng)新為政務(wù)服務(wù)提供數(shù)據(jù)服務(wù)，建立健全完善的組織機(jī)構(gòu)和制度，構(gòu)建高效的協(xié)同工作機(jī)制。應(yīng)全面推行ZF目標(biāo)管理系統(tǒng)，整合現(xiàn)有政務(wù)服務(wù)資源數(shù)據(jù)，建立完善的綜合電子監(jiān)察體系，重點監(jiān)督考核線上服務(wù)質(zhì)量、數(shù)據(jù)維護(hù)質(zhì)量和共享開放度等指標(biāo)，對線上不作為、慢作為和亂作為的現(xiàn)象進(jìn)行約談、問責(zé)制度。通過對充分開展立項必要性評估和建設(shè)效能評估，確保信息化系統(tǒng)的建設(shè)均遵循頂層設(shè)計理念，具備開放性、靈活性和拓展性。增加Y區(qū)政務(wù)服務(wù)亮點功能模塊，如主題式套餐、綜窗受理、自助服務(wù)一體機(jī)、效能監(jiān)督等。一方面從需求側(cè)的角度能夠更好的體現(xiàn)Y區(qū)政務(wù)服務(wù)特色，另一方面從供給側(cè)的角度也能夠更好的響應(yīng)國此外依據(jù)市區(qū)等政策文件指示，在2019年底國家政務(wù)服務(wù)平臺上線運行，全國一體化在線政務(wù)服務(wù)平臺框架初步形成，2020年底前政務(wù)服務(wù)事項應(yīng)上盡上，2022年底前做到標(biāo)準(zhǔn)統(tǒng)一，整體聯(lián)動，業(yè)務(wù)協(xié)同，全面實現(xiàn)一網(wǎng)通辦。所以需要Y區(qū)政務(wù)服務(wù)平臺有一個快速迭代開發(fā)部署的能力，需要強(qiáng)大的laaS、PaaS層作大數(shù)據(jù)平臺建設(shè)方案大數(shù)據(jù)已經(jīng)成為支撐新型智慧城市發(fā)展的關(guān)鍵所在，Y區(qū)形成豐富的數(shù)據(jù)資源積累、強(qiáng)大的應(yīng)用市場優(yōu)勢和獨特的創(chuàng)新創(chuàng)業(yè)氛圍，為大數(shù)據(jù)發(fā)展打下良好基礎(chǔ)在Y區(qū)經(jīng)濟(jì)發(fā)展和建設(shè)過程中，將不斷面臨來自內(nèi)外部環(huán)境的壓力和挑戰(zhàn)，大數(shù)據(jù)的發(fā)展與人民群眾的生活息息相關(guān)，這不僅對ZF各部門的日常管理提出了更高的要求，也將大數(shù)據(jù)態(tài)勢的研判和分析擺在了十分重要的位置上。未來，各委辦局間要實現(xiàn)橫橫向打通，做到各類數(shù)據(jù)運行與變化的實時同步，強(qiáng)化ZF在工作領(lǐng)域的協(xié)同性與同步性，以此才能更加從容應(yīng)對不斷涌現(xiàn)的經(jīng)濟(jì)發(fā)展壓力和挑3.3.1業(yè)務(wù)現(xiàn)狀、存在的具體問題和業(yè)務(wù)目標(biāo)為了推進(jìn)Y區(qū)公共數(shù)據(jù)相關(guān)的質(zhì)量考核等工作，積極配合市里的考核要求。Y區(qū)目前在用的業(yè)務(wù)系統(tǒng)主要是數(shù)據(jù)總線，完成相關(guān)的采集、匯聚、共享等工作，但不能有效銜接所有工作，沒有存儲及運算Y區(qū)大數(shù)據(jù)中心在前期政務(wù)云相關(guān)各項目建設(shè)過程中，已基本完成全區(qū)政務(wù)外網(wǎng)系統(tǒng)的100%遷移上云，各上云單位的業(yè)務(wù)系統(tǒng)數(shù)據(jù)已根據(jù)各自條線管理上級單位要求進(jìn)行上報，區(qū)級層面的三清單和數(shù)據(jù)資源目錄梳理工作并未持續(xù)穩(wěn)定的開根據(jù)市級大數(shù)據(jù)中心的建設(shè)規(guī)劃及近年下發(fā)的各類政策文件要求，已逐步提出對區(qū)級數(shù)據(jù)管理部門的工作考核任務(wù)要求，其中提出市區(qū)級聯(lián)的推進(jìn)、數(shù)據(jù)治理和數(shù)據(jù)共享的執(zhí)行情況，但未建設(shè)配套體系的數(shù)據(jù)共享交換類平臺。目前Y區(qū)在政務(wù)云運營項目中，采購配置有一套數(shù)據(jù)總線工具，實現(xiàn)基本區(qū)級資源目錄管理、采集、處理和市級數(shù)據(jù)的共享交換功能，對于數(shù)據(jù)資源的治理、溯源、數(shù)據(jù)采集管理等均未進(jìn)行相應(yīng)的功能或工作執(zhí)行，從而導(dǎo)致無法完全滿足市級大數(shù)據(jù)l缺少實時歸集技術(shù)，數(shù)據(jù)共享協(xié)同低效。數(shù)據(jù)實時采集技術(shù)未落實，無法大數(shù)據(jù)平臺建設(shè)方案l數(shù)據(jù)資源管理能力差，無法形成價值數(shù)據(jù)進(jìn)行管理，數(shù)據(jù)的質(zhì)量保障能力l缺乏業(yè)務(wù)應(yīng)用場景的梳理，無法精準(zhǔn)化提供“一網(wǎng)通辦”、“一網(wǎng)統(tǒng)管”l未建設(shè)數(shù)據(jù)安全管控機(jī)制，缺乏對敏感數(shù)據(jù)的管理能力，對于平臺層面也本次項目旨在通過建設(shè)公共大數(shù)據(jù)資源平臺，搭建可承載市級大數(shù)據(jù)資源平臺通過市區(qū)級聯(lián)落地的區(qū)級數(shù)據(jù)平臺，并同時構(gòu)建區(qū)級采集、治理、共享的數(shù)據(jù)運營體系，要搭建Y區(qū)統(tǒng)一的大數(shù)據(jù)資源管理平臺并實現(xiàn)基礎(chǔ)功能架構(gòu)，出臺相關(guān)管理辦法，支撐全區(qū)各政務(wù)部門的數(shù)據(jù)共享需求；建立大數(shù)據(jù)資源中心，完成標(biāo)準(zhǔn)化數(shù)據(jù)倉庫的建設(shè)，并構(gòu)建基礎(chǔ)及融合數(shù)據(jù)庫，為全區(qū)的政務(wù)處理、經(jīng)濟(jì)發(fā)區(qū)級委辦單位形成互聯(lián)機(jī)制，提供區(qū)級層面各業(yè)務(wù)應(yīng)用場景的數(shù)據(jù)支撐服務(wù)，確保滿足市級下發(fā)的各類“一網(wǎng)通辦”、“一網(wǎng)統(tǒng)管”兩網(wǎng)建設(shè)相關(guān)的業(yè)務(wù)要求，3.3.2業(yè)務(wù)對信息系統(tǒng)的具體需求結(jié)合Y區(qū)大數(shù)據(jù)中心的業(yè)務(wù)現(xiàn)狀，以及市級大數(shù)據(jù)資源平臺的建設(shè)業(yè)務(wù)目標(biāo)要求，對于區(qū)級公共大數(shù)據(jù)資源平臺的建設(shè)需要在市級大框架下，分析考核要求進(jìn)行調(diào)整，落地符合區(qū)級業(yè)務(wù)現(xiàn)狀的數(shù)據(jù)平臺。根據(jù)市級平臺圍繞“聚”、l聚：提升區(qū)級平臺數(shù)據(jù)采集和歸集能力，搭建區(qū)級數(shù)據(jù)庫的框架，啟動除l管：結(jié)合公共數(shù)據(jù)管理要求，提升數(shù)據(jù)資源的治理能力，落地市級下放的三清單一目錄內(nèi)容，持續(xù)推進(jìn)區(qū)級三清單一目錄的梳理工作，加強(qiáng)形成區(qū)大數(shù)據(jù)平臺建設(shè)方案l通：加快推進(jìn)市區(qū)數(shù)據(jù)級聯(lián)落地，打通以區(qū)級數(shù)據(jù)管理部門的數(shù)據(jù)上報和落地渠道，實現(xiàn)上下級縱向的數(shù)據(jù)共享交換和數(shù)據(jù)互聯(lián)；橫向上建立與區(qū)l用：以區(qū)級委辦單位為各業(yè)務(wù)條線牽頭單位，為區(qū)級委辦單位的跨條線數(shù)3.3.3成果應(yīng)用效果、推廣設(shè)想、可持續(xù)發(fā)展情況通過公共大數(shù)據(jù)資源平臺項目的建設(shè)，打造Y區(qū)級公共數(shù)據(jù)的匯聚、治理、共享的數(shù)據(jù)管理體系，完善市區(qū)兩級的公共數(shù)據(jù)共享交換通道，建成區(qū)級的數(shù)據(jù)支撐大平臺。承載市級大數(shù)據(jù)資源平臺通過市區(qū)級聯(lián)落地的區(qū)級數(shù)據(jù)平臺，并同時構(gòu)建區(qū)級采集、治理、共享的數(shù)據(jù)運營體系，形成區(qū)級的“三清單一目錄”和綜合庫，與區(qū)級委辦單位形成互聯(lián)機(jī)制，提供區(qū)級層面各業(yè)務(wù)應(yīng)用場景的數(shù)據(jù)支撐服務(wù)，從而為區(qū)級各部門提供業(yè)務(wù)系統(tǒng)整合改造打下基礎(chǔ)，最終推動后續(xù)各條線推進(jìn)以業(yè)務(wù)場景為驅(qū)動的數(shù)據(jù)支撐服務(wù)實施。確保滿足市級下發(fā)的各類“一網(wǎng)通辦”、“一網(wǎng)統(tǒng)管”兩網(wǎng)建設(shè)相關(guān)的業(yè)務(wù)要求，以及對于區(qū)級數(shù)據(jù)運營的考核3.4用戶和業(yè)務(wù)流程分析3.4.1用戶分析本項目涉及政務(wù)外網(wǎng)，政務(wù)云上的所有委辦用戶單位數(shù)據(jù)管理用戶、大數(shù)據(jù)3.4.2現(xiàn)有業(yè)務(wù)流程為了推進(jìn)Y區(qū)公共數(shù)據(jù)相關(guān)的質(zhì)量考核等工作，積極配合市里的考核要求。Y區(qū)目前在用的業(yè)務(wù)系統(tǒng)主要是數(shù)據(jù)總線，完成相關(guān)的采集、匯聚、共享等工作，但不能有效銜接所有工作，沒有存儲及運算等常態(tài)化運行能力。未來建設(shè)完成大大數(shù)據(jù)平臺建設(shè)方案3.5平臺性能需求分析3.5.1平臺存儲能力要求平臺需要具備50TB數(shù)據(jù)存儲與管理能力，其中結(jié)構(gòu)化數(shù)據(jù)存儲與管理能力3.5.2平臺數(shù)據(jù)計算/并發(fā)能力要求分布式存儲平臺支持超過200人的數(shù)據(jù)開發(fā)人員并發(fā)訪問，同時進(jìn)行數(shù)據(jù)處平臺的調(diào)度執(zhí)行器需具備2000個在線數(shù)據(jù)任務(wù)在分布式存儲平臺下的管理和3.5.3平臺門戶使用要求3.6業(yè)務(wù)量需求分析3.6.1業(yè)務(wù)量分析本次項目建設(shè)范圍覆蓋約75個委辦、12個街鎮(zhèn)公共數(shù)據(jù)資源及市級部門落地數(shù)據(jù)資源。數(shù)據(jù)來源即為來自本區(qū)職能部門、街鎮(zhèn)業(yè)務(wù)數(shù)據(jù)及市級大數(shù)據(jù)資源平大數(shù)據(jù)平臺建設(shè)方案ZF部門：Y區(qū)ZF各級機(jī)構(gòu)、部門工作人員數(shù)約8000余人，涉及政務(wù)服務(wù)相3.6.2數(shù)據(jù)存儲量分析公共大數(shù)據(jù)資源平臺數(shù)據(jù)來源主要是三部分，75家區(qū)級部門及事業(yè)單位數(shù)據(jù)資源、12個街鎮(zhèn)公共數(shù)據(jù)資源、市級共享交換平臺落地數(shù)據(jù)及主題庫、專題庫數(shù)從各區(qū)級委辦局匯聚來的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)根據(jù)調(diào)研如下，第一階段：滿足大數(shù)據(jù)平臺的基礎(chǔ)工作，包括Y區(qū)已有的目錄、城運中心需第二階段：滿足區(qū)所有78個委辦以及12個街道的數(shù)據(jù)編目、歸集、治理、估算依據(jù)：根據(jù)第一輪線上問卷反饋的量19個部門，填寫數(shù)據(jù)情況和是15T左右的數(shù)據(jù)量。Y區(qū)現(xiàn)在有75個委辦+12個街道，按照這個估算Y區(qū)數(shù)據(jù)量60T左右。大數(shù)據(jù)存儲機(jī)制都是3副本3*60T為180T。磁盤預(yù)留百分比(90%)3.6.3數(shù)據(jù)存儲部署資源分析區(qū)級數(shù)據(jù)湖基于政務(wù)云提供的云數(shù)據(jù)庫和云存儲服務(wù)進(jìn)行搭建（通常包括關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、列數(shù)據(jù)庫、分布式文件存儲等），主要存放ZF部門業(yè)務(wù)數(shù)據(jù)庫、未經(jīng)加工的原始業(yè)務(wù)數(shù)據(jù)庫，支持存儲結(jié)構(gòu)化、非結(jié)構(gòu)化等多種類大數(shù)據(jù)平臺建設(shè)方案區(qū)級數(shù)據(jù)湖通過公共大數(shù)據(jù)資源平臺，與區(qū)內(nèi)各部門業(yè)務(wù)應(yīng)用系統(tǒng)、區(qū)級各部門或區(qū)數(shù)據(jù)管理部門的前置節(jié)點進(jìn)行交換。數(shù)據(jù)湖中的共享數(shù)據(jù)依據(jù)元數(shù)據(jù)進(jìn)區(qū)級數(shù)據(jù)湖的數(shù)據(jù)存儲規(guī)模較龐大，需要支持存儲擴(kuò)展和橫向、縱向遷移，直接用于分析的平均價值密度較低，通常需經(jīng)過預(yù)處理、集成后，形成高質(zhì)量公區(qū)級主題庫和專題庫，用于存放經(jīng)過一系列清洗、轉(zhuǎn)換、加載、治理步驟后以面向不用數(shù)據(jù)應(yīng)用、行業(yè)領(lǐng)域及主題進(jìn)行劃分（如：綜合業(yè)務(wù)協(xié)同、公共基礎(chǔ)庫、公共主題庫、擴(kuò)展主題庫等），并為業(yè)務(wù)應(yīng)用和終端用戶提供業(yè)務(wù)對象訪問、數(shù)據(jù)集訪問等數(shù)據(jù)類服務(wù)，支撐輔助決策、數(shù)據(jù)可視化、數(shù)據(jù)開放、數(shù)據(jù)通過公共大數(shù)據(jù)資源平臺提供的數(shù)據(jù)集成總線，對數(shù)據(jù)湖數(shù)據(jù)進(jìn)行批量離線處理或?qū)崟r處理，并將處理結(jié)果落地到數(shù)據(jù)資源池。數(shù)據(jù)資源池中的共享數(shù)據(jù)也區(qū)級主題庫和專題庫的數(shù)據(jù)存儲規(guī)模較龐大，需要采用合適的數(shù)據(jù)平臺對明細(xì)數(shù)據(jù)和匯總數(shù)據(jù)進(jìn)行存儲計算，計算結(jié)果可以使用分布式文件存儲或關(guān)系型數(shù)本次項目數(shù)據(jù)存儲容量參考業(yè)務(wù)量和數(shù)據(jù)存儲量分析章節(jié)，數(shù)據(jù)存儲部署資3.7硬件設(shè)備需求分析3.8功能需求分析3.8.1大數(shù)據(jù)底座析支撐，精細(xì)掌握租戶分配狀態(tài)，資源利用情況；大數(shù)據(jù)平臺建設(shè)方案及資源分配的統(tǒng)一管理，租戶管理能力標(biāo)準(zhǔn)化。支持租戶建設(shè)統(tǒng)一多租戶模型，貫通Hadoop、Kubernetes、數(shù)據(jù)中臺，打造集合建設(shè)資源服務(wù)目錄，實現(xiàn)Hadoop組件HDFS、Hive、HBase、Yarn及實現(xiàn)租戶資源管理及實例創(chuàng)建功能，實現(xiàn)區(qū)大數(shù)據(jù)中心、區(qū)委辦的資源分支撐平臺運營管理，實現(xiàn)線上的租戶管理、租戶分析，用量提醒，支持平3.8.2數(shù)據(jù)采集子系統(tǒng)數(shù)據(jù)采集需要實現(xiàn)對全區(qū)各委辦單位的數(shù)據(jù)采集功能，包括離線采集、準(zhǔn)實時采集和實時采集的采集方式，根據(jù)各委辦局業(yè)務(wù)數(shù)據(jù)的情況進(jìn)行采集技術(shù)的實數(shù)據(jù)采集：ZF數(shù)據(jù)來源多樣，包含視頻類數(shù)據(jù)、物聯(lián)感知類數(shù)據(jù)以及傳統(tǒng)的公共數(shù)據(jù)，各數(shù)據(jù)來源的數(shù)據(jù)格式也不一致，在收集的過程中需對數(shù)大數(shù)據(jù)存儲：實現(xiàn)現(xiàn)有應(yīng)用的大量結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，以及將全市統(tǒng)一規(guī)劃的大量圖片、視頻資料等非結(jié)構(gòu)化數(shù)據(jù)的存儲需求，要求大數(shù)據(jù)基礎(chǔ)平臺采用分布式文件系統(tǒng)實現(xiàn)對匯聚的多大數(shù)據(jù)分析計算：數(shù)據(jù)分析的處理速度、準(zhǔn)確度對實際應(yīng)用的及時性、高效性都有至關(guān)重要的影響。大數(shù)據(jù)平臺提供分布式計算、流式計算、內(nèi)存計算多種數(shù)據(jù)計算引擎，能夠針對不同的場景采用不同的計算模型，對數(shù)據(jù)進(jìn)行大規(guī)模批量處理或者實時處理，大大提升ZF分布式資源管理和調(diào)度：Hadoop2.0中的資源管理系統(tǒng)，它是一安全、容錯、易用的集群管理能力，支持大規(guī)模集群的安裝/升級/補(bǔ)丁、3.8.3數(shù)據(jù)治理子系統(tǒng)建設(shè)大數(shù)據(jù)治理子平臺，提供數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理能力，實現(xiàn)對數(shù)據(jù)的規(guī)范治理與管理；提供數(shù)據(jù)工廠能力，實現(xiàn)對歸集的數(shù)據(jù)進(jìn)行清洗、加工，支撐業(yè)務(wù)的數(shù)據(jù)應(yīng)用需求。具體，在本次公共大數(shù)據(jù)資源平臺建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)管理：提供數(shù)據(jù)標(biāo)準(zhǔn)管理功能，包括：字典標(biāo)準(zhǔn)管理、命名標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理：提供數(shù)據(jù)質(zhì)量管理功能，包括：質(zhì)量模型配置、質(zhì)量規(guī)則數(shù)據(jù)開發(fā)平臺：提供數(shù)據(jù)開發(fā)平臺能力，支持可視化開發(fā)和原生態(tài)開發(fā)兩統(tǒng)一調(diào)度管理：提供統(tǒng)一調(diào)度管理功能，提供流程設(shè)計與管理、調(diào)度策略3.8.4數(shù)據(jù)資源中心在本次項目中，我們需要制定全區(qū)公共數(shù)據(jù)匯聚的標(biāo)準(zhǔn)規(guī)范和管理制度，歸集全區(qū)各單位的ZF公共數(shù)據(jù)，形成Y區(qū)的數(shù)據(jù)資源湖。同時經(jīng)過對數(shù)據(jù)進(jìn)行清洗、基于全區(qū)的數(shù)據(jù)資源湖，利用經(jīng)過治理后的數(shù)據(jù)，可以針對某一特領(lǐng)域的業(yè)務(wù)數(shù)據(jù)共享、應(yīng)用需求，按主題歸集形成專題庫和主題庫，并面向政務(wù)部門及社會進(jìn)行數(shù)據(jù)開放。此外，我們還將持續(xù)開展、深入Y區(qū)大數(shù)據(jù)的應(yīng)用探索，圍繞跨部門、跨領(lǐng)域、跨行業(yè)的數(shù)據(jù)應(yīng)用需求，對數(shù)據(jù)實體進(jìn)行數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合和衍生計算，生成算法標(biāo)簽，逐步建立不同領(lǐng)域的應(yīng)用專題或主題庫構(gòu)建面向全區(qū)多部門提供統(tǒng)籌的數(shù)據(jù)共建共享共用的數(shù)據(jù)服務(wù)。具體，在本次公共大數(shù)據(jù)資源建立Y區(qū)級數(shù)據(jù)湖：構(gòu)建全區(qū)公共數(shù)據(jù)的存儲與計算空間，支撐各類數(shù)據(jù)大數(shù)據(jù)平臺建設(shè)方案資源的匯聚存儲、處理計算與查詢應(yīng)用，并依據(jù)部門類別、數(shù)據(jù)源類別等完成數(shù)據(jù)對接的實施：完成與區(qū)各委辦業(yè)務(wù)與管理系統(tǒng)、H市大數(shù)據(jù)資源平臺以及物聯(lián)網(wǎng)相關(guān)平臺數(shù)據(jù)的對接，匯聚各類業(yè)務(wù)數(shù)據(jù)，形成全區(qū)公共建設(shè)基礎(chǔ)庫：建設(shè)全區(qū)統(tǒng)一的基礎(chǔ)人口綜合庫、法人綜合庫、電子證照庫以及地理空間庫，支撐全區(qū)人口、法人、電子證照與地理空間等數(shù)據(jù)相關(guān)建設(shè)主題庫：建設(shè)全區(qū)統(tǒng)一的產(chǎn)業(yè)經(jīng)濟(jì)主題庫、電子證照主題庫、權(quán)力事數(shù)據(jù)融合和衍生計算，生成算法標(biāo)簽，提供超級應(yīng)用級數(shù)據(jù)服務(wù)。主題庫的建設(shè)是為了滿足某一特大型領(lǐng)域的業(yè)務(wù)共建共享需求，需要多個部門合作，在大數(shù)據(jù)主管部門的支撐下，構(gòu)建面向全區(qū)多部門提供統(tǒng)籌的數(shù)據(jù)共建共享共用的數(shù)據(jù)服為了解決目前全區(qū)面向企業(yè)法人提供服務(wù)缺失基礎(chǔ)數(shù)據(jù)的情況，本次項目擬面向特定領(lǐng)域?qū)ｎ}應(yīng)用的數(shù)據(jù)服務(wù)。一般由各自委辦局自行開發(fā)建設(shè)，也可以根據(jù)實際情況由委辦局委托大數(shù)據(jù)中心代建代運營。作為領(lǐng)域的專題數(shù)據(jù)，一般不作為支撐大型跨領(lǐng)域、跨行業(yè)的超級綜合應(yīng)用并向外部門提供數(shù)據(jù)服務(wù)，更3.8.5數(shù)據(jù)共享子系統(tǒng)安全管理和成功案例的快速復(fù)制，最大程度吸引外部開大數(shù)據(jù)平臺建設(shè)方案包含數(shù)據(jù)交換和服務(wù)管理，支持結(jié)構(gòu)化庫表下發(fā)、文件共享、API接口共享、在Y區(qū)大數(shù)據(jù)資源平臺項目的基礎(chǔ)上擴(kuò)展功能。主要包括消息推送、數(shù)據(jù)推建立數(shù)據(jù)開放門戶：主要實現(xiàn)數(shù)據(jù)目錄、數(shù)據(jù)接口、數(shù)據(jù)應(yīng)用、數(shù)據(jù)圖譜、將數(shù)據(jù)共享情況、數(shù)據(jù)歸集情況進(jìn)行統(tǒng)計分析后展示?？蓪μ顖?、統(tǒng)計分析數(shù)據(jù)設(shè)置審批崗，對數(shù)據(jù)進(jìn)行雙重把關(guān)，對統(tǒng)計結(jié)果進(jìn)行推送。KPI指標(biāo)監(jiān)控、監(jiān)控指標(biāo)預(yù)警信息及時推送、數(shù)據(jù)鉆取，實現(xiàn)由粗-細(xì)，切換維度的數(shù)據(jù)分析、可視當(dāng)委辦向大數(shù)據(jù)中心提出查詢要求，需要通過申請審批完成數(shù)據(jù)資源分享，大數(shù)據(jù)中心對接委辦的管理流程，委辦提出需求需要查詢某數(shù)據(jù)項，將在該3.8.7統(tǒng)一運維子系統(tǒng)理指標(biāo)和數(shù)據(jù)，對云資源、應(yīng)用和業(yè)務(wù)對象的性能數(shù)據(jù)管警管理等，及時發(fā)現(xiàn)異常和潛在問題，對云管理運行過程況等運維數(shù)據(jù)進(jìn)行深入分析，保障大數(shù)據(jù)資源平臺穩(wěn)定、全、合理的分配。構(gòu)建一站式數(shù)據(jù)資產(chǎn)可視化管理，實現(xiàn)3.8.8數(shù)據(jù)安全管理子系統(tǒng)大數(shù)據(jù)資源平臺應(yīng)有完整的安全策略控制體大數(shù)據(jù)平臺建設(shè)方案安全、高效和事件行為的可回溯性。大數(shù)據(jù)的安全能力，并通過對標(biāo)準(zhǔn)化解決方案進(jìn)行定制化開能力的全局賦能，包括統(tǒng)一的身份和權(quán)限管理、統(tǒng)一3.9數(shù)據(jù)分析3.9.1數(shù)據(jù)流程和屬性分析所有區(qū)級委辦單位將直接作為數(shù)據(jù)源，匯聚至本次建設(shè)的區(qū)級平臺中，各單位的數(shù)據(jù)更新和共享機(jī)制以數(shù)據(jù)資源目錄所確定3.9.2數(shù)據(jù)量分析目前，數(shù)據(jù)匯聚接入、數(shù)據(jù)共享交換的服務(wù)對象，全區(qū)75個委辦及12個街道；數(shù)據(jù)采用實時對接方式，實現(xiàn)自動化接入，平均每個委辦按5個用戶計算，大數(shù)據(jù)中心20個用戶，廠商運維人員50，用戶數(shù)預(yù)計400，根據(jù)目前業(yè)務(wù)發(fā)展情況預(yù)測，3年內(nèi)用戶規(guī)模預(yù)期達(dá)到600個以上用戶。3.9.3信創(chuàng)適配分析2、市平臺目前采用的技術(shù)路線，包括開源框架和部分?jǐn)?shù)據(jù)庫、數(shù)據(jù)湖產(chǎn)品，3、考慮到大數(shù)據(jù)工作的數(shù)據(jù)量大、性能要求高等特點，市平臺未以AK方式市平臺一期建設(shè)已通過驗收，目前正常運行，支撐全市大數(shù)據(jù)工作開展。區(qū)大數(shù)據(jù)資源分平臺建設(shè)，技術(shù)架構(gòu)對標(biāo)市平臺，從基礎(chǔ)設(shè)施方面、技術(shù)/產(chǎn)品選型方面和性能/量級方面，均無法完全按照AK要求建設(shè)。項目現(xiàn)階段建設(shè)，可部分參照AK要求，在相關(guān)技術(shù)、產(chǎn)品和硬件條件具備后，進(jìn)行AK適配并做好遷移工大數(shù)據(jù)平臺建設(shè)方案3.10滿足應(yīng)用的需要對于如一網(wǎng)通辦、一網(wǎng)統(tǒng)管等特殊應(yīng)用，平臺支持各部門政務(wù)應(yīng)用系統(tǒng)與數(shù)據(jù)資源池的直接雙向交互，無需通過數(shù)據(jù)湖進(jìn)行中轉(zhuǎn)，通過平臺的調(diào)度引擎可進(jìn)大數(shù)據(jù)平臺建設(shè)方案4.1建設(shè)目標(biāo)公共大數(shù)據(jù)資源平臺項目建設(shè)的主要目標(biāo)是要搭建Y區(qū)統(tǒng)一的大數(shù)據(jù)資源管理平臺并實現(xiàn)基礎(chǔ)功能架構(gòu)，出臺相關(guān)管理辦法，支撐全區(qū)各政務(wù)部門的數(shù)據(jù)共享需求；建立大數(shù)據(jù)資源中心，完成標(biāo)準(zhǔn)化數(shù)據(jù)倉庫的建設(shè)，并構(gòu)建基礎(chǔ)及融合數(shù)據(jù)庫，為全區(qū)的政務(wù)處理、經(jīng)濟(jì)發(fā)展、社會民生、本次項目旨在通過建設(shè)公共大數(shù)據(jù)資源平臺，搭建可承載市級大數(shù)據(jù)資源平臺通過市區(qū)級聯(lián)落地的區(qū)級數(shù)據(jù)平臺，并同時構(gòu)建區(qū)級采集、治理、共享的數(shù)據(jù)運營體系，形成區(qū)級的“三清單一目錄”和綜合庫，與區(qū)級委辦單位形成互聯(lián)機(jī)制，提供區(qū)級層面各業(yè)務(wù)應(yīng)用場景的數(shù)據(jù)支撐服務(wù)，確保滿足市級下發(fā)的各類“一網(wǎng)通辦”、“一網(wǎng)統(tǒng)管”兩網(wǎng)建設(shè)相關(guān)的業(yè)務(wù)要求，以及對于區(qū)級數(shù)據(jù)運營的考核工作。l建設(shè)統(tǒng)一的大數(shù)據(jù)資源管理與應(yīng)用平臺：建設(shè)包含數(shù)據(jù)支撐底座、數(shù)據(jù)采集管理、數(shù)據(jù)整理治理子平臺、數(shù)據(jù)共享交換子平臺、統(tǒng)一運維子平臺、數(shù)據(jù)資源門戶為核心功能的大數(shù)據(jù)資源平臺，實現(xiàn)大數(shù)據(jù)綜合管理與服務(wù)l啟動Y區(qū)大數(shù)據(jù)資源中心建設(shè)：完成標(biāo)準(zhǔn)化數(shù)據(jù)倉庫的設(shè)計與規(guī)劃建設(shè)，并完成與區(qū)各委辦業(yè)務(wù)與管理系統(tǒng)、H市大數(shù)據(jù)資源平臺以及物聯(lián)網(wǎng)相關(guān)平臺數(shù)據(jù)的對接，匯聚各類業(yè)務(wù)數(shù)據(jù)，構(gòu)建Yl在Y區(qū)資源中心數(shù)據(jù)湖基礎(chǔ)上，建設(shè)基礎(chǔ)數(shù)據(jù)庫，包括人口綜合庫、法人l在Y區(qū)資源中心數(shù)據(jù)湖以及基礎(chǔ)庫的基礎(chǔ)上，持續(xù)深入大數(shù)據(jù)資源的建設(shè)與應(yīng)用探索，基本完成支撐全區(qū)一網(wǎng)通辦、一網(wǎng)統(tǒng)管、城市規(guī)劃、應(yīng)急指l建立統(tǒng)一的ZF數(shù)據(jù)信息資源目錄，建立動態(tài)更新機(jī)制，明確全區(qū)各部門可向其他ZF機(jī)構(gòu)共享的公共數(shù)據(jù)，建立全區(qū)統(tǒng)一的數(shù)據(jù)交換共享平臺及數(shù)據(jù)中心，對上對下實現(xiàn)垂直共享，橫向打通各部門間的數(shù)據(jù)交換共享，大數(shù)據(jù)平臺建設(shè)方案4.2總體架構(gòu)信息安全保障體系建設(shè)數(shù)據(jù)支撐底座、數(shù)據(jù)交換、數(shù)據(jù)資據(jù)庫）、數(shù)據(jù)整理治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)分析、數(shù)據(jù)共享4.2.1總架構(gòu)圖大數(shù)據(jù)平臺建設(shè)方案大數(shù)據(jù)平臺建設(shè)方案4.2.2平臺架構(gòu)關(guān)系4.3建設(shè)內(nèi)容大數(shù)據(jù)平臺建設(shè)方案結(jié)合區(qū)級數(shù)據(jù)平臺的建設(shè)方向，從聚、管、通、用的業(yè)務(wù)維度考慮平臺的建設(shè)功能，將包括數(shù)據(jù)采集、數(shù)據(jù)治理、數(shù)據(jù)共享方面的建設(shè)功能，具體功能方面4.3.1大數(shù)據(jù)底座析支撐，精細(xì)掌握租戶分配狀態(tài)，資源利用情況；建立租及資源分配的統(tǒng)一管理，租戶管理能力標(biāo)準(zhǔn)化。支持租戶建設(shè)統(tǒng)一多租戶模型，貫通Hadoop、Kubernetes、數(shù)據(jù)中臺，打造集合建設(shè)資源服務(wù)目錄，實現(xiàn)Hadoop組件HDFS、Hive、HBase、Yarn及實現(xiàn)租戶資源管理及實例創(chuàng)建功能，實現(xiàn)區(qū)大數(shù)據(jù)中心、區(qū)委辦的資源分支撐平臺運營管理，實現(xiàn)線上的租戶管理、租戶分析，用量提醒，支持平4.3.2數(shù)據(jù)采集子系統(tǒng)數(shù)據(jù)采集需要實現(xiàn)對全區(qū)各委辦單位的數(shù)據(jù)采集功能，包括離線采集、準(zhǔn)實時采集和實時采集的采集方式，根據(jù)各委辦局業(yè)務(wù)數(shù)據(jù)的情況進(jìn)行采集技術(shù)的實數(shù)據(jù)采集：ZF數(shù)據(jù)來源多樣，包含視頻類數(shù)據(jù)、物聯(lián)感知類數(shù)據(jù)以及傳統(tǒng)的公共數(shù)據(jù)，各數(shù)據(jù)來源的數(shù)據(jù)格式也不一致，在收集的過程中需對數(shù)大數(shù)據(jù)存儲：實現(xiàn)現(xiàn)有應(yīng)用的大量結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，以及將全市統(tǒng)一規(guī)劃的大量圖片、視頻資料等非結(jié)構(gòu)化數(shù)據(jù)的存儲需求，要求大數(shù)大數(shù)據(jù)平臺建設(shè)方案據(jù)基礎(chǔ)平臺采用分布式文件系統(tǒng)實現(xiàn)對匯聚的多大數(shù)據(jù)分析計算：數(shù)據(jù)分析的處理速度、準(zhǔn)確度對實際應(yīng)用的及時性、高效性都有至關(guān)重要的影響。大數(shù)據(jù)平臺提供分布式計算、流式計算、內(nèi)存計算多種數(shù)據(jù)計算引擎，能夠針對不同的場景采用不同的計算模型，對數(shù)據(jù)進(jìn)行大規(guī)模批量處理或者實時處理，大大提升ZF分布式資源管理和調(diào)度：Hadoop2.0中的資源管理系統(tǒng)，它是一安全、容錯、易用的集群管理能力，支持大規(guī)模集群的安裝/升級/補(bǔ)丁、4.3.3數(shù)據(jù)治理子系統(tǒng)建設(shè)大數(shù)據(jù)治理子平臺，提供數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理能力，實現(xiàn)對數(shù)據(jù)的規(guī)范治理與管理；提供數(shù)據(jù)工廠能力，實現(xiàn)對歸集的數(shù)據(jù)進(jìn)行清洗、加工，支撐業(yè)務(wù)的數(shù)據(jù)應(yīng)用需求。具體，在本次公共大數(shù)據(jù)資源平臺建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)管理：提供數(shù)據(jù)標(biāo)準(zhǔn)管理功能，包括：字典標(biāo)準(zhǔn)管理、命名標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理：提供數(shù)據(jù)質(zhì)量管理功能，包括：質(zhì)量模型配置、質(zhì)量規(guī)則數(shù)據(jù)開發(fā)平臺：提供數(shù)據(jù)開發(fā)平臺能力，支持可視化開發(fā)和原生態(tài)開發(fā)兩統(tǒng)一調(diào)度管理：提供統(tǒng)一調(diào)度管理功能，提供流程設(shè)計與管理、調(diào)度策略4.3.4數(shù)據(jù)資源中心在本次項目中，我們需要制定全區(qū)公共數(shù)據(jù)匯聚的標(biāo)準(zhǔn)規(guī)范和管理制度，歸大數(shù)據(jù)平臺建設(shè)方案集全區(qū)各單位的ZF公共數(shù)據(jù)，形成Y區(qū)的數(shù)據(jù)資源湖。同時經(jīng)過對數(shù)據(jù)進(jìn)行清洗、基于全區(qū)的數(shù)據(jù)資源湖，利用經(jīng)過治理后的數(shù)據(jù)，可以針對某一特領(lǐng)域的業(yè)務(wù)數(shù)據(jù)共享、應(yīng)用需求，按主題歸集形成專題庫和主題庫，并面向政務(wù)部門及社會進(jìn)行數(shù)據(jù)開放。此外，我們還將持續(xù)開展、深入Y區(qū)大數(shù)據(jù)的應(yīng)用探索，圍繞跨部門、跨領(lǐng)域、跨行業(yè)的數(shù)據(jù)應(yīng)用需求，對數(shù)據(jù)實體進(jìn)行數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合和衍生計算，生成算法標(biāo)簽，逐步建立不同領(lǐng)域的應(yīng)用專題或主題庫構(gòu)建面向全區(qū)多部門提供統(tǒng)籌的數(shù)據(jù)共建共享共用的數(shù)據(jù)服務(wù)。具體，在本次公共大數(shù)據(jù)資源建立Y區(qū)級數(shù)據(jù)湖：構(gòu)建全區(qū)公共數(shù)據(jù)的存儲與計算空間，支撐各類數(shù)據(jù)資源的匯聚存儲、處理計算與查詢應(yīng)用，并依據(jù)部門類別、數(shù)據(jù)源類別等完成數(shù)據(jù)對接的實施：完成與區(qū)各委辦業(yè)務(wù)與管理系統(tǒng)、H市大數(shù)據(jù)資源平臺以及物聯(lián)網(wǎng)相關(guān)平臺數(shù)據(jù)的對接，匯聚各類業(yè)務(wù)數(shù)據(jù)，形成全區(qū)公共建設(shè)基礎(chǔ)庫：建設(shè)全區(qū)統(tǒng)一的基礎(chǔ)人口綜合庫、法人綜合庫、電子證照庫以及地理空間庫，支撐全區(qū)人口、法人、電子證照與地理空間等數(shù)據(jù)相關(guān)建設(shè)主題庫：建設(shè)全區(qū)統(tǒng)一的產(chǎn)業(yè)經(jīng)濟(jì)主題庫、電子證照主題庫、權(quán)力事數(shù)據(jù)融合和衍生計算，生成算法標(biāo)簽，提供超級應(yīng)用級數(shù)據(jù)服務(wù)。主題庫的建設(shè)是為了滿足某一特大型領(lǐng)域的業(yè)務(wù)共建共享需求，需要多個部門合作，在大數(shù)據(jù)主管部門的支撐下，構(gòu)建面向全區(qū)多部門提供統(tǒng)籌的數(shù)據(jù)共建共享共用的數(shù)據(jù)服為了解決目前全區(qū)面向企業(yè)法人提供服務(wù)缺失基礎(chǔ)數(shù)據(jù)的情況，本次項目擬大數(shù)據(jù)平臺建設(shè)方案面向特定領(lǐng)域?qū)ｎ}應(yīng)用的數(shù)據(jù)服務(wù)。一般由各自委辦局自行開發(fā)建設(shè)，也可以根據(jù)實際情況由委辦局委托大數(shù)據(jù)中心代建代運營。作為領(lǐng)域的專題數(shù)據(jù)，一般不作為支撐大型跨領(lǐng)域、跨行業(yè)的超級綜合應(yīng)用并向外部門提供數(shù)據(jù)服務(wù)，更4.3.5數(shù)據(jù)共享子系統(tǒng)安全管理和成功案例的快速復(fù)制，最大程度吸引外部開包含數(shù)據(jù)交換和服務(wù)管理，支持結(jié)構(gòu)化庫表下發(fā)、文件共享、API接口共享、在Y區(qū)大數(shù)據(jù)資源平臺項目的基礎(chǔ)上擴(kuò)展功能。主要包括消息推送、數(shù)據(jù)推建立數(shù)據(jù)開放門戶：主要實現(xiàn)數(shù)據(jù)目錄、數(shù)據(jù)接口、數(shù)據(jù)應(yīng)用、數(shù)據(jù)圖譜、將數(shù)據(jù)共享情況、數(shù)據(jù)歸集情況進(jìn)行統(tǒng)計分析后展示?？蓪μ顖蟆⒔y(tǒng)計分析數(shù)據(jù)設(shè)置審批崗，對數(shù)據(jù)進(jìn)行雙重把關(guān)，對統(tǒng)計結(jié)果進(jìn)行推送。KPI指標(biāo)監(jiān)控、監(jiān)控指標(biāo)預(yù)警信息及時推送、數(shù)據(jù)鉆取，實現(xiàn)由粗-細(xì)，切換維度的數(shù)據(jù)分析、可視當(dāng)委辦向大數(shù)據(jù)中心提出查詢要求，需要通過申請審批完成數(shù)據(jù)資源分享，大數(shù)據(jù)平臺建設(shè)方案大數(shù)據(jù)中心對接委辦的管理流程，委辦提出需求需要查詢某數(shù)據(jù)項，將在該4.3.7統(tǒng)一運維子系統(tǒng)理指標(biāo)和數(shù)據(jù)，對云資源、應(yīng)用和業(yè)務(wù)對象的性能數(shù)據(jù)管警管理等，及時發(fā)現(xiàn)異常和潛在問題，對云管理運行過程況等運維數(shù)據(jù)進(jìn)行深入分析，保障大數(shù)據(jù)資源平臺穩(wěn)定、全、合理的分配。構(gòu)建一站式數(shù)據(jù)資產(chǎn)可視化管理，實現(xiàn)4.3.8數(shù)據(jù)安全管理子系統(tǒng)大數(shù)據(jù)資源平臺應(yīng)有完整的安全策略控制體安全、高效和事件行為的可回溯性。大數(shù)據(jù)資源平臺的安全能力，并通過對標(biāo)準(zhǔn)化解決方案進(jìn)行定制化開能力的全局賦能，包括統(tǒng)一的身份和權(quán)限管理、統(tǒng)一4.4應(yīng)用系統(tǒng)4.4.1大數(shù)據(jù)底座大數(shù)據(jù)底座整體技術(shù)架構(gòu)如圖所示，其中包括大數(shù)據(jù)基礎(chǔ)平臺、集群洞察、大數(shù)據(jù)基礎(chǔ)平臺（DP），實現(xiàn)統(tǒng)一的資源分配，應(yīng)用管理及為數(shù)據(jù)治理提供集群洞察（CI）是大數(shù)據(jù)集群資源、性能、安全的深度洞察和智能規(guī)劃，保大數(shù)據(jù)平臺建設(shè)方案流處理引擎（SP）實現(xiàn)統(tǒng)一的實時數(shù)據(jù)接入、分析處理、分發(fā)訂閱，全面保關(guān)聯(lián)檢索引擎（SP）建立豐富的索引，多樣化的查詢接口，支持各種結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)解析，能夠為更多的用戶，豐富的數(shù)據(jù)類型，為多樣化的業(yè)務(wù)提供通用大數(shù)據(jù)平臺建設(shè)方案大數(shù)據(jù)平臺建設(shè)方案大數(shù)據(jù)平臺建設(shè)方案大數(shù)據(jù)平臺建設(shè)方案大數(shù)據(jù)平臺建設(shè)方案.1大數(shù)據(jù)平臺建設(shè)方案.1大數(shù)據(jù)平臺建設(shè)方案服務(wù)名稱權(quán)限控制粒度權(quán)限HDFS文件目錄、文件數(shù)支持對文件路徑的權(quán)限管理，包括文件的讀/寫/執(zhí)行Hive數(shù)據(jù)庫，表支持?jǐn)?shù)據(jù)庫的細(xì)粒度權(quán)限管理，實現(xiàn)表、列的授權(quán)，權(quán)限包括查詢、更新、創(chuàng)建、刪除、修改MR2隊列支持對隊列的權(quán)限管理，包括：隊列管理，隊列查詢Kafka主題支持對Kafka實例主題的權(quán)限管理，實現(xiàn)細(xì)粒度的權(quán)限控制，權(quán)限包括：發(fā)布、消費、配置、創(chuàng)建、刪除等HBase命名空間支持對Hbase的命名空間的細(xì)粒度權(quán)限管理，支持表、列簇、列的授權(quán)，權(quán)限包括：查詢、更新、創(chuàng)建、刪除等Spark隊列支持對隊列的權(quán)限管理，包括：隊列管理，隊列查詢?yōu)槠髽I(yè)級用戶搭建統(tǒng)一的分布式流式數(shù)據(jù)處理平臺，實現(xiàn)統(tǒng)一的實時數(shù)據(jù)接實時開發(fā)管理：一站式完成流作業(yè)開發(fā)編排和管理能力，同時根據(jù)流數(shù)據(jù)的實時數(shù)據(jù)服務(wù)：依據(jù)實時業(yè)務(wù)場景的特點，提供個性化數(shù)據(jù)訂閱和數(shù)據(jù)推送大數(shù)據(jù)平臺建設(shè)方案實時分析處理：主要對流式數(shù)據(jù)進(jìn)行業(yè)務(wù)邏輯運算，包括：字段計算、多流實時數(shù)據(jù)交換：主要完成B域訂購數(shù)據(jù)、繳費數(shù)據(jù)、消費數(shù)據(jù)等的采集、清.1采用Master-Slave的分布式架構(gòu)，針對不同系統(tǒng)的多種數(shù)據(jù)源，提供一站式實時采集、預(yù)處理和分發(fā)的功能，全界面化數(shù)據(jù)流采集配置和管理，擺脫單調(diào)的.異構(gòu)系統(tǒng)間統(tǒng)一調(diào)度處理：支持異構(gòu)系統(tǒng)、平臺、數(shù)據(jù)庫間數(shù)據(jù)調(diào)度流程.全界面化操作能力：豐富的圖形化操作界面，控件式無編碼開發(fā)功能，開.分布式線性動態(tài)擴(kuò)展：實現(xiàn)節(jié)點動態(tài)線性擴(kuò)展，從而滿足高性能要求。.對第三方軟件集成能力：提供插件式開發(fā)，將對外服務(wù)、集成功能封裝成大數(shù)據(jù)平臺建設(shè)方案API供其他軟件調(diào)用；通過高速分布式緩存RedisCluster完成流數(shù)據(jù)和批數(shù)據(jù)的關(guān)聯(lián)運算，滿足實時字段計算：通過高速分布式緩存RedisCluster完成上網(wǎng)類、位置類、訂單繳費類等流數(shù)據(jù)計算，運算速度快，高并發(fā)，高吞吐，并為用戶提供托拉拽實時匯總計算：實時增量/全量數(shù)據(jù)匯總分析，支持多指標(biāo)多維度并行計算，多流合并計算：解決多種流數(shù)據(jù)合并處理，例如：位置流場景，完全基于Spark、Flink內(nèi)存機(jī)制，而非與外部組件交互，提供雙時間窗口提供開發(fā)者基于控件模式的流數(shù)據(jù)開發(fā)編排能力，屏蔽了復(fù)雜的底層開發(fā)過程，降低開發(fā)門檻。提供向?qū)介_發(fā)過程，簡單易用提供實時和歷史的性能指標(biāo)分析和展示，同時提供性能優(yōu)化的參數(shù)設(shè)定，即Kafka核心指標(biāo)實時監(jiān)控，同時提供告警項和閾值設(shè)定，實時分級展示告警信通過提供數(shù)據(jù)的存儲、建立豐富的索引，多樣化的查詢接口，支持各種結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)解析，能夠為更多的用戶，豐富的數(shù)據(jù)類型，為多樣化的業(yè)務(wù)提供通高效的查詢性能：通過對不同業(yè)務(wù)場景建立索引，實現(xiàn)對流數(shù)據(jù)和批量數(shù)據(jù)大數(shù)據(jù)平臺建設(shè)方案靈活的查詢接口：提供可視化查詢界面和API查詢接口，通過定義豐富的查便捷的聚合查詢：通過定義預(yù)定義函數(shù)，實現(xiàn)SQL的聚合查詢，屏蔽底層查.1將結(jié)構(gòu)化的數(shù)據(jù)文件實時讀入flumesource中，通過flumesink實時地將結(jié)構(gòu)數(shù)據(jù)入庫到HBase中。在數(shù)據(jù)實時接入的過程中，會根據(jù)數(shù)據(jù)內(nèi)容以及數(shù)據(jù)的格式動態(tài)計算出該條數(shù)據(jù)對應(yīng)的數(shù)據(jù)表，實現(xiàn)不同數(shù)據(jù)入到不同的表中。實時入庫功能實現(xiàn)數(shù)據(jù)在入數(shù)據(jù)庫的同時進(jìn)行字段解將寫入hbase中的數(shù)據(jù)，按照自定義字段實時建立索引到solr中，也支持全整個實時數(shù)據(jù)索引功能中，使用了業(yè)界主流的三個組件：hbase、solr、大數(shù)據(jù)平臺建設(shè)方案提供按照業(yè)務(wù)查詢需求建立的多字段索引，實現(xiàn)1.實時建立全字段索引：不僅按照rowkey規(guī)則建立，同時可以完成其他字段可以作為統(tǒng)一的查詢檢索服務(wù)對外提供API調(diào)用，外部系統(tǒng)可以通過接口調(diào)大數(shù)據(jù)底座平臺需配合各子系統(tǒng)做好對接工作，包括數(shù)據(jù)治理子平臺、數(shù)據(jù)配合網(wǎng)絡(luò)監(jiān)控、操作系統(tǒng)監(jiān)控、平臺監(jiān)控、平臺上應(yīng)用監(jiān)控數(shù)4.4.2數(shù)據(jù)采集子系統(tǒng).1庫到庫是指各委辦局開放前置節(jié)點的數(shù)據(jù)庫，通數(shù)據(jù)采集平臺工具，可配置數(shù)據(jù)抽取方案，將前置支持mysql、Oracle、db2、SQLserver大數(shù)據(jù)平臺建設(shè)方案類似于數(shù)據(jù)遷移或數(shù)據(jù)復(fù)制，它將數(shù)據(jù)源中的表數(shù)據(jù)原出來；增量抽取只抽取自上次抽取以來數(shù)據(jù)經(jīng)過仔細(xì)評估，在當(dāng)下的應(yīng)用場景中，最佳的增量抽取方源表對增量表數(shù)據(jù)進(jìn)行標(biāo)記的方式，來捕獲數(shù)據(jù)的增刪改委辦通過約定的API接口，通過restful、webservice等方式傳遞參數(shù)，數(shù)為滿足數(shù)據(jù)采集平臺對各種復(fù)雜任務(wù)的靈活工作流結(jié)合了數(shù)據(jù)集成、數(shù)據(jù)開發(fā)模塊，用于創(chuàng)建有向無環(huán)的DAG工作業(yè)，工作流作業(yè)內(nèi)部創(chuàng)建一個個的子作業(yè)，子作業(yè)之間互程運轉(zhuǎn)，每個子作業(yè)完成對應(yīng)的數(shù)據(jù)處理操作，執(zhí)行錯誤行，也可就此終止，同時工作流提供完善的日志查看系統(tǒng)上的協(xié)作開發(fā)能力，提升了團(tuán)隊開發(fā)的效率。支持抽取任相互設(shè)置不沖突的依賴關(guān)系，從而確保下游數(shù)據(jù)不大數(shù)據(jù)平臺建設(shè)方案失敗恢復(fù)數(shù)據(jù)功能，可以檢測到失敗數(shù)據(jù)，有計劃務(wù)進(jìn)行恢復(fù)。通過日志可以看到各種運維監(jiān)控信息消耗、抽取數(shù)量、抽取數(shù)據(jù)量等，滿足對數(shù)據(jù)抽取查看，對任務(wù)執(zhí)行的異常進(jìn)行流程干預(yù)處理，對平臺總覽對整個作業(yè)集群的重要指標(biāo)提供了可視化監(jiān)示了運維人員常用的集群性能指標(biāo)以及作業(yè)的執(zhí)行統(tǒng)）：大數(shù)據(jù)平臺建設(shè)方案周期作業(yè)幫助運維人員管理線上作業(yè)。對于已上線增加了上線任務(wù)執(zhí)行的依賴關(guān)系，任務(wù)上線時可以支持任務(wù)智能調(diào)度，根據(jù)節(jié)點、資源不同，實支持抽取任務(wù)的優(yōu)先級調(diào)度功能，可靈活調(diào)整的提前執(zhí)行?？稍陉犃兄?，隨時提升/降低數(shù)據(jù)質(zhì)量管理子系統(tǒng)主要包含對數(shù)據(jù)完整性、析和管理，并對數(shù)據(jù)進(jìn)行跟蹤、處理和解決，實現(xiàn)數(shù)據(jù)的質(zhì)量，并進(jìn)而提高數(shù)據(jù)分析、數(shù)據(jù)挖掘質(zhì)量維度包括：一致性、準(zhǔn)確性、完整性、合理性、通過對數(shù)據(jù)的規(guī)則配置，然后對數(shù)據(jù)執(zhí)行相應(yīng)的規(guī)則，檢據(jù)的檢查結(jié)果以圖表的方式直觀的顯示出來，方便了解數(shù)大數(shù)據(jù)平臺建設(shè)方案依據(jù)質(zhì)量需求，靈活配置質(zhì)量規(guī)則。如開發(fā)質(zhì)要的跨層數(shù)據(jù)訪問、不合理的大表關(guān)聯(lián)操作)、數(shù)據(jù)波動規(guī)依據(jù)質(zhì)量規(guī)則執(zhí)行的時機(jī)需求，配置執(zhí)行方式依據(jù)質(zhì)量檢查規(guī)則對數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，如接依據(jù)質(zhì)量檢查評估規(guī)則對數(shù)據(jù)質(zhì)量進(jìn)行評估，對評估報告進(jìn)行分析得出優(yōu)化建議，并付諸優(yōu)化動作.1提供單表數(shù)據(jù)預(yù)覽功能，同時可通過設(shè)置稽查檢的稽查結(jié)果分析，幫助數(shù)據(jù)模型設(shè)計人員分析數(shù)據(jù)內(nèi)容根據(jù)預(yù)先配置的規(guī)則、算法和質(zhì)量檢查度量，對數(shù)角度的檢查，以及時發(fā)現(xiàn)問題，解決問題。對程的日志可以判斷出過程輸出的目標(biāo)表數(shù)據(jù)是否完整。提信息供選擇，如：過程名、所屬模塊、執(zhí)行時間、完成時度關(guān)聯(lián)編碼表、各緯度記錄分布情況、是否有空值、空值在設(shè)定數(shù)據(jù)稽核的模板后，可以對稽核任務(wù)實行自動數(shù)據(jù)質(zhì)量監(jiān)控是對輸入數(shù)據(jù)的質(zhì)量檢測和探查如臟數(shù)據(jù)比例）進(jìn)行解和判斷的工具，該模組對數(shù)質(zhì)量探查會對探查到的數(shù)據(jù)問題進(jìn)行強(qiáng)弱分級，大數(shù)據(jù)平臺建設(shè)方案制定質(zhì)量監(jiān)控的詳細(xì)規(guī)則，包括數(shù)據(jù)量的一致性提供整體數(shù)據(jù)表處理情況的預(yù)覽，包括整體數(shù)據(jù)本模塊主要解決有問題的數(shù)據(jù)表的排查情況，包需要能夠根據(jù)預(yù)設(shè)的規(guī)則來檢測數(shù)據(jù)中的質(zhì)量問題，檢測提供默認(rèn)的規(guī)則模板，用戶也可以自主編寫規(guī)則表達(dá)式。度系統(tǒng)強(qiáng)耦合，發(fā)現(xiàn)臟數(shù)據(jù)可實現(xiàn)事中攔截，避免錯誤各類規(guī)則發(fā)現(xiàn)問題數(shù)和規(guī)則問題率排名（此規(guī)大數(shù)據(jù)平臺建設(shè)方案支持指標(biāo)看板，實時呈現(xiàn)在線業(yè)務(wù)關(guān)鍵指標(biāo)，掌業(yè)務(wù)鏈路，主要展示所有已開啟監(jiān)控的數(shù)據(jù)業(yè)務(wù)鏈路的運明細(xì)，包含最新監(jiān)控結(jié)果、告警信息中心和告警訂閱配置業(yè)務(wù)分組管理、監(jiān)控任務(wù)管理和業(yè)務(wù)鏈路管理。支持全局.1l結(jié)構(gòu)與源系統(tǒng)保持一致的增量數(shù)據(jù)。匯聚業(yè)務(wù)系統(tǒng)源頭數(shù)據(jù)。也是ETL加工過操作型數(shù)據(jù)，指結(jié)構(gòu)與源系統(tǒng)保持一致的全量數(shù)據(jù)。采用雙表設(shè)計存儲，標(biāo)準(zhǔn)表做了標(biāo)準(zhǔn)化數(shù)據(jù)清洗，如證件類型代碼標(biāo)準(zhǔn)化。原始表滿足溯源及源系統(tǒng)數(shù)據(jù)lDataWarehouseDetail，數(shù)據(jù)倉庫明細(xì)層數(shù)據(jù)（對應(yīng)人口庫、法人庫、空間大數(shù)據(jù)平臺建設(shè)方案地理庫）。對數(shù)據(jù)按人口、法人、空間地理三大基礎(chǔ)數(shù)據(jù)域進(jìn)行分類，整合，清l按分析對象對實體進(jìn)行數(shù)據(jù)整合，輕度匯總，算法標(biāo)簽。面向應(yīng)用提供智能數(shù)據(jù)DWD層引用ODS層數(shù)據(jù)，默認(rèn)使用ODS層字段數(shù)據(jù)類型，衍生加工數(shù)據(jù)字段按yyyymmdd月：yyyymm。涉及地市數(shù)據(jù)隔離，采用二級分區(qū)。命名為fq_xzqh（行大數(shù)據(jù)平臺建設(shè)方案_1d_3d_1w_2w_1m_2m_3m_6m_b6m_cw_cm_cq_cy_std日日_mtd大數(shù)據(jù)平臺建設(shè)方案日_wtd日ODS層每張表設(shè)計dw_status：數(shù)據(jù)狀態(tài)，I,D,U分別對應(yīng)增加、刪除和修改統(tǒng)一對dwd、dws增加代理鍵字段，使用MD5對業(yè)務(wù)主鍵創(chuàng)建唯一ID。根據(jù)業(yè)務(wù)處理需要把數(shù)據(jù)生產(chǎn)在中間臨時中，然后在生成結(jié)果數(shù)據(jù)。因此臨時l字段名與ODPS關(guān)鍵字沖突時處理規(guī)則：加一個”_col”后綴，即：源字段名大數(shù)據(jù)平臺建設(shè)方案l對于屬性及數(shù)據(jù)量不大的事務(wù)數(shù)據(jù)，設(shè)置有原始格式及標(biāo)準(zhǔn)化格式的全量表。原始格式全量數(shù)據(jù)表生成：按業(yè)務(wù)主鍵對STG表數(shù)據(jù)與前一天ODS未清洗全量標(biāo)準(zhǔn)代碼轉(zhuǎn)換，按公安部代碼定義標(biāo)準(zhǔn)，對源系統(tǒng)代碼進(jìn)行轉(zhuǎn)換,源系統(tǒng)代碼字段及標(biāo)準(zhǔn)代碼字段均保留,不能轉(zhuǎn)換成標(biāo)準(zhǔn)代碼的代碼值在標(biāo)準(zhǔn)代碼項內(nèi)保存成ll擴(kuò)展增加的代碼名稱屬性字段在原數(shù)據(jù)項名稱的基礎(chǔ)上加mc后綴標(biāo)準(zhǔn)格式化后擴(kuò)充的日期字段,在原字段基礎(chǔ)上加_dt后綴。大數(shù)據(jù)中心數(shù)據(jù)來源于多個渠道，各渠道提供的數(shù)據(jù)中，有很多相似性的數(shù)據(jù)大數(shù)據(jù)平臺建設(shè)方案存在，例如城投水務(wù)提供的企業(yè)行業(yè)分類信息以及燃?xì)夤咎峁┑钠髽I(yè)行業(yè)分類并且對于這兩份數(shù)據(jù)處理的邏輯也會存在差異。數(shù)據(jù)整合的目的，是為了更好的基于ODS層，從人口、法人兩個角度，明確哪些數(shù)據(jù)作為主數(shù)據(jù)，哪些數(shù)據(jù)作按照遵循事實，同時兼顧中性共享和靈活可擴(kuò)展的設(shè)計DWD結(jié)構(gòu)時，綜合考慮需要合并的數(shù)據(jù)表，選擇具有業(yè)務(wù)含義和業(yè)務(wù)用途統(tǒng)一采用dt作為分區(qū)字段。行為和軌跡類數(shù)據(jù)，所有數(shù)據(jù)按照增量保存，對于源頭提供的歷史數(shù)據(jù)，需要根據(jù)業(yè)務(wù)日期提煉所涉及的分區(qū)，然后把相關(guān)分區(qū)數(shù)據(jù)和歷史數(shù)據(jù)合并，重新根據(jù)業(yè)務(wù)日期delta表保留：對于需要直接同步到ADS的增量數(shù)據(jù)，在DWD層數(shù)據(jù)處理中，對于數(shù)據(jù)中出現(xiàn)的異常業(yè)務(wù)日期，例如2086-9-28日，會影響正常的分區(qū)，需要在數(shù)據(jù)處理過程中，把這類信息統(tǒng)一放入到19000101分區(qū)中。數(shù)據(jù)質(zhì)量檢查的l大數(shù)據(jù)平臺建設(shè)方案數(shù)據(jù)域主要分為人口、法人等，將數(shù)據(jù)按所屬的業(yè)務(wù)類別來進(jìn)行模型構(gòu)建，數(shù)據(jù)子域是按對象及業(yè)務(wù)過程對數(shù)據(jù)域進(jìn)行進(jìn)l字段命名采用漢語拼音首字母命名。示例如下：姓名如果遇到?jīng)_突的情況，例如杭州hz,湖州hz，分別針對第一個沖突字段，采用前兩個拼音字母來代替，例如：出生日期:cshrq,出所日期；csurq杭州haz,業(yè)務(wù)日期字段,冗余存在三種類型:string,datetime,bigint命名規(guī)范：datetime后綴_dt、bigint后綴_int。業(yè)務(wù)日期：出生日期、駕照辦理日期等?；诖髷?shù)據(jù)中心對人口、法人、空間地理的建設(shè)規(guī)范要求，基于國家標(biāo)準(zhǔn)、行0123456789大數(shù)據(jù)平臺建設(shè)方案02女?dāng)?shù)據(jù)生命周期管理（datalifecyclemanagement，DLM）是一種基于策略的方法，用于管理信息系統(tǒng)的數(shù)據(jù)在整個生命周期內(nèi)的流動：從創(chuàng)建和初始存儲，到它過時被刪除。DLM產(chǎn)品將涉及的過程自動化，通常根據(jù)指定的策略將數(shù)據(jù)組織成各個不同的層，并基于那些關(guān)鍵條件自動地將數(shù)據(jù)數(shù)據(jù)生命周期管理的總體原則口在數(shù)據(jù)的整個生命周期中,不同階段的數(shù)據(jù)其l通常情況下,在其生命周期初期,數(shù)據(jù)的使用頻率較高,需要使用高速存儲,l隨著時間的推移,數(shù)據(jù)重要性會逐漸降低,使用頻率會隨之下降,應(yīng)將數(shù)據(jù)進(jìn)行不同級別的存儲,為其提供適當(dāng)?shù)目捎?性、存儲空間,以降低管理成l最終大部分?jǐn)?shù)據(jù)將不再會被使用,可以將數(shù)據(jù)清理后歸檔保存,以備臨時需根據(jù)目前系統(tǒng)資源情況,結(jié)合數(shù)據(jù)治理業(yè)務(wù)的需要，對使用大數(shù)據(jù)資源平臺產(chǎn)1大數(shù)據(jù)平臺建設(shè)方案234567注：具體情況隨現(xiàn)場業(yè)務(wù)場景作具體調(diào)整，以便各方更準(zhǔn)確更合理的對數(shù)據(jù)治擬定接入市大數(shù)據(jù)中心數(shù)據(jù)，共涉及10個委辦，20個場景，100多張表。數(shù)4.4.3數(shù)據(jù)治理子系統(tǒng)在本次項目中，我們將通過大數(shù)據(jù)治理子平臺的建設(shè)元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理能力，實現(xiàn)對數(shù)據(jù)的規(guī)廠能力，實現(xiàn)對歸集的數(shù)據(jù)進(jìn)行清洗、加工數(shù)據(jù)治理將分散、多樣化的數(shù)據(jù)通過匯集、標(biāo)量進(jìn)行全面的提升和監(jiān)控，形成城市大數(shù)據(jù)的管理和控制據(jù)治理體系，持續(xù)不斷的挖掘和提升數(shù)據(jù)的應(yīng)用價值。數(shù)全生命周期、端到端的全鏈路透明化管控，實現(xiàn)“數(shù)據(jù)模大數(shù)據(jù)平臺建設(shè)方案數(shù)據(jù)治理就是將數(shù)據(jù)轉(zhuǎn)化為資產(chǎn)的手段和方法具，以分布式存儲和運算為基礎(chǔ)，通過人工智能和機(jī)器大數(shù)據(jù)資源平臺的應(yīng)用建設(shè)目標(biāo)，包含數(shù)據(jù)地圖、數(shù)據(jù)護(hù)傘以及安全衛(wèi)士，提供全面的數(shù)據(jù)治理能力，提供數(shù)標(biāo)準(zhǔn)化、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)比對等方面服務(wù)。做好數(shù)據(jù)質(zhì)量管理，主要包括四個方面數(shù)據(jù)缺失補(bǔ)缺、.1從政務(wù)辦公網(wǎng)、感知網(wǎng)、社會協(xié)同單位收集據(jù)基礎(chǔ)，并對匯集的原始數(shù)據(jù)開展基于數(shù)據(jù)管理和業(yè)務(wù)視基于數(shù)據(jù)管理視角，對業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)進(jìn)據(jù)資產(chǎn)管理應(yīng)用，達(dá)到數(shù)據(jù)資源的規(guī)范化和可視化；匯聚散、不可直接使用的狀態(tài)，為數(shù)據(jù)使用者提供一站式的集設(shè)等需求；對數(shù)據(jù)融合處理的全過程通過質(zhì)量管理工具基于業(yè)務(wù)應(yīng)用視角，對匯聚的基礎(chǔ)數(shù)據(jù)開展模型治基于業(yè)務(wù)背景及要求的處理加工、以及面向應(yīng)用專題場數(shù)據(jù)資源層、主題數(shù)據(jù)資源層、應(yīng)用數(shù)據(jù)資源層，形成基于業(yè)務(wù)需求引導(dǎo)和對數(shù)據(jù)資源信息的價值梳理,對和算法計算，將數(shù)據(jù)標(biāo)簽化，構(gòu)建基礎(chǔ)庫，支撐專題應(yīng)用按照業(yè)務(wù)場景需求，將基礎(chǔ)庫、主題庫和專題起各類業(yè)務(wù)創(chuàng)新應(yīng)用，如監(jiān)控大屏、全息畫像、預(yù)警中心數(shù)據(jù)治理平臺會包含部分基礎(chǔ)、主專題庫數(shù)據(jù)等大數(shù)據(jù)平臺建設(shè)方案大數(shù)據(jù)平臺建設(shè)方案數(shù)據(jù)治理就是將數(shù)據(jù)轉(zhuǎn)化為資產(chǎn)的手段和方法，采用數(shù)據(jù)治理系統(tǒng)工具，以分布式存儲和運算為基礎(chǔ)，通過人工智能和機(jī)器學(xué)習(xí)技術(shù)，輔之以適量的人工訓(xùn)本次項目中，數(shù)據(jù)整理治理子平臺的建設(shè)將圍繞公共大數(shù)據(jù)資源平臺的應(yīng)用建設(shè)目標(biāo)，提供全面的數(shù)據(jù)治理能力。數(shù)據(jù)治理平臺通過對數(shù)據(jù)全生命周期、端到端的全鏈路透明化管控，實現(xiàn)“數(shù)據(jù)模型標(biāo)準(zhǔn)化、數(shù)據(jù)關(guān)系脈絡(luò)化、數(shù)據(jù)加工有效解決數(shù)據(jù)資源不可知、數(shù)據(jù)質(zhì)量不可控、數(shù)據(jù)關(guān)系不可聯(lián)、數(shù)據(jù)脈絡(luò)不清晰通過數(shù)據(jù)治理子平臺的建設(shè)與實施，可以將海量、分散、多樣化的數(shù)據(jù)通過匯集、標(biāo)準(zhǔn)化、清洗等操作對數(shù)據(jù)的質(zhì)量進(jìn)行全面的提升和監(jiān)控，形成全區(qū)大數(shù)據(jù)的管理機(jī)制，并提供一站式數(shù)據(jù)治理體系，持續(xù)不斷的挖掘和提升數(shù)據(jù)的應(yīng)用本項目建設(shè)的數(shù)據(jù)治理子系統(tǒng)適用于分析型系統(tǒng)數(shù)據(jù)處理的各個過程，負(fù)責(zé)數(shù)據(jù)的加工處理以及加工處理過程數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理。平臺可以提供數(shù)據(jù)輸入、數(shù)據(jù)加工、數(shù)據(jù)輸出和貫穿數(shù)據(jù)處理各個過程的全流程、全生命平臺采用工廠化的數(shù)據(jù)處理和管理模式，通過數(shù)據(jù)生產(chǎn)計劃、數(shù)據(jù)生產(chǎn)執(zhí)行和數(shù)據(jù)生產(chǎn)管理三大子模塊，保障數(shù)據(jù)處理全過程透明可控，實現(xiàn)工具化、流程化和自動化的開發(fā)、運維、管理，提升數(shù)據(jù)開發(fā)、生產(chǎn)的效率，保持系統(tǒng)健康、持續(xù)、穩(wěn)定的發(fā)展。具體，本次所建設(shè)的數(shù)據(jù)治大數(shù)據(jù)平臺建設(shè)方案l數(shù)據(jù)處理執(zhí)行模塊：負(fù)責(zé)數(shù)據(jù)處理計劃的執(zhí)行、數(shù)據(jù)的生產(chǎn)和數(shù)據(jù)質(zhì)量控為實現(xiàn)工廠化的數(shù)據(jù)處理和管理，本項目數(shù)據(jù)治理子平臺采用基于元數(shù)據(jù)驅(qū)l大數(shù)據(jù)平臺建設(shè)方案維護(hù)公共的共享信息資源目錄，實現(xiàn)信息資源的發(fā)現(xiàn)和定位，協(xié)助共享平臺管系統(tǒng)支撐按照基礎(chǔ)目錄、主題目錄、部門目錄等維度進(jìn)行分類，并支持按.1大數(shù)據(jù)目錄體系的建設(shè)，信息資源梳理是基礎(chǔ)，通過梳理工作才能全面了解部門的數(shù)據(jù)家底。整個過程要以數(shù)據(jù)為核心，從業(yè)務(wù)、信息化、供需等層面全面調(diào)研、整理、分析。通過以數(shù)據(jù)為核心的架構(gòu)思維，完成整個政務(wù)信息資大數(shù)據(jù)平臺建設(shè)方案3、資源整理：整理分析哪些委辦局的業(yè)