福建省政務(wù)數(shù)據(jù)平臺(tái)架構(gòu)演進(jìn)實(shí)踐

福建省公共數(shù)據(jù)體系介紹福建省公共數(shù)據(jù)體系介紹政務(wù)大數(shù)據(jù)平臺(tái)架構(gòu)演進(jìn)數(shù)字福建發(fā)展歷程“數(shù)字福建”建設(shè)目標(biāo)2000年福建舉辦首屆數(shù)字中國(guó)建設(shè)峰會(huì)“以信息化驅(qū)動(dòng)現(xiàn)代化，加快建設(shè)數(shù)字中國(guó)”“數(shù)字福建”實(shí)施131計(jì)劃一個(gè)規(guī)劃、三個(gè)工程、一項(xiàng)政策“數(shù)字福建”實(shí)施339計(jì)劃2002年省級(jí)政務(wù)信息共享交換平臺(tái)2018年2016年2003年《福建省數(shù)字政府改革和建設(shè)總體方案》《福建省大數(shù)據(jù)發(fā)展條例》《福建省公共數(shù)據(jù)資源開(kāi)放開(kāi)發(fā)管理辦法》2022年《福建省一體化公共數(shù)據(jù)體系建設(shè)方案》《福建省加快推進(jìn)數(shù)據(jù)要素市場(chǎng)化改革實(shí)施方案》2023年一體化公共數(shù)據(jù)體系建設(shè)組織保障體系政策制度體系數(shù)字政府“1131+N”體系組織保障體系政策制度體系一個(gè)綜合門戶閩政通(政務(wù)版)閩政通(公眾版)中國(guó)福建(網(wǎng)站集群)交互層應(yīng)用層一體化應(yīng)用支撐平臺(tái)公共服務(wù)能力支撐一體化運(yùn)維監(jiān)管平臺(tái)一體化公共數(shù)據(jù)平臺(tái)支撐層安全保障體系安全保障體系標(biāo)準(zhǔn)規(guī)范體系資源層一朵云政務(wù)網(wǎng)(一張網(wǎng))設(shè)施層堅(jiān)持全省一盤棋理念，打造標(biāo)準(zhǔn)統(tǒng)一、布局合理、管理協(xié)同、安全可靠的全省一體化公共數(shù)據(jù)體系；共享應(yīng)用標(biāo)準(zhǔn)規(guī)范標(biāo)準(zhǔn)規(guī)范安全保障醫(yī)院學(xué)校省級(jí)單位業(yè)務(wù)系統(tǒng)福福建省一體化公共數(shù)據(jù)平臺(tái)管理機(jī)制一體管理機(jī)制一體化運(yùn)營(yíng)數(shù)據(jù)產(chǎn)品能力支撐數(shù)據(jù)交易平臺(tái)按需匯聚數(shù)據(jù)匯聚共享平臺(tái)數(shù)據(jù)匯聚共享平臺(tái)省級(jí)公共數(shù)據(jù)資源區(qū)省級(jí)公共數(shù)據(jù)資源區(qū)基礎(chǔ)庫(kù)主數(shù)據(jù)主題庫(kù)省級(jí)匯聚共享區(qū)(行業(yè)共享數(shù)據(jù))部門數(shù)據(jù)資源專區(qū)A部門專區(qū)B部門專區(qū)部門專區(qū)數(shù)據(jù)數(shù)據(jù)交易按需接入社會(huì)數(shù)據(jù)匯聚按需接入社會(huì)數(shù)據(jù)共享應(yīng)用互聯(lián)互通設(shè)區(qū)市級(jí)聯(lián)系統(tǒng)市級(jí)數(shù)據(jù)匯聚共享平臺(tái)設(shè)區(qū)市級(jí)聯(lián)系統(tǒng)系統(tǒng)連接政務(wù)大數(shù)據(jù)平臺(tái)架構(gòu)演進(jìn)數(shù)據(jù)共享平臺(tái)部門取數(shù)數(shù)據(jù)匯聚共享平臺(tái)(集中式)換數(shù)據(jù)匯聚共享平臺(tái)(分布式)湖倉(cāng)一體(4.0)一體化公共數(shù)據(jù)平臺(tái)打造流批一體、存算分離、多祥化數(shù)據(jù)存儲(chǔ)能力，實(shí)現(xiàn)數(shù)據(jù)匯聚、治理、開(kāi)發(fā)、共享全生命周期的多層級(jí)租戶運(yùn)營(yíng)，助力數(shù)據(jù)要素價(jià)值發(fā)揮。開(kāi)發(fā)開(kāi)發(fā)匯聚存算分離計(jì)算節(jié)點(diǎn)3桶3計(jì)算節(jié)點(diǎn)1存算分離計(jì)算節(jié)點(diǎn)3桶3計(jì)算節(jié)點(diǎn)1計(jì)算對(duì)象存儲(chǔ)節(jié)點(diǎn)2桶2廳局A廳局B廳局C廳局E多層租戶SaaS化運(yùn)營(yíng)部門數(shù)據(jù)資源專區(qū)依托一體化公共數(shù)據(jù)平臺(tái)多層級(jí)租戶空間機(jī)制，實(shí)現(xiàn)集約化建設(shè)，各數(shù)據(jù)專區(qū)采用“自治”模式，各專區(qū)的計(jì)算、存儲(chǔ)等資源獨(dú)立分配、物理隔離、線性擴(kuò)展，減少財(cái)政資金投入。根空間一根空間一級(jí)空間三級(jí)空間邏輯隔離邏輯隔離項(xiàng)項(xiàng)目間市場(chǎng)間市場(chǎng)市場(chǎng)市場(chǎng)邏輯所有操作，通過(guò)內(nèi)置索引減少全表掃描場(chǎng)景快速定位數(shù)據(jù)計(jì)算引擎存算分離體系標(biāo)準(zhǔn)SQL內(nèi)置索引白帶元數(shù)據(jù)管理節(jié)點(diǎn)1對(duì)象存儲(chǔ)))簡(jiǎn)化數(shù)據(jù)匯聚共享流程，數(shù)據(jù)全生命周期采用計(jì)算與存儲(chǔ)節(jié)點(diǎn)分離技術(shù)，業(yè)務(wù)系統(tǒng)按需流式推送匯聚數(shù)據(jù)，計(jì)算節(jié)點(diǎn)實(shí)現(xiàn)批量入庫(kù)，入庫(kù)效率可達(dá)2億行數(shù)據(jù)每小時(shí)冷數(shù)據(jù)共享準(zhǔn)實(shí)時(shí)匯聚服務(wù)計(jì)算節(jié)點(diǎn)批式入庫(kù)匯聚服務(wù)計(jì)算節(jié)點(diǎn)批式入庫(kù)廳局A合并庫(kù)廳局A合并庫(kù)開(kāi)發(fā)平臺(tái)數(shù)據(jù)服務(wù)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)開(kāi)放平臺(tái)流式流式主動(dòng)廳局系統(tǒng)主動(dòng)數(shù)據(jù)推送去重?cái)?shù)據(jù)計(jì)算節(jié)點(diǎn)去重?cái)?shù)據(jù)計(jì)算節(jié)點(diǎn)S3對(duì)象存儲(chǔ)S3對(duì)象存儲(chǔ)不同數(shù)據(jù)資源專區(qū)租戶獨(dú)立擁有計(jì)算與存儲(chǔ)資源，可通過(guò)數(shù)據(jù)集市服務(wù)實(shí)現(xiàn)數(shù)據(jù)主動(dòng)共享、被動(dòng)共享、共享周期設(shè)置等，實(shí)現(xiàn)數(shù)據(jù)不搬家業(yè)務(wù)系統(tǒng)廳局A租戶廳局B租戶廳局C租戶廳局D租戶廳局E租戶…租戶相較于傳統(tǒng)大數(shù)據(jù)集群與關(guān)系型數(shù)據(jù)庫(kù)，存算分離架構(gòu)數(shù)據(jù)統(tǒng)計(jì)性能由分鐘級(jí)提升至秒級(jí)，數(shù)據(jù)存儲(chǔ)壓縮接近3倍全表55億行數(shù)據(jù)統(tǒng)計(jì)全表55億行數(shù)據(jù)按年聚合查詢統(tǒng)計(jì)Oracle庫(kù)740張表數(shù)據(jù)壓縮全表55億行數(shù)據(jù)統(tǒng)計(jì)全表55億行數(shù)據(jù)按年聚合查詢統(tǒng)計(jì)數(shù)據(jù)稽核場(chǎng)景數(shù)據(jù)稽核場(chǎng)景600秒476秒600秒476秒5秒5秒1秒?yún)R聚業(yè)務(wù)場(chǎng)景匯聚業(yè)務(wù)場(chǎng)景547秒100并發(fā)100張表修改100并發(fā)100張表寫(xiě)入5.8萬(wàn)條/秒100并發(fā)100張表翻頁(yè)62秒1242秒100并發(fā)100張表點(diǎn)查引入云原生技術(shù)實(shí)現(xiàn)資源動(dòng)態(tài)調(diào)度能力，支持機(jī)器學(xué)習(xí)實(shí)現(xiàn)向量化訓(xùn)練、二進(jìn)制數(shù)據(jù)解析等場(chǎng)景。計(jì)算引擎對(duì)象存計(jì)算