證券公司數(shù)據(jù)治理實(shí)踐分析研究

證券公司數(shù)據(jù)治理實(shí)踐

到2025年，大數(shù)據(jù)產(chǎn)業(yè)測(cè)算規(guī)模突破3萬(wàn)億元，年均復(fù)合增長(zhǎng)率保持在25%左右，創(chuàng)新力強(qiáng)、附加值高、自主可控的現(xiàn)代化大數(shù)據(jù)產(chǎn)業(yè)體系基本形成。堅(jiān)持引進(jìn)來(lái)和走出去，遵循產(chǎn)業(yè)發(fā)展規(guī)律，把握全球數(shù)字經(jīng)濟(jì)發(fā)展方向，不斷完善利益共享、風(fēng)險(xiǎn)共擔(dān)、兼顧各方的合作機(jī)制。證券公司數(shù)據(jù)治理實(shí)踐1、證券公司數(shù)據(jù)治理背景隨著證券行業(yè)發(fā)展，2016年證監(jiān)會(huì)《證券公司全面風(fēng)險(xiǎn)管理規(guī)范》提出建立健全數(shù)據(jù)治理和質(zhì)量控制機(jī)制。2018年證監(jiān)會(huì)發(fā)布《證券數(shù)據(jù)治理操作指引（征求意見(jiàn)稿）》及《證券期貨業(yè)數(shù)據(jù)分類分級(jí)指引》，同年，國(guó)家工信部發(fā)布DCMM數(shù)據(jù)管理能力成熟度評(píng)估模型，提煉組織數(shù)據(jù)管理的八大過(guò)程域，將數(shù)據(jù)能力成熟度劃分5個(gè)發(fā)展等級(jí)，幫助進(jìn)行評(píng)價(jià)。2022年，《證券期貨業(yè)科技發(fā)展十四五規(guī)劃》《金融標(biāo)準(zhǔn)化十四五發(fā)展規(guī)劃》的相繼發(fā)布，以夯實(shí)證券期貨業(yè)通用基礎(chǔ)標(biāo)準(zhǔn)體系，促進(jìn)證券期貨業(yè)數(shù)字化轉(zhuǎn)型與標(biāo)準(zhǔn)化的深度融合，為證券期貨業(yè)高質(zhì)量發(fā)展提供更多助力。標(biāo)準(zhǔn)化對(duì)數(shù)字化轉(zhuǎn)型的引領(lǐng)和推動(dòng)作用日益顯現(xiàn)。但許多證券機(jī)構(gòu)在推進(jìn)數(shù)據(jù)治理的過(guò)程中，仍然存在數(shù)據(jù)治理驅(qū)動(dòng)力不足、缺少數(shù)據(jù)治理體系規(guī)劃、數(shù)據(jù)認(rèn)責(zé)體系不完善、數(shù)據(jù)質(zhì)量難提升等諸多問(wèn)題，數(shù)據(jù)治理亟須快速提升。為充分發(fā)揮數(shù)據(jù)的資產(chǎn)價(jià)值，通過(guò)梳理證券期貨行業(yè)監(jiān)管大數(shù)據(jù)治理的需求與特殊性，對(duì)證券期貨行業(yè)的大數(shù)據(jù)治理體系搭建，包括構(gòu)建證券期貨行業(yè)數(shù)據(jù)模型、搭建公共數(shù)據(jù)平臺(tái)、建設(shè)數(shù)據(jù)服務(wù)體系以及構(gòu)建組織保障體系等方面。2、證券公司數(shù)據(jù)治理解決方案（1）基于DataOps體系的證券公司數(shù)據(jù)治理新范式DataOps從環(huán)境管理開(kāi)始，每個(gè)環(huán)境下都可以支持任務(wù)的編排、監(jiān)控和自動(dòng)化測(cè)試。每次進(jìn)行跨環(huán)境的發(fā)布時(shí)，記錄每次發(fā)布代碼的版本，進(jìn)行后期排查問(wèn)題。資訊、交易、風(fēng)控等主題的數(shù)據(jù)從左側(cè)的源系統(tǒng)流入，中間環(huán)節(jié)是各類數(shù)據(jù)處理的工具，例如數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市、AI分析等，數(shù)據(jù)經(jīng)過(guò)清洗、加工、匯總統(tǒng)計(jì)、數(shù)據(jù)治理等過(guò)程，最終通過(guò)BI、定制化報(bào)表、API等工具服務(wù)于投研、營(yíng)銷、經(jīng)營(yíng)分析等各類需求方。（2）基于SDOM模型的證券公司高效數(shù)倉(cāng)搭建與治理通過(guò)梳理市場(chǎng)證券、基金、期貨、債券、回購(gòu)等主要交易行為，形成行業(yè)交易模式；通過(guò)逆向梳理即將上線和線上化的信息披露項(xiàng)目，形成行業(yè)信息披露模式。根據(jù)證券行業(yè)相關(guān)法律法規(guī)、業(yè)務(wù)規(guī)則、制度及流程等，提取市場(chǎng)全業(yè)務(wù)流程和數(shù)據(jù)共性，形成具有通用性、穩(wěn)定性和可擴(kuò)展性的圍繞客戶、公司、監(jiān)管、產(chǎn)品、交易等數(shù)據(jù)模型。（3）基于OLAP的資證券公司訊數(shù)據(jù)校驗(yàn)資訊數(shù)據(jù)作為券商主要數(shù)據(jù)源之一，應(yīng)用廣泛，涉及投資交易、資產(chǎn)管理、經(jīng)紀(jì)與財(cái)富管理、資產(chǎn)托管等各個(gè)領(lǐng)域，往往會(huì)將資訊數(shù)據(jù)應(yīng)用到資管投研一體化、投資交易、資產(chǎn)托管、融資融券等系統(tǒng)。同時(shí)由于業(yè)務(wù)的需求，往往需要從市面上采購(gòu)多種異構(gòu)數(shù)據(jù)源接口，例如Wind、聚源、財(cái)聯(lián)、通聯(lián)、港澳資訊等，有的券商甚至采購(gòu)多達(dá)二三十種的資訊數(shù)據(jù)。這些資訊面臨以下問(wèn)題：一是數(shù)據(jù)質(zhì)量參差不齊，數(shù)據(jù)問(wèn)題難以及時(shí)發(fā)現(xiàn)，頻繁收到業(yè)務(wù)方的投訴：二是數(shù)據(jù)質(zhì)量管理成本大，規(guī)則開(kāi)發(fā)難度高：三是問(wèn)題排查鏈路長(zhǎng)，難以快速定位數(shù)據(jù)問(wèn)題，缺乏全局統(tǒng)計(jì)視角：四是質(zhì)量問(wèn)題沒(méi)有經(jīng)驗(yàn)沉淀，類似問(wèn)題頻繁發(fā)生。對(duì)于各種資訊數(shù)據(jù)，進(jìn)行跨源比對(duì)，在源頭進(jìn)行落標(biāo)、治標(biāo)的工作。通過(guò)事前規(guī)則配置、事中規(guī)則校驗(yàn)、事后分析報(bào)告的流程化方式，對(duì)數(shù)據(jù)的完整性、準(zhǔn)確性、規(guī)范性、唯一性、一致性等方面進(jìn)行多維度評(píng)估，保障券商數(shù)據(jù)質(zhì)量。（4）基于數(shù)據(jù)模型的證券公司標(biāo)簽數(shù)據(jù)治理金融科技的快速發(fā)展，使得證券行業(yè)的載體與社交媒體、電子商務(wù)的融合越來(lái)越緊密，券商借助數(shù)據(jù)戰(zhàn)略打破數(shù)據(jù)邊界，來(lái)構(gòu)建更為全面的企業(yè)營(yíng)銷全景視圖。面對(duì)客戶活動(dòng)開(kāi)發(fā)周期長(zhǎng)，運(yùn)營(yíng)不精準(zhǔn)，營(yíng)銷效果缺乏及時(shí)追蹤、運(yùn)行反饋不及時(shí)，通過(guò)客戶數(shù)據(jù)洞察平臺(tái)，業(yè)務(wù)人員可透明化地使用標(biāo)簽，將數(shù)據(jù)黑盒變成業(yè)務(wù)語(yǔ)言的白盒，輔助業(yè)務(wù)決策，驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)。使用場(chǎng)景包括網(wǎng)絡(luò)金融部的營(yíng)銷運(yùn)營(yíng)、異常交易監(jiān)控及用戶生命周期管理等。（5）基于OneService理念打造證券公司數(shù)據(jù)服務(wù)市場(chǎng)數(shù)據(jù)平臺(tái)將投研、資訊、投顧數(shù)據(jù)以服務(wù)化、接口化的方式提供數(shù)據(jù)使用方，屏蔽底層數(shù)據(jù)存儲(chǔ)、計(jì)算細(xì)節(jié)，簡(jiǎn)化和加強(qiáng)數(shù)據(jù)的使用?？梢暬膳c注冊(cè)數(shù)據(jù)服務(wù)管理，快速構(gòu)建數(shù)據(jù)共享服務(wù)，通過(guò)多種手段標(biāo)準(zhǔn)化管控服務(wù)，可完成從數(shù)據(jù)接口創(chuàng)建、發(fā)布、申請(qǐng)/審批、調(diào)用的全生命周期管控，形成數(shù)據(jù)市場(chǎng)和數(shù)據(jù)服務(wù)管理平臺(tái)，提高數(shù)據(jù)開(kāi)發(fā)與共享效率。3、證券公司數(shù)據(jù)治理交付內(nèi)容（1）證券公司數(shù)據(jù)平臺(tái)建設(shè)數(shù)據(jù)平臺(tái)包含數(shù)據(jù)實(shí)時(shí)開(kāi)發(fā)平臺(tái)和數(shù)據(jù)應(yīng)用平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)的管、治、用。一是構(gòu)建大數(shù)據(jù)實(shí)時(shí)開(kāi)發(fā)平臺(tái)，覆蓋從實(shí)時(shí)數(shù)據(jù)采集到實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)全鏈路流程，并提供運(yùn)維監(jiān)控曲線和日志功能。1）實(shí)時(shí)采集，具備基于日志的實(shí)時(shí)數(shù)據(jù)采集和基于間隔輪詢的實(shí)時(shí)數(shù)據(jù)采集方式，具有通過(guò)采集數(shù)據(jù)庫(kù)的變化并進(jìn)行還原的方式，將數(shù)據(jù)庫(kù)靜態(tài)的數(shù)據(jù)插入、更新、刪除的動(dòng)作轉(zhuǎn)換為消息中間件的動(dòng)態(tài)數(shù)據(jù)變化，或直接寫(xiě)入到Hive進(jìn)行數(shù)據(jù)落庫(kù)。2）任務(wù)管理，平臺(tái)應(yīng)支持對(duì)實(shí)時(shí)同步任務(wù)的統(tǒng)一管理，支持FlinkSQL和FlinkAPI作業(yè)開(kāi)發(fā)支持，支持環(huán)境參數(shù)配置，歷史版本管理等內(nèi)容。3）資源管理，平臺(tái)支持對(duì)實(shí)時(shí)開(kāi)發(fā)過(guò)程中所使用的資源進(jìn)行統(tǒng)一管理，支持用戶上傳本地jar資源，注冊(cè)自定義函數(shù)等操作，并可實(shí)現(xiàn)對(duì)資源進(jìn)行多版本管理。4）函數(shù)管理，平臺(tái)集成開(kāi)發(fā)過(guò)程中的常用函數(shù)，同時(shí)平臺(tái)支持通過(guò)本地資源創(chuàng)建UDF、UDAF、UDTF函數(shù)，創(chuàng)建完成后用戶可通過(guò)函數(shù)名稱使用對(duì)應(yīng)函數(shù)，也可以通過(guò)修改對(duì)應(yīng)的資源文件，修改完成后重新提交任務(wù)即可實(shí)現(xiàn)在不修改代碼的情況下實(shí)現(xiàn)函數(shù)更新。二是構(gòu)建數(shù)據(jù)應(yīng)用平臺(tái)，這里主要為數(shù)據(jù)服務(wù)平臺(tái)，這是數(shù)據(jù)中臺(tái)中最頂層的組成部分，是數(shù)據(jù)能力對(duì)外提供的接口層，通過(guò)數(shù)據(jù)服務(wù)平臺(tái)賦能前端應(yīng)用，是數(shù)據(jù)能力的出口。通過(guò)數(shù)據(jù)服務(wù)平臺(tái)的建設(shè)，對(duì)數(shù)據(jù)能力進(jìn)行抽象封裝，系統(tǒng)實(shí)現(xiàn)以下目標(biāo)。1）封裝數(shù)據(jù)能力，對(duì)外提供RESTful接口。應(yīng)用通過(guò)調(diào)用RESTful服務(wù)即可獲取數(shù)據(jù)內(nèi)容，應(yīng)用程序無(wú)需了解表結(jié)構(gòu)、分庫(kù)分表等細(xì)節(jié)信息。2）橫向擴(kuò)展能力支持高并發(fā)和數(shù)據(jù)增長(zhǎng)。通過(guò)增加存儲(chǔ)節(jié)點(diǎn)支持?jǐn)?shù)據(jù)量的增長(zhǎng)，通過(guò)增加服務(wù)處理節(jié)點(diǎn)支持高并發(fā)。3）配置化創(chuàng)建數(shù)據(jù)服務(wù)。開(kāi)發(fā)人員可以基于底層的數(shù)據(jù)庫(kù)，在管理界面配置SQL數(shù)據(jù)查詢語(yǔ)句、參數(shù)、數(shù)據(jù)庫(kù)連接、權(quán)限等內(nèi)容，即可創(chuàng)建發(fā)布一個(gè)新的數(shù)據(jù)服務(wù)。數(shù)據(jù)服務(wù)平臺(tái)的建設(shè)，將帶來(lái)以下效益。1）減少數(shù)據(jù)復(fù)制，降低成本。應(yīng)用系統(tǒng)無(wú)需拷貝數(shù)據(jù)內(nèi)容，通過(guò)服務(wù)調(diào)用獲取數(shù)據(jù)，從而降低數(shù)據(jù)存儲(chǔ)成本，特別是包含歷史數(shù)據(jù)查詢的應(yīng)用場(chǎng)景。同時(shí)，降低備份、安全等管理成本。2）提升應(yīng)用開(kāi)發(fā)效率。應(yīng)用程序無(wú)需考慮大數(shù)據(jù)的分庫(kù)分表設(shè)計(jì)、無(wú)需了解底層的數(shù)據(jù)存儲(chǔ)細(xì)節(jié)，通過(guò)服務(wù)調(diào)用即可獲得返回結(jié)果。大大避免數(shù)據(jù)不一致的沖突。由于同樣數(shù)據(jù)無(wú)需管理多個(gè)副本，在數(shù)據(jù)發(fā)生變更時(shí)，無(wú)需復(fù)制更新，減少數(shù)據(jù)不一致的沖突。（2）證券公司數(shù)據(jù)應(yīng)用實(shí)施完成面向大數(shù)據(jù)平臺(tái)的數(shù)據(jù)血緣關(guān)系梳理。重構(gòu)大數(shù)據(jù)平臺(tái)合約、賬戶資金、持倉(cāng)、特殊證券場(chǎng)景數(shù)據(jù)模型，并進(jìn)行落標(biāo)實(shí)施。完成兩融客戶資產(chǎn)負(fù)債實(shí)時(shí)統(tǒng)計(jì)推送、財(cái)務(wù)憑證流水實(shí)時(shí)統(tǒng)計(jì)推送、原生Flink作業(yè)SQL數(shù)倉(cāng)化改造。4、證券公司數(shù)據(jù)治理建設(shè)成果（1）海量業(yè)務(wù)數(shù)據(jù)匯聚，構(gòu)建證券公司金融級(jí)數(shù)據(jù)平臺(tái)大數(shù)據(jù)引擎+流批一體數(shù)據(jù)采集滿足證券公司業(yè)務(wù)系統(tǒng)的數(shù)據(jù)匯聚，對(duì)線上和線下業(yè)務(wù)數(shù)據(jù)進(jìn)行采集匯聚，提供集中的大數(shù)據(jù)技術(shù)和存儲(chǔ)能力，保障實(shí)時(shí)多樣化數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算；提供強(qiáng)大的大數(shù)據(jù)平臺(tái)基礎(chǔ)，滿足現(xiàn)在和未來(lái)的數(shù)據(jù)采集、存儲(chǔ)和技術(shù)需求。（2）統(tǒng)一數(shù)據(jù)開(kāi)發(fā)，降低證券公司大數(shù)據(jù)開(kāi)發(fā)門(mén)檻實(shí)時(shí)開(kāi)發(fā)平臺(tái)滿足證券公司科技部門(mén)能統(tǒng)一在一個(gè)平臺(tái)上進(jìn)行集中開(kāi)發(fā)和對(duì)內(nèi)外各種租戶數(shù)據(jù)加工，提供統(tǒng)一一體化數(shù)據(jù)開(kāi)發(fā)平臺(tái)，滿足大數(shù)據(jù)、SQL、圖形化各種數(shù)據(jù)開(kāi)發(fā)加工要求，降低開(kāi)發(fā)工具的復(fù)雜度、數(shù)據(jù)開(kāi)發(fā)成本，快速構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)。（3）滿足監(jiān)管報(bào)送，實(shí)現(xiàn)證券公司一體化數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)平臺(tái)，提供對(duì)內(nèi)的統(tǒng)一數(shù)據(jù)服務(wù)和數(shù)據(jù)交換，滿足金融第三方機(jī)構(gòu)的監(jiān)管報(bào)送要求，證券公司提供標(biāo)準(zhǔn)化的數(shù)據(jù)報(bào)送服務(wù)出口，對(duì)外能滿足第三方監(jiān)管報(bào)送的數(shù)據(jù)服務(wù)方式和數(shù)據(jù)使用要求。（4）證券公司數(shù)據(jù)分析場(chǎng)景服務(wù)根據(jù)證券公司應(yīng)用需求，設(shè)計(jì)了以下三種數(shù)據(jù)分析場(chǎng)景服務(wù)。一是客戶辦理的兩融業(yè)務(wù)進(jìn)行信用賬戶資產(chǎn)負(fù)債實(shí)時(shí)計(jì)算。1）實(shí)時(shí)獲取柜臺(tái)行情數(shù)據(jù)，并按照分鐘級(jí)進(jìn)行行情聚合。2）實(shí)時(shí)獲取客戶的股票持倉(cāng)數(shù)據(jù)，并將客戶持倉(cāng)數(shù)據(jù)按照狀態(tài)進(jìn)行管理并動(dòng)態(tài)更新，同時(shí)按照客戶持倉(cāng)股票代碼和分鐘級(jí)行情進(jìn)行關(guān)聯(lián)實(shí)時(shí)計(jì)算客戶總持倉(cāng)資產(chǎn)。3）實(shí)時(shí)獲取兩融客戶合約流數(shù)據(jù)，根據(jù)合約類型分類計(jì)算融資負(fù)債、融券負(fù)債。按照客戶融券合約股票代碼和分鐘級(jí)股票行情進(jìn)行關(guān)聯(lián)，實(shí)時(shí)動(dòng)態(tài)計(jì)算并更新客戶融券負(fù)債。4）實(shí)時(shí)獲取客戶資金轉(zhuǎn)入數(shù)據(jù)，并更新客戶的總資金資產(chǎn)和可用資金。5）實(shí)時(shí)獲取客戶的融券賣(mài)出獲得資金以及資金使用情況并動(dòng)態(tài)更新客戶資產(chǎn)負(fù)債表。并計(jì)算持倉(cāng)集中度、分組持倉(cāng)市值、高風(fēng)險(xiǎn)證券持倉(cāng)市值、跌破下限價(jià)證券持倉(cāng)市值等指標(biāo)。6）通過(guò)多流關(guān)聯(lián)的方式整合持倉(cāng)、合約、資金轉(zhuǎn)入、融券交易的數(shù)據(jù)最終輸出客戶資產(chǎn)負(fù)債表。7）實(shí)時(shí)獲取客戶兩融授信申請(qǐng)、客戶征信申請(qǐng)、客戶征信審批等數(shù)據(jù)，實(shí)時(shí)監(jiān)控客戶的授信申請(qǐng)額度、授信狀態(tài)、征信審批狀態(tài)、審批額度等變化，推送到下游系統(tǒng)。二是實(shí)時(shí)獲取財(cái)務(wù)憑證流水：關(guān)聯(lián)輔助核算維表（維表也存在日間變動(dòng)的可能），根據(jù)財(cái)務(wù)指標(biāo)計(jì)算規(guī)則，按照部門(mén)、科目維度計(jì)算財(cái)務(wù)指標(biāo)日間變動(dòng)數(shù)據(jù)并推送到下游。三是原生FLink服務(wù)缺少監(jiān)控，為增強(qiáng)運(yùn)維監(jiān)控工作，擬將以下數(shù)據(jù)遷移到實(shí)時(shí)平臺(tái)。1）當(dāng)日股基交易量、當(dāng)日理財(cái)交易量。2）當(dāng)日開(kāi)戶數(shù)和開(kāi)戶流水。3）可轉(zhuǎn)債提前贖回提醒。4）中證易簽私募回訪：生成回訪任務(wù)提醒、回訪任務(wù)成功提醒。數(shù)據(jù)治理發(fā)展短板（一）數(shù)據(jù)治理規(guī)則尚不完善數(shù)據(jù)治理統(tǒng)籌協(xié)調(diào)、分類推進(jìn)機(jī)制不健全，碎片化、分散化治理現(xiàn)象一定程度存在，數(shù)據(jù)融合應(yīng)用、協(xié)同治理、安全管控等相關(guān)政策法規(guī)、標(biāo)準(zhǔn)規(guī)范仍需進(jìn)一步深化，與數(shù)據(jù)要素市場(chǎng)的高效流動(dòng)性相適應(yīng)的新型監(jiān)管模式亟待建立。（二）數(shù)據(jù)聚通尚不充分?jǐn)?shù)據(jù)共享匯聚尚不充分。數(shù)據(jù)開(kāi)放效果尚不明顯，開(kāi)放數(shù)據(jù)的類型、數(shù)量、可用性尚不能滿足企業(yè)數(shù)據(jù)運(yùn)用需求。已共享開(kāi)放數(shù)據(jù)的完整性、準(zhǔn)確性、時(shí)效性、可用性等仍有待進(jìn)一步提升。（三）數(shù)據(jù)治理應(yīng)用尚有差距應(yīng)用倒逼數(shù)據(jù)治理的成果不顯著，基于應(yīng)用需求推動(dòng)業(yè)務(wù)流程再造、技術(shù)融合、業(yè)務(wù)融合、數(shù)據(jù)融合不足，跨部門(mén)、跨行業(yè)、跨系統(tǒng)的應(yīng)用場(chǎng)景較少，運(yùn)行監(jiān)測(cè)、預(yù)測(cè)預(yù)警、實(shí)時(shí)調(diào)度、輔助決策等智能應(yīng)用作用發(fā)揮還不夠。數(shù)據(jù)融合應(yīng)用工程（一）一網(wǎng)統(tǒng)管數(shù)據(jù)融合應(yīng)用工程建立綜合性城市管理主題數(shù)據(jù)庫(kù)，匯聚行業(yè)全領(lǐng)域、全過(guò)程實(shí)時(shí)數(shù)據(jù)，共享規(guī)劃自然資源、住房城鄉(xiāng)建設(shè)、公安、交通、生態(tài)環(huán)境、市場(chǎng)監(jiān)管等行政管理部門(mén)和燃?xì)?、電力、通信等公共服?wù)單位的相關(guān)城市管理信息資源，整合市、區(qū)縣、街道三級(jí)城市管理網(wǎng)格數(shù)據(jù)資源，打造城市管理地理信息一張圖，實(shí)現(xiàn)對(duì)城市管理與運(yùn)行狀態(tài)的自動(dòng)實(shí)時(shí)感知，指導(dǎo)工程組織實(shí)施、應(yīng)急處置。（二）一網(wǎng)調(diào)度數(shù)據(jù)融合應(yīng)用工程建立消防安全、道路運(yùn)輸安全、城市運(yùn)行安全、特種設(shè)備安全等安全專項(xiàng)整治專題數(shù)據(jù)庫(kù)，建立洪旱災(zāi)害防治、地質(zhì)地震災(zāi)害防治、森林草原火災(zāi)防治、氣象災(zāi)害防治等專題數(shù)據(jù)庫(kù)，匯聚應(yīng)急、公安、交通、民政、水利等多個(gè)部門(mén)的風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警、安全生產(chǎn)專項(xiàng)整治、自然災(zāi)害綜合防治等領(lǐng)域數(shù)據(jù)資源，實(shí)現(xiàn)應(yīng)急管理事前、事中、事后全流程化、數(shù)據(jù)化、智能化。（三）一網(wǎng)治理數(shù)據(jù)融合應(yīng)用工程建立公共服務(wù)、便民服務(wù)、物業(yè)服務(wù)、養(yǎng)老服務(wù)等領(lǐng)域基層治理主題數(shù)據(jù)庫(kù)，匯聚整合公安、民政、衛(wèi)生健康等業(yè)務(wù)系統(tǒng)數(shù)據(jù)，推動(dòng)基層治理數(shù)字化。（四）智慧監(jiān)管數(shù)據(jù)融合應(yīng)用工程建立市場(chǎng)主體全生命周期數(shù)據(jù)鏈，加快匯集市場(chǎng)監(jiān)管業(yè)務(wù)全量數(shù)據(jù)資源，完善市場(chǎng)監(jiān)管基礎(chǔ)數(shù)據(jù)庫(kù)，實(shí)現(xiàn)市場(chǎng)主體全集畫(huà)像和空間可視、監(jiān)管對(duì)象精準(zhǔn)推送和監(jiān)管工作留痕可溯及全程監(jiān)督。（五）智慧交通數(shù)據(jù)融合應(yīng)用工程集中管控交通管理外場(chǎng)設(shè)備，匯聚整合道路交通管理相關(guān)數(shù)據(jù)資源，強(qiáng)化對(duì)城市交通的全域?qū)崟r(shí)感知。推進(jìn)公共停車場(chǎng)智能化設(shè)施設(shè)備改造，建立停車設(shè)施基礎(chǔ)信息數(shù)據(jù)庫(kù)，持續(xù)更新停車設(shè)施建設(shè)、管理、布局及停車泊位使用、收費(fèi)標(biāo)準(zhǔn)等數(shù)據(jù)，增強(qiáng)城市公共停車在線監(jiān)管和智能調(diào)度能力。匯聚交管、交運(yùn)、停車等綜合交通數(shù)據(jù)及相關(guān)空間信息，實(shí)現(xiàn)交通綜合信息共享服務(wù)。（六）智慧醫(yī)療數(shù)據(jù)融合應(yīng)用工程推動(dòng)公立醫(yī)療衛(wèi)生機(jī)構(gòu)醫(yī)療信息、檢查檢驗(yàn)等數(shù)據(jù)上云，整合公安、民政、醫(yī)保、藥品流通等領(lǐng)域業(yè)務(wù)數(shù)據(jù)，建設(shè)健康醫(yī)療主題庫(kù)，實(shí)現(xiàn)健康醫(yī)療大數(shù)據(jù)全面匯聚和標(biāo)準(zhǔn)化、衛(wèi)生健康數(shù)據(jù)互聯(lián)互通和業(yè)務(wù)協(xié)同共享、居民全生命周期健康管理和醫(yī)療衛(wèi)生全流程智能服務(wù)。（七）三農(nóng)數(shù)據(jù)融合應(yīng)用工程匯聚農(nóng)田土壤墑情數(shù)據(jù)、農(nóng)村土地權(quán)屬數(shù)據(jù)、農(nóng)村產(chǎn)業(yè)數(shù)據(jù)、農(nóng)村相對(duì)貧困戶數(shù)據(jù)、農(nóng)民征信數(shù)據(jù)、農(nóng)村科技能手和鄉(xiāng)賢數(shù)據(jù)、農(nóng)業(yè)土、肥、水、種、密、保、管、工相關(guān)數(shù)據(jù)，支撐農(nóng)情分析、農(nóng)業(yè)氣象信息服務(wù)、產(chǎn)業(yè)監(jiān)測(cè)服務(wù)、農(nóng)產(chǎn)品和農(nóng)資信息服務(wù)、農(nóng)技推廣服務(wù)、農(nóng)業(yè)在線教育服務(wù)。發(fā)揮大數(shù)據(jù)特性優(yōu)勢(shì)（一）加快數(shù)據(jù)大體量匯聚支持企業(yè)通過(guò)升級(jí)信息系統(tǒng)、部署物聯(lián)感知設(shè)備等方式，推動(dòng)研發(fā)、生產(chǎn)、經(jīng)營(yíng)、服務(wù)等全環(huán)節(jié)數(shù)據(jù)的采集。開(kāi)展國(guó)家數(shù)據(jù)資源調(diào)查，繪制國(guó)家數(shù)據(jù)資源圖譜。建立多級(jí)聯(lián)動(dòng)的國(guó)家工業(yè)基礎(chǔ)大數(shù)據(jù)庫(kù)和原材料、裝備、消費(fèi)品、電子信息等行業(yè)數(shù)據(jù)庫(kù)，推動(dòng)工業(yè)數(shù)據(jù)全面匯聚。（二）強(qiáng)化數(shù)據(jù)多樣性處理提升數(shù)值、文本、圖形圖像、音頻視頻等多類型數(shù)據(jù)的多樣化處理能力。促進(jìn)多維度異構(gòu)數(shù)據(jù)關(guān)聯(lián)，創(chuàng)新數(shù)據(jù)融合模式，提升多模態(tài)數(shù)據(jù)的綜合處理水平，通過(guò)數(shù)據(jù)的完整性提升認(rèn)知的全面性。建設(shè)行業(yè)數(shù)據(jù)資源目錄，推動(dòng)跨層級(jí)、跨地域、跨系統(tǒng)、跨部門(mén)、跨業(yè)務(wù)數(shù)據(jù)融合和開(kāi)發(fā)利用。（三）推動(dòng)數(shù)據(jù)時(shí)效性流動(dòng)建立數(shù)據(jù)資源目錄和數(shù)據(jù)資源動(dòng)態(tài)更新機(jī)制，適應(yīng)數(shù)據(jù)動(dòng)態(tài)更新的需要。率先在工業(yè)等領(lǐng)域建設(shè)安全可信的數(shù)據(jù)共享空間，形成供需精準(zhǔn)對(duì)接、及時(shí)響應(yīng)的數(shù)據(jù)共享機(jī)制，提升高效共享數(shù)據(jù)的能力。發(fā)展云邊端協(xié)同的大數(shù)據(jù)存算模式，支撐大數(shù)據(jù)高效傳輸與分發(fā)，提升數(shù)據(jù)流動(dòng)效率。（四）加強(qiáng)數(shù)據(jù)高質(zhì)量治理圍繞數(shù)據(jù)全生命周期，通過(guò)質(zhì)量監(jiān)控、診斷評(píng)估、清洗修復(fù)、數(shù)據(jù)維護(hù)等方式，提高數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)可用、好用。完善數(shù)據(jù)管理能力評(píng)估體系，實(shí)施數(shù)據(jù)安全管理認(rèn)證制度，推動(dòng)《數(shù)據(jù)管理能力成熟度評(píng)估模型》（以下簡(jiǎn)稱DCMM）、數(shù)據(jù)安全管理等國(guó)家標(biāo)準(zhǔn)貫標(biāo)，持續(xù)提升企事業(yè)單位數(shù)據(jù)管理水平。強(qiáng)化數(shù)據(jù)分類分級(jí)管理，推動(dòng)數(shù)據(jù)資源規(guī)劃，打造分類科學(xué)、分級(jí)準(zhǔn)確、管理有序的數(shù)據(jù)治理體系，促進(jìn)數(shù)據(jù)真實(shí)可信。（五）促進(jìn)數(shù)據(jù)高價(jià)值轉(zhuǎn)化強(qiáng)化大數(shù)據(jù)在政府治理、社會(huì)管理等方面的應(yīng)用，提升態(tài)勢(shì)研判、科學(xué)決策、精準(zhǔn)管理水平，降低外部環(huán)境不確定性，提升各類主體風(fēng)險(xiǎn)應(yīng)對(duì)能力。強(qiáng)化大數(shù)據(jù)在制造業(yè)各環(huán)節(jié)應(yīng)用，持續(xù)優(yōu)化設(shè)計(jì)、制造、管理、服務(wù)全過(guò)程，推廣數(shù)字樣機(jī)、柔性制造、商業(yè)智能、預(yù)測(cè)性維護(hù)等新模式，推動(dòng)生產(chǎn)方式變革。強(qiáng)化大數(shù)據(jù)在信息消費(fèi)、金融科技等領(lǐng)域應(yīng)用，推廣精準(zhǔn)畫(huà)像、智能推介等新模式，推動(dòng)商業(yè)模式創(chuàng)新。大數(shù)據(jù)產(chǎn)業(yè)發(fā)展成效十三五時(shí)期，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)快速起步。據(jù)測(cè)算，產(chǎn)業(yè)規(guī)模年均復(fù)合增長(zhǎng)率超過(guò)30%，2020年超過(guò)1萬(wàn)億元，發(fā)展取得顯著成效，逐漸成為支撐我國(guó)經(jīng)濟(jì)社會(huì)發(fā)展的優(yōu)勢(shì)產(chǎn)業(yè)。政策體系逐步完善。圍繞數(shù)字經(jīng)濟(jì)、數(shù)據(jù)要素市場(chǎng)、國(guó)家一體化大數(shù)據(jù)中心布局等作出一系列戰(zhàn)略部署，建立促進(jìn)大數(shù)據(jù)發(fā)展部際聯(lián)席會(huì)議制度。有關(guān)部委出臺(tái)了20余份大數(shù)據(jù)政策文件，各地方出臺(tái)了300余項(xiàng)相關(guān)政策，23個(gè)省區(qū)市、14個(gè)計(jì)劃單列市和副省級(jí)城市設(shè)立了大數(shù)據(jù)管理機(jī)構(gòu)，央地協(xié)同、區(qū)域聯(lián)動(dòng)的大數(shù)據(jù)發(fā)展推進(jìn)體系逐步形成。產(chǎn)業(yè)基礎(chǔ)日益鞏固。數(shù)據(jù)資源極大豐富，總量位居全球前列。產(chǎn)業(yè)創(chuàng)新日漸活躍，成為全球第二大相關(guān)專利受理國(guó)，專利受理總數(shù)全球占比近20%。基礎(chǔ)設(shè)施不斷夯實(shí)，建成全球規(guī)模最大的光纖網(wǎng)絡(luò)和4G網(wǎng)絡(luò)，5G終端連接數(shù)超過(guò)2億，位居世界第一。標(biāo)準(zhǔn)體系逐步完善，33項(xiàng)國(guó)家標(biāo)準(zhǔn)立項(xiàng)，24項(xiàng)發(fā)布。產(chǎn)業(yè)鏈初步形成。圍繞數(shù)據(jù)資源、基礎(chǔ)硬件、通用軟件、行業(yè)應(yīng)用、安全保障的大數(shù)據(jù)產(chǎn)品和服務(wù)體系初步形成，全國(guó)遴選出338個(gè)大數(shù)據(jù)優(yōu)秀產(chǎn)品和解決方案，以及400個(gè)大數(shù)據(jù)典型試點(diǎn)示范。行業(yè)融合逐步深入，大數(shù)據(jù)應(yīng)用從互聯(lián)網(wǎng)、金融、電信等數(shù)據(jù)資源基礎(chǔ)較好的領(lǐng)域逐步向智能制造、數(shù)字社會(huì)、數(shù)字政府等領(lǐng)域拓展，并在疫情防控和復(fù)工復(fù)產(chǎn)中發(fā)揮了關(guān)鍵支撐作用。生態(tài)體系持續(xù)優(yōu)化。區(qū)域集聚成效顯著，建設(shè)了8個(gè)國(guó)家大數(shù)據(jù)綜合試驗(yàn)區(qū)和11個(gè)大數(shù)據(jù)領(lǐng)域國(guó)家新型工業(yè)化產(chǎn)業(yè)示范基地。一批大數(shù)據(jù)龍頭企業(yè)快速崛起，初步形成了大企業(yè)引領(lǐng)、中小企業(yè)協(xié)同、創(chuàng)新企業(yè)不斷涌現(xiàn)的發(fā)展格局。產(chǎn)業(yè)支撐能力不斷提升，咨詢服務(wù)、評(píng)估測(cè)試等服務(wù)保障體系基本建立。十三五時(shí)期我國(guó)大數(shù)據(jù)產(chǎn)業(yè)取得了重要突破，但仍然存在一些制約因素。一是社會(huì)認(rèn)識(shí)不到位，用數(shù)據(jù)說(shuō)話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新的大數(shù)據(jù)思維尚未形成，企業(yè)數(shù)據(jù)管理能力偏弱。二是技術(shù)支撐不夠強(qiáng)，基礎(chǔ)軟硬件、開(kāi)源框架等關(guān)鍵領(lǐng)域與國(guó)際先進(jìn)水平存在一定差距。三是市場(chǎng)體系不健全，數(shù)據(jù)資源產(chǎn)權(quán)、交易流通等基礎(chǔ)制度和標(biāo)準(zhǔn)規(guī)范有待完善，多源數(shù)據(jù)尚未打通，數(shù)據(jù)壁壘突出，碎片化問(wèn)題嚴(yán)重。四是安全機(jī)制不完善，數(shù)據(jù)安全產(chǎn)業(yè)支撐能力不足，敏感數(shù)據(jù)泄露、違法跨境數(shù)據(jù)流動(dòng)等隱患依然存在。推動(dòng)數(shù)據(jù)資源融合應(yīng)用（一）建設(shè)全面感知的智能中樞依托新型智慧城市運(yùn)行管理中心，搭建CIM＋多場(chǎng)景應(yīng)用，構(gòu)建全面感知、數(shù)據(jù)匯集融合、智能分析計(jì)算、統(tǒng)籌決策的城市智能中樞，推動(dòng)跨層級(jí)、跨地域、跨系統(tǒng)、跨部門(mén)、跨業(yè)務(wù)的協(xié)同管理。推動(dòng)遷移上云應(yīng)遷盡遷、系統(tǒng)整合應(yīng)合盡合、系統(tǒng)接入應(yīng)接盡接、數(shù)據(jù)匯聚應(yīng)聚盡聚和能力共享應(yīng)享盡享，實(shí)現(xiàn)城市運(yùn)行一網(wǎng)統(tǒng)管、服務(wù)一網(wǎng)通辦、應(yīng)急管理一網(wǎng)調(diào)度、基層服務(wù)一網(wǎng)治理，全面提升城市運(yùn)行管理數(shù)字化、智能化水平。加快構(gòu)建數(shù)字技術(shù)輔助政府決策機(jī)制，提高基于高頻大數(shù)據(jù)的精準(zhǔn)動(dòng)態(tài)監(jiān)測(cè)預(yù)測(cè)預(yù)警水平。（二）構(gòu)建智慧便捷的數(shù)字社會(huì)圍繞交通、醫(yī)療、養(yǎng)老、撫幼、就業(yè)、教育、旅游、文體等重點(diǎn)領(lǐng)域建設(shè)主題數(shù)據(jù)庫(kù)，打造智能化公共服務(wù)應(yīng)用場(chǎng)景，提升數(shù)字化服務(wù)普惠應(yīng)用水平。聚焦住業(yè)游樂(lè)購(gòu)全場(chǎng)景集，推動(dòng)購(gòu)物消費(fèi)、居家生活、旅游休閑、交通出行等各類場(chǎng)景數(shù)字化，打造智慧共享、和睦共治的新型數(shù)字生活。深化三農(nóng)大數(shù)據(jù)應(yīng)用，提升三農(nóng)大數(shù)據(jù)服務(wù)能力，推動(dòng)鄉(xiāng)村管理服務(wù)數(shù)字化，加快數(shù)字鄉(xiāng)村建設(shè)。推進(jìn)以社會(huì)保障卡、居民身份證為載體的一卡一碼集成應(yīng)用，在衛(wèi)生健康、疫情防控、交通出行、文化旅游、信用服務(wù)、金融服務(wù)、財(cái)政補(bǔ)貼等領(lǐng)域推行一卡通用、一碼通行。推進(jìn)智慧停車建設(shè)，提升停車設(shè)施智能化水平，優(yōu)化停車信息管理，推廣智能化停車服務(wù)，鼓勵(lì)停車資源共享。（三）培育廣泛深入的應(yīng)用環(huán)境推動(dòng)數(shù)據(jù)資源開(kāi)發(fā)利用規(guī)范化和制度化，以衛(wèi)生健康、社會(huì)保障、交通、科技、通信、企業(yè)投融資、普惠金融等領(lǐng)域?yàn)橹攸c(diǎn)，探索數(shù)據(jù)資源開(kāi)發(fā)利用模式，創(chuàng)新數(shù)據(jù)服務(wù)模式，推進(jìn)公共數(shù)據(jù)和社會(huì)數(shù)據(jù)深度融合應(yīng)用。鼓勵(lì)通過(guò)政策引導(dǎo)、政府購(gòu)買(mǎi)服務(wù)、社會(huì)資本引入、應(yīng)用模式創(chuàng)新、數(shù)據(jù)應(yīng)用競(jìng)賽、優(yōu)秀案例推廣等方式促進(jìn)政府和企業(yè)的數(shù)據(jù)融合，營(yíng)造數(shù)據(jù)融合應(yīng)用良好氛圍。鼓勵(lì)掌握數(shù)據(jù)的自然人、法人和非法人組織與政府開(kāi)展合作，提高數(shù)據(jù)開(kāi)發(fā)利用水平。夯實(shí)產(chǎn)業(yè)發(fā)展基礎(chǔ)（一）完善基礎(chǔ)設(shè)施全面部署新一代通信網(wǎng)絡(luò)基礎(chǔ)設(shè)施，加大5G網(wǎng)絡(luò)和千兆光網(wǎng)建設(shè)力度。結(jié)合行業(yè)數(shù)字化轉(zhuǎn)型和城市智能化發(fā)展，加快工業(yè)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、智能管網(wǎng)、智能電網(wǎng)等布局，促進(jìn)全域數(shù)據(jù)高效采集和傳輸。加快構(gòu)建全國(guó)一體化大數(shù)據(jù)中心體系，推進(jìn)國(guó)家工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心建設(shè)，強(qiáng)化算力統(tǒng)籌智能調(diào)度，建設(shè)若干國(guó)家樞紐節(jié)點(diǎn)和大數(shù)據(jù)中心集群。建設(shè)高性能計(jì)算集群，合理部署超級(jí)計(jì)算中心。（二）加強(qiáng)技術(shù)創(chuàng)新重點(diǎn)提升數(shù)據(jù)生成、采集、存儲(chǔ)、加工、分析、安全與隱私保護(hù)等通用技術(shù)水平。補(bǔ)齊關(guān)鍵技術(shù)短板，重點(diǎn)強(qiáng)化自主基礎(chǔ)軟硬件的底層支撐能力，推動(dòng)自主開(kāi)源框架、組件和工具的研發(fā)，發(fā)展大數(shù)據(jù)開(kāi)源社區(qū)，培育開(kāi)源生態(tài)，全面提升技術(shù)攻關(guān)和市場(chǎng)培育能力。促進(jìn)前沿領(lǐng)域技術(shù)融合，推動(dòng)大數(shù)據(jù)與人工智能、區(qū)塊鏈、邊緣計(jì)算等新一代信息技術(shù)集成創(chuàng)新。（三）強(qiáng)化標(biāo)準(zhǔn)引領(lǐng)協(xié)同推進(jìn)國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)和團(tuán)體標(biāo)準(zhǔn)，加快技術(shù)研發(fā)、產(chǎn)品服務(wù)、數(shù)據(jù)治理、交易流通、行業(yè)應(yīng)用等關(guān)鍵標(biāo)準(zhǔn)的制修訂。建立大數(shù)據(jù)領(lǐng)域國(guó)家級(jí)標(biāo)準(zhǔn)驗(yàn)證檢驗(yàn)檢測(cè)點(diǎn)，選擇重點(diǎn)行業(yè)、領(lǐng)域、地區(qū)開(kāi)展標(biāo)準(zhǔn)試驗(yàn)驗(yàn)證和試點(diǎn)示范，健全大數(shù)據(jù)標(biāo)準(zhǔn)符合性評(píng)測(cè)體系，加快標(biāo)準(zhǔn)應(yīng)用推廣。加強(qiáng)國(guó)內(nèi)外大數(shù)據(jù)標(biāo)準(zhǔn)化組織間的交流合作，鼓勵(lì)企業(yè)、高校、科研院所、行業(yè)組織等積極參與大數(shù)據(jù)國(guó)際標(biāo)準(zhǔn)制定。大數(shù)據(jù)產(chǎn)業(yè)指導(dǎo)思想立足新發(fā)展階段，完整、準(zhǔn)確、全面貫徹新發(fā)展理念，構(gòu)建新發(fā)展格局，以推動(dòng)高質(zhì)量發(fā)展為主題，以供給側(cè)結(jié)構(gòu)性改革為主線，以釋放數(shù)據(jù)要素價(jià)值為導(dǎo)向，圍繞夯實(shí)產(chǎn)業(yè)發(fā)展基礎(chǔ)，著力推動(dòng)數(shù)據(jù)資源高質(zhì)量、技術(shù)創(chuàng)新高水平、基礎(chǔ)設(shè)施高效能，圍繞構(gòu)建穩(wěn)定高效產(chǎn)業(yè)鏈，著力提升產(chǎn)業(yè)供給能力和行業(yè)賦能效應(yīng)，統(tǒng)籌發(fā)展和安全，培育自主可控和開(kāi)放合作的產(chǎn)業(yè)生態(tài)，打造數(shù)字經(jīng)濟(jì)發(fā)展新優(yōu)勢(shì)，為建設(shè)制造強(qiáng)國(guó)、網(wǎng)絡(luò)強(qiáng)國(guó)、數(shù)字中國(guó)提供有力支撐。建設(shè)一體化大數(shù)據(jù)資源中心（一）深化基礎(chǔ)平臺(tái)建設(shè)深化基礎(chǔ)數(shù)據(jù)庫(kù)建設(shè)，推進(jìn)法人、自然人、自然資源和空間地理、電子證照、信用、物聯(lián)感知等數(shù)據(jù)歸集。建設(shè)主題數(shù)據(jù)庫(kù)，構(gòu)建重點(diǎn)領(lǐng)域業(yè)務(wù)模型，建立跨領(lǐng)域自動(dòng)化、語(yǔ)義一致化的主題數(shù)據(jù)庫(kù)共建共享架構(gòu)。推動(dòng)建筑信息模型（BIM）技術(shù)與工程建造技術(shù)深度融合應(yīng)用，構(gòu)建高精度城市信息模型（CIM）平臺(tái)。（二）強(qiáng)化數(shù)據(jù)目錄管理構(gòu)建數(shù)據(jù)圖譜，梳理各部門(mén)、各行業(yè)非涉密數(shù)據(jù)數(shù)量、類型、更新周期、產(chǎn)生來(lái)源、支撐應(yīng)用等情況，分行業(yè)、分地域構(gòu)建覆蓋人、企、事、車、地、物等主體的數(shù)據(jù)圖譜，形成數(shù)據(jù)一張圖。堅(jiān)持需求導(dǎo)向，深入