智慧城市數(shù)據(jù)中臺(tái)建設(shè)方案

1、智慧城市數(shù)據(jù)中臺(tái)建設(shè)方案IV智慧城市數(shù)據(jù)中臺(tái)建設(shè)方案最新二零二二年目 錄 TOC o 1-3 h z u HYPERLINK l _Toc109842762 1.建設(shè)背景 建設(shè)背景編制依據(jù)政策文件依據(jù)國(guó)務(wù)院辦公廳印發(fā)的（國(guó)辦發(fā)201466號(hào)）國(guó)務(wù)院辦公廳關(guān)于促進(jìn)電子政務(wù)協(xié)調(diào)發(fā)展的指導(dǎo)意見(jiàn)。國(guó)務(wù)院辦公廳關(guān)于印發(fā)的（國(guó)發(fā)20155號(hào)）國(guó)務(wù)院關(guān)于促進(jìn)云計(jì)算創(chuàng)新發(fā)展培育信息產(chǎn)業(yè)新業(yè)態(tài)的意見(jiàn)。中央網(wǎng)信辦發(fā)布的（中網(wǎng)辦發(fā)文201514號(hào)）關(guān)于加強(qiáng)黨政部門(mén)云計(jì)算服務(wù)網(wǎng)絡(luò)安全管理的意見(jiàn)。國(guó)務(wù)院辦公廳關(guān)于印發(fā)的（國(guó)發(fā)201550號(hào)）促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要。2016年07月27日，中共中央辦公廳、國(guó)務(wù)院辦公廳印發(fā)

2、國(guó)家信息化發(fā)展戰(zhàn)略綱要。國(guó)家發(fā)改委印發(fā)（發(fā)改辦高技201642號(hào)）關(guān)于組織實(shí)施促進(jìn)大數(shù)據(jù)發(fā)展重大工程的通知。國(guó)務(wù)院辦公廳關(guān)于印發(fā)的（國(guó)辦發(fā)201647號(hào)）關(guān)于促進(jìn)和規(guī)范健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展的指導(dǎo)意見(jiàn)。國(guó)務(wù)院辦公廳關(guān)于印發(fā)的（國(guó)發(fā)201651號(hào)）政務(wù)信息資源共享管理暫行辦法。國(guó)務(wù)院辦公廳關(guān)于印發(fā)的（國(guó)發(fā)201655號(hào)）國(guó)務(wù)院關(guān)于加快推進(jìn)“互聯(lián)網(wǎng)+政務(wù)服務(wù)”工作的指導(dǎo)意見(jiàn)。國(guó)務(wù)院印發(fā)的（國(guó)辦函2016108號(hào)）“互聯(lián)網(wǎng)政務(wù)服務(wù)”技術(shù)體系建設(shè)指南的通知提出：“優(yōu)化政務(wù)服務(wù)供給的信息化解決路徑和操作方法，為構(gòu)建統(tǒng)一、規(guī)范、多級(jí)聯(lián)動(dòng)的互聯(lián)網(wǎng)政務(wù)服務(wù)技術(shù)和服務(wù)體系提供保障?！?工業(yè)和信息化部關(guān)于印發(fā)（工

3、信部規(guī)2016412號(hào)）大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（20162020年）。2016年，中共中央、國(guó)務(wù)院發(fā)布的國(guó)家創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略綱要。國(guó)務(wù)院辦公廳印發(fā)的（國(guó)辦發(fā)201739號(hào)）國(guó)務(wù)院辦公廳關(guān)于印發(fā)政務(wù)信息系統(tǒng)整合共享實(shí)施方案的通知指出：“按照內(nèi)外聯(lián)動(dòng)、點(diǎn)面結(jié)合、上下協(xié)同的工作思路，一方面著眼長(zhǎng)遠(yuǎn)，做好頂層設(shè)計(jì)，促進(jìn)五個(gè)統(tǒng)一，統(tǒng)籌謀劃，銳意改革；另一方面立足當(dāng)前，聚焦現(xiàn)實(shí)問(wèn)題，抓好十件大事，重點(diǎn)突破，盡快見(jiàn)效?！眹?guó)務(wù)院印發(fā)的（國(guó)發(fā)201827號(hào)）國(guó)務(wù)院關(guān)于加快推進(jìn)全國(guó)一體化在線政務(wù)服務(wù)平臺(tái)建設(shè)的指導(dǎo)意見(jiàn)提出：“各地區(qū)各部門(mén)要認(rèn)真貫徹落實(shí)黨中央、國(guó)務(wù)院部署，把加快全國(guó)一體化在線政務(wù)服務(wù)平臺(tái)建設(shè)作為深化放管

4、服改革、推進(jìn)政府治理現(xiàn)代化的重要舉措，制定具體實(shí)施方案，明確時(shí)間表、路線圖，加大政策支持力度，強(qiáng)化工作責(zé)任，確保各項(xiàng)任務(wù)措施落實(shí)到位?！眹?guó)務(wù)院辦公廳印發(fā)的（國(guó)辦發(fā)201957號(hào)）國(guó)家政務(wù)信息化項(xiàng)目建設(shè)管理辦法提出：“國(guó)家政務(wù)信息化建設(shè)管理應(yīng)當(dāng)堅(jiān)持統(tǒng)籌規(guī)劃、共建共享、業(yè)務(wù)協(xié)同、安全可靠的原則。”國(guó)家發(fā)展改革委制定的（發(fā)改規(guī)劃2019617號(hào)）2019年新型城鎮(zhèn)化建設(shè)重點(diǎn)任務(wù)。農(nóng)業(yè)農(nóng)村部 中央網(wǎng)絡(luò)安全和信息化委員會(huì)辦公室關(guān)于印發(fā)的（農(nóng)規(guī)發(fā)201933號(hào)）數(shù)字農(nóng)業(yè)農(nóng)村發(fā)展規(guī)劃（2019-2025年）。2019年十九屆四中全會(huì)通過(guò)的中共中央關(guān)于堅(jiān)持和完善中國(guó)特色社會(huì)主義制度、推進(jìn)國(guó)家治理體系和治理能力

5、現(xiàn)代化若干重大問(wèn)題的決定。兩會(huì)授權(quán)發(fā)布的2021年3月13日中華人民共和國(guó)國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要。2021年3月5日李克強(qiáng)總理代表國(guó)務(wù)院在十三屆全國(guó)人大四次會(huì)議上作2021年政府工作報(bào)告。2021年中央一號(hào)文件中共中央、國(guó)務(wù)院關(guān)于全面推進(jìn)鄉(xiāng)村振興加快農(nóng)業(yè)農(nóng)村現(xiàn)代化的意見(jiàn)。技術(shù)標(biāo)準(zhǔn)規(guī)范國(guó)家標(biāo)準(zhǔn)信息技術(shù) 大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)功能要求GB/T 37722-2019信息技術(shù) 大數(shù)據(jù)分析系統(tǒng)功能要求GB/T 37721-2019信息安全技術(shù) 網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求GB/T 22239-2019信息安全技術(shù) 網(wǎng)絡(luò)安全等級(jí)保護(hù)測(cè)評(píng)要求GB/T 28448-2019信息安

6、全技術(shù) 網(wǎng)絡(luò)安全等級(jí)保護(hù)安全設(shè)計(jì)技術(shù)要求GB/T 25070-2019信息安全技術(shù) 大數(shù)據(jù)安全管理指南GB/T 37973-2019信息安全技術(shù) 大數(shù)據(jù)服務(wù)安全能力要求GB/T 35274-2017信息安全技術(shù) 智慧城市安全體系框架GB/T 37971-2019信息安全技術(shù) 政府網(wǎng)站云計(jì)算服務(wù)安全指南GB/T 38249-2019信息安全技術(shù) 個(gè)人信息去標(biāo)識(shí)化指南GB/T 37964-2019信息安全技術(shù) 移動(dòng)終端安全管理平臺(tái)技術(shù)要求GB/T 37952-2019信息安全技術(shù) 網(wǎng)絡(luò)安全等級(jí)保護(hù)實(shí)施指南GB/T 25058-2019信息安全技術(shù) 網(wǎng)絡(luò)安全等級(jí)保護(hù)測(cè)評(píng)過(guò)程指南GB/T 28449-

7、2018信息安全技術(shù) 網(wǎng)絡(luò)安全等級(jí)保護(hù)安全管理中心技術(shù)要求GB/T 36958-2018信息安全技術(shù) 網(wǎng)絡(luò)安全等級(jí)保護(hù)測(cè)試評(píng)估技術(shù)指南GB/T 36627-2018信息安全技術(shù) 物聯(lián)網(wǎng)感知終端應(yīng)用安全技術(shù)要求GB/T 36951-2018信息安全技術(shù) 災(zāi)難恢復(fù)服務(wù)要求GB/T 36957-2018信息安全技術(shù) 災(zāi)難恢復(fù)服務(wù)能力評(píng)估準(zhǔn)則GB/T 37046-2018信息安全技術(shù) 信息系統(tǒng)安全運(yùn)維管理指南GB/T 36626-2018智慧城市 公共信息與服務(wù)支撐平臺(tái)系列GB/T 36622-2018智慧城市 領(lǐng)域知識(shí)模型 核心概念模型GB/T 36332-2018面向智慧城市的物聯(lián)網(wǎng)技術(shù)應(yīng)用指南G

8、B/T 36620-2018智慧城市 軟件服務(wù)預(yù)算管理規(guī)范GB/T 36334-2018智慧城市 信息技術(shù)運(yùn)營(yíng)指南GB/T 36621-2018智慧城市 數(shù)據(jù)融合系列GB/T 36625-2018智慧城市 頂層設(shè)計(jì)指南GB/T 36333-2018智慧城市 術(shù)語(yǔ)GB/T 37043-2018云計(jì)算 文件服務(wù)應(yīng)用接口GB/T 36623-2018云計(jì)算 云服務(wù)級(jí)別協(xié)議基本要求GB/T 36325-2018云計(jì)算 平臺(tái)即服務(wù)（PaaS）應(yīng)用程序管理要求GB/T 36327-2018云計(jì)算數(shù)據(jù)中心基本要求GB/T 34982-2017信息技術(shù) 大數(shù)據(jù) 術(shù)語(yǔ)GB/T 35295-2017信息技術(shù) 大數(shù)

9、據(jù) 技術(shù)參考模型GB/T 35589-2017智慧城市 技術(shù)參考模型GB/T 34678-2017智慧城市評(píng)價(jià)模型及基礎(chǔ)評(píng)價(jià)指標(biāo)體系GB/T 34680-2017電子政務(wù)標(biāo)準(zhǔn)化指南第4部分：信息共享GB/T 30850.4-2017信息技術(shù) 科學(xué)數(shù)據(jù)引用GB/T 35294-2017基于云計(jì)算的電子政務(wù)公共平臺(tái)管理規(guī)范 第1部分：服務(wù)質(zhì)量評(píng)估GB/T 34077.1-2017信息安全技術(shù) 電子政務(wù)移動(dòng)辦公系統(tǒng)安全技術(shù)規(guī)范GB/T 35282-2017信息技術(shù)云計(jì)算參考架構(gòu)GB/T32399-2015信息技術(shù)云計(jì)算概覽與詞匯GB/T32400-2015信息技術(shù)云數(shù)據(jù)存儲(chǔ)和管理GB/T31916-

10、2015云資源管理技術(shù)要求GB/T31916-2015項(xiàng)目建設(shè)方案總體框架智慧城市綜合管理應(yīng)用服務(wù)平臺(tái)全面提升數(shù)據(jù)匯聚、算力、人工智能等基礎(chǔ)能力。城市智能中樞包括數(shù)據(jù)平臺(tái)、技術(shù)平臺(tái)、業(yè)務(wù)平臺(tái)、人工智平臺(tái)、數(shù)據(jù)資源中心、區(qū)塊鏈平臺(tái)、精準(zhǔn)時(shí)空大數(shù)據(jù)平臺(tái)、數(shù)字孿生、城市大腦。主要建設(shè)內(nèi)容以打造新型智慧城市標(biāo)桿為目標(biāo)，遵從國(guó)家提出的新型智慧城市總體技術(shù)標(biāo)準(zhǔn)、共性支撐標(biāo)準(zhǔn)、管理保障標(biāo)準(zhǔn)、安全保密等標(biāo)準(zhǔn)規(guī)范，結(jié)合社會(huì)特點(diǎn)和治理需求，形成新型智慧城市建設(shè)管理規(guī)定、總體技術(shù)標(biāo)準(zhǔn)框架、各領(lǐng)域基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全保密實(shí)施細(xì)則和數(shù)據(jù)共享交換標(biāo)準(zhǔn)。數(shù)據(jù)中臺(tái)數(shù)據(jù)匯聚按接匯聚方式庫(kù)表接入數(shù)據(jù)在提供方以數(shù)據(jù)庫(kù)表結(jié)構(gòu)化方式

11、存儲(chǔ)，并以庫(kù)表方式進(jìn)行全量或增量數(shù)據(jù)的接入。通過(guò)前置數(shù)據(jù)庫(kù)表進(jìn)行數(shù)據(jù)交換，各接入單位通過(guò)橋接方式獲取前置數(shù)據(jù)庫(kù)表內(nèi)容，向前置數(shù)據(jù)庫(kù)表目錄推送數(shù)據(jù)。文件接入適用于非結(jié)構(gòu)化資源或更新頻率較緩慢的結(jié)構(gòu)化資源的接入。通過(guò)前置機(jī)文件目錄進(jìn)行數(shù)據(jù)接入和交換，各接入單位通過(guò)橋接方式獲取前置機(jī)的文件，向前置機(jī)文件目錄推送數(shù)據(jù)。服務(wù)接口以Web服務(wù)作為平臺(tái)與各接入單位之間數(shù)據(jù)獲取和推送的接口，在平臺(tái)中代理業(yè)務(wù)系統(tǒng)提供的Web服務(wù)，對(duì)外隱藏該Web服務(wù)的真實(shí)URL，使用代理的URL即可訪問(wèn)業(yè)務(wù)系統(tǒng)真實(shí)的Web 服務(wù)，以達(dá)到數(shù)據(jù)接入和交換的目的。數(shù)據(jù)庫(kù)直連支持使用DBlink方式進(jìn)行實(shí)時(shí)連接將關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)抽

12、取到離線數(shù)據(jù)庫(kù)，同時(shí)支持過(guò)濾條件下推，在關(guān)系型數(shù)據(jù)庫(kù)上進(jìn)行過(guò)濾以后再進(jìn)行抽取，加速抽取和計(jì)算的效率。對(duì)于原來(lái)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中的維度表/碼表，可以使用dblink的方式進(jìn)行實(shí)時(shí)連接計(jì)算。按數(shù)據(jù)量分類(lèi)全量接入一次性將數(shù)據(jù)庫(kù)表中的所有數(shù)據(jù)交換到目標(biāo)節(jié)點(diǎn)的接入方式。全量接入的優(yōu)點(diǎn)是交換效率較高，缺點(diǎn)是不能很好的處理增量數(shù)據(jù)。全量接入要求業(yè)務(wù)庫(kù)表應(yīng)具有主鍵標(biāo)識(shí)。全量接入適用于低頻率（天、周、月）的，對(duì)數(shù)據(jù)變更時(shí)效性不敏感的接入場(chǎng)景，用于在平臺(tái)建設(shè)完成初期進(jìn)行歷史數(shù)據(jù)的遷移，將大量的基礎(chǔ)數(shù)據(jù)和歷史數(shù)據(jù)導(dǎo)入平臺(tái)集群。增量接入周期性從數(shù)據(jù)庫(kù)表中獲取最新數(shù)據(jù)并交換到目標(biāo)節(jié)點(diǎn)的接入方式。增量接入適用于高頻率（

13、秒、分）的、對(duì)數(shù)據(jù)變更時(shí)效性敏感的接入場(chǎng)景，用于系統(tǒng)上線后將指定周期時(shí)間間隔內(nèi)的數(shù)據(jù)導(dǎo)入平臺(tái)。增量接入的優(yōu)點(diǎn)是即時(shí)接入、增量處理，但需要根據(jù)業(yè)務(wù)場(chǎng)景配置相應(yīng)的接入策略。增量接入主要有下列三種策略：時(shí)間戳交換：根據(jù)業(yè)務(wù)數(shù)據(jù)的時(shí)間戳變化獲取增量數(shù)據(jù)，并將增量數(shù)據(jù)交換到目標(biāo)節(jié)點(diǎn)。交換效率高，對(duì)前置庫(kù)性能影響小，但要求業(yè)務(wù)表必須存在一個(gè)時(shí)間戳字段，且每次操作數(shù)據(jù)要對(duì)該字段時(shí)間戳進(jìn)行更新。標(biāo)識(shí)位交換：根據(jù)業(yè)務(wù)表中的標(biāo)識(shí)字段值的變化獲取增量數(shù)據(jù)并將增量數(shù)據(jù)交換到目標(biāo)節(jié)點(diǎn)。交換效率高，對(duì)前置庫(kù)性能影響小，但要求業(yè)務(wù)表必須存在標(biāo)識(shí)位字段，業(yè)務(wù)系統(tǒng)和平臺(tái)都要維護(hù)此字段值的變化。觸發(fā)器交換：利用數(shù)據(jù)庫(kù)觸發(fā)器獲取增

14、量數(shù)據(jù)并將增量數(shù)據(jù)交換到目標(biāo)節(jié)點(diǎn)。數(shù)據(jù)獲取實(shí)時(shí)性高，能夠交換刪除操作的數(shù)據(jù)，但需要在源表上建立觸發(fā)器，對(duì)前置庫(kù)性能有一定影響。按時(shí)延分類(lèi)準(zhǔn)實(shí)時(shí)接入針對(duì)于T+1模式無(wú)法滿(mǎn)足業(yè)務(wù)系統(tǒng)的需求，需要進(jìn)行準(zhǔn)實(shí)時(shí)同步。準(zhǔn)實(shí)時(shí)同步是指將數(shù)據(jù)從傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)準(zhǔn)實(shí)時(shí)同步到大數(shù)據(jù)平臺(tái)，并對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)或者準(zhǔn)實(shí)時(shí)分析。借助Oralce GoldenGate（OGG）、IBM Datastage Data Replication（CDC）等軟件可以實(shí)時(shí)地讀取關(guān)系數(shù)據(jù)庫(kù)的日志記錄，將這些日志記錄寫(xiě)成文件記錄到本地，再頭通過(guò)數(shù)據(jù)遷移工具進(jìn)行秒級(jí)同步和解析。實(shí)時(shí)接入針對(duì)如物聯(lián)數(shù)據(jù)、視頻數(shù)據(jù)等具有數(shù)據(jù)量大、文件數(shù)量多、實(shí)

15、時(shí)產(chǎn)生等特性的數(shù)據(jù)，有高吞吐、低時(shí)延的要求，可通過(guò)分布式日志實(shí)時(shí)采集工具Flume或分布式消息隊(duì)列工具Kafka實(shí)時(shí)接入到大數(shù)據(jù)平臺(tái)。按數(shù)據(jù)類(lèi)型政務(wù)數(shù)據(jù)匯聚 主要是庫(kù)表接入和文件接入兩類(lèi)。過(guò)渡階段，政務(wù)委辦局?jǐn)?shù)據(jù)由委辦局側(cè)業(yè)務(wù)庫(kù)推送至部門(mén)前置機(jī)，再通過(guò)數(shù)據(jù)共享交換系統(tǒng)進(jìn)入作為原始數(shù)據(jù)存儲(chǔ)。逐步根據(jù)需求，將數(shù)據(jù)接入城市進(jìn)行治理和建設(shè)主題庫(kù)，實(shí)時(shí)、主動(dòng)地讀取業(yè)務(wù)庫(kù)數(shù)據(jù)變化，數(shù)據(jù)再同步至城市。物聯(lián)數(shù)據(jù)匯聚智慧城市物聯(lián)感知設(shè)備產(chǎn)生的實(shí)時(shí)物聯(lián)數(shù)據(jù)經(jīng)過(guò)物聯(lián)平臺(tái)以API接口方式接入Kafka分布式消息隊(duì)列系統(tǒng)，再通過(guò)實(shí)時(shí)計(jì)算平臺(tái)進(jìn)行實(shí)時(shí)研判、展示，或直接歸集入?；ヂ?lián)數(shù)據(jù)匯聚互聯(lián)網(wǎng)數(shù)據(jù)服務(wù)平臺(tái)承載互聯(lián)網(wǎng)數(shù)據(jù)，

16、互聯(lián)網(wǎng)區(qū)無(wú)法訪問(wèn)政務(wù)外網(wǎng)?？赏ㄟ^(guò)接口方式與政務(wù)外網(wǎng)的平臺(tái)對(duì)接，由平臺(tái)主動(dòng)抽取互聯(lián)網(wǎng)區(qū)數(shù)據(jù)，或?qū)⒒ヂ?lián)網(wǎng)區(qū)數(shù)據(jù)推送至互聯(lián)網(wǎng)區(qū)的前置機(jī)，再由資源平臺(tái)通過(guò)庫(kù)表或文件方式主動(dòng)抽取。視頻圖片匯聚視頻數(shù)據(jù)主要包括部門(mén)影像、非公安影像、公安視頻半結(jié)構(gòu)化數(shù)據(jù)、視頻大圖小圖等，以接口方式接入Kafka分布式消息隊(duì)列系統(tǒng)，再通過(guò)實(shí)時(shí)計(jì)算平臺(tái)進(jìn)行實(shí)時(shí)研判、展示，或直接以歸集入NoSQL數(shù)據(jù)庫(kù)進(jìn)行大對(duì)象存儲(chǔ)。地圖數(shù)據(jù)匯聚柵格數(shù)據(jù)、矢量數(shù)據(jù)、空間地理底圖、各類(lèi)圖層信息、各類(lèi)城市運(yùn)行管理要素?cái)?shù)據(jù)等。數(shù)據(jù)開(kāi)發(fā)標(biāo)準(zhǔn)SQL開(kāi)發(fā)概述標(biāo)準(zhǔn)SQL開(kāi)發(fā)工具是為數(shù)據(jù)開(kāi)發(fā)人員和數(shù)據(jù)庫(kù)管理人員提供的數(shù)據(jù)庫(kù)管理工具，它能夠進(jìn)行跨中臺(tái)管理，可作為

17、大數(shù)據(jù)計(jì)算服務(wù)客戶(hù)端，也支持兼容其余多種數(shù)據(jù)庫(kù)。中臺(tái)提供的SQL開(kāi)發(fā)工具是輔助進(jìn)行數(shù)據(jù)集成開(kāi)發(fā)的圖形化工具。數(shù)據(jù)庫(kù)導(dǎo)航需提供數(shù)據(jù)庫(kù)導(dǎo)航欄，可查看當(dāng)前存在的連接，以及各個(gè)連接所提供的的內(nèi)容，包括元數(shù)據(jù)對(duì)象，如數(shù)據(jù)庫(kù)、表、列、分區(qū)、桶、視圖、存儲(chǔ)過(guò)程、包等，并通過(guò)層級(jí)反映元信息結(jié)構(gòu)?？蓪?shí)現(xiàn)查看元數(shù)據(jù)信息、創(chuàng)建元數(shù)據(jù)、指定默認(rèn)數(shù)據(jù)庫(kù)、刷新元數(shù)據(jù)對(duì)象、對(duì)比元數(shù)據(jù)對(duì)象、對(duì)象重命名、添加書(shū)簽等功能。SQL編輯器SQL編輯器主要用于SQL語(yǔ)句的編輯，功能包括：支持SQL單步調(diào)試與異常告警功能支持SQL代碼語(yǔ)法高亮、語(yǔ)法檢查支持SQL代碼縮進(jìn)支持計(jì)算結(jié)果輸出展示支持界面編輯修改數(shù)據(jù)支持命令行SQL執(zhí)行器需提供

18、SQL編輯器模塊用于執(zhí)行SQL語(yǔ)句的功能；需支持執(zhí)行各種語(yǔ)句，將結(jié)果和錯(cuò)誤分別顯示在結(jié)果窗口和問(wèn)題窗口；需支持查看以往執(zhí)行過(guò)的所有SQL語(yǔ)句，以及執(zhí)行時(shí)間。數(shù)據(jù)編輯器通過(guò)數(shù)據(jù)編輯器提供多種數(shù)據(jù)管理接口，方便用戶(hù)對(duì)數(shù)據(jù)進(jìn)行查看和編輯。數(shù)據(jù)ETL開(kāi)發(fā)概述中臺(tái)需提供可視化數(shù)據(jù)ETL工具用以數(shù)據(jù)從多源數(shù)據(jù)庫(kù)向數(shù)據(jù)平臺(tái)的ETL過(guò)程。數(shù)據(jù)接入可直接從Oracle/DB2等傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)將數(shù)據(jù)導(dǎo)入至大數(shù)據(jù)服務(wù)中臺(tái)，可在不失效率的情況下避免使用Sqoop帶的步驟繁瑣、類(lèi)型轉(zhuǎn)換復(fù)雜等應(yīng)用場(chǎng)景。支持CSV,定長(zhǎng)文件，JSON，XML等文件的導(dǎo)入。支持導(dǎo)入OGG、Shareplex、Datastage產(chǎn)生的增量文件

19、導(dǎo)入，實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)的數(shù)據(jù)同。支持通過(guò)Kafka等方式讀入流數(shù)據(jù)。支持跨集群的數(shù)據(jù)導(dǎo)入。數(shù)據(jù)導(dǎo)出可以直接導(dǎo)出數(shù)據(jù)至傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)導(dǎo)出多種數(shù)據(jù)格式，支持大數(shù)據(jù)服務(wù)中臺(tái)中所有類(lèi)型的表，普通ORC，ORC交易表，HBase，ES表等。支持跨集群導(dǎo)出數(shù)據(jù)轉(zhuǎn)換實(shí)現(xiàn)數(shù)據(jù)的清洗，加工，包括但不限于字段映射功能、數(shù)據(jù)關(guān)聯(lián)、集合操作、聚合操作、過(guò)濾、去重等。工作流調(diào)度概述提供可視化工作流調(diào)度工具以進(jìn)行數(shù)據(jù)遷移開(kāi)發(fā)過(guò)程中的工作流DAG設(shè)計(jì)、工作流調(diào)度與任務(wù)管理。工作流調(diào)度工具本身不做數(shù)據(jù)流的計(jì)算，而是將工作任務(wù)提交到中臺(tái)的分布式計(jì)算引擎來(lái)完成。相比開(kāi)源調(diào)度工具，中臺(tái)提供的工作流調(diào)度工具需要提供更強(qiáng)大的功能，更方便的操

20、作和更高的可用性。圖形化操作需提供圖形化的操作中臺(tái)，為用戶(hù)提供設(shè)計(jì)任務(wù)流、調(diào)試任務(wù)、觸發(fā)和調(diào)度策略等功能。并且具有豐富的分析能力，通過(guò)提供依賴(lài)關(guān)系、執(zhí)行歷史、甘特圖等圖表，幫助診斷作業(yè)流的執(zhí)行狀況。操作中臺(tái)的功能整體劃分為四部分，包括儀表盤(pán)、作業(yè)流設(shè)計(jì)、監(jiān)控界面、分析界面。儀表盤(pán)提供今日作業(yè)流整體狀態(tài)以及作業(yè)流實(shí)時(shí)信息的概覽。儀表盤(pán)上可以瀏覽到當(dāng)天所有作業(yè)流的狀態(tài)統(tǒng)計(jì)和作業(yè)流狀態(tài)列表。同時(shí)可以接收到作業(yè)流狀態(tài)改變實(shí)時(shí)通知。作業(yè)流設(shè)計(jì)能夠設(shè)計(jì)作業(yè)流并完成調(diào)試，每一個(gè)作業(yè)流都是一組任務(wù)的有序排列。監(jiān)控界面可查看作業(yè)流列表，點(diǎn)擊作業(yè)流名稱(chēng)，可進(jìn)入對(duì)作業(yè)流內(nèi)任務(wù)執(zhí)行情況的監(jiān)控頁(yè)面，以不同角度查看對(duì)該作

21、業(yè)流執(zhí)行情況的統(tǒng)計(jì)。分析界面用于作業(yè)流執(zhí)行情況的統(tǒng)計(jì)以及可視化分析，包括作業(yè)流的執(zhí)行時(shí)長(zhǎng)、失敗原因、調(diào)度準(zhǔn)時(shí)性、任務(wù)完成比、作業(yè)流統(tǒng)計(jì)、當(dāng)日增減作業(yè)流、當(dāng)日變慢作業(yè)流。多任務(wù)類(lèi)型需支持Shell、SQL、JDBC、HTTP等任務(wù)類(lèi)型，并且允許用戶(hù)寫(xiě)自定義Java任務(wù)。數(shù)據(jù)治理數(shù)據(jù)標(biāo)準(zhǔn)管理導(dǎo)入外部標(biāo)準(zhǔn)提供以Excel模板方式，導(dǎo)入外部國(guó)家標(biāo)準(zhǔn)或行業(yè)標(biāo)準(zhǔn)，支持?jǐn)?shù)據(jù)項(xiàng)、數(shù)據(jù)字典、指標(biāo)等類(lèi)型的標(biāo)準(zhǔn)導(dǎo)入，并支持按元模型進(jìn)行擴(kuò)展。數(shù)據(jù)標(biāo)準(zhǔn)映射建立數(shù)據(jù)庫(kù)系統(tǒng)到數(shù)據(jù)標(biāo)準(zhǔn)的映射關(guān)系，保證數(shù)據(jù)標(biāo)準(zhǔn)的落地與執(zhí)行。數(shù)據(jù)標(biāo)準(zhǔn)編目支持自定義數(shù)據(jù)標(biāo)準(zhǔn)目錄結(jié)構(gòu)以及內(nèi)容，并提供相應(yīng)的查詢(xún)，瀏覽和使用頁(yè)面，對(duì)數(shù)據(jù)編目標(biāo)準(zhǔn)對(duì)智慧城

22、市各類(lèi)數(shù)據(jù)進(jìn)行統(tǒng)一編目。數(shù)據(jù)資源關(guān)聯(lián)支持將數(shù)據(jù)標(biāo)準(zhǔn)與任意資源進(jìn)行關(guān)聯(lián)。提供數(shù)據(jù)標(biāo)準(zhǔn)與元數(shù)據(jù)、數(shù)據(jù)資源的關(guān)聯(lián)分析，分析引用指定標(biāo)準(zhǔn)的數(shù)據(jù)資源分布，以及標(biāo)準(zhǔn)的引用統(tǒng)計(jì)。數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)實(shí)現(xiàn)標(biāo)準(zhǔn)的維護(hù)功能，包括標(biāo)準(zhǔn)新增、變更、審核等功能，支持標(biāo)準(zhǔn)版本管理和比對(duì)功能，對(duì)標(biāo)準(zhǔn)變更情況進(jìn)行記錄。標(biāo)準(zhǔn)格式配置支持自定義數(shù)據(jù)標(biāo)準(zhǔn)的存儲(chǔ)和展示格式、類(lèi)型。數(shù)據(jù)質(zhì)量管理是依據(jù)數(shù)據(jù)質(zhì)量管理規(guī)范，為數(shù)據(jù)質(zhì)量管理過(guò)程提供支持，使得能夠根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)匹配檢核規(guī)則，根據(jù)元數(shù)據(jù)自動(dòng)匹配檢核對(duì)象。數(shù)據(jù)質(zhì)量管理主要過(guò)程包括質(zhì)量規(guī)則配置和數(shù)據(jù)質(zhì)量檢核，能夠解決數(shù)據(jù)完整性、唯一性、權(quán)威性、一致性、合法性等問(wèn)題。元數(shù)據(jù)管理整合中臺(tái)各個(gè)環(huán)節(jié)的元

23、數(shù)據(jù)資產(chǎn)，以便進(jìn)行元數(shù)據(jù)的瀏覽和分析，也是形成數(shù)據(jù)資源管理門(mén)戶(hù)的來(lái)源。中臺(tái)需提供可視化元數(shù)據(jù)管理工具，滿(mǎn)足進(jìn)行庫(kù)表元數(shù)據(jù)的查看，數(shù)據(jù)之間血緣關(guān)系與影響的查看，以及數(shù)據(jù)之間依賴(lài)關(guān)系的分析。元數(shù)據(jù)采集支持自動(dòng)采集、同步更新元數(shù)據(jù)，自動(dòng)化編目和分類(lèi)組織中日益分散和無(wú)序的數(shù)據(jù)資產(chǎn)，大大降低元數(shù)據(jù)管理的成本；支持采集和展示主流關(guān)系型數(shù)據(jù)庫(kù)、分布式數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)和BI等業(yè)務(wù)系統(tǒng)元數(shù)據(jù)。元數(shù)據(jù)存儲(chǔ)元數(shù)據(jù)是中臺(tái)各組件（HDFS、分析型數(shù)據(jù)倉(cāng)庫(kù)、分布式NoSQL數(shù)據(jù)庫(kù)、數(shù)據(jù)檢索組件、實(shí)時(shí)計(jì)算組件等）存放有關(guān)數(shù)據(jù)信息的地方，其用途是用來(lái)描述數(shù)據(jù)，包括創(chuàng)建信息、所屬空間、訪問(wèn)權(quán)限、類(lèi)型描述等等。中臺(tái)需要提

24、供高可用數(shù)據(jù)庫(kù)為所有組件提供元數(shù)據(jù)統(tǒng)一管理存儲(chǔ)。HDFS元數(shù)據(jù)包含文件名、目錄名、父目錄信息、文件大小、創(chuàng)建時(shí)間、修改時(shí)間等文件屬性信息，還需包含文件分塊情況、復(fù)本個(gè)數(shù)、每個(gè)復(fù)本所在節(jié)點(diǎn)等存儲(chǔ)相關(guān)信息。記錄數(shù)據(jù)所屬關(guān)系，提供用戶(hù)所屬用戶(hù)、用戶(hù)組信息，可以標(biāo)記用戶(hù)和用戶(hù)組的權(quán)限。分析型數(shù)據(jù)庫(kù)元數(shù)據(jù)庫(kù)級(jí)元信息包含庫(kù)名、描述信息、創(chuàng)建者、創(chuàng)建時(shí)間、庫(kù)內(nèi)建表查表權(quán)限等。表級(jí)元信息包含表名、描述信息、創(chuàng)建者、創(chuàng)建時(shí)間、所屬庫(kù)、表內(nèi)字段、表內(nèi)增刪改查權(quán)限、刪除表權(quán)限等。字段元信息包含字段名、描述信息、字段類(lèi)型、默認(rèn)值、是否為空、用戶(hù)訪問(wèn)權(quán)限等。分布式NoSQL數(shù)據(jù)庫(kù)元數(shù)據(jù)指分析型數(shù)據(jù)庫(kù)中NoSQL數(shù)據(jù)庫(kù)映

25、射表的元數(shù)據(jù)。類(lèi)似分析型數(shù)據(jù)庫(kù)表級(jí)和字段權(quán)限，包含表名、表描述信息、創(chuàng)建者、創(chuàng)建時(shí)間、所屬庫(kù)、表內(nèi)字段、表內(nèi)增刪改查權(quán)限、刪除表權(quán)限、字段名、字段描述信息、字段類(lèi)型、用戶(hù)訪問(wèn)權(quán)限等。數(shù)據(jù)檢索組件元數(shù)據(jù)指分析型數(shù)據(jù)庫(kù)中數(shù)據(jù)檢索引擎映射表的元數(shù)據(jù)。類(lèi)似分析型數(shù)據(jù)庫(kù)表級(jí)和字段權(quán)限，包含表名、表描述信息、創(chuàng)建者、創(chuàng)建時(shí)間、所屬庫(kù)、表內(nèi)字段、表內(nèi)增刪改查權(quán)限、刪除表權(quán)限、字段名、字段描述信息、字段類(lèi)型、用戶(hù)訪問(wèn)權(quán)限等。實(shí)時(shí)流計(jì)算組件元數(shù)據(jù)實(shí)時(shí)流計(jì)算有三個(gè)核心的概念：流、流任務(wù)和流應(yīng)用。流即數(shù)據(jù)流，流任務(wù)是對(duì)一個(gè)或多個(gè)流數(shù)據(jù)進(jìn)行計(jì)算并將結(jié)果寫(xiě)進(jìn)一張表的任務(wù)，流應(yīng)用是一個(gè)或多個(gè)流任務(wù)的集合。流元信息需包含流

26、名、描述信息、創(chuàng)建者、創(chuàng)建時(shí)間、所屬庫(kù)、流內(nèi)字段、流內(nèi)增刪改查權(quán)限、刪除流權(quán)限等。流任務(wù)元信息需包含任務(wù)名、描述信息、創(chuàng)建者、啟動(dòng)時(shí)間、所屬庫(kù)、任務(wù)邏輯、啟停權(quán)限等。流應(yīng)用元信息需包含應(yīng)用名、描述信息、創(chuàng)建者、創(chuàng)建時(shí)間、所屬庫(kù)、應(yīng)用內(nèi)流任務(wù)信息等。元數(shù)據(jù)操作通過(guò)對(duì)元數(shù)據(jù)庫(kù)的增、刪、改、查操作，為元數(shù)據(jù)的應(yīng)用提供各種功能（如數(shù)據(jù)血緣關(guān)系查詢(xún)等）。元數(shù)據(jù)查詢(xún)支持對(duì)元數(shù)據(jù)基本信息進(jìn)行查詢(xún)與檢索，如查詢(xún)數(shù)據(jù)庫(kù)表的數(shù)據(jù)字典等；元數(shù)據(jù)統(tǒng)計(jì)提供元數(shù)據(jù)統(tǒng)計(jì)信息，如元數(shù)據(jù)使用情況分析、元數(shù)據(jù)變更、元數(shù)據(jù)版本和生命周期變化情況等。元數(shù)據(jù)稽核為保證元數(shù)據(jù)質(zhì)量，對(duì)元數(shù)據(jù)進(jìn)行稽核，保證元數(shù)據(jù)信息的完整性，合理性。權(quán)限管

27、理負(fù)責(zé)權(quán)限分配、審批，實(shí)現(xiàn)對(duì)元數(shù)據(jù)管理模塊的數(shù)據(jù)訪問(wèn)和功能的使用進(jìn)行有效訪問(wèn)控制。元數(shù)據(jù)維護(hù)提供元數(shù)據(jù)常規(guī)管理能力，包括基本信息、關(guān)系、版本的管理維護(hù)，以及元數(shù)據(jù)檢核。元數(shù)據(jù)應(yīng)用提供多種元數(shù)據(jù)應(yīng)用方式，包括元數(shù)據(jù)檢索、查看、歷史、變更訂閱下載。元數(shù)據(jù)瀏覽支持多數(shù)據(jù)源的資產(chǎn)瀏覽：HDFS、Mysql、Oracle、DB2、Hive、TeraData、Hbase、Teradata以及第三方報(bào)表工具。數(shù)據(jù)地圖通過(guò)圖形化方式從宏觀角度展示企業(yè)數(shù)據(jù)資產(chǎn)系統(tǒng)的關(guān)系，有利于用戶(hù)更好理解系統(tǒng)之間關(guān)系。支持對(duì)數(shù)據(jù)流轉(zhuǎn)情況的展現(xiàn)，展現(xiàn)數(shù)據(jù)在各層間流轉(zhuǎn)的情況。實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)總體展現(xiàn)，展示模型總數(shù)、存儲(chǔ)總量、記錄總數(shù)、

28、字段數(shù)等關(guān)鍵指標(biāo)，實(shí)現(xiàn)層層下鉆，從宏觀換到微觀各個(gè)層次的展示數(shù)據(jù)資產(chǎn)的基本信息，如存儲(chǔ)周期、字段數(shù)、數(shù)據(jù)量、數(shù)據(jù)來(lái)源占比和變化趨勢(shì)等。系統(tǒng)管理為應(yīng)用提供可靠的基礎(chǔ)管理服務(wù)，保證上層應(yīng)用的正常運(yùn)行。包括系統(tǒng)基本配置管理、權(quán)限管理、角色管理等。數(shù)據(jù)血源管理通過(guò)整合分散在各個(gè)系統(tǒng)、應(yīng)用、數(shù)據(jù)庫(kù)等不同數(shù)據(jù)源中的元數(shù)據(jù)，將它們集中在一起，提供統(tǒng)一的元數(shù)據(jù)查詢(xún)管理接口。通過(guò)追蹤元數(shù)據(jù)，記錄每次元數(shù)據(jù)轉(zhuǎn)化的輸入與輸出，能夠從表級(jí)和列級(jí)兩個(gè)粒度上，描述多表間的關(guān)系，為中臺(tái)中的元數(shù)據(jù)勾勒出一幅完整的數(shù)據(jù)流動(dòng)變化關(guān)系圖譜，使用戶(hù)更全面的掌握數(shù)據(jù)，把握數(shù)據(jù)變化，從而實(shí)現(xiàn)元數(shù)據(jù)血緣關(guān)系分析功能。提供數(shù)據(jù)治理子系統(tǒng)，可

29、以實(shí)現(xiàn)數(shù)據(jù)血緣關(guān)系分析。數(shù)據(jù)血緣圖以目標(biāo)對(duì)象的第一代祖先為起點(diǎn)，以目標(biāo)分析對(duì)象為終點(diǎn)，按照轉(zhuǎn)化關(guān)系逐層擴(kuò)展。血緣圖直觀的展示了目標(biāo)對(duì)象的產(chǎn)生過(guò)程，包括從哪些表轉(zhuǎn)換而來(lái)，經(jīng)歷了哪些轉(zhuǎn)換，從而幫助推測(cè)出它在此過(guò)程中被賦予的含義，以及會(huì)受到的潛在影響。當(dāng)某數(shù)據(jù)出現(xiàn)錯(cuò)誤或者異常時(shí)，我們可通過(guò)血緣關(guān)系圖向上分析鎖定問(wèn)題產(chǎn)生的源頭；當(dāng)對(duì)某些數(shù)據(jù)進(jìn)行修改時(shí)，可通過(guò)影響關(guān)系圖向下分析，得到哪些數(shù)據(jù)實(shí)體中的數(shù)據(jù)會(huì)受到影響。還通過(guò)提供列級(jí)的訪問(wèn)，將追蹤的粒度精確到字段。充分理解并運(yùn)用這兩種圖表，將幫助用戶(hù)在對(duì)海量數(shù)據(jù)進(jìn)行分析時(shí)，降低排查錯(cuò)誤的難度，預(yù)測(cè)并控制即將造成的影響，最終達(dá)到提升數(shù)據(jù)質(zhì)量的效果。視圖血緣支持

30、和主題庫(kù)的視圖的血緣影響分析（包括展示已delete刪除的表和視圖，支持指定深度展示）。表及字段血緣支持和主題庫(kù)中各數(shù)據(jù)庫(kù)表和字段的血緣分析和影響分析。報(bào)表血緣支持對(duì)電子表格和儀表盤(pán)的血緣和影響分析。ETL血緣支持對(duì)ETL流程的血緣、影響分析。支持跨數(shù)據(jù)庫(kù)實(shí)例ETL血緣，支持ETL工具血緣；手動(dòng)編輯血緣信息支持手動(dòng)對(duì)血緣信息進(jìn)行增加，刪除，修改等操作。實(shí)時(shí)更新血緣信息自動(dòng)化實(shí)時(shí)同步更新血緣、影響數(shù)據(jù)。數(shù)據(jù)生命周期管理數(shù)據(jù)如同企業(yè)任何其他資產(chǎn)一樣，也具有生命周期。企業(yè)進(jìn)行大數(shù)據(jù)治理，就需要管理數(shù)據(jù)資產(chǎn)，也就是要管理數(shù)據(jù)的生命周期。數(shù)據(jù)生命周期管理，需要對(duì)數(shù)據(jù)從產(chǎn)生、存儲(chǔ)、維護(hù)、使用到消亡的整個(gè)過(guò)

31、程進(jìn)行監(jiān)控和管理。例如，企業(yè)數(shù)據(jù)管理人員需要決定數(shù)據(jù)如何被創(chuàng)建、如何被修改、如何演變、何種數(shù)據(jù)應(yīng)保留在運(yùn)營(yíng)和分析系統(tǒng)中、何種數(shù)據(jù)要予以存檔、何種數(shù)據(jù)要予以刪除。數(shù)據(jù)生命周期管理需要對(duì)壓縮和存檔的政策、工具進(jìn)行平衡，以降低存儲(chǔ)成本，提高績(jī)效。最后，需要結(jié)合企業(yè)當(dāng)前業(yè)務(wù)的需求合理摒棄不再需要的數(shù)據(jù)。數(shù)據(jù)先被創(chuàng)建，然后存儲(chǔ)、維護(hù)和使用，最終被銷(xiāo)毀。在其生命周期中，數(shù)據(jù)可能被提取、導(dǎo)入、導(dǎo)出、遷移、驗(yàn)證、編輯、更新、清洗、轉(zhuǎn)型、轉(zhuǎn)換、整合、隔離、匯總、引用、評(píng)審、報(bào)告、分析、挖掘、備份、恢復(fù)、歸檔和檢索，最終被刪除。數(shù)據(jù)的價(jià)值通常體現(xiàn)在使用中，也可能是在未來(lái)才有用。數(shù)據(jù)生命周期的所有階段都有相關(guān)的成本

32、和風(fēng)險(xiǎn)，但只有在“使用”階段，數(shù)據(jù)才能夠帶來(lái)商業(yè)價(jià)值。基于大數(shù)據(jù)環(huán)境下數(shù)據(jù)在組織機(jī)構(gòu)業(yè)務(wù)中的流轉(zhuǎn)情況，定義了數(shù)據(jù)生命周期的6個(gè)階段，具體各階段的定義如下：數(shù)據(jù)采集：指新的數(shù)據(jù)產(chǎn)生或現(xiàn)有數(shù)據(jù)內(nèi)容發(fā)生明顯改變或更新的階段。對(duì)于組織機(jī)構(gòu)而言，數(shù)據(jù)的待機(jī)既包含在組織機(jī)構(gòu)內(nèi)部系統(tǒng)中生成的數(shù)據(jù)也包含組織機(jī)構(gòu)從外部采集的數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)：指非動(dòng)態(tài)數(shù)據(jù)以任何數(shù)字格式進(jìn)行物理存儲(chǔ)的階段數(shù)據(jù)處理：指組織機(jī)構(gòu)在內(nèi)部針對(duì)動(dòng)態(tài)數(shù)據(jù)進(jìn)行的一系列活動(dòng)的組合。數(shù)據(jù)傳輸：指數(shù)據(jù)在組織機(jī)構(gòu)內(nèi)部從一個(gè)實(shí)體金國(guó)網(wǎng)絡(luò)流動(dòng)到另一個(gè)實(shí)體的過(guò)程。數(shù)據(jù)交換：指數(shù)據(jù)經(jīng)由組織機(jī)構(gòu)內(nèi)部與外部組織機(jī)構(gòu)及個(gè)人交互過(guò)程中提供數(shù)據(jù)的階段。數(shù)據(jù)銷(xiāo)毀：指通過(guò)對(duì)數(shù)

33、據(jù)及數(shù)據(jù)的存儲(chǔ)介質(zhì)通過(guò)相應(yīng)的操作手段，使數(shù)據(jù)徹底丟失且無(wú)法通過(guò)任何手段恢復(fù)的過(guò)程。特定的數(shù)據(jù)所經(jīng)理的生命周期由實(shí)際的業(yè)務(wù)場(chǎng)景所決定，并非所有的數(shù)據(jù)都會(huì)完整的經(jīng)歷6個(gè)階段。數(shù)據(jù)質(zhì)量管理實(shí)現(xiàn)數(shù)據(jù)質(zhì)量規(guī)則定義、數(shù)據(jù)檢核、數(shù)據(jù)質(zhì)量分析：根據(jù)實(shí)際業(yè)務(wù)和數(shù)據(jù)使用情況，提出度量規(guī)則，達(dá)到規(guī)范化的語(yǔ)言對(duì)度量規(guī)則進(jìn)行定義，制定數(shù)據(jù)質(zhì)量檢核，通過(guò)執(zhí)行檢核任務(wù)和執(zhí)行引擎，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題。多維度展現(xiàn)每個(gè)質(zhì)量檢核規(guī)則的執(zhí)行結(jié)果以及質(zhì)量清洗意見(jiàn)。給出數(shù)據(jù)質(zhì)量的總體運(yùn)行情況從而自定義數(shù)據(jù)質(zhì)量大屏和質(zhì)量駕駛艙。數(shù)據(jù)質(zhì)量管理是依據(jù)數(shù)據(jù)質(zhì)量管理規(guī)范，為數(shù)據(jù)質(zhì)量管理過(guò)程提供支持要包括質(zhì)量規(guī)則配置和數(shù)據(jù)質(zhì)量檢核，能夠根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)匹

34、配檢核規(guī)則，根據(jù)元數(shù)據(jù)自動(dòng)匹配檢核對(duì)象。數(shù)據(jù)質(zhì)量管理主要功能要求：1）質(zhì)量規(guī)則配置，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量度量規(guī)則和檢核方法管理。配置實(shí)現(xiàn)檢核任務(wù)管理，可以通過(guò)界面來(lái)維護(hù)任務(wù)，支持根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)生成質(zhì)量檢核方法。2）數(shù)據(jù)質(zhì)量檢核，按照數(shù)據(jù)質(zhì)量規(guī)則對(duì)依次對(duì)檢核對(duì)象進(jìn)行合規(guī)性檢核，在發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題之后，記錄問(wèn)題數(shù)據(jù)和異常記錄。3）數(shù)據(jù)質(zhì)量問(wèn)題明細(xì)報(bào)告，針對(duì)檢核任務(wù)在執(zhí)行之后，需要出具數(shù)據(jù)質(zhì)量問(wèn)題報(bào)告，對(duì)問(wèn)題的總體情況進(jìn)行描述，并按照權(quán)屬部門(mén)、資源分類(lèi)等維度出具明細(xì)質(zhì)量報(bào)告。質(zhì)量管理流程數(shù)據(jù)質(zhì)量管理的基本流程如下圖：圖 數(shù)據(jù)質(zhì)量管理的基本流程數(shù)據(jù)質(zhì)量管理主要功能包括：質(zhì)量規(guī)則配置，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量度量規(guī)則和檢核方

35、法管理。配置實(shí)現(xiàn)檢核任務(wù)管理，通過(guò)界面維護(hù)任務(wù)，支持根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)生成質(zhì)量檢核方法。數(shù)據(jù)質(zhì)量檢核，按照數(shù)據(jù)質(zhì)量規(guī)則對(duì)依次對(duì)檢核對(duì)象進(jìn)行合規(guī)性檢核，在發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題之后，記錄問(wèn)題數(shù)據(jù)和異常記錄。數(shù)據(jù)質(zhì)量問(wèn)題明細(xì)報(bào)告，針對(duì)檢核任務(wù)在執(zhí)行之后，需要出具數(shù)據(jù)質(zhì)量問(wèn)題報(bào)告，對(duì)問(wèn)題的總體情況進(jìn)行描述，并按照權(quán)屬部門(mén)、資源分類(lèi)等維度出具明細(xì)質(zhì)量報(bào)告。數(shù)據(jù)質(zhì)量稽核利用城市數(shù)據(jù)底座和數(shù)據(jù)平臺(tái)提供的分析型數(shù)據(jù)倉(cāng)庫(kù)提供數(shù)據(jù)稽查功能，根據(jù)規(guī)則（包括但不限于數(shù)據(jù)誤讀、字段類(lèi)型不匹配、UDF條件過(guò)濾）將臟數(shù)據(jù)寫(xiě)入指定的臟數(shù)據(jù)表，在數(shù)據(jù)導(dǎo)入完成后，記錄臟數(shù)據(jù)原因、記錄數(shù)、導(dǎo)入接口以及數(shù)據(jù)質(zhì)量報(bào)告，以方便監(jiān)控程序判斷以及處理

36、。數(shù)據(jù)質(zhì)量管理主要包含對(duì)數(shù)據(jù)完整性、準(zhǔn)確性、鮮活性、權(quán)威性的分析和管理，并對(duì)數(shù)據(jù)進(jìn)行跟蹤、處理和解決，實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量的全程管理，提高數(shù)據(jù)的質(zhì)量。能夠提供規(guī)則配置、質(zhì)量監(jiān)控、問(wèn)題處理等功能，及時(shí)發(fā)現(xiàn)并分析數(shù)據(jù)質(zhì)量問(wèn)題，不斷改善數(shù)據(jù)的使用質(zhì)量，從而提升數(shù)據(jù)的可用性，挖掘數(shù)據(jù)更大的價(jià)值。質(zhì)量模型配置數(shù)據(jù)質(zhì)量分析的基本單元，一個(gè)質(zhì)量模型由可以由一套實(shí)體表、一套規(guī)則以及多套質(zhì)檢方案組成，用戶(hù)在定義質(zhì)檢方案時(shí)，可以根據(jù)業(yè)務(wù)需要選擇實(shí)體表和規(guī)則，方案與方案之間相互獨(dú)立，互不干擾。通過(guò)執(zhí)行模型下的質(zhì)檢方案，可以得到用戶(hù)關(guān)心的數(shù)據(jù)質(zhì)量分析結(jié)果，如問(wèn)題數(shù)據(jù)明細(xì)信息、數(shù)據(jù)質(zhì)量分析結(jié)果等。圖 質(zhì)量模型配置質(zhì)量規(guī)則管理

37、數(shù)據(jù)質(zhì)量規(guī)則是數(shù)據(jù)質(zhì)量審核的邏輯校驗(yàn)標(biāo)準(zhǔn)，是數(shù)據(jù)質(zhì)量監(jiān)控管理的基礎(chǔ)。系統(tǒng)支持多種規(guī)則類(lèi)型，提供了全方位的視角來(lái)為用戶(hù)解析數(shù)據(jù)質(zhì)量。一套規(guī)則能在多套方案中復(fù)用，在保證多角度準(zhǔn)確數(shù)據(jù)質(zhì)量分析的前提下，大大減少了用戶(hù)投入的精力與時(shí)間，為用戶(hù)提供了一種靈活而全面的數(shù)據(jù)質(zhì)量分析方式。系統(tǒng)包括以下質(zhì)量規(guī)則：空值檢查空值檢查用于檢查關(guān)鍵字段非空值域檢查值域檢查用于檢查關(guān)鍵字段的取值范圍，支持?jǐn)?shù)值型、字符型、日期型字段檢查規(guī)范檢查規(guī)范檢查用于檢查指標(biāo)值的格式是否規(guī)范，支持身份證、手機(jī)號(hào)碼、郵箱、日期等多種數(shù)據(jù)類(lèi)型的檢測(cè)，支持自定義正則表達(dá)式邏輯檢查邏輯檢查用于檢查指標(biāo)之間是否滿(mǎn)足一定的邏輯關(guān)系重復(fù)數(shù)據(jù)檢查重復(fù)

38、數(shù)據(jù)檢查用于檢查表內(nèi)是否有重復(fù)數(shù)據(jù)。規(guī)則算法：groupby重復(fù)依據(jù)字段，count(1)1的算重復(fù)及時(shí)性檢查及時(shí)性檢查，用于檢查數(shù)據(jù)的及時(shí)性，衡量數(shù)據(jù)抽取或數(shù)據(jù)上報(bào)是否及時(shí)。規(guī)則算法：算出上報(bào)時(shí)間字段的值，如果沒(méi)寫(xiě)上報(bào)時(shí)間表達(dá)式，則最佳上報(bào)時(shí)間都是以下一期的第一天做為參照依據(jù)，再將上報(bào)時(shí)間與最佳上報(bào)時(shí)間做為比較，看是否在允許誤差最大天數(shù)范圍內(nèi)缺失記錄檢查記錄缺失檢查用于判斷記錄是否完整，是否缺少數(shù)據(jù)行。根據(jù)比照表字段檢查目標(biāo)字段是否缺少數(shù)據(jù)，檢查實(shí)體表字段與比照字段的數(shù)據(jù)量、數(shù)值是否完全一致。規(guī)則算法：對(duì)檢查表字段和比照字段進(jìn)行g(shù)roupby并求count，根據(jù)兩個(gè)字段groupby的結(jié)果來(lái)

39、outerjoin，count不相等或檢查字段值和比照字段值有一個(gè)為空時(shí)，此行結(jié)果都算錯(cuò)引用完整性檢查引用完整性檢查用于判斷實(shí)體表中的數(shù)據(jù)是否完全存在于比照表中。實(shí)體表檢查字段中的數(shù)據(jù)必須全部存在于比照表的比照字段中。規(guī)則算法：實(shí)體表的檢查字段關(guān)聯(lián)distinct后的比照表的字段，關(guān)聯(lián)后，如果比照字段為空，則檢查字段的值非來(lái)源于比照表，則該規(guī)則對(duì)應(yīng)結(jié)果為false方案配置調(diào)度依據(jù)質(zhì)量規(guī)則執(zhí)行的實(shí)際治理需求，通過(guò)圖形化界面配置多種質(zhì)檢規(guī)則組成可執(zhí)行方案，依據(jù)執(zhí)行規(guī)則管控中臺(tái)自動(dòng)執(zhí)行質(zhì)量規(guī)則檢查。質(zhì)量規(guī)則執(zhí)行觸發(fā)方式支持按固定時(shí)間周期（如月、周、日）、事件觸發(fā)等執(zhí)行方式，并且在控制臺(tái)可以查看質(zhì)檢方

40、案執(zhí)行歷史，對(duì)數(shù)據(jù)質(zhì)檢全流程進(jìn)行管控。圖 方案配置調(diào)度界面配置通過(guò)圖形化界面配置多種質(zhì)檢規(guī)則組成可執(zhí)行方案，通過(guò)界面進(jìn)行數(shù)據(jù)傳參。觸發(fā)方式質(zhì)量規(guī)則執(zhí)行觸發(fā)方式支持按固定時(shí)間周期（如月、周、日）、事件觸發(fā)等執(zhí)行方式。全流程管控固定時(shí)間監(jiān)控業(yè)務(wù)系統(tǒng)運(yùn)行的各類(lèi)數(shù)據(jù)，及時(shí)發(fā)現(xiàn)并整改數(shù)據(jù)異常，完善系統(tǒng)運(yùn)行機(jī)制。圖 全流程管控質(zhì)檢結(jié)果查看基于質(zhì)檢方案執(zhí)行過(guò)程，反饋每次質(zhì)檢產(chǎn)生的異常數(shù)據(jù)，根據(jù)問(wèn)題數(shù)據(jù)所配置的規(guī)則提供問(wèn)題詳情、比對(duì)及整改重檢的能力。結(jié)合實(shí)際可執(zhí)行和可實(shí)現(xiàn)的原則，分析系統(tǒng)存在的數(shù)據(jù)質(zhì)量問(wèn)題：分析與檢測(cè)著重于在數(shù)據(jù)的定義基礎(chǔ)上，利用數(shù)據(jù)的邏輯和業(yè)務(wù)規(guī)則度數(shù)據(jù)質(zhì)量進(jìn)行檢測(cè)和分析。整改與重建著重與在

41、數(shù)據(jù)的分析和檢測(cè)基礎(chǔ)上，利用起結(jié)果對(duì)數(shù)據(jù)，特別是源數(shù)據(jù)的數(shù)據(jù)管理提出整改意見(jiàn)，重建數(shù)據(jù)質(zhì)量的管理能力。具體系統(tǒng)方案如下:圖 質(zhì)檢結(jié)果查看質(zhì)檢分析報(bào)告基于質(zhì)檢方案及質(zhì)檢結(jié)果，對(duì)每次質(zhì)檢的檢查數(shù)、問(wèn)題數(shù)、整改數(shù)等進(jìn)行統(tǒng)計(jì)，形成統(tǒng)計(jì)圖。支持按日、按月統(tǒng)計(jì)及柱狀圖、折線圖。數(shù)據(jù)標(biāo)簽管理標(biāo)簽維護(hù)標(biāo)簽管理模塊提供面向用戶(hù)、運(yùn)營(yíng)管理等各類(lèi)型的數(shù)據(jù)進(jìn)行統(tǒng)一的管理和分析，基于提供的源數(shù)據(jù)進(jìn)行標(biāo)簽的建設(shè)。標(biāo)簽管理模塊提供包括標(biāo)簽分類(lèi)配置、基礎(chǔ)信息配置、邏輯配置、更新配置、權(quán)重配置等功能。標(biāo)簽分類(lèi)配置標(biāo)簽分類(lèi)管理提供標(biāo)簽?zāi)夸浀膭?chuàng)建、修改、刪除等功能。標(biāo)簽基礎(chǔ)信息配置提供標(biāo)簽基礎(chǔ)信息的配置功能，包括標(biāo)簽名稱(chēng)、標(biāo)簽所屬

42、目錄、業(yè)務(wù)邏輯等信息。標(biāo)簽邏輯配置提供規(guī)則標(biāo)簽、組合標(biāo)簽的配置。規(guī)則標(biāo)簽的具體配置功能包括規(guī)則設(shè)置可視化、選擇表字段、固化標(biāo)簽SQL規(guī)則、提供SQL模板等。組合標(biāo)簽的具體配置功能包括標(biāo)簽樹(shù)展示、寬表信息樹(shù)展示、標(biāo)簽組合設(shè)置及運(yùn)算符配置功能。標(biāo)簽更新配置提供標(biāo)簽結(jié)果定時(shí)更新的配置功能，保證標(biāo)簽數(shù)據(jù)的準(zhǔn)確性。提供包括更新周期、更新時(shí)間、更新設(shè)置、生效有效期和更新模式的配置。標(biāo)簽權(quán)重配置提供標(biāo)簽權(quán)重信息的配置，包括附加權(quán)重倍數(shù)、附加權(quán)重常數(shù)、權(quán)重最小值、權(quán)重最大值，以及權(quán)重公式的預(yù)覽。標(biāo)簽更新標(biāo)簽更新管理模塊提供標(biāo)簽更新列表的查看和單個(gè)標(biāo)簽更新歷史列表的查看功能，同時(shí)提供手動(dòng)執(zhí)行標(biāo)簽更新的入口。列表

43、頁(yè)面提供包括更新時(shí)間、更新耗時(shí)、更新結(jié)果、更新?tīng)顟B(tài)、更新周期等信息的展現(xiàn)。群體策略提供群體的配置功能，包括群體基本信息、群體標(biāo)簽信息、和群體策略的配置。列表頁(yè)面支持群體結(jié)果信息展示以及群體結(jié)果的導(dǎo)出、群體畫(huà)像的展示。支持以界面化方式對(duì)各類(lèi)標(biāo)簽進(jìn)行組合，形成響應(yīng)的標(biāo)簽策略，并基于頁(yè)面配置化方式定義執(zhí)行條件、過(guò)濾條件、時(shí)間。群體基本信息配置提供群體名稱(chēng)、主體和群體描述的配置。群體標(biāo)簽信息配置提供以界面化方式對(duì)各類(lèi)標(biāo)簽進(jìn)行組合，配置出滿(mǎn)足業(yè)務(wù)需求的群體。群體策略配置提供配置群體對(duì)應(yīng)的策略。包括策略選擇、策略執(zhí)行周期、策略執(zhí)行時(shí)間、策略執(zhí)行有效期、策略可重復(fù)執(zhí)行、策略重復(fù)執(zhí)行間隔、策略可執(zhí)行時(shí)間段的配

44、置。群體策略監(jiān)控提供已配置群體策略的列表頁(yè)面、手動(dòng)執(zhí)行群體策略的入口以及單個(gè)群體策略的執(zhí)行歷史列表。 個(gè)人畫(huà)像畫(huà)像包括列表模板和畫(huà)像模板兩種模板，普通用戶(hù)查看的個(gè)體列表和個(gè)體畫(huà)像就是來(lái)自畫(huà)像模塊。列表模板列表模板是指以列表的樣式通過(guò)多個(gè)維度展示畫(huà)像的基本信息，幫助用戶(hù)快速瀏覽，修改列表字段可以更改展示內(nèi)容。多主題當(dāng)畫(huà)像模塊存在多個(gè)主題時(shí)，可以自由切換不同主題下的內(nèi)容。搜索輸入ID、名稱(chēng)等關(guān)鍵詞，會(huì)自動(dòng)補(bǔ)全信息，并展示搜索結(jié)果。歷史記錄系統(tǒng)記錄最近查詢(xún)和最近收藏目標(biāo)（最近10條），幫助用戶(hù)快速查詢(xún)。 全部收藏展示系統(tǒng)中全部收藏的目標(biāo)對(duì)象。 全部列表在列表頂部，選擇“僅顯示收藏”，對(duì)所有目標(biāo)結(jié)果進(jìn)

45、行篩選。 鼠標(biāo)移入到目標(biāo)群體時(shí)，有收藏和取消收藏的功能。 每個(gè)目標(biāo)都有畫(huà)像信息，查看目標(biāo)畫(huà)像，了解目標(biāo)的全方位信息。畫(huà)像模板畫(huà)像模板由多個(gè)面板組合而成，通過(guò)圖形化的樣式展示個(gè)體的標(biāo)簽信息，每個(gè)面板代表不同的圖形樣式，面板中標(biāo)簽可以選擇用圖形或者文本示意。自定義畫(huà)像不論是列表還是畫(huà)像，Sophon EP都支持管理員通過(guò)主題設(shè)計(jì)時(shí)進(jìn)行列表模板和畫(huà)像模板的自定義。自定義列表模板通過(guò)拖拽基礎(chǔ)表字段來(lái)替換現(xiàn)有的表字段內(nèi)容，還可以刪除和添加表字段。ID、名稱(chēng)和圖片是表數(shù)據(jù)的key值，可以更改字段內(nèi)容，但不能刪除。自定義畫(huà)像模板當(dāng)前系統(tǒng)提供純文本、膠囊條形圖、面積圖、階段條形圖、漏斗圖、雷達(dá)圖、行條形圖、餅

46、圖、列條形 圖、柱狀圖共10種面板類(lèi)型。選擇面板類(lèi)型后，在面板中添加一個(gè)或多個(gè)標(biāo)簽類(lèi)別，每個(gè)標(biāo)簽可以選擇用圖形或者文本的樣式展現(xiàn)。新建完成后，畫(huà)像中的內(nèi)容也會(huì)相應(yīng)更改。標(biāo)簽綁定用戶(hù)可根據(jù)喜好，選擇圖片綁定標(biāo)簽數(shù)據(jù)，定義個(gè)性化畫(huà)像儀表盤(pán)。畫(huà)像由不同的面板組成，每個(gè)面板可根據(jù)業(yè)務(wù)需求綁定不同的標(biāo)簽屬性。用戶(hù)可以通過(guò)拖拽改變面板的大小和位置，實(shí)現(xiàn)個(gè)性化展現(xiàn)。 群畫(huà)像群畫(huà)像與個(gè)體畫(huà)像類(lèi)似，都是以圖表的樣式展現(xiàn)標(biāo)簽數(shù)據(jù)。群畫(huà)像展示個(gè)體在不同標(biāo)簽下的分布趨勢(shì)圖。群列表群列表是指創(chuàng)建滿(mǎn)足共同特征的目標(biāo)群體，分為“我創(chuàng)建的”群列表和“共享群”列表，兩種列表的的權(quán)限各不相同。群信息包括群的名稱(chēng)、權(quán)限、描述、創(chuàng)建

47、者、創(chuàng)建時(shí)間以及創(chuàng)建群的篩選條件。篩選條件默認(rèn)情況下是收起狀態(tài)，用戶(hù)可以手動(dòng)展開(kāi)。群創(chuàng)建創(chuàng)建目標(biāo)群體又稱(chēng)數(shù)據(jù)實(shí)體分群，目的是通過(guò)一系列標(biāo)簽篩選條件把目標(biāo)主題下的數(shù)據(jù)實(shí)體進(jìn)行群體劃分。目標(biāo)群體由一個(gè)或多個(gè)篩選條件得到。條件與條件之間可以隨意切換“且”、“或”的關(guān)系。每個(gè)條件內(nèi)部，標(biāo)簽與標(biāo)簽之間也有“且”、“或”的關(guān)系，條件與標(biāo)簽之間的關(guān)系為互斥。創(chuàng)建群體時(shí)可以實(shí)現(xiàn)設(shè)定是否共享。群分享群創(chuàng)建者可以將有意義的目標(biāo)群體共享出去，供大家查看。也可以將已共享的群體取消共享。群分析可以對(duì)目標(biāo)群體進(jìn)行群畫(huà)像的分析操作。還可以對(duì)群體繼續(xù)進(jìn)行一維或二維的細(xì)分，以圖表化的形式展現(xiàn)（當(dāng)前的圖表樣式包括餅圖、一維柱狀圖

48、、二維柱狀圖、二維熱力圖）。通過(guò)自定義分析了解目標(biāo)群體在不同的標(biāo)簽下的分布情況。通過(guò)群畫(huà)像可以對(duì)不同群體進(jìn)相關(guān)操作。 畫(huà)像模板列表模板：提供展示對(duì)象信息的模板樣例，支持對(duì)對(duì)象的字段的增刪改操作；畫(huà)像模板：提供畫(huà)像分析的模板樣例，支持對(duì)畫(huà)像模板的增刪改操作；每個(gè)面板代表不同的圖形樣式，面板中標(biāo)簽可以選擇用圖形或者文本示意。 畫(huà)像分析個(gè)體畫(huà)像：面板展示實(shí)體數(shù)據(jù)，將實(shí)體通過(guò)圖形更加直觀地展示；群創(chuàng)建：根據(jù)系統(tǒng)已有的標(biāo)簽創(chuàng)建滿(mǎn)足特定特征的群體；群畫(huà)像：群體畫(huà)像同樣以圖表的樣式展示數(shù)據(jù)，展示個(gè)體在不同標(biāo)簽下的分布趨勢(shì)圖。自定義畫(huà)像：用戶(hù)可根據(jù)喜好，選擇圖片綁定標(biāo)簽數(shù)據(jù)，定義個(gè)性化畫(huà)像儀表盤(pán)。畫(huà)像由不同的

49、面板組成，每個(gè)面板可根據(jù)業(yè)務(wù)需求綁定不同的標(biāo)簽屬性。用戶(hù)可以通過(guò)拖拽改變面板的大小和位置，實(shí)現(xiàn)個(gè)性化展現(xiàn)。 插件管理支持上傳插件對(duì)智能標(biāo)簽?zāi)K進(jìn)行二次開(kāi)發(fā)，定義屬于自己的標(biāo)簽應(yīng)用，同時(shí)支持接入第三方數(shù)據(jù)源。 模型分享支持群分享，允許使用者將共享群中群體分享到我創(chuàng)建的群體，并進(jìn)行編輯和修改。數(shù)據(jù)分析數(shù)據(jù)指標(biāo)分析實(shí)時(shí)指標(biāo)對(duì)數(shù)據(jù)服務(wù)開(kāi)發(fā)過(guò)程做流程化梳理，通過(guò)數(shù)據(jù)源、數(shù)據(jù)服務(wù)模板、數(shù)據(jù)服務(wù)實(shí)例、請(qǐng)求響應(yīng)參數(shù)等概念，固化和規(guī)范了數(shù)據(jù)服務(wù)開(kāi)發(fā)流程，讓這一過(guò)程清晰、簡(jiǎn)單、可管理。對(duì)于服務(wù)調(diào)用，通過(guò)統(tǒng)一的API標(biāo)準(zhǔn)，讓調(diào)用方可以只做一次對(duì)接開(kāi)發(fā)，后續(xù)新增的服務(wù)可以直接復(fù)用。適用場(chǎng)景：實(shí)時(shí)交易、用戶(hù)實(shí)時(shí)操作、最

50、近T時(shí)間內(nèi)的統(tǒng)計(jì)指標(biāo)等。離線指標(biāo)離線指標(biāo)指對(duì)實(shí)時(shí)性要求不高，在系統(tǒng)中已經(jīng)存在或可通過(guò)離線數(shù)據(jù)計(jì)算生成的指標(biāo)。離線指標(biāo)采集支持通過(guò)數(shù)倉(cāng)定時(shí)導(dǎo)入、實(shí)時(shí)數(shù)據(jù)推送的方式，提供離線指標(biāo)定義、離線指標(biāo)值在線查詢(xún)的服務(wù)。適用場(chǎng)景：用戶(hù)靜態(tài)信息、歷史訂單、存量資產(chǎn)數(shù)據(jù)等。第三方指標(biāo)第三方指標(biāo)指由外部系統(tǒng)提供，需要調(diào)用外部系統(tǒng)接口查詢(xún)獲取的指標(biāo)。平臺(tái)提供完整、通用的第三方指標(biāo)接入框架實(shí)現(xiàn)接口的快速定制開(kāi)發(fā)完成上架，并按照指標(biāo)值的更新頻率，對(duì)第三方指標(biāo)進(jìn)行緩存時(shí)長(zhǎng)的設(shè)置。適用場(chǎng)景：外部征信數(shù)據(jù)、社會(huì)服務(wù)數(shù)據(jù)、個(gè)人信息校驗(yàn)/查詢(xún)等。SQL指標(biāo)SQL指標(biāo)主要面向有編碼能力的用戶(hù)，在特定場(chǎng)景下選用一些比較復(fù)雜的函數(shù)去做

51、一些指標(biāo)的抽取或者指標(biāo)定義的工作。指標(biāo)服務(wù)平臺(tái)從系統(tǒng)層面開(kāi)放一個(gè)更加靈活的方式給擁有編碼能力的用戶(hù)，能夠以自定義的方式去定義自己所需的指標(biāo)。適用場(chǎng)景：需要進(jìn)行指標(biāo)加工的場(chǎng)景，如時(shí)間差，身份證號(hào)識(shí)別是否處于生日當(dāng)期等。轉(zhuǎn)化指標(biāo)轉(zhuǎn)化指標(biāo)指通過(guò)自定義函數(shù)方式，對(duì)已有指標(biāo)進(jìn)行加工轉(zhuǎn)化，產(chǎn)生一個(gè)新的指標(biāo)。指標(biāo)轉(zhuǎn)化過(guò)程中支持將任意指標(biāo)，通過(guò)轉(zhuǎn)化函數(shù)進(jìn)行在加工，甚至支持已轉(zhuǎn)化過(guò)的指標(biāo)進(jìn)行再次轉(zhuǎn)化，或?qū)⒍鄠€(gè)指標(biāo)轉(zhuǎn)化為一個(gè)指標(biāo)。適用場(chǎng)景：需要進(jìn)行指標(biāo)加工的場(chǎng)景，如時(shí)間差，身份證號(hào)識(shí)別是否處于生日當(dāng)期等。商業(yè)智能分析商業(yè)智能分析即可視化BI，需提供界面化數(shù)據(jù)管理能力，支持對(duì)多種數(shù)據(jù)源的分析和展示，并可以由用戶(hù)自行

52、在源數(shù)據(jù)關(guān)系的基礎(chǔ)上構(gòu)建自己的業(yè)務(wù)模型?？梢暬疊I組件需要支持多種數(shù)據(jù)源，包括常規(guī)的關(guān)系型數(shù)據(jù)源、Hadoop數(shù)據(jù)庫(kù)、Java數(shù)據(jù)源、NoSQL數(shù)據(jù)源、多維數(shù)據(jù)源等。關(guān)系數(shù)據(jù)源關(guān)系數(shù)據(jù)源是指通過(guò) JDBC 驅(qū)動(dòng)或是 ODBC 驅(qū)動(dòng)連接的數(shù)據(jù)庫(kù)。支持目前市場(chǎng)上主流的關(guān)系數(shù)據(jù)源，比如DB2、GBase、HANA、Hadoop_hive、IMPALA、Informix、MySQL、Oracle、PostgreSQL、Spark SQL、Sybase、Teradata、達(dá)夢(mèng)等Java 數(shù)據(jù)源Java 數(shù)據(jù)源是指由用戶(hù)通過(guò)二次開(kāi)發(fā)，編寫(xiě) JavaQueryData 接口實(shí)現(xiàn)類(lèi)，以實(shí)現(xiàn)自定義數(shù)據(jù)結(jié)構(gòu)的一類(lèi)

53、數(shù)據(jù)源。Java 數(shù)據(jù)源的支持使用戶(hù)獲得了訪問(wèn)非結(jié)構(gòu)化數(shù)據(jù)的能力。NoSql數(shù)據(jù)源支持MongoDB、Tinysoft等。多維數(shù)據(jù)源支持Essbase 7、Essbase 9等。數(shù)據(jù)集管理隨著對(duì) BI 應(yīng)用程度的加深，需要連接和管理的數(shù)據(jù)越來(lái)越多，也越來(lái)越復(fù)雜。為此，可視化BI組件需提供數(shù)據(jù)集管理功能，能夠界面化地實(shí)現(xiàn)對(duì)各類(lèi)查詢(xún)的操作。數(shù)據(jù)集支持 SQL 查詢(xún)、可視化查詢(xún)、Java 查詢(xún)、存儲(chǔ)過(guò)程查詢(xún)、多維查詢(xún)。SQL 查詢(xún)SQL 查詢(xún)是通過(guò)在文本區(qū)中輸入 SQL 語(yǔ)句，來(lái)定義查詢(xún)條件和內(nèi)容的一種數(shù)據(jù)集。用戶(hù)具有直接訪問(wèn)數(shù)據(jù)能力?？梢暬樵?xún)可視化查詢(xún)是一種所見(jiàn)即所得的數(shù)據(jù)查詢(xún)方式。通過(guò)拖拽基礎(chǔ)

54、表（包括數(shù)據(jù)源、關(guān)系圖以及業(yè)務(wù)主題下的基礎(chǔ)表）字段來(lái)定義查詢(xún)條件和內(nèi)容的一種數(shù)據(jù)集。Java 查詢(xún)Java 查詢(xún)是指基于 Java 數(shù)據(jù)源中 Java 查詢(xún)對(duì)象作為查詢(xún)?cè)吹囊环N數(shù)據(jù)集。多維查詢(xún)基于多維數(shù)據(jù)集，可以快速地在電子表格、儀表分析等報(bào)表上展現(xiàn)多維數(shù)據(jù)源的數(shù)據(jù)。存儲(chǔ)過(guò)程查詢(xún)存儲(chǔ)過(guò)程查詢(xún)是針對(duì)存儲(chǔ)過(guò)程定義查詢(xún)條件和內(nèi)容的一類(lèi)數(shù)據(jù)集。表格兼容復(fù)雜報(bào)表可視化BI組件應(yīng)兼容 EXCEL2007 以上版本以及 WPS2016（Windows）所有功能，系統(tǒng)滿(mǎn)足各種復(fù)雜格式報(bào)表、中國(guó)式報(bào)表需求。包括：多源分片報(bào)表、分塊報(bào)表、表單報(bào)表、圖形報(bào)表、回寫(xiě)報(bào)表、套打報(bào)表、段落式報(bào)表等。支持報(bào)表輪播、跑馬燈等

55、效果的制作。Excel靜態(tài)圖表支持直接使用 Excel 本身可實(shí)現(xiàn)的各種圖形效果，如柱圖、餅圖、線圖、雷達(dá)圖等，同時(shí)結(jié)合數(shù)據(jù)倉(cāng)庫(kù)中的動(dòng)態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)展現(xiàn)。自助分析 業(yè)務(wù)主題可視化BI組件需提供面向業(yè)務(wù)人員的自助分析，將數(shù)據(jù)庫(kù)底層中晦澀難懂的字段與表關(guān)系轉(zhuǎn)換成業(yè)務(wù)人員能夠明白的業(yè)務(wù)主題，能夠讓業(yè)務(wù)人員使用組件進(jìn)行邏輯建模，面向業(yè)務(wù)模型對(duì)數(shù)據(jù)源進(jìn)行重新組織分類(lèi)，字段重組，形成分析的主題，并進(jìn)行控制權(quán)限。 自助數(shù)據(jù)集自助數(shù)據(jù)集是自助儀表盤(pán)的數(shù)據(jù)來(lái)源，配置靈活，通過(guò)簡(jiǎn)單拖拉操作對(duì)原始數(shù)據(jù)進(jìn)行處理，支持關(guān)聯(lián)、篩選、分組、建立層次、格式處理、邏輯計(jì)算、數(shù)據(jù)抽取等操作；支持對(duì) Oracle/Mysql/Ms

56、sql 等多種類(lèi)型數(shù)據(jù)庫(kù)自動(dòng)存跨庫(kù)關(guān)聯(lián)查詢(xún)；支持使用自助數(shù)據(jù)集創(chuàng)建透視分析、電子表格；支持自助數(shù)據(jù)集引用到其它數(shù)據(jù)集，自助數(shù)據(jù)集支持來(lái)源于可視化查詢(xún)、SQL查詢(xún)、原生SQL查詢(xún)、存儲(chǔ)過(guò)程查詢(xún)、JAVA查詢(xún)、組合分析。 自助儀表盤(pán)自助儀表盤(pán)提供拖拉拽界面能夠讓業(yè)務(wù)人員快速完成數(shù)據(jù)集準(zhǔn)備、可視化探索和儀表盤(pán)的制作，簡(jiǎn)單易用，還能通過(guò)抽取數(shù)據(jù)到Hadoop數(shù)據(jù)庫(kù)。圖形資源庫(kù)需提供豐富的圖形資源，不受維度、度量的限制，無(wú)需根據(jù)任何條件，即可任意切換圖形。支持瀑布圖、旭日?qǐng)D、散點(diǎn)圖、泡泡圖、聯(lián)合圖、雙 Y 聯(lián)合圖、關(guān)系圖、雷達(dá)圖、油量圖、熱力圖、樹(shù)圖、?；鶊D、漏斗圖等，可根據(jù)不同的數(shù)據(jù)場(chǎng)景，切換相應(yīng)的圖

57、形；支持通過(guò)設(shè)置圖形顯示方式，實(shí)現(xiàn)極坐標(biāo)柱圖、極坐標(biāo)線圖，曲線圖、玫瑰餅圖等。自助創(chuàng)建儀表盤(pán)可基于業(yè)務(wù)主題數(shù)據(jù)，直接創(chuàng)建自助儀表盤(pán)。圖表下鉆支持?jǐn)?shù)據(jù)圖表間的自動(dòng)關(guān)聯(lián)，對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行自由鉆取。支持添加任意數(shù)據(jù)作為過(guò)濾條件，方便業(yè)務(wù)人員按照數(shù)據(jù)分析的需要發(fā)現(xiàn)數(shù)據(jù)。支持兩種下鉆方式：默認(rèn)有層級(jí)的下鉆、自定義下鉆。自定義圖表跳轉(zhuǎn)支持基于當(dāng)前頁(yè)面的圖表自定義跳轉(zhuǎn)到其他報(bào)表。支持跑馬燈效果的制作。支持 4 種打開(kāi)方式：新窗口、tab 頁(yè)，浮動(dòng)窗等。 數(shù)據(jù)探索 組合分析查詢(xún)明細(xì)數(shù)據(jù)是最為常見(jiàn)的業(yè)務(wù)需求，組件需提供自助化的操作界面， 支持基于語(yǔ)義層（或數(shù)據(jù)源）在權(quán)限受控下自主定義篩選條件（及其顯示格式）， 以

58、及選擇需要的具體字段；支持通過(guò)簡(jiǎn)單的鼠標(biāo)勾選數(shù)據(jù)字段與查詢(xún)條件快速獲得所需數(shù)據(jù)，并提供聚合計(jì)算、告警規(guī)則、重定義表關(guān)系、改變條件組合邏輯等高級(jí)功能。 透視分析對(duì)于如主題庫(kù)中專(zhuān)業(yè)數(shù)據(jù)的OLAP多維分析需要復(fù)雜的數(shù)據(jù)加工過(guò)程，在平臺(tái)中一般有兩種解決方式：一種方式是通過(guò)平臺(tái)提供的 Cube 設(shè)計(jì)工具建立Cube維度模型，實(shí)現(xiàn)快速自助的復(fù)雜查詢(xún)；另一種方式是采用“類(lèi)Excel數(shù)據(jù)透視表”的設(shè)計(jì)，并且與分析型數(shù)據(jù)倉(cāng)庫(kù)對(duì)接，進(jìn)行組合維度、匯總計(jì)算、切片、鉆取等數(shù)據(jù)洞察，即透視分析。透視分析能夠?qū)⑷我庾侄沃苯幼鳛檩敵鲎侄位蚝Y選條件，實(shí)現(xiàn)對(duì)數(shù)據(jù)的查詢(xún)與探索。此外，可視化BI工具的透視分析需提供更多常見(jiàn)功能：表

59、格查詢(xún)：報(bào)表通過(guò)一個(gè)業(yè)務(wù)查詢(xún)直接生成，可實(shí)現(xiàn)對(duì)數(shù)據(jù)的再分析， 例如切換查詢(xún)的參數(shù)、更改交叉表/清單表顯示方式、分組展現(xiàn)、聚合、排序、圖形、前端過(guò)濾等。圖形分析：提供柱圖、線圖、餅圖、堆積圖、雙 Y 軸、儀表盤(pán)等圖形分析方法，圖形采用 HTML5 技術(shù)動(dòng)態(tài)展現(xiàn)效果。分析跳轉(zhuǎn)：支持建立報(bào)表鏈接將多個(gè)報(bào)表關(guān)聯(lián)起來(lái)，實(shí)現(xiàn)從一個(gè)報(bào)表跳轉(zhuǎn)到另一個(gè)報(bào)表。通過(guò)報(bào)表間的分析跳轉(zhuǎn)，能夠方便地實(shí)現(xiàn)概要數(shù)據(jù)到明細(xì)數(shù)據(jù)的透視分析，也可以在關(guān)聯(lián)的報(bào)表之間傳遞參數(shù)實(shí)現(xiàn)分析流。監(jiān)控預(yù)警：支持對(duì)關(guān)鍵信息的實(shí)時(shí)監(jiān)控，幫助用戶(hù)及時(shí)發(fā)現(xiàn)問(wèn)題并采取相應(yīng)的措施。多種輸出方式：支持業(yè)務(wù)分析結(jié)果以 TXT、CSV、HTML、PDF、Doc、

60、Xlsx、數(shù)據(jù)分析包等文件類(lèi)型導(dǎo)出。多種時(shí)間計(jì)算：支持根據(jù)業(yè)務(wù)屬性設(shè)置時(shí)間計(jì)算及二次計(jì)算，如快速分析年/月/日的增長(zhǎng)率等。 本地Excel分析BI工具需支持對(duì)本地Excel的分析。對(duì)于有大量歷史數(shù)據(jù)的委辦局用戶(hù)，可以使用加載本地 Excel 的功能，把本地的Excel數(shù)據(jù)文件加載到系統(tǒng)中，進(jìn)行進(jìn)一步的數(shù)據(jù)分析。 多維數(shù)據(jù)分析支持基于 OLAP Server 的數(shù)據(jù)源向用戶(hù)提供自助分析服務(wù)。根據(jù)多維模型實(shí)現(xiàn)任意的切片、旋轉(zhuǎn)、鉆取等操作，更可實(shí)現(xiàn)自定義指標(biāo)、統(tǒng)計(jì)分析等操作，如 80/20，Top-N 計(jì)算等。個(gè)性化儀表盤(pán)個(gè)性化儀表盤(pán)是BI分析平臺(tái)的重要組件，通過(guò)使用圖形、儀表盤(pán)、預(yù)警等方式，監(jiān)控、