數(shù)據(jù)中臺(tái)標(biāo)準(zhǔn)方案

1、數(shù)據(jù)中臺(tái)標(biāo)準(zhǔn)方案數(shù)據(jù)中臺(tái)標(biāo)準(zhǔn)技術(shù)方案2021年1月9日故（中方案目錄 TOC o 1-5 h z HYPERLINK l bookmark2 o Current Document 數(shù)據(jù)中臺(tái)概述 6 HYPERLINK l bookmark4 o Current Document 數(shù)據(jù)中介介紹 6 HYPERLINK l bookmark20 o Current Document 數(shù)據(jù)中臺(tái)的價(jià)值7 HYPERLINK l bookmark6 o Current Document 數(shù)據(jù)中臺(tái)設(shè)計(jì)蟆則 8 HYPERLINK l bookmark8 o Current Document 據(jù)的一致性與標(biāo)

2、準(zhǔn)性 8 HYPERLINK l bookmark10 o Current Document 數(shù)據(jù)的實(shí)用性與服務(wù)性 8 HYPERLINK l bookmark12 o Current Document 數(shù)據(jù)的獨(dú)立性與可擴(kuò)展性8 HYPERLINK l bookmark14 o Current Document 數(shù)據(jù)安仝性- 8 HYPERLINK l bookmark16 o Current Document 數(shù)據(jù)分級(jí)管理機(jī)制 9 HYPERLINK l bookmark18 o Current Document 數(shù)據(jù)中臺(tái)設(shè)計(jì)方法 9里j面向朦務(wù)的架構(gòu)方法（SOA）9業(yè)務(wù)系統(tǒng)規(guī)劃法（BSP）

3、 9 HYPERLINK l bookmark26 o Current Document 系統(tǒng)1.程理論 II HYPERLINK l bookmark22 o Current Document 數(shù)據(jù)中臺(tái)核心功能 12 HYPERLINK l bookmark24 o Current Document 技術(shù)架構(gòu) -12層次架構(gòu) 13邏輯架構(gòu)214故中臺(tái)“器方案 TOC o 1-5 h z 可視化建模技術(shù) 90NLP語(yǔ)義分析技術(shù) 91知識(shí)圖謂技術(shù) 92數(shù)據(jù)交換共享技術(shù)指標(biāo) 93應(yīng)用系統(tǒng)技術(shù)指標(biāo) 93數(shù)據(jù)加工分析技術(shù)指標(biāo) 932.1.3 數(shù)據(jù)架構(gòu) -15 HYPERLINK l bookmark3

4、2 o Current Document 數(shù)據(jù)統(tǒng)一采集接入平臺(tái) 16平臺(tái)架構(gòu) 16數(shù)據(jù)流程17平臺(tái)功能 17 HYPERLINK l bookmark42 o Current Document 數(shù)據(jù)集中處理平臺(tái) 29平臺(tái)架構(gòu) 29數(shù)據(jù)i此程 30平臺(tái)功能 30 HYPERLINK l bookmark50 o Current Document 數(shù)據(jù)組織管理平臺(tái) 48平臺(tái)架構(gòu)48數(shù)據(jù)流程 49平臺(tái)功能 50數(shù)據(jù)全域治理平臺(tái) 56平臺(tái)架構(gòu) 56數(shù)據(jù)流程-57平臺(tái)功能 57數(shù)據(jù)質(zhì)置管理平臺(tái) 62 3 ft M 93 4(故*（中臺(tái)杵器方案 TOC o 1-5 h z 數(shù)據(jù)標(biāo)準(zhǔn)管理 62數(shù)據(jù)生命周期管

5、理 63據(jù)質(zhì)疑管理 65數(shù)據(jù)運(yùn)維管理 65數(shù)據(jù)共享服務(wù)平臺(tái) 66平臺(tái)架構(gòu) 66數(shù)據(jù)流程 67平臺(tái)功能 67數(shù)據(jù)可視化平臺(tái) 76平臺(tái)架構(gòu) 76數(shù)據(jù)流程77平臺(tái)功能 773主要關(guān)罐技術(shù) 85內(nèi)存級(jí)數(shù)據(jù)交換共享 -85一站式數(shù)據(jù)集成和數(shù)據(jù)管理 86數(shù)據(jù)分析模型 87數(shù)據(jù)治理技術(shù) 87數(shù)據(jù)挖搦技術(shù)891數(shù)據(jù)中臺(tái)概述1.1數(shù)據(jù)中臺(tái)介紹因?yàn)樵诋?dāng)今H聯(lián)M時(shí)代,用戶才是商業(yè)械場(chǎng)的中心.為快遞響 應(yīng)用戶的需求,借助平臺(tái)化的力量可以力半功倍.然而第一之前在傳 統(tǒng)企業(yè)信息化建設(shè)中企業(yè)為了滿足單業(yè)務(wù)場(chǎng)景需求而搭建的傳統(tǒng) 技術(shù)架構(gòu)，式底憶技術(shù)通型大都無(wú)法支序現(xiàn)仃大數(shù)據(jù)應(yīng)用場(chǎng)景。由此 形成的技術(shù)壁修，往往使得企業(yè)轉(zhuǎn)型成本

6、激增H至無(wú)法實(shí)現(xiàn)轉(zhuǎn)型：第 二在企業(yè)不斷發(fā)展的過(guò)程中伴隨著業(yè)務(wù)的多元化發(fā)展,企業(yè)俏息部門(mén) 單獨(dú)建設(shè)或巾建全新業(yè)務(wù)系統(tǒng)，逐漸杉成了 個(gè)個(gè)相互獨(dú)立的數(shù)據(jù)中 心,從而導(dǎo)致大致系統(tǒng)、功健和應(yīng)用的重夏建地,更埴成計(jì)算存儲(chǔ) 資源和人力資源的浪費(fèi)：第三企業(yè)由于業(yè)務(wù)發(fā)展帶來(lái)的組演壁:而形 成的數(shù)據(jù)孤島,是數(shù)據(jù)喂壘址典型的場(chǎng)景.它使田企業(yè)數(shù)據(jù)難以被全 局規(guī)劃和定義.從而導(dǎo)致數(shù)據(jù)價(jià)位無(wú)法被充分挖掘.傳統(tǒng)信息化建設(shè) 往往以滿足業(yè)務(wù)流程結(jié)果做為唯一標(biāo)準(zhǔn),忽視f過(guò)程數(shù)據(jù)和關(guān)聯(lián)數(shù) 據(jù)。傳統(tǒng)的數(shù)據(jù)平臺(tái)和其所謂的三層技術(shù)架構(gòu)：前端原示層、中間邏 機(jī)展、后端數(shù)據(jù)層，已經(jīng)無(wú)法完善的解決上述三個(gè)同脖并實(shí)現(xiàn)以用戶 為中心的業(yè)務(wù)提升的.

7、當(dāng)前企業(yè)數(shù)據(jù)的爆炸式增長(zhǎng)以及價(jià)值的擴(kuò)大化.數(shù)據(jù)將對(duì)企業(yè)未 來(lái)的發(fā)展產(chǎn)生深遠(yuǎn)的影響,數(shù)據(jù)將成為企業(yè)的核心資產(chǎn).數(shù)據(jù)中臺(tái)是 指通過(guò)數(shù)據(jù)技術(shù)，對(duì)海破數(shù)據(jù)進(jìn)行采奴、計(jì)算、存儲(chǔ)、加工，同時(shí)統(tǒng) 一標(biāo)準(zhǔn)和口徑.數(shù)據(jù)中臺(tái)設(shè)計(jì)原則數(shù)據(jù)的一致性與標(biāo)準(zhǔn)性除遵循數(shù)據(jù)庫(kù)設(shè)計(jì)的軟件行業(yè)標(biāo)準(zhǔn)外，還要遵循國(guó)家、地方標(biāo)準(zhǔn) 及行業(yè)的習(xí)慣性獷實(shí)標(biāo)準(zhǔn).此外，數(shù)據(jù)中臺(tái)的建設(shè)中將充分考慮客戶 已建系統(tǒng)的數(shù)據(jù),確保，客戶現(xiàn)tr數(shù)據(jù)的一致性和標(biāo)準(zhǔn)性.數(shù)據(jù)的實(shí)用性與服務(wù)性數(shù)據(jù)中臺(tái)設(shè)計(jì)充分考慮實(shí)際情況和應(yīng)用特點(diǎn)，遵循“服務(wù)性與實(shí) 用性并重”的原則.通過(guò)數(shù)據(jù)整合與治理,數(shù)據(jù)高度可共享、和可根 據(jù)實(shí)際需求不斷靈活組合，為業(yè)務(wù)應(yīng)用服務(wù)，數(shù)據(jù)偵玳高,保

8、證數(shù)據(jù) 的實(shí)用性.數(shù)據(jù)的獨(dú)立性與可擴(kuò)展性設(shè)計(jì)時(shí)需要做到數(shù)據(jù)中臺(tái)的數(shù)據(jù)JI行獨(dú)立性,獨(dú)W應(yīng)用程序. 使數(shù)據(jù)中心的設(shè)計(jì)及結(jié)構(gòu)的變化不影響程序.反之亦然.另外,數(shù)據(jù) 輝設(shè)計(jì)要考慮其擴(kuò)展性能,使得系統(tǒng)增加新應(yīng)用或新需求時(shí)不至廣 引盡整個(gè)數(shù)據(jù)中心結(jié)構(gòu)的大變動(dòng).數(shù)據(jù)安全性通過(guò)設(shè)計(jì)合理和rr效的備份和恢狂策略.確保數(shù)據(jù)中心遭遇突發(fā) 事故時(shí)，能在短的時(shí)間內(nèi)恢復(fù).同時(shí)，通過(guò)做好對(duì)數(shù)據(jù)中船的訪問(wèn) 授權(quán)設(shè)計(jì),保證數(shù)據(jù)不被乖法訪問(wèn).故我中有杵41方案敷據(jù)分級(jí)管理機(jī)制根據(jù)用戶訪問(wèn)數(shù)據(jù)中臺(tái)的角色,將用戶分成決策分析用戶、系統(tǒng) 竹理用戶、運(yùn)行瀏覽用戶和運(yùn)行調(diào)度用戶等幾個(gè)角色,分別賦f角色 訪問(wèn)數(shù)據(jù)的權(quán)限和使用系統(tǒng)功能的權(quán)取

9、，嚴(yán)格控制角色登,七實(shí)現(xiàn)數(shù) 據(jù)的分級(jí)管理.數(shù)據(jù)中臺(tái)設(shè)計(jì)方法基于面向服務(wù)的架構(gòu)方法(SOA)基：面向眼務(wù)的架構(gòu)方法(Scrvicc-OnentcdArchiicctuns SOA) 采用屈于面向服務(wù)的架構(gòu)方法，構(gòu)建智慈城市運(yùn)營(yíng)中心的業(yè)務(wù)流程和 IT架構(gòu).SOA (面向服務(wù)的體系結(jié)構(gòu))將政府中各個(gè)系統(tǒng)應(yīng)用程序 的不同功能單元抽象為眼務(wù)，地過(guò)這些腰務(wù)之間定義R好的接口利燼 約聯(lián)系起來(lái).接口昆采用中立的方式進(jìn)行定義的.它獨(dú)迎實(shí)現(xiàn)服務(wù) 的硬件平臺(tái)、操作系統(tǒng)和編程語(yǔ)言.這使得構(gòu)建在各種各樣的系統(tǒng)中 的服務(wù)能弊通過(guò)統(tǒng)一和通用的方式進(jìn)行交互.SOA架構(gòu)由服務(wù)總稅、 服務(wù)目錄、門(mén)戶、流程管理等幾個(gè)核心組件構(gòu)成的

10、.這些核心組件協(xié) 同I：作共同支撐服務(wù)的部*、運(yùn)行與管理監(jiān)控。業(yè)務(wù)系統(tǒng)規(guī)劃法(BSP)業(yè)務(wù)系統(tǒng)規(guī)劃法( BusinessSystemPlanning. BSP)的關(guān)鍵思想是 將業(yè)務(wù)的長(zhǎng)期戰(zhàn)略H標(biāo)轉(zhuǎn)化為信息系統(tǒng)的戰(zhàn)略目標(biāo).通過(guò)對(duì)業(yè)務(wù)戰(zhàn)略 的分析導(dǎo)出信息系統(tǒng)的規(guī)劃. 9 JI M 93 4(數(shù)據(jù)中臺(tái)把數(shù)據(jù)統(tǒng)之后,會(huì)形成標(biāo)準(zhǔn)數(shù)據(jù)，再進(jìn)行存儲(chǔ),形成 大數(shù)據(jù)資產(chǎn)層，進(jìn)而為客戶提供高效服務(wù).這些服務(wù)跟企業(yè)的業(yè)務(wù)“ 依強(qiáng)的關(guān)聯(lián)性是這個(gè)企業(yè)獨(dú)自的ti能及用的它是企業(yè)業(yè)務(wù)和數(shù)據(jù) 的沉淀,共不僅能降低垂攵建設(shè)、M少煙囪式協(xié)作的成本.也是星兄 化比爭(zhēng)優(yōu)勢(shì)所在.1.2數(shù)據(jù)中臺(tái)的價(jià)值中臺(tái)從公“J戰(zhàn)略角度.將返些行為進(jìn)行

11、現(xiàn)他化,公共的部分文 給公共系統(tǒng)部門(mén)去做.中介實(shí)際上足通用業(yè)務(wù)的下沉.企業(yè)在一個(gè)行業(yè)耕阮多年之后, 一殷都會(huì)形成一些公用的業(yè)務(wù)而這些業(yè)務(wù)是可以像中間件那樣進(jìn)行 下沉共享的.政府企業(yè)機(jī)構(gòu)等對(duì)內(nèi)對(duì)外有了統(tǒng)一的業(yè)務(wù)系統(tǒng)、管理平行等等. 就不公再仃各種業(yè)務(wù)系統(tǒng)孤島，不公仃數(shù)據(jù)打通問(wèn)題,不公有的部門(mén) 的數(shù)據(jù)堵.行了統(tǒng)一的中臺(tái),也就行了統(tǒng)一的數(shù)據(jù)規(guī)范.對(duì)于大數(shù)據(jù)相關(guān)的霸求,可以從相對(duì)用的數(shù)據(jù)出口進(jìn)行業(yè)務(wù)迭 代,不需要為每一個(gè)部門(mén)進(jìn)行定制開(kāi)發(fā).浪費(fèi)人力.2數(shù)據(jù)中臺(tái)核心功能2.1技術(shù)架構(gòu)H闌各政病機(jī)構(gòu)和企業(yè)的信息化于臺(tái)數(shù)據(jù)技結(jié)構(gòu)類型主要分為 三種，分別是，給構(gòu)化數(shù)據(jù).本練構(gòu)化數(shù)據(jù).半培構(gòu)化數(shù)據(jù)二大類, 結(jié)構(gòu)化

12、數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中；養(yǎng)結(jié)構(gòu)化數(shù)據(jù)上要包括各視頻. 圖片、文檔等，通過(guò)分布式文件系統(tǒng)在數(shù)據(jù)庫(kù)進(jìn)行統(tǒng)一管理：半結(jié)構(gòu) 化數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)的一種形式,但它并不符合關(guān)系型數(shù)據(jù)庫(kù)或其他 數(shù)據(jù)表的形式關(guān)聯(lián)起來(lái)的數(shù)據(jù)模型結(jié)構(gòu),但包含相關(guān)標(biāo)記,用來(lái)分隔 語(yǔ)義元素以及對(duì)記錄和字段進(jìn)行分層,例如：日志文件.XML文檔、JSON文檔、Email等.建設(shè)數(shù)據(jù)中臺(tái)的過(guò)程中.這三類數(shù)據(jù)都會(huì)做為數(shù)據(jù)源出現(xiàn).因此數(shù)據(jù)中臺(tái)嚶能夠妥善的處理這三種類型的數(shù)據(jù). I2 ft X 9) *散中ft布方案業(yè)務(wù)系統(tǒng)規(guī)劃法（BSP）采用的基本方法是“白頂面仁 的識(shí)別業(yè)務(wù)目標(biāo)、企業(yè)過(guò)程和數(shù)據(jù)“自下而上”地分布設(shè)計(jì)系統(tǒng),這樣可以第決大型系統(tǒng)

13、難以一次性設(shè)計(jì)完成的困難,也可以避免口 F而匕分散 設(shè)計(jì)可他出現(xiàn)的數(shù)據(jù)不一致.業(yè)務(wù)系統(tǒng)規(guī)劃法（BSP）的規(guī)劃步驟；（I）準(zhǔn)名 I：作：（2）調(diào)研：（3）定義業(yè)務(wù)過(guò)程:（4）業(yè)務(wù)過(guò)程正組：（5）定義數(shù)據(jù)類：（6）定義信息系統(tǒng)總體結(jié)構(gòu)：（7）確定總體結(jié)構(gòu)中的優(yōu)先順序；完成BSP研成報(bào)告，提出建議書(shū)和開(kāi)發(fā)計(jì)劃.% 10 ft X 93 ft故K中f?林相案1.4.3系統(tǒng)工程理論系統(tǒng)工程方法將相關(guān)問(wèn)噩及情況分門(mén)別類，跳定邊界,他重各門(mén) 類之間內(nèi)在聯(lián)系，確保處理方法的完整性.采用全面和運(yùn)動(dòng)的觀點(diǎn)、 方法分析在要問(wèn)題及整個(gè)過(guò)程.其人行綜合性、科學(xué)性、實(shí)踐性的特 點(diǎn).利用系統(tǒng)工程理論指杼軟件開(kāi)發(fā)和維護(hù).I：

14、變使用工程化慨念、 原理、技術(shù)及方法開(kāi)展軟件開(kāi)發(fā)、維護(hù)的工作.栗用系統(tǒng)匚程方法是 用系統(tǒng)的原理、方法研究系統(tǒng)的對(duì)象,立足整體系統(tǒng),制作出科學(xué)的 匚作計(jì)劃及流程，仃效的完成任務(wù)系統(tǒng)工程方法依從系統(tǒng)全局觀點(diǎn),從系統(tǒng)。要素、系統(tǒng)與環(huán)境之 間相互聯(lián)系、相互作用出發(fā)研究相關(guān)對(duì)象,實(shí)現(xiàn)最佳處理何超的目標(biāo)。 其基小內(nèi)容有：全曲調(diào)ft研允有關(guān)貨料和數(shù)據(jù)，提取有效信息，系統(tǒng) 了解相關(guān)問(wèn)題信息，進(jìn)一步確定完成任務(wù)所需條件,提出相關(guān)方案. 展開(kāi)定件和定麻的理論分析.進(jìn)而進(jìn)行實(shí)發(fā)研究,客劇評(píng)價(jià)系統(tǒng)技術(shù) 性能、經(jīng)濟(jì)指標(biāo),注中一社會(huì)效果,為最終方案在理論和實(shí)踐上做鋪塔: 經(jīng)由系統(tǒng)分析與統(tǒng)合，比校和鑒別出最優(yōu)系統(tǒng)設(shè)計(jì)方案進(jìn)

15、行實(shí)施：依 據(jù)系統(tǒng)設(shè)計(jì)方案，指定仃放計(jì)劃,將開(kāi)發(fā)研究出的系統(tǒng)投入使用,并 對(duì)系統(tǒng)的性能、L作狀態(tài)及社會(huì)反應(yīng)做出相關(guān)評(píng)價(jià)和檢驗(yàn).系統(tǒng)L程 方法在計(jì)算機(jī)軟件方制應(yīng)用廣泛，同時(shí)起著用要作用.結(jié)合系統(tǒng)L程 方法的特點(diǎn),在計(jì)完機(jī)軟件設(shè)計(jì)階段可規(guī)范其流程，促使計(jì)尊機(jī)軟件 設(shè)計(jì)進(jìn)程加快，同時(shí)提高開(kāi)發(fā)人員的工作效率.為軟件系統(tǒng)研發(fā)速度 的提高打卜基礎(chǔ).% II ft X 93 ft數(shù)字中臺(tái)數(shù)據(jù)資源多樣性的特點(diǎn)和能夠高效支持業(yè)務(wù)的H 標(biāo)，結(jié)合設(shè)計(jì)規(guī)劃方法論、原則和規(guī)劃思路，統(tǒng)一數(shù)據(jù)資源體系規(guī)劃 建設(shè)大故據(jù)采集忠知體系、數(shù)據(jù)費(fèi)源融合體系和信息共享服務(wù)體系. 將數(shù)據(jù)安全和數(shù)據(jù)標(biāo)漱融入大體系之中通過(guò)招能演進(jìn)不斷極開(kāi)教

16、 據(jù)接入、處理、組織、挖掘、治理和服務(wù)的能力，不斷豐宮和完善數(shù) 據(jù)中臺(tái).數(shù)據(jù)中臺(tái)主要包函：數(shù)據(jù)統(tǒng)一栗更接入平臺(tái)、數(shù)據(jù)嫗中處理平臺(tái)、 數(shù)據(jù)組織管理平臺(tái)、數(shù)據(jù)組織管理平臺(tái)、數(shù)據(jù)全域治理平臺(tái)、數(shù)據(jù)融 合共享平臺(tái)、故據(jù)分析挖掘平臺(tái)、知識(shí)圖諦平臺(tái)、統(tǒng)一管理平臺(tái)、數(shù) 據(jù)可視化平臺(tái)等多個(gè)平行系統(tǒng).層次架梅基于數(shù)據(jù)資源的需求分析和愿景II標(biāo)，結(jié)合設(shè)計(jì)規(guī)劃方法論、原 則和規(guī)劃思路.統(tǒng)一數(shù)據(jù)表源體系規(guī)劃建設(shè)人數(shù)據(jù)采集感知體系、數(shù) 據(jù)資源瞅合體系和信息共享服務(wù)體系,將數(shù)據(jù)安全和（據(jù)標(biāo)準(zhǔn)融入三 大體系之中,通過(guò)智能演進(jìn)不斷提升數(shù)據(jù)接入、處理、組縱、挖掘、 治理和服務(wù)的能力不斷E富和完善數(shù)據(jù)中臺(tái).收據(jù)資源總體架構(gòu)圖 如

17、F所示:數(shù)提處理ZEE 1 3T! !I EE 2I , I1亡W1故修中有存器方案分壓、分流（狂雜類型）等多種方式,調(diào)度箕點(diǎn)能夠根據(jù)每個(gè)執(zhí)行N 點(diǎn)任務(wù)執(zhí)行情況，自動(dòng)調(diào)配任務(wù)負(fù)我，能夠?qū)⑿略龅膫鬏斎蝿?wù)或壓力 較大執(zhí)行節(jié)點(diǎn)的傳制任務(wù)，調(diào)而到相對(duì)較堂閑的執(zhí)行節(jié)點(diǎn).調(diào)度節(jié)點(diǎn) 能弊自動(dòng)檢測(cè)執(zhí)行節(jié)點(diǎn)出現(xiàn)的問(wèn)題并做門(mén)動(dòng)處理,能夠感知新增的執(zhí) 行行點(diǎn)并自動(dòng)添加到分布式執(zhí)行打點(diǎn)朱群調(diào)度節(jié)點(diǎn)要J1備高可用能 力.數(shù)據(jù)處理中使用到的完整的任務(wù)調(diào)度引維.篇要支持監(jiān)控調(diào)度引 擎中每個(gè)調(diào)度任務(wù)的運(yùn)行狀態(tài),如：當(dāng)前是否運(yùn)行:最近一次運(yùn)行的 時(shí)間、運(yùn)行結(jié)果、是否出現(xiàn)異常等.策略配置管理針對(duì)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化

18、數(shù)據(jù)的不同類型特點(diǎn). 配況管理中心支持按照提取、淅洗、過(guò)渡、比對(duì)、關(guān)聯(lián)、標(biāo)識(shí)等數(shù)據(jù) 處理過(guò)程，提供一體化、可融合的數(shù)據(jù)適配解析器器合數(shù)據(jù)轉(zhuǎn)換功能, 實(shí)現(xiàn)根據(jù)數(shù)據(jù)類型臺(tái)數(shù)據(jù)情況的白玷附數(shù)據(jù)解析和流程化處理.支抒任意種類、任意數(shù)據(jù)結(jié)構(gòu).任意H標(biāo)際的數(shù)據(jù)提取傳輸.這 次kafla、wcbscrvice等消息處理機(jī)制，支持流式和熟戊處理。支持任意類型的數(shù)據(jù)融合任務(wù)配置,在保證數(shù)據(jù)安全的基礎(chǔ)上. 根據(jù)傳輸策略，進(jìn)行數(shù)據(jù)傳輸和存儲(chǔ).支持過(guò)渡、融合規(guī)則門(mén)定義，主要包括代碼映射、NULL俏杵換、 字符中操作、字符印件換、字符串極取、添加字段、數(shù)據(jù)類型轉(zhuǎn)換、 公式”眸、正則處理、組合字段、身份證操作、獲取圖片、

19、數(shù)據(jù)比對(duì)、% 41 ft X 93 91支持按年、月、周、日、小時(shí)、分鐘、秒定時(shí)調(diào)度,可選指定有 效時(shí)間內(nèi)調(diào)度.增收情況卜支持實(shí)時(shí)調(diào)度,數(shù)據(jù)近秒級(jí)同步.提供小件觸發(fā)調(diào)度功能.包括文件就緒觸發(fā)、變化日志觸發(fā)、 HTTP等接口或URL謂發(fā)事件觸發(fā),支持操作系統(tǒng)shell腳本.和數(shù) 據(jù)庫(kù)系統(tǒng)的shell命令和SQL版本調(diào)度功能.提供調(diào)度任務(wù)的實(shí)時(shí)可視化監(jiān)控,包括交換皆點(diǎn)的操作系統(tǒng)主要 性能指標(biāo)的圖標(biāo)、曲線,支持監(jiān)控?cái)?shù)據(jù)接口開(kāi)發(fā).提供流程調(diào)度組建,包括采樣分流組建和任務(wù)編揖組件.實(shí)現(xiàn)多 任務(wù)的并行、串行、混合調(diào)度功能.采樣分流一是實(shí)現(xiàn)數(shù)據(jù)的采樣， 例：IOOW數(shù)據(jù),按照10%的比例進(jìn)行采樣：.及實(shí)現(xiàn)根

20、據(jù)數(shù)據(jù)的條 件進(jìn)行列斷后對(duì)數(shù)據(jù)進(jìn)行分流.例如性別為男的到某個(gè)座,性別為女 的到另個(gè)庫(kù)，實(shí)現(xiàn)數(shù)據(jù)判斷分流。任務(wù)編排用實(shí)現(xiàn)當(dāng)A方案執(zhí) 行完畢后，需要馬上啟動(dòng)B方案的執(zhí)行.此插件配置住A方案的末 尾，用戶指定需要調(diào)度的方案.控制管理上要面向執(zhí)行節(jié)點(diǎn)合調(diào)度節(jié)點(diǎn),執(zhí)行節(jié)點(diǎn)上饕承擔(dān)數(shù)據(jù) 傳諭任務(wù)的部抖運(yùn)行智能,各鬣制好的數(shù)據(jù)傳埔任務(wù)采用數(shù)據(jù)庫(kù)方式 存儲(chǔ)能第在不同執(zhí)行節(jié)點(diǎn)上按需選用單機(jī)、集群或分布式模式執(zhí)行. 調(diào)度節(jié)點(diǎn)是執(zhí)行所有數(shù)據(jù)傳輸任務(wù)的統(tǒng)入門(mén).錄用“雙活模式部 署運(yùn)行，當(dāng)個(gè)調(diào)度節(jié)點(diǎn)出現(xiàn)被障時(shí)，另個(gè)調(diào)度節(jié)點(diǎn)能夠自動(dòng)接管 正在執(zhí)行的數(shù)據(jù)傳輸任務(wù)并實(shí)現(xiàn)斷點(diǎn)續(xù)傳,保障任務(wù)執(zhí)行杼定性,確 保調(diào)度節(jié)點(diǎn)可搐運(yùn)行.數(shù)

21、據(jù)傳輸任務(wù)調(diào)度方式按需選擇.支持順序, 按需（常規(guī)類型）、% 40 ft X 9) 91教（中仃杵41方案另外,這類數(shù)據(jù)的查詢并不是直接針對(duì)圖片和視頻本身的查徹,而是 根據(jù)圖片或視領(lǐng)（如果有）文件的路徑進(jìn)行定位.數(shù)據(jù)橫型建設(shè)整個(gè)模型I：程的架構(gòu)主要由算子管理、模型建模、模型管理和模 型引繁四部分加成.用戶可以通過(guò)多種建模方式創(chuàng)建理昧準(zhǔn)的模型，部署到模型運(yùn) 仃用浜匕刖配寅模型參數(shù)，模型達(dá)什引維會(huì)對(duì)怏R達(dá)仃的合法性進(jìn)行 驗(yàn)證,包括是否符合標(biāo)準(zhǔn),數(shù)據(jù)資源是否有訪問(wèn)權(quán)限,算法參數(shù)是否 令法，模型編播是否合理等.模型通過(guò)驗(yàn)證之后，公上傳到測(cè)試平臺(tái) 上面,通過(guò)數(shù)據(jù)采樣、構(gòu)建測(cè)試桀等多種方式檢洪模型執(zhí)行的準(zhǔn)

22、確性. 模型測(cè)試成功之后，進(jìn)行模型上線部署.通過(guò)申講計(jì)算資源，將模型 實(shí)例化成任務(wù)運(yùn)行.傳統(tǒng)建模的數(shù)據(jù)來(lái)源和模型的使用殷在同數(shù)據(jù)庫(kù)當(dāng)中.人數(shù) 據(jù)環(huán)境卜因?yàn)閿?shù)據(jù)采集類里的鄉(xiāng)樣性和數(shù)據(jù)i t %的多樣性使得來(lái)源 和使用分散在不同的計(jì)算存儲(chǔ)資源節(jié)中一個(gè)模型的運(yùn)行可能需要涉 及到圖計(jì)算、齒紋計(jì)算、B維分析等&種方式的計(jì)算,因此模型需要 能在多個(gè)存儲(chǔ)和計(jì)算資源當(dāng)中自由流轉(zhuǎn).模型適配行要走解袂r這種需要跨存儲(chǔ)、跨計(jì)算資源的統(tǒng)一運(yùn) 行.通過(guò)對(duì)模型的輸入、輸出、算子進(jìn)行識(shí)別,格需要設(shè)計(jì)到的數(shù)據(jù) 輸入、輸出資源調(diào)度到對(duì)應(yīng)的數(shù)據(jù)接口服務(wù)中，通過(guò)統(tǒng)一的數(shù)據(jù)接口 服務(wù),降低r慢型運(yùn)行的發(fā)雜度.% 44 ft X 93

23、 91故（中行”布方案通過(guò)將齊子調(diào)度到合適的數(shù)據(jù)接I服務(wù)上面執(zhí)行,每個(gè)算廣的運(yùn) 行都會(huì)對(duì)應(yīng)到一個(gè)計(jì)算框架Eiti,通過(guò)解析算子的執(zhí)行順序以及依賴 關(guān)系,整個(gè)模咆的運(yùn)行過(guò)程會(huì)形成一幅有向無(wú)環(huán)圖，形成仃向無(wú)環(huán)圖 的過(guò)程中也公根據(jù)算子之間的依賴關(guān)系形成加綏,當(dāng)某個(gè)算產(chǎn)計(jì)算錯(cuò) 誤的時(shí)候,只需要眼據(jù)曲緣重新計(jì)算相關(guān)的操作而不必回滾整個(gè)模 型。知火圖譜建設(shè)將各類數(shù)據(jù)，匯總?cè)诤铣蔀槿恕⑿?、地、物、絹織等多類?shí)體， 根據(jù)其中的屬性聯(lián)系、時(shí)空聯(lián)系、語(yǔ)義聯(lián)系、特征聯(lián)系等.建立相互 關(guān)系.最終形成一張由人界地物組織構(gòu)成的關(guān)系大網(wǎng).關(guān)系網(wǎng)根據(jù)數(shù) 據(jù)的接入可自動(dòng)更新,有效解決大數(shù)據(jù)時(shí)代數(shù)據(jù)分收、割裂以及難以 統(tǒng)一處理的

24、問(wèn)鹿，為系統(tǒng)提供多維度、可點(diǎn)詢、可分析、可研判的數(shù) 據(jù)系統(tǒng)。根據(jù)展示、分析衢要，可以通過(guò)鼠形層次料、閥形層次例、關(guān)系 河洛圖.柱狀圖.時(shí)序圖等主流常規(guī)的統(tǒng)計(jì)分析圖形來(lái)組織和展示數(shù) 據(jù)，方便用戶更方便、更1*（觀、更深入、更全面的獲取信息，及時(shí)應(yīng) 用到綜合研判作戰(zhàn)系統(tǒng)中去,為實(shí)際作故提供仃效支撐.大規(guī)模知識(shí)庫(kù)的構(gòu)建與應(yīng)用衙要多智能信息處理技術(shù)的支持.通 過(guò)知識(shí)抽取技術(shù)，可以從一些公開(kāi)的步結(jié)構(gòu)化、排結(jié)構(gòu)化的數(shù)據(jù)中提 取出實(shí)體、關(guān)系、屬性等知識(shí)要索.通過(guò)知識(shí)融合.可以消除實(shí)體、 關(guān)系、屬性等畫(huà)像與界實(shí)對(duì)象之間的歧義,形成島版性的知像庫(kù).知 45 ft X 93 1I!（K中仃”布方案支持結(jié)構(gòu)化數(shù)據(jù)和

25、半結(jié)構(gòu)化數(shù)據(jù)（JSON/BSON. XML形式存 儲(chǔ)）由于越來(lái)越多的應(yīng)用在考慮對(duì)結(jié)構(gòu)化數(shù)據(jù)為增刪改置操作和半 結(jié)構(gòu)化故據(jù)做管詢.依靠和分析，對(duì)這些數(shù)據(jù)存儲(chǔ)的支持能簡(jiǎn)化附用 程序的開(kāi)發(fā)上作同時(shí)優(yōu)化使得對(duì)這類數(shù)據(jù)的操作性能更棒文本格式支持可支持Text File、XML和JSON等文本.可將上述的文件寫(xiě)入 到數(shù)據(jù)庫(kù)的文件系統(tǒng)中.由于上述文本格式除了會(huì)占用更多破世貨源 外，對(duì)它的睇析開(kāi)銷般會(huì)比二進(jìn)制格式高幾卜偉以上，尤其是XML 和JSON,它們的第析開(kāi)銷比TexiFile還要大.可將上述文件格式進(jìn) 行東縮后入庫(kù)，大幅M少阻盤(pán)空間的占用率.文木數(shù)據(jù)入座后,可通過(guò)餞一的SQL語(yǔ)句時(shí)數(shù)榭進(jìn)行行詢.數(shù)據(jù)表

26、壓縮對(duì)中間數(shù)據(jù)或最終數(shù)據(jù)做壓縮,姑提高數(shù)據(jù)吞吐出和性能的一種 手段.對(duì)數(shù)據(jù)做壓縮,可以大就成少破fit的存儲(chǔ)空間,比如WF文本 的數(shù)據(jù)文件.壓縮比可達(dá)5倍以上，同時(shí)壓縮后的文件在磁fit間傳輸 和I/O也會(huì)大大M少.使用RocksDB時(shí)數(shù)據(jù)進(jìn)行存儲(chǔ)，并支持LZ4 等多種東縮鐮法.支持對(duì)人按照質(zhì)縮比例進(jìn)行及時(shí)透明樂(lè)縮,數(shù)據(jù)樂(lè) 縮后支拄簧詢、修改、插入、刪除.此過(guò)程中無(wú)需就壓.分石式云存儲(chǔ)系統(tǒng).在數(shù)據(jù)存儲(chǔ)層構(gòu)建的分布式文件系統(tǒng)作為圖 片、視頻等非結(jié)構(gòu)化文件的基礎(chǔ)文件系統(tǒng),對(duì)各類媒體流數(shù)據(jù)，如視 頻文件進(jìn)行存儲(chǔ)和管理.一般情況下，非結(jié)構(gòu)化文件如圖片、視頻 等.這類數(shù)據(jù)數(shù)據(jù)m很大，屬于非結(jié)構(gòu)化數(shù)據(jù),不

27、宜存儲(chǔ)在數(shù)據(jù)席中.識(shí)推理則是在己仃的知識(shí)昨基礎(chǔ)上進(jìn)步挖掘、擴(kuò)展知識(shí)庫(kù).知識(shí)圖譜邏輯架構(gòu)：知識(shí)圖譜在邏輯上可以分為模式層與數(shù)據(jù)層 兩個(gè)層次，數(shù)據(jù)房主要是由一系列的次實(shí)組成.而知識(shí)將以琳實(shí)為單 位進(jìn)行存儲(chǔ).模式？構(gòu)建住數(shù)捱U之上,主要是通過(guò)本體際來(lái)規(guī)范數(shù) 據(jù)層的一系列”實(shí)表達(dá).本體是結(jié)構(gòu)化知識(shí)庫(kù)的做念模板,通過(guò)本體 庫(kù)而形成的知識(shí)庫(kù)不僅層次結(jié)構(gòu)較強(qiáng)，并II冗余程度較小.知識(shí)圖譜體系架構(gòu)：知識(shí)圖譜的體系架構(gòu)是指構(gòu)建模式結(jié)構(gòu),E 要由門(mén)頂向下（topxlown）與自低向上（bottomup）兩種構(gòu)建方式. 白頂向下指的是先為知識(shí)圖謂定義好本體與數(shù)據(jù)模式,再將實(shí)體加入 到知識(shí)庫(kù).該構(gòu)建方式凋要利用一些觀

28、守的結(jié)構(gòu)化知識(shí)昨作為大框礎(chǔ) 知識(shí)陳.白底向上指的是從宜些開(kāi)放宣據(jù)中提取出實(shí)體.選界其中宣 信度的加入到知識(shí)庫(kù)，再構(gòu)建頂乂的本體模式。目前,大多數(shù)知識(shí)圖 謂都是果用自底向上的方式進(jìn)行構(gòu)建.由于知識(shí)圖譜中的知識(shí)來(lái)源廣泛，存在知識(shí)質(zhì)量良勞不齊、來(lái)門(mén) 不同數(shù)據(jù)源的知識(shí)重復(fù)、知識(shí)間的美聯(lián)不夠明確等問(wèn)題,所以必須要 進(jìn)行知識(shí)的融合.知識(shí)融合是高層次的知識(shí)組織，使來(lái)自不同的知識(shí) 源的知識(shí)再同 框關(guān)規(guī)范下進(jìn)行異構(gòu)數(shù)據(jù)整含、消岐、fx匚、推理脛 證、更新等步旗.達(dá)到數(shù)黑、俏恩、方法、經(jīng)驗(yàn)以及人的慰出的融合. 形成而版瓜的知識(shí)庫(kù).2 人工智能語(yǔ)義分析建設(shè)實(shí)體語(yǔ)義分析平臺(tái)是一歙集成統(tǒng)“學(xué)習(xí)、機(jī)界學(xué)習(xí)、深度學(xué)習(xí)等% 46 ft X 93 91教*（中心“布方案關(guān)鍵門(mén)線語(yǔ):處理技術(shù),具備屬語(yǔ)義模型建設(shè)用場(chǎng)景化門(mén)然語(yǔ)J處 理流程建設(shè)能力的春結(jié)構(gòu)化文本數(shù)據(jù)語(yǔ)義挖掘1:八.致力廣解決機(jī)器 學(xué)習(xí)以法與業(yè)務(wù)的門(mén)動(dòng)映射,提供業(yè)務(wù)建模與業(yè)務(wù)計(jì)算能力為企業(yè)實(shí) 現(xiàn)除結(jié)構(gòu)化文木落地.實(shí)現(xiàn)對(duì)作結(jié)構(gòu)化文本進(jìn)行智能處理.輸出多維 度業(yè)務(wù)標(biāo)卷，格無(wú)序的非結(jié)構(gòu)化信息轉(zhuǎn)換為滿足業(yè)務(wù)需求的結(jié)構(gòu)化數(shù) 據(jù)?？蓪?shí)現(xiàn)實(shí)體數(shù)據(jù)模型構(gòu)建.高度抽象各項(xiàng)業(yè)務(wù)庫(kù)、麥,