企業(yè)實(shí)時(shí)大數(shù)據(jù)平臺(tái)解決方案

1、企業(yè)實(shí)時(shí)大數(shù)據(jù)平臺(tái)解決方案醫(yī)療器械大數(shù)據(jù)面臨的困惑和挑戰(zhàn)CONTENTSPart 1Part 2解決方案產(chǎn)品介紹Part 3應(yīng)用場(chǎng)景解決方案01企業(yè)實(shí)時(shí)大數(shù)據(jù)平臺(tái)的系統(tǒng)架構(gòu) 平臺(tái)層數(shù)據(jù)存儲(chǔ) 數(shù)據(jù)同步 數(shù)據(jù)融合 數(shù)據(jù)質(zhì)量 分析匯總 影像識(shí)別 報(bào)表生成 日志分析實(shí)時(shí)數(shù)據(jù)處理平臺(tái)文檔解析日志解析流式處理實(shí)時(shí)計(jì)算批量數(shù)據(jù)處理平臺(tái)數(shù)據(jù)分析與挖掘能力中心數(shù)據(jù)治理平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)安全管理生命周期管理元數(shù)據(jù)管理數(shù)據(jù)血緣管理展示層數(shù)據(jù)源采集層數(shù)據(jù)共享交換應(yīng)用層 應(yīng)用服務(wù)平臺(tái)社情民意大數(shù)據(jù)分析可用不可見(jiàn)日志/文本/網(wǎng)頁(yè)/論壇圖像/聲音/視頻統(tǒng)一監(jiān)控和管理門戶展示平臺(tái)Web微信APP大屏ERP/CRM/SCM傳

2、感器/地理位置等全內(nèi)存分布式數(shù)據(jù)庫(kù)第三方數(shù)據(jù)數(shù)據(jù)ETL跨源異構(gòu)聯(lián)邦連接器數(shù)據(jù)網(wǎng)管數(shù)據(jù)中控?cái)?shù)據(jù)總線數(shù)據(jù)目錄數(shù)據(jù)質(zhì)量管理全內(nèi)存分布式流數(shù)據(jù)庫(kù)人工智能并行算法庫(kù)拖拽式全流程機(jī)器學(xué)習(xí)建模管理平臺(tái)駕駛艙宏觀經(jīng)濟(jì)統(tǒng)計(jì)分析運(yùn)營(yíng)商手機(jī)實(shí)時(shí)經(jīng)營(yíng)分析零售業(yè)員工行為分析自動(dòng)化碼頭車輛智能調(diào)度電力三維實(shí)景可視化分析工業(yè)運(yùn)行監(jiān)測(cè)分析教育輿情大數(shù)據(jù)監(jiān)測(cè)分析運(yùn)營(yíng)商用戶標(biāo)簽搜索企業(yè)實(shí)時(shí)大數(shù)據(jù)平臺(tái)的技術(shù)架構(gòu)ERP/CRM/SCM日志、文本、網(wǎng)頁(yè)、論壇圖像聲音視頻SqoopKafka圖片/聲音/視頻處理工具Rapids StreamDBFlume臨時(shí)數(shù)據(jù)區(qū)內(nèi)容標(biāo)簽/屬性標(biāo)簽HDFSHDFS傳感器/地理位置等結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化半結(jié)

3、構(gòu)化流數(shù)據(jù)源數(shù)據(jù)區(qū)預(yù)測(cè)模型數(shù)據(jù)分析區(qū)元數(shù)據(jù)管理模型數(shù)據(jù)批處理報(bào)表HDFS/RapidsDBRapids Federation數(shù)據(jù)存儲(chǔ)區(qū)數(shù)據(jù)集市熱數(shù)據(jù)冷數(shù)據(jù)部門數(shù)據(jù)部門數(shù)據(jù)部門數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)清洗轉(zhuǎn)換計(jì)算應(yīng)用展示區(qū)多維度分析固定報(bào)表即席查詢數(shù)據(jù)集成結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫(kù)表A.2XML半結(jié)構(gòu)化數(shù)據(jù)JSONSet元數(shù)據(jù)（業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、操作元數(shù)據(jù)）非結(jié)構(gòu)化數(shù)據(jù)文本圖片多媒體.數(shù)據(jù)集成數(shù)據(jù)抽取數(shù)據(jù)推送數(shù)據(jù)同步結(jié)構(gòu)化非結(jié)構(gòu)化半結(jié)構(gòu)化應(yīng)用程序網(wǎng)絡(luò)爬蟲(chóng)傳感器（攝像頭、溫度計(jì)、測(cè)速儀）數(shù)據(jù)源數(shù)據(jù)著陸區(qū)（Landing Area）數(shù)據(jù)預(yù)處理數(shù)據(jù)開(kāi)發(fā)數(shù)倉(cāng)建模、 ETL開(kāi)發(fā)數(shù)據(jù)清洗二義性數(shù)據(jù)重復(fù)不完整違反業(yè)務(wù)規(guī)則數(shù)據(jù)

4、轉(zhuǎn)換統(tǒng)一字段命名統(tǒng)一數(shù)據(jù)類型統(tǒng)一時(shí)間格式統(tǒng)一編碼規(guī)范數(shù)據(jù)著陸區(qū)數(shù)據(jù)倉(cāng)庫(kù)ODS層EDW層數(shù)據(jù)應(yīng)用支撐用戶業(yè)務(wù)需求分析數(shù)據(jù)資源需求數(shù)據(jù)挖掘數(shù)據(jù)架構(gòu)實(shí)現(xiàn)(流式/實(shí)時(shí)/圖)數(shù)據(jù)資源導(dǎo)入數(shù)據(jù)應(yīng)用開(kāi)發(fā)業(yè)務(wù)邏輯開(kāi)發(fā)Web開(kāi)發(fā)數(shù)據(jù)可視化大屏開(kāi)發(fā)PC/移動(dòng)端開(kāi)發(fā)數(shù)據(jù)準(zhǔn)備數(shù)據(jù)資源交付EDW數(shù)據(jù)源數(shù)據(jù)應(yīng)用產(chǎn)品需求導(dǎo)入需求分解數(shù)據(jù)架構(gòu)需求可視化需求應(yīng)用層需求需求實(shí)現(xiàn)XXXXXXXX其他企業(yè)數(shù)據(jù)治理工作平臺(tái)數(shù)據(jù)治理工作平臺(tái)整合業(yè)務(wù)功能，發(fā)布數(shù)據(jù)服務(wù)數(shù)據(jù)目錄業(yè)務(wù)術(shù)語(yǔ) | 按主題導(dǎo)航數(shù)據(jù)資產(chǎn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)元標(biāo)準(zhǔn)化流程 | 標(biāo)準(zhǔn)化數(shù)據(jù)比照和清洗數(shù)據(jù)地圖/數(shù)據(jù)血緣數(shù)據(jù)統(tǒng)計(jì)指標(biāo) | 各類大盤展示 | 端到端的血緣 | 元數(shù)據(jù)全文搜

5、索數(shù)據(jù)質(zhì)量數(shù)據(jù)剖析 | 數(shù)據(jù)質(zhì)量監(jiān)控 | 數(shù)據(jù)質(zhì)量提升 | 數(shù)據(jù)質(zhì)量評(píng)估和考核數(shù)據(jù)管理數(shù)據(jù)源探索 | 數(shù)據(jù)表管理 | 生命周期管理數(shù)據(jù)安全數(shù)據(jù)權(quán)限控制 | 敏感級(jí)別 | 數(shù)據(jù)沙箱元數(shù)據(jù)服務(wù)和工作臺(tái)跨業(yè)務(wù)系統(tǒng)和數(shù)據(jù)庫(kù)的統(tǒng)一元數(shù)據(jù)管理多租戶基于角色的訪問(wèn)控制 | 租戶數(shù)據(jù)安全隔離數(shù)據(jù)集成批量集成 | 增量和全量數(shù)據(jù)抽取工作流周期任務(wù) | 任務(wù)執(zhí)行情況跟蹤和監(jiān)控安全認(rèn)證登錄認(rèn)證 | 活動(dòng)日志及審計(jì)企業(yè)數(shù)據(jù)治理核心功能組件數(shù)據(jù)治理元數(shù)據(jù)管理數(shù)據(jù)血緣管理數(shù)據(jù)地圖數(shù)據(jù)質(zhì)量管理數(shù)據(jù)安全管理關(guān)注在共享、交換、存儲(chǔ)、計(jì)算時(shí)的數(shù)據(jù)安全問(wèn)題，基于角色進(jìn)行數(shù)據(jù)訪問(wèn)權(quán)限的控制，支持9個(gè)級(jí)別的安全等級(jí)，對(duì)數(shù)據(jù)實(shí)體訪問(wèn)進(jìn)行

6、權(quán)限控制。通過(guò)集中的元數(shù)據(jù)服務(wù)，采集各個(gè)組成模塊的元數(shù)據(jù)進(jìn)行集中管理。關(guān)注數(shù)據(jù)質(zhì)量監(jiān)控，包括數(shù)據(jù)質(zhì)量分析、評(píng)估、審計(jì)和提升數(shù)據(jù)質(zhì)量指標(biāo)化、度量化。完整的記錄了數(shù)據(jù)的來(lái)源、加工過(guò)程等全鏈路詳細(xì)信息，并進(jìn)行圖形化展示，方便用戶進(jìn)行影響分析和問(wèn)題回溯支持全息數(shù)據(jù)地圖，從租戶、時(shí)間、數(shù)據(jù)量等不同維度對(duì)數(shù)據(jù)進(jìn)行可視化，方便用戶從宏觀角度對(duì)數(shù)據(jù)進(jìn)行深入的理解；數(shù)據(jù)分布情況，支持?jǐn)?shù)據(jù)的全文檢索，數(shù)據(jù)庫(kù)級(jí)別的數(shù)據(jù)流向可視化展示，數(shù)據(jù)按照時(shí)間維度的增量、存量展示。數(shù)據(jù)共享交換平臺(tái)目錄驅(qū)動(dòng)數(shù)據(jù)交換數(shù)據(jù)供應(yīng)方公安業(yè)務(wù)系統(tǒng)公安 工商工商業(yè)務(wù)系統(tǒng) 環(huán)保環(huán)保業(yè)務(wù)系統(tǒng)數(shù)據(jù)需求方平臺(tái)方數(shù)據(jù)編目發(fā)布數(shù)據(jù)注冊(cè)發(fā)布數(shù)據(jù)編目數(shù)據(jù)交換

7、申請(qǐng)數(shù)據(jù)交換申請(qǐng)人社業(yè)務(wù)系統(tǒng)人社數(shù)據(jù)資源目錄目錄驅(qū)動(dòng)數(shù)據(jù)交換中心庫(kù)數(shù)據(jù)共享交換平臺(tái)安全交換基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)安全交換，數(shù)據(jù)不直接提供給申請(qǐng)者，只提供申請(qǐng)者數(shù)據(jù)描述、定義和脫敏示例數(shù)據(jù)在大數(shù)據(jù)平臺(tái)的交換空間中計(jì)算，返回給申請(qǐng)者計(jì)算結(jié)果，實(shí)現(xiàn)“可用不可見(jiàn)”如法人庫(kù)數(shù)據(jù)和稅務(wù)、金融、外貿(mào)數(shù)據(jù)在交換空間經(jīng)過(guò)混合計(jì)算后，對(duì)公眾提供信用查詢服務(wù)。法人庫(kù)中的敏感數(shù)據(jù)不會(huì)對(duì)外暴露，只向業(yè)務(wù)需求方提供信用相關(guān)的查詢結(jié)果法人數(shù)據(jù)法人庫(kù)業(yè)務(wù)部門稅務(wù)、金融、外貿(mào)數(shù)據(jù)稅務(wù)、金融、外貿(mào)混合計(jì)算法人信用公共服務(wù)授權(quán)授權(quán)需要計(jì)算客戶等級(jí)授權(quán)交換空間企業(yè)實(shí)時(shí)大數(shù)據(jù)平臺(tái)的優(yōu)勢(shì)總結(jié)獨(dú)特的聯(lián)邦數(shù)據(jù)處理引擎，可以連接操作多種數(shù)據(jù)源，

8、使數(shù)據(jù)處理、數(shù)據(jù)建模、數(shù)據(jù)分析更加靈活、便捷強(qiáng)大的存儲(chǔ)、處理能力高效的實(shí)時(shí)處理與分析能力獨(dú)特的聯(lián)邦處理引擎并行數(shù)據(jù)挖掘工具ACDEB支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化多種數(shù)據(jù)類型的實(shí)時(shí)處理與在線分析建設(shè)成本低構(gòu)建在x86通用硬件上，無(wú)需捆綁硬件，技術(shù)開(kāi)放并行R提供了強(qiáng)大的計(jì)算能力，包含大量算法庫(kù)采用MPP架構(gòu)，支持計(jì)算、存儲(chǔ)節(jié)點(diǎn)線性擴(kuò)展；采用分布式內(nèi)存分析引擎，最高可擴(kuò)展致數(shù)百TB級(jí)平臺(tái)介紹02分布式文件存儲(chǔ)HDFS可擴(kuò)展數(shù)據(jù)節(jié)點(diǎn)可擴(kuò)展數(shù)據(jù)庫(kù)可擴(kuò)展block高可靠性HA副本可擴(kuò)展容災(zāi)及備份策略數(shù)據(jù)計(jì)算，分析與挖掘交互式查詢 RapidsDBSQLFederationMPP ExecAPI存儲(chǔ)引擎數(shù)

9、據(jù)挖掘Python MahoutMLlib流數(shù)據(jù)處理Spark streamingStormRapidsStreamDB管控RM資源管理Rapids ManagerZookeeperAmbari管控?cái)?shù)據(jù)與消息Flume數(shù)據(jù)收集Kafka消息隊(duì)列Sqoop數(shù)據(jù)遷移編程接口API（Java，SQL）, 應(yīng)用適配（不同引擎對(duì)不同查詢的支持）ElasticSearch搜索Rapids ParallelRAIworkflow批處理Hive on TezSparkNoSQLHbase數(shù)據(jù)可視化智能分析內(nèi)容檢索OLAP日志分析音/視頻展示數(shù)據(jù)訂閱平臺(tái)架構(gòu)圖技術(shù)亮點(diǎn)大數(shù)據(jù)存儲(chǔ)Hadoop高性能大數(shù)據(jù)存儲(chǔ)： 全

10、面支持PB級(jí)海量數(shù)據(jù)存儲(chǔ)支高模塊化、松耦合五層架構(gòu)應(yīng)對(duì)不同領(lǐng)域大數(shù)據(jù)離線處理場(chǎng)景技術(shù)亮點(diǎn)全內(nèi)存分布式數(shù)據(jù)庫(kù)RapidsDB全內(nèi)存分布式數(shù)據(jù)處理引擎：無(wú)磁盤IO：基于內(nèi)存，比傳統(tǒng)數(shù)據(jù)庫(kù)性能提高近百倍；高擴(kuò)展：分布式，支持按需動(dòng)態(tài)在線擴(kuò)展；高吞吐：日增20TB數(shù)據(jù)量，實(shí)時(shí)采集、分析；支持100TB全內(nèi)存數(shù)據(jù)量分析高并發(fā)：支持500/S并發(fā)（100TB）；低延時(shí)：TB級(jí)數(shù)據(jù)毫秒級(jí)響應(yīng)（ 1秒內(nèi)在3,000億條數(shù)據(jù)內(nèi)匹配唯一1行記錄）。系統(tǒng)技術(shù)亮點(diǎn)跨源異構(gòu)查詢連接器Rapids Federation 多源異構(gòu)數(shù)據(jù)聯(lián)邦：專用/通用連接器，實(shí)現(xiàn)多源異構(gòu)海量數(shù)據(jù)直接統(tǒng)一連接、關(guān)聯(lián)和分析，打破數(shù)據(jù)孤島和類型限

11、制；避免數(shù)據(jù)遷移風(fēng)險(xiǎn)：不改變?cè)屑軜?gòu)，無(wú)需數(shù)據(jù)遷移；標(biāo)準(zhǔn)SQL統(tǒng)一接口：使用 ANSI 標(biāo)準(zhǔn) SQL 語(yǔ)言作為統(tǒng)一的接口語(yǔ)言進(jìn)行數(shù)據(jù)互訪， 使企業(yè)內(nèi)部的廣泛異構(gòu)數(shù)據(jù)源能夠被邏輯整合。多源異構(gòu)海量數(shù)據(jù)統(tǒng)一連接、查詢、分析：Rapids Federation連通多個(gè)數(shù)據(jù)孤島統(tǒng)一的SQL，降低開(kāi)發(fā)、與使用的難度連通多個(gè)數(shù)據(jù)孤島Rapids FederationOACRMERP業(yè)務(wù)系統(tǒng) 系統(tǒng)技術(shù)亮點(diǎn)全內(nèi)存流數(shù)據(jù)庫(kù)Rapids StreamDB基于內(nèi)存、分布式流數(shù)據(jù)分析與挖掘：國(guó)際標(biāo)準(zhǔn)：以此形成中國(guó)30年來(lái)唯一SQL9075 2018 流數(shù)據(jù)庫(kù)國(guó)際標(biāo)準(zhǔn)；流數(shù)據(jù)處理：海量流式數(shù)據(jù)實(shí)時(shí)采集、分析加速；無(wú)磁盤

12、IO：全內(nèi)存，性能提高近百倍；高擴(kuò)展：分布式，支持按需動(dòng)態(tài)在線擴(kuò)展；高吞吐：日增20TB流數(shù)據(jù)，實(shí)時(shí)采集、分析；高并發(fā)： 60萬(wàn)條每核每秒；提供基于時(shí)間窗口、事件數(shù)量窗口來(lái)呈現(xiàn) 滾動(dòng)窗口、滑動(dòng)窗口模式系統(tǒng)技術(shù)亮點(diǎn)人工智能并行算法庫(kù)Rapids ParallelR四大類38種主流算法：國(guó)際標(biāo)準(zhǔn)：以此形成中國(guó)30年來(lái)唯一的 AI-in-Database庫(kù)內(nèi)人工智能國(guó)際標(biāo)準(zhǔn)；海量數(shù)據(jù)學(xué)習(xí)：并行R，適用于大規(guī)模數(shù)據(jù)集；庫(kù)內(nèi)學(xué)習(xí)：數(shù)據(jù)庫(kù)內(nèi)完成深度學(xué)習(xí)和機(jī)器學(xué)習(xí)；零門檻：以函數(shù)形式實(shí)現(xiàn)算法直接拖拉拽，業(yè)務(wù)人員零門檻使用。統(tǒng)計(jì)分析降維集成算法 深度神經(jīng)網(wǎng)絡(luò)算法Rapids ParallelR數(shù)據(jù)分析與數(shù)據(jù)挖

13、掘性能對(duì)比支持標(biāo)準(zhǔn)x86服務(wù)器，大大降低了高性能業(yè)務(wù)的建設(shè)成本和后期運(yùn)營(yíng)成本存儲(chǔ)型一體機(jī)、分析型一體機(jī)：與曙光、浪潮、太極等廠商合作，基于存儲(chǔ)、分析兩種場(chǎng)景的各自特點(diǎn)，預(yù)裝了定制化并且調(diào)優(yōu)好的 Rapids Hadoop 和 Rapids Data Platform半配刀片服務(wù)器*14+機(jī)架式服務(wù)器*5+光纖交換機(jī)*2滿配刀片服務(wù)器*28+機(jī)架式服務(wù)器*5+光纖交換機(jī)*2多柜滿配*n4通道大容量DDR4內(nèi)存，10Gb/s光纖網(wǎng)絡(luò)企業(yè)數(shù)據(jù)一體機(jī)基于x86硬件、低建設(shè)和運(yùn)營(yíng)成本完全自主可控大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)從應(yīng)用層、解析層、優(yōu)化層、存儲(chǔ)引擎的完全自主可控。應(yīng)用層解析層優(yōu)化層存儲(chǔ)引擎完全自主可

14、控完全自主安全可控平臺(tái)體系03應(yīng)用場(chǎng)景通過(guò)建立各種指數(shù)或模型，反映宏觀經(jīng)濟(jì)的運(yùn)行狀況和預(yù)測(cè)未來(lái)走勢(shì)，實(shí)時(shí)出具宏觀經(jīng)濟(jì)指標(biāo)（劃分為超前、同步和滯后三類指標(biāo)）及時(shí)采取有效的宏觀經(jīng)濟(jì)管理措施來(lái)應(yīng)對(duì)經(jīng)濟(jì)發(fā)展的變化為政府提供靈活、便捷的經(jīng)濟(jì)發(fā)展態(tài)勢(shì)為研究機(jī)構(gòu)提供高品質(zhì)、低成本、更豐富的經(jīng)濟(jì)發(fā)展信息為企業(yè)制訂發(fā)展策略提供參考。政府行業(yè)應(yīng)用宏觀經(jīng)濟(jì)統(tǒng)計(jì)分析平臺(tái)整合、分析相關(guān)業(yè)務(wù)廳局的行業(yè)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)實(shí)時(shí)監(jiān)管媒體網(wǎng)站、微博、公眾號(hào)、貼吧、論壇信息分級(jí)網(wǎng)格化管理全省企事業(yè)單位和機(jī)關(guān)黨委的信息系統(tǒng)、新聞網(wǎng)站、公眾號(hào)等信息及時(shí)化解網(wǎng)絡(luò)輿論危機(jī)（民眾對(duì)社會(huì)、經(jīng)濟(jì)、政策等質(zhì)疑）智享公共信息，實(shí)現(xiàn)多部門協(xié)調(diào)合作自動(dòng)出具網(wǎng)上輿情監(jiān)管報(bào)告4.2 政府行業(yè)應(yīng)用網(wǎng)信輿情大數(shù)據(jù)分析平臺(tái)“政府智庫(kù)”實(shí)現(xiàn)數(shù)字民生治理實(shí)時(shí)抓取涉及政治、經(jīng)濟(jì)、軍事、娛樂(lè)、體育、衛(wèi)生、科技等各領(lǐng)域的數(shù)據(jù)；全內(nèi)存計(jì)算，實(shí)現(xiàn)多源、海量、并行、實(shí)時(shí)分析處理；對(duì)公共事件的媒體報(bào)道和公眾輿論信息實(shí)時(shí)匯聚和統(tǒng)計(jì)分析；對(duì)突發(fā)事件及時(shí)發(fā)出預(yù)警，準(zhǔn)確地把握全局性、苗頭性、傾向性問(wèn)題；自動(dòng)生成社情民意監(jiān)測(cè)專報(bào)，為民生服務(wù)提供及時(shí)、準(zhǔn)確、