大數(shù)據(jù)時(shí)代的DSG數(shù)據(jù)復(fù)制云

1、大數(shù)據(jù)時(shí)代的DSG數(shù)據(jù)復(fù)制云技術(shù)創(chuàng)新 變革未來(lái)目錄 / CONTENTSPART 01認(rèn)識(shí)我們PART 02大數(shù)據(jù)與DSGPART 03DSG的開放大數(shù)據(jù)平臺(tái)PART 04DSG應(yīng)用成果DSG的現(xiàn)狀：北京總部成都研發(fā)中心上海南京杭州廣州長(zhǎng)沙沈陽(yáng)福州長(zhǎng)春濟(jì)南鄭州?？谀喜秊豸斈君R銀川石家莊蘭州西安研發(fā)中心重慶武漢昆明貴州南寧3：3家公司成立240：?jiǎn)T工人數(shù)約1：總部北京3：北京、成都、西安研發(fā)中心25：25個(gè)省市設(shè)有辦事處或者技術(shù)支持中心800：擁有電信、金融、政府等800 多個(gè)大型客戶1.5億：2017年10月，資產(chǎn)為1.6億DSG的歷史：最強(qiáng)的Oracle備份產(chǎn)品名稱災(zāi)備 級(jí)別功能特點(diǎn)廠家DB

2、P容備云平臺(tái)高效備份、 應(yīng)用測(cè)試 和數(shù)據(jù)遷 移支持BDMP BS、BDMP DC一體機(jī)所含 有的所有軟件功能支持大型Oracle數(shù)據(jù)庫(kù)統(tǒng)一災(zāi)備、測(cè)試 遷移一體化：高性能數(shù)據(jù)庫(kù)首次全同步及準(zhǔn)實(shí)時(shí) 同步容災(zāi)端在線測(cè)試及報(bào)表查詢數(shù)據(jù)庫(kù)同平臺(tái)遷移DSG一 體 機(jī)BDMP- DC數(shù)據(jù)中心 級(jí)全數(shù)據(jù) 云災(zāi)備管 理一體機(jī)支持BDMP BS 一體機(jī)功能支持Oracle高性能備份智能全備非歸檔備份直接表恢復(fù)備份數(shù)據(jù)驗(yàn)證端到端數(shù)據(jù)流壓縮與存儲(chǔ)DSGBDMP-BS企業(yè)級(jí) 備份 容災(zāi) 一體機(jī)硬件一體機(jī)傳統(tǒng)數(shù)據(jù)庫(kù)備份VMwareESXi、HyperV虛擬機(jī)備份CDP實(shí)時(shí)備份P-V、V-V實(shí)時(shí)容災(zāi)DSGDSG的歷史：最強(qiáng)

3、的Oracle復(fù)制，800多用戶全球獨(dú)家支持：Rowid復(fù)制支持源/目標(biāo)安裝、或第三方靜默安裝支持UDT和IOT高速首次全同步數(shù)據(jù)一致性檢查、高效修復(fù)雙活容災(zāi)數(shù)據(jù)庫(kù)異構(gòu)遷移統(tǒng)一監(jiān)控管理日志并發(fā)分析、多次使用，提高分析效率、實(shí)現(xiàn)最 高150GB/小時(shí)日志分析、實(shí)時(shí)增量日志可處理3Tbit/天以上首次同步技術(shù)可實(shí)現(xiàn)200G-800G/小時(shí)分鐘級(jí)容災(zāi)切換、容災(zāi)切換時(shí)間小于5分鐘系統(tǒng)干擾小于5%能分鐘內(nèi)高速處理數(shù)千DDL操作功能優(yōu)勢(shì)性能優(yōu)勢(shì)數(shù)據(jù)災(zāi)備零宕機(jī)遷移和升級(jí)基于日志 實(shí)時(shí)捕獲 變化數(shù)據(jù)數(shù)據(jù)同步分發(fā)數(shù)據(jù)庫(kù)各類DBOracleMS+Sqlserver查詢分流報(bào)告數(shù)據(jù)庫(kù)完全主動(dòng)分 布式數(shù)據(jù)庫(kù)Activ

4、e to Active雙活DWSuperSync容災(zāi)數(shù)據(jù)庫(kù)實(shí)時(shí)BI新的數(shù)據(jù)庫(kù)/操 作系統(tǒng)/應(yīng)用Our ProductsDSG產(chǎn)品體系備份容災(zāi)事業(yè)部復(fù)制容災(zāi)共享DSG服務(wù)和運(yùn)維BDMP BS 、BDMP DC、DBP新概念備份、云備份、云容災(zāi)、單產(chǎn)品監(jiān)控、統(tǒng)一監(jiān)控SuperSync應(yīng)用級(jí)雙活容災(zāi) Enhanced ETL、數(shù)據(jù)脫敏、大數(shù)據(jù)交換平臺(tái)統(tǒng)一監(jiān)控NDMP容災(zāi)導(dǎo)航管理+數(shù)據(jù)遷移數(shù)據(jù)庫(kù)運(yùn)維 + DB monitor+數(shù)據(jù)庫(kù)審計(jì)智能運(yùn)維大數(shù)據(jù)和應(yīng)用開發(fā)兆源數(shù)通大數(shù)據(jù)應(yīng)用開發(fā)平臺(tái)行業(yè)大數(shù)據(jù)方案基于智能識(shí)別的安防不良信息識(shí)別+商業(yè)信息識(shí)別 爬蟲+深度輿情DSG的現(xiàn)在：目錄 / CONTENTSPA

5、RT 01認(rèn)識(shí)我們About UsPART 02大數(shù)據(jù)與DSGPART 03DSG的開放大數(shù)據(jù)平臺(tái)PART 04DSG應(yīng)用成果數(shù)據(jù)庫(kù)數(shù)據(jù)與大數(shù)據(jù)交換技術(shù)趨勢(shì)人工匯聚數(shù)據(jù)應(yīng)用軟件 定時(shí)采集 匯聚發(fā)送數(shù)據(jù)庫(kù)采集 前置一體機(jī)數(shù)據(jù)庫(kù)數(shù)據(jù) 實(shí)時(shí)轉(zhuǎn)換共享實(shí)時(shí)大數(shù)據(jù) 交換平臺(tái)12345通過人工數(shù)據(jù)查詢， 將數(shù)據(jù)個(gè)性化發(fā)給不 同用戶效率低、成本高、干擾系統(tǒng)、時(shí)效差增加自動(dòng)化，減少了 人工開發(fā)成本高、對(duì)數(shù)據(jù) 庫(kù)影響較大、不靈活跨應(yīng)用、跨用戶之間 難以協(xié)調(diào)、成本高典型技術(shù)采用ODBC/ JDBC技術(shù)性能低、高干擾源端 數(shù)據(jù)庫(kù)、實(shí)時(shí)增量差、不支持DDL，異構(gòu)數(shù) 據(jù)庫(kù)、異構(gòu)平臺(tái)難不支持實(shí)時(shí)轉(zhuǎn)換，需 要借助第三方ETL

6、數(shù) 據(jù)轉(zhuǎn)換代表產(chǎn)品DSG的 Enhanced ETL高性能、1-2% 的低 干擾，單數(shù)據(jù)庫(kù)間實(shí) 現(xiàn)一小時(shí)數(shù)百GB 、 支持實(shí)時(shí)增量支持DDL、異構(gòu)數(shù)據(jù) 庫(kù)、異構(gòu)硬件平臺(tái)支持實(shí)時(shí)轉(zhuǎn)換將數(shù)據(jù)庫(kù)實(shí)時(shí)交換共 享技術(shù)，與各類大數(shù) 據(jù)技術(shù)集成開發(fā)，實(shí) 現(xiàn)新一代大數(shù)據(jù)交換 PaaS支持實(shí)時(shí)采集、變換支持可視化拖拉拽支持多租戶虛擬管理 等Oracle數(shù) 據(jù)庫(kù)PostgreSQL達(dá)夢(mèng)Dameng浪潮KDBFrom other數(shù)據(jù)庫(kù)SQL ServerDB2MySql國(guó)產(chǎn)數(shù)據(jù)庫(kù)MPP內(nèi)存數(shù)據(jù)庫(kù)常見數(shù)據(jù)庫(kù)消息隊(duì)列文本格式達(dá)夢(mèng)DamengEMC greenplumgbase8MSap hanaKafka tibcoT

7、XTCSVXMLsql人大金倉(cāng)Kingbase南大通用GbaseBa浪潮KDB神州通用 DBoneHP VerticaDB2PostgreSQLMySql SQL Server常見數(shù)據(jù)庫(kù)國(guó)產(chǎn)數(shù)據(jù)庫(kù)InformixsybaseTo 大數(shù)據(jù)To NoSqlGemfireFrom KafkaDSG已經(jīng)實(shí)現(xiàn)的：數(shù)據(jù)實(shí)時(shí)交換與共享支持系統(tǒng)框架華為云騰訊云阿里云天翼云To other 數(shù)據(jù)庫(kù)To Cloud 云端本地物理環(huán)境數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制DSG:多種云和云間復(fù)制場(chǎng)景同種云內(nèi)數(shù)據(jù)災(zāi)備異種云之間災(zāi)備天翼云災(zāi)備至政務(wù)云 政務(wù)云災(zāi)備至天翼云天翼云災(zāi)備至天翼云 政務(wù)災(zāi)備至政務(wù)云云上云下間數(shù)據(jù)災(zāi)備物理機(jī)災(zāi)備

8、至天翼云 物理機(jī)災(zāi)備至政務(wù)云衍生的三大新方向：應(yīng) 用 級(jí) 雙 活 容 災(zāi) ： 實(shí)現(xiàn) Unix 、Linux、windows 環(huán)境下的應(yīng)用級(jí) 雙活容災(zāi)、支持異構(gòu)硬件環(huán)境、跨 數(shù)據(jù)庫(kù)、容災(zāi)端數(shù)據(jù)庫(kù)可用Super SyncEnhanced ETL大數(shù)據(jù)交換平臺(tái)數(shù)據(jù)庫(kù)實(shí)時(shí)共享交換：實(shí)現(xiàn)Unix、Linux 、windows 環(huán)境下異構(gòu)數(shù) 據(jù)庫(kù)之間數(shù)據(jù)實(shí)時(shí)復(fù)制、實(shí)時(shí)轉(zhuǎn) 換、實(shí)時(shí)交換和共享大數(shù)據(jù)實(shí)時(shí)共享交換平臺(tái)：實(shí)現(xiàn)Unix、Linux、windows 環(huán)境與 大數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)之間實(shí)時(shí)復(fù) 制、轉(zhuǎn)換和交換，是PaaS平臺(tái)， 支持多租戶等全球競(jìng)爭(zhēng)力：DSG的數(shù)據(jù)庫(kù)復(fù)制技術(shù)具有全球競(jìng)爭(zhēng)力，與全球競(jìng)爭(zhēng)對(duì)手 OG

9、G、Quest、IBM CDC 、Informatic等知名廠家相比有顯著的技術(shù)優(yōu)勢(shì)：高性能、多種DDL支持、多數(shù)據(jù)庫(kù)和大數(shù)據(jù)之間環(huán)境支持。國(guó)產(chǎn)數(shù)據(jù)庫(kù)支持：DSG的技術(shù)是國(guó)內(nèi)自主知識(shí)產(chǎn)權(quán)，對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)的支持也最多，并遠(yuǎn)優(yōu)于國(guó)外對(duì)手。國(guó)內(nèi)高端用戶普遍使用：近800家，如建行、太平洋保險(xiǎn)、中國(guó)移動(dòng)、聯(lián)通、電信、政府公安、證券等。1、DSG SuperSync數(shù)據(jù)同步產(chǎn)品標(biāo)準(zhǔn)化的單一技術(shù)解決 多種需求保證業(yè)務(wù)的連續(xù)性同時(shí)滿足實(shí)時(shí)數(shù)據(jù)共享 和靈活的數(shù)據(jù)結(jié)構(gòu)變換低影響、高效率跨平臺(tái)、低成本，投資 回報(bào)率高快速部署、一體化的監(jiān) 控管理。零宕機(jī)遷移和升級(jí)數(shù)據(jù)同步分發(fā)查詢分流Active to Active雙

10、活基于日 志實(shí)時(shí) 捕獲變 化數(shù)據(jù)SuperSync容災(zāi)數(shù)據(jù)庫(kù)實(shí)時(shí)BI報(bào)告數(shù)據(jù)庫(kù)OracleSQLServerK-DBDB2MySQLPostgreSQLDMCDBHbaseHiveKuduPhoneixKafka性能優(yōu)勢(shì)功能優(yōu)勢(shì)SuperSync 的優(yōu)勢(shì)全球獨(dú)家支持：Rowid、PK/UK等復(fù)制全球獨(dú)家支持源/目標(biāo)安裝、或第三方靜 默安裝支持UDT和IOT高速首次全同步數(shù)據(jù)一致性檢查、高效修復(fù)雙活容災(zāi)數(shù)據(jù)庫(kù)異構(gòu)遷移統(tǒng)一監(jiān)控管理日志并發(fā)分析、多次使用，提高分析效率、實(shí)現(xiàn)最高200GB/小時(shí)日志分析、 實(shí)時(shí)增量日志可處理3Tbit/天以上首次同步技術(shù)可實(shí)現(xiàn)200G-800G/小 時(shí)分鐘級(jí)容災(zāi)切換、

11、容災(zāi)切換時(shí)間小于5分鐘系統(tǒng)干擾小于5%能分鐘內(nèi)高速處理數(shù)千DDL操作2、DSG Enhanced ETL數(shù)據(jù)庫(kù)實(shí)時(shí)交換與共享平臺(tái)OracleSQLServerK-DBDB2MySQLPostgre SQLDMCDB中間庫(kù)第三方ETL接口文件結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)/云源ETL過程目標(biāo)端用戶實(shí)時(shí)多表關(guān)聯(lián)鏡像庫(kù)精簡(jiǎn)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù) 抓取 模塊實(shí)時(shí)Loader實(shí)時(shí)單表轉(zhuǎn)換過濾準(zhǔn)實(shí)時(shí)對(duì)源數(shù)據(jù)庫(kù)的首次 同步和實(shí)時(shí)增量跟 蹤技術(shù)目標(biāo)數(shù)據(jù)庫(kù)或者云直接裝載源數(shù)據(jù)庫(kù)-接口文件和ETL-目標(biāo)庫(kù)多種通路選擇實(shí)現(xiàn)實(shí)時(shí)和準(zhǔn)實(shí)時(shí)轉(zhuǎn)換和共享鏡像庫(kù)精簡(jiǎn)庫(kù)Enhanced ETL 的功能功能說(shuō)明數(shù)據(jù)實(shí)時(shí)抽取通過源系統(tǒng)端的Agent進(jìn)程對(duì)

12、數(shù)據(jù)庫(kù)Log日志進(jìn)行實(shí)時(shí)分析，獲取交易指令將交易指令和交易數(shù)據(jù)經(jīng)過格式轉(zhuǎn)化生成數(shù)據(jù)格式；過濾轉(zhuǎn)化為與生產(chǎn)應(yīng)用相吻合的指令實(shí)時(shí)傳輸?shù)侥繕?biāo)端系統(tǒng)數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)換復(fù)制指定的數(shù)據(jù)、表、列支持?jǐn)?shù)據(jù)集中，即多個(gè)相同結(jié)構(gòu)的數(shù)據(jù)庫(kù)中將數(shù)據(jù)整合到一個(gè)庫(kù)中同類的數(shù)據(jù)項(xiàng)集合放到一個(gè)表中支持?jǐn)?shù)據(jù)分發(fā)實(shí)時(shí)存儲(chǔ)和增量變化通知Agent將識(shí)別到的實(shí)時(shí)增量數(shù)據(jù)發(fā)送到中間數(shù)據(jù)庫(kù)在此中間庫(kù)中維護(hù)一張和生產(chǎn)系統(tǒng)對(duì)應(yīng)的數(shù)據(jù)表；對(duì)數(shù)據(jù)進(jìn)行整合、過濾和判斷后通知訂閱方支持ETL實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)數(shù)據(jù)抽取支持增量抽取間隔到每幾秒鐘、幾分鐘、10分鐘生成一個(gè)接口文件支持從鏡像庫(kù)中獲取數(shù)據(jù)QETL支持多表關(guān)聯(lián)同步只復(fù)制到多表關(guān)聯(lián)結(jié)果集到目標(biāo)端支持復(fù)雜的s

13、ql模式支持多種同步維護(hù)模式保持分析日志模式而非sql查詢模式Enhanced ETL 的優(yōu)勢(shì)實(shí)時(shí)性采用數(shù)據(jù)跟蹤和push 技術(shù)，安裝在數(shù)據(jù)源端 的數(shù)據(jù)變化跟蹤程序Agent實(shí)時(shí)跟蹤數(shù)據(jù)變化，將變化實(shí)時(shí)發(fā)送到 數(shù)據(jù)需求端，數(shù)據(jù)可在 秒級(jí)實(shí)現(xiàn)共享可配置性通過參數(shù)配置來(lái)定義需要共享的數(shù)據(jù)表(table)、共享的數(shù)據(jù)項(xiàng)（字段）、共享的條件（滿足條件 的記錄）低干擾性通過數(shù)據(jù)庫(kù)自身信息獲 取源系統(tǒng)上的改變并傳 送給目的系統(tǒng)，降低對(duì) 生產(chǎn)系統(tǒng)性能影響無(wú)需全量數(shù)據(jù)處理， 只抽取增量數(shù)據(jù)，減少 數(shù)據(jù)庫(kù)存儲(chǔ)壓力多樣性支持多種復(fù)制 系統(tǒng)拓?fù)浣Y(jié)構(gòu)靈活性提供選擇表、選擇字段 和選擇記錄的復(fù)制提供數(shù)據(jù)轉(zhuǎn)換，如字段 名

14、映射、數(shù)據(jù)類型轉(zhuǎn)換、 數(shù)據(jù)運(yùn)算等支持中間庫(kù)、定制文件 到ETL的準(zhǔn)實(shí)時(shí)轉(zhuǎn)換多表關(guān)聯(lián)實(shí)時(shí)高性能復(fù)制場(chǎng)景傳統(tǒng)同步一般會(huì)采用鏈接、視圖、觸發(fā)器等方案解決，占用較大資源，還 不能滿足實(shí)時(shí)要求。傳統(tǒng)ETL一般將全量數(shù)據(jù)、部分?jǐn)?shù)據(jù)或者組合推送至目標(biāo) 端，由于推送的數(shù)據(jù)包含大量不需要的數(shù)據(jù)，不高效；特別涉及多個(gè)表的數(shù) 據(jù)量大，而所需數(shù)據(jù)量又較小的情況下，非常適合只推送SQL語(yǔ)句查詢結(jié)果 集，以實(shí)表的情況存放在目標(biāo)端實(shí)時(shí)使用。Enhanced ETL 的典型應(yīng)用案例介紹湖北某券商客戶使用Enhanced ETL 將各地市的 數(shù)據(jù)集中復(fù)制到數(shù)據(jù)倉(cāng)庫(kù)，然后使用QETL對(duì)數(shù) 據(jù)實(shí)時(shí)導(dǎo)出并進(jìn)行組合運(yùn)算，將轉(zhuǎn)換后的數(shù)據(jù)

15、集 實(shí)時(shí)同步到各業(yè)務(wù)庫(kù)。案例功能特點(diǎn)源端為組合視圖，目標(biāo)端直接同步的結(jié)果集為表中；目標(biāo)數(shù)據(jù)涉及多個(gè)用戶下的多張表，QETL只 關(guān)注客戶所需數(shù)據(jù)，最小化同步范圍，節(jié)省系統(tǒng) 資源；只跟蹤業(yè)務(wù)所需字段，避免了敏感字段數(shù)據(jù)的向下傳遞；某行業(yè)某塊業(yè)務(wù)所需的數(shù)據(jù)，業(yè)務(wù)上僅需要 通過一條SQL從多張分別擁有百萬(wàn)和幾億條的數(shù) 據(jù)表中提取所需結(jié)果，該結(jié)果返回僅有幾十條數(shù) 據(jù)，傳統(tǒng)的推送方式要么達(dá)不到實(shí)時(shí)要求，要么 占用較大資源，現(xiàn)通過QETL 實(shí)時(shí)的推送所需的 幾十條數(shù)據(jù)的結(jié)果集，簡(jiǎn)化了同步方式、大大提 高了同步效率，深受客戶好評(píng)，并將大量推廣應(yīng) 用。地市1-oracle地市2-oracle地市n-oracle

16、數(shù)據(jù)倉(cāng)庫(kù)-oracle業(yè)務(wù)1-oracle業(yè)務(wù)2-oracle業(yè)務(wù)n-oracleEnhanced ETLQETL3、DataONE大數(shù)據(jù)應(yīng)用開發(fā)統(tǒng)一平臺(tái)（開放平臺(tái)）DataONE總體架構(gòu)含：平臺(tái)的統(tǒng)一流程調(diào)度管理數(shù)據(jù)交換分發(fā)數(shù)據(jù)海量存儲(chǔ)數(shù)據(jù)查詢數(shù)據(jù)容災(zāi)數(shù)據(jù)ETL轉(zhuǎn)換數(shù)據(jù)分析數(shù)據(jù)挖掘數(shù)據(jù)應(yīng)用與展示層目錄 / CONTENTSPART 01認(rèn)識(shí)我們PART 02大數(shù)據(jù)與DSGPART 03DSG的開放大數(shù)據(jù)平臺(tái)PART 04DSG應(yīng)用成果發(fā)展史起步期（2010-2014年）關(guān)注平臺(tái)是否可以穩(wěn)定運(yùn)行，多用于某類 特定場(chǎng)景（詳單查詢、上網(wǎng)日志分析、銀行交易查詢與分析)；平臺(tái)開放期（2014-2016

17、年）平臺(tái)和數(shù)據(jù)開放、多應(yīng)用提供商、多用戶 訪問，關(guān)注平臺(tái)安全、數(shù)據(jù)安全，目前國(guó)內(nèi) 企業(yè)級(jí)市場(chǎng)多數(shù)在此階段；應(yīng)用擴(kuò)展期（2014-2016年）提升數(shù)據(jù)的分析/數(shù)據(jù)ETL處理能力(統(tǒng)一的 SQL處理能力和機(jī)器學(xué)習(xí)能力的支持)，進(jìn)一 步降低TCO、穩(wěn)定性和大集群運(yùn)維能力，目 前的優(yōu)秀技術(shù)實(shí)施處于這一階段；第4代Hadoop技術(shù)興起（2016-2018年）DSG公司從2012年起關(guān)注和研究Hadoop為代表的大數(shù)據(jù)技術(shù)，我們認(rèn)為隨著以往IOE架構(gòu)被重新定義DataONE大數(shù)據(jù)應(yīng)用開發(fā)統(tǒng)一平臺(tái)DataONE總體架構(gòu)含：平臺(tái)的統(tǒng)一流程調(diào)度管理數(shù)據(jù)交換分發(fā)數(shù)據(jù)海量存儲(chǔ)數(shù)據(jù)查詢數(shù)據(jù)容災(zāi)數(shù)據(jù)ETL轉(zhuǎn)換數(shù)據(jù)分析數(shù)

18、據(jù)挖掘數(shù)據(jù)應(yīng)用與展示層DataONE的定位面向結(jié)構(gòu)化和非結(jié)構(gòu)實(shí)時(shí)、批量、PB級(jí)數(shù)據(jù)處理實(shí)現(xiàn)百億級(jí)數(shù)據(jù)的秒級(jí)查詢開放架構(gòu)，已經(jīng)支持近百種統(tǒng)計(jì)、分析、和挖掘算法，還可以加入第三方算法集成主流圖形化展示框架，多種圖形化可選全球領(lǐng)先的實(shí)時(shí)數(shù)據(jù)采集與數(shù)據(jù)轉(zhuǎn)換和交換分發(fā)平臺(tái)開放PaaS平臺(tái)，兼容用戶現(xiàn)有Hadoop大數(shù)據(jù)系統(tǒng)， 支持基于華為、CDH 、星環(huán)等目前主流Hadoop平臺(tái)，支持Hadoop開源1.6-2.8、Solr、Hbase、Hive、Spark1.1-2.1、Kudu、Flume、Sqoop、Kafka等大數(shù)據(jù)組件產(chǎn)品該平臺(tái)支持用戶個(gè)性化二次開發(fā)大數(shù)據(jù)應(yīng)用，降低用戶投資成本，提高數(shù)據(jù)處理、

19、使用效率DataONE功能特點(diǎn)DataOne大數(shù)據(jù)應(yīng)用開發(fā)平臺(tái)提供了完整功能管理和流程管 理大數(shù)據(jù)綜合處理平臺(tái)；用戶可在DataOne平臺(tái)上通過托拉拽實(shí)現(xiàn)以下功能：大數(shù)據(jù)采集數(shù)據(jù)轉(zhuǎn)換加工數(shù)據(jù)治理，建模分析容災(zāi)查詢數(shù)據(jù)挖掘圖形化展示流程管理和實(shí)時(shí)實(shí)時(shí)數(shù)據(jù)監(jiān)控.等一系列復(fù)雜的流程處理操作。DataOne是PaaS開放平臺(tái):提供 了良好的接口，支持其他 第三方平臺(tái)的算法功能接入DataOne；在統(tǒng)一平臺(tái)中，完成 大數(shù)據(jù)的處理工作。DataONE組件與部署部署方式可以分為：?jiǎn)我患耗Ｊ浇y(tǒng)一集群模式混合集群模式圖 多集群混合架構(gòu)大數(shù)據(jù)應(yīng)用開發(fā)平臺(tái)大數(shù)據(jù)平臺(tái)數(shù)據(jù)調(diào)度組件統(tǒng)一權(quán)限認(rèn)證組件大數(shù)據(jù)采集組件ETL

20、組件數(shù)據(jù)存儲(chǔ)組件數(shù)據(jù)容災(zāi)組件數(shù)據(jù)查詢組件數(shù)據(jù)挖掘組件數(shù)據(jù)統(tǒng)計(jì)分析組件圖形化展示組件DataONE組件與可視化操作特點(diǎn)特點(diǎn)功能組件支持拖拉拽操作，直 接對(duì)組件配置參數(shù)信息，通過 連接線設(shè)置任務(wù)之間的關(guān)系；組件可單獨(dú)執(zhí)行，也可以定時(shí) 執(zhí)行；跟蹤查看整個(gè)流程的執(zhí)行情況 和每個(gè)功能組件的執(zhí)行進(jìn)度；組件可復(fù)用，并且支持第三方 平臺(tái)以REST標(biāo)準(zhǔn)接口接入； 模塊化的和可插拔的功能組件 機(jī)制，具有良好的擴(kuò)展和兼容 性；DataONE組件特點(diǎn)查看每個(gè)組件在流程執(zhí)行 中的進(jìn)度、結(jié)果信息查看每個(gè)組件在流程執(zhí)行中的日志信息查看整個(gè)工作流程的執(zhí)行日志信息大數(shù)據(jù)采集與數(shù)據(jù)轉(zhuǎn)換治理采集方式說(shuō)明爬蟲從一個(gè)或多個(gè)指定初始網(wǎng)頁(yè)

21、的地址URL開始，讀取URL列表，建立初始待爬隊(duì)列；開始順序爬信息，并不斷在從當(dāng)前正在爬取的網(wǎng)頁(yè)上抽 取新的URL放入帶爬取隊(duì)列；直到爬完為止。Flume/ Logstash分布式、可靠、高可用的海量日志采集、聚合和傳輸?shù)?系統(tǒng)，支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù) 據(jù)；同時(shí)，提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù) 接受方（可定制）的能力Sqoop即 SQL to Hadoop ，在傳統(tǒng)型數(shù)據(jù)庫(kù)（如 Oracle、MySQL、DB2、PostgreSQL等）與Hadoop之間進(jìn)行 數(shù)據(jù)遷移的工具，充分利用MapReduce并行特點(diǎn)以批處 理的方式加快數(shù)據(jù)傳輸。支持關(guān)系型數(shù)據(jù)庫(kù)和Hive、

22、HDFS，HBase之間數(shù)據(jù)的相互導(dǎo)入。Enhanced ETLDSG公司一款革命性的數(shù)據(jù)共享產(chǎn)品，在異構(gòu)數(shù)據(jù)庫(kù)/文 件系統(tǒng)之間實(shí)時(shí)、準(zhǔn)實(shí)時(shí)交換數(shù)據(jù)的統(tǒng)一管理平臺(tái)，實(shí) 現(xiàn)跨平臺(tái)、跨數(shù)據(jù)庫(kù)、跨系統(tǒng)之間的批量數(shù)據(jù)同步以及 實(shí)時(shí)增量數(shù)據(jù)同步；實(shí)現(xiàn)數(shù)據(jù)庫(kù)到大數(shù)據(jù)平臺(tái)之間的數(shù) 據(jù)實(shí)時(shí)交換基于全球領(lǐng)先的實(shí)時(shí)數(shù)據(jù)庫(kù)復(fù)制技術(shù)DataONE組件-數(shù)據(jù)采集按數(shù)據(jù)類型分為結(jié)構(gòu)化數(shù)據(jù)采集和非結(jié)構(gòu)化數(shù)據(jù) 采集按數(shù)據(jù)量分為全量采集和增量采集按采集方式分為文件采集，目錄采集，端口采集DataONE組件-數(shù)據(jù)存儲(chǔ)支持采集并緩存在Kafka和存入HIVE，HBASE、HDFS支持在數(shù)據(jù)存入HBase后做實(shí)時(shí)數(shù)據(jù)查詢(使用實(shí)時(shí)查

23、詢組件)支持HBASE表實(shí)時(shí)同步到其他集群(HBase實(shí)時(shí)容災(zāi)組件)支持在數(shù)據(jù)存入HIVE后做DSG報(bào)表自助分析(數(shù)據(jù)分析組件)支持在數(shù)據(jù)存入HDFS后做數(shù)據(jù)挖掘，建立模型，使用模型進(jìn) 行預(yù)測(cè)(數(shù)據(jù)挖掘組件)。支持對(duì)Kafka中的數(shù)據(jù)進(jìn)行監(jiān)控，查 看已采集并緩存在Kafka中的數(shù)據(jù)量 和已存入的Hive的數(shù)據(jù)量支持對(duì)Kafka進(jìn)行管理。如：刪除topic,設(shè)置分 區(qū)屬性，查看添加分區(qū)，管理consumer等支持HBase表實(shí)時(shí)（和離線）復(fù)制 到另一套HBase集群中DataONE組件-數(shù)據(jù)存儲(chǔ)DataONE組件-數(shù)據(jù)查詢實(shí)時(shí)查詢首先通過DataOne的采集組件， 實(shí)時(shí)將數(shù)據(jù)存入DataOne平

24、臺(tái)后，查詢組 件會(huì)自動(dòng)建立索引，將數(shù)據(jù)從HBase中的 數(shù)據(jù)實(shí)時(shí)緩存進(jìn)Solr中，完成在線實(shí)時(shí)檢索。適用于海量數(shù)據(jù)的實(shí)時(shí)在線查詢或者監(jiān)控用。特點(diǎn)是條件過濾查詢效率高，速度快，使用了數(shù)據(jù)同步，所以對(duì)原業(yè)務(wù)影響小。 可以實(shí)現(xiàn)百億級(jí)秒級(jí)查詢特點(diǎn)支持離線數(shù)據(jù)查詢支持在線實(shí)時(shí)數(shù)據(jù)查詢屬性構(gòu)造屬性構(gòu)造是對(duì)兩列數(shù)值類型的數(shù)據(jù)進(jìn)行加減乘除的操作，并得到新的一列結(jié)果，可刪除原有的列；重新編碼1.對(duì)輸入列進(jìn)行重新編碼2.輸出經(jīng)過編碼操作后附加編碼列的數(shù)據(jù) 記錄DataONE組件-數(shù)據(jù)ETL處理及舉例DataONE組件-數(shù)據(jù)ETL舉例自增序列增加新列包含自增序列、增加常量列、增加字符串列和增加日期列，即在數(shù)據(jù)上增加

25、一列數(shù)據(jù)對(duì)該數(shù)據(jù)增加一列自增序列，從0開始自動(dòng)編號(hào)空值填充空值填補(bǔ)是對(duì)列中的空值通過人工輸入 和附近統(tǒng)計(jì)值的方式進(jìn)行填補(bǔ)的，只針對(duì) 數(shù) 值 類 型 的 數(shù) 據(jù)對(duì)age列的數(shù)據(jù)進(jìn)行空值填補(bǔ)，通過人工輸入的方式為50值替換3、值替換是將數(shù)據(jù)列進(jìn)行空值替換或者 非數(shù)值替換為某值，可以同時(shí)選擇多列類型替換類型轉(zhuǎn)換是將數(shù)據(jù)中列的數(shù)據(jù)類型進(jìn)行轉(zhuǎn)換；有的數(shù)據(jù)是數(shù)值，但在數(shù)據(jù)庫(kù)中的類型為string或者其他不能計(jì)算的類型，需要將該列數(shù)據(jù)轉(zhuǎn)換為數(shù)值類型的；對(duì)work_country列的varchare類型強(qiáng)制轉(zhuǎn)換為整型，所 以輸出的結(jié)果全為null.數(shù)據(jù)過濾根據(jù)輸入的列信息和過濾條件得到滿足條件的數(shù) 據(jù)此例過濾

26、age字段區(qū)間（35，45）內(nèi)的數(shù)據(jù)記錄DataONE組件-數(shù)據(jù)ETL舉例批處理去重?cái)?shù)據(jù)去重組件可以針對(duì)一列或者多列數(shù)據(jù)進(jìn)行去重，針 對(duì) 該 列 重 復(fù) 的 行 只 會(huì) 保 留 一 行 這 樣 的 數(shù) 據(jù) ；對(duì)work_country列數(shù)據(jù)去重后，得到的結(jié)果中不存在重復(fù)的國(guó)家.DataONE組件-數(shù)據(jù)挖掘數(shù)據(jù)挖掘目前主要有幾大類：聚類分析時(shí)序預(yù)測(cè)回歸分析分類神經(jīng)網(wǎng)絡(luò)使用模型進(jìn)行預(yù)測(cè)的標(biāo)準(zhǔn)流程是先做ETL，接著格式轉(zhuǎn)換，最后選擇合適算法生成模型。數(shù)據(jù)挖掘-線性回歸模型舉例線性回歸模型回歸分析(regression analysis) ,一個(gè)統(tǒng)計(jì)預(yù)測(cè)模型，用以 描述和評(píng)估應(yīng)變量與一個(gè)或多個(gè)自變量之

27、間的關(guān)系。分析：用來(lái)擬合一個(gè)變量與其他解釋變量之間的線性關(guān)系。最 終呈現(xiàn)回歸方程以及模型檢驗(yàn)的結(jié)果。用戶可以增加一個(gè) 線性回歸預(yù)測(cè)節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)；本例的線性回歸方程為：7.36929480167497+0.1301924899332466*載脂蛋白a+1.3638106543370339*載脂蛋白b+(-2.219345743810897)載脂蛋白e+(-0.4457326860357491)載脂蛋白c根據(jù)歷史數(shù)據(jù)來(lái)對(duì)指定數(shù)據(jù)進(jìn)行預(yù)測(cè)數(shù)據(jù)挖掘- KMeans聚類模型舉例Bisecting k-means聚類算法，即二分k均值算法，它是k-means聚類算法的一個(gè)變體，主要是為了改進(jìn)k-me

28、ans算法隨 機(jī)選擇初始質(zhì)心的隨機(jī)性造成聚類結(jié)果不確定性的問題，而 Bisecting k-means算法受隨機(jī)選擇初始質(zhì)心的影響比較小， 是為了克服K-means算法收斂于局部最小值的問題而提出的DSG自助報(bào)表分析組件是一個(gè)分布式搜索，提供Hadoop之上 的SQL查詢接口及多維分析（OLAP）能力以支持超大規(guī)模數(shù) 據(jù)。支持拖拽生成報(bào)表。直接將MYSQL庫(kù)中的數(shù)據(jù)導(dǎo)入到Hive中，使用DSG 數(shù)據(jù)分析組件建模后，即可拖拽生成得到可視化報(bào)表， 并且這些報(bào)表還可以切換展示效果。大數(shù)據(jù)采集&應(yīng)用存儲(chǔ)計(jì)算層管理控制臺(tái)應(yīng)用程序CDBD服務(wù)CDBD服務(wù)CDBD服務(wù)主數(shù)據(jù)庫(kù)從數(shù)據(jù)庫(kù)主數(shù)據(jù)庫(kù)從數(shù)據(jù)庫(kù)主數(shù)據(jù)庫(kù)

29、從數(shù)據(jù)庫(kù)主數(shù)據(jù)庫(kù)從數(shù)據(jù)庫(kù)元數(shù)據(jù)管理.CDB數(shù)據(jù)庫(kù)節(jié)點(diǎn)CDB元數(shù)據(jù)節(jié)點(diǎn)CDB服務(wù)節(jié)點(diǎn)動(dòng)態(tài)添加、刪除數(shù)據(jù)庫(kù)支持多種數(shù)據(jù)導(dǎo)入到CDB中支持CDB數(shù)據(jù)導(dǎo)出成文件、SQL、xf1、xdt格 式，方便加載到其他數(shù)據(jù)庫(kù)中支持標(biāo)準(zhǔn)編程接口，實(shí)現(xiàn)二次開發(fā)數(shù)據(jù)備份用戶操作權(quán)限管理圖形化操作界面CDB集群數(shù)據(jù)庫(kù)CDB是一款高可用、高性能、高安全性的集群數(shù) 據(jù)庫(kù)，可彈性擴(kuò)展，無(wú)需改變企業(yè)現(xiàn)有設(shè)備，降 低企業(yè)成本CDB的高并發(fā)分析能力，可用于企業(yè)經(jīng)營(yíng)分析系 統(tǒng)中，同時(shí)還可以用于歸檔查詢庫(kù)，分擔(dān)主業(yè)務(wù) 壓力性能與客戶評(píng)價(jià)功能特點(diǎn)構(gòu)建大數(shù)據(jù)治理體系，成立數(shù)據(jù)治理組 織結(jié)構(gòu)、治理流程、治理制度等方面， 以大數(shù)據(jù)平臺(tái)作為大數(shù)據(jù)

30、治理核心，遵 循平臺(tái)建設(shè)先行，將數(shù)據(jù)治理作為推進(jìn) 平臺(tái)建設(shè)的重要手段和措施，更加快企 業(yè)數(shù)據(jù)資產(chǎn)化進(jìn)程；基于DataOne大數(shù)據(jù)平臺(tái)，可以快速定制與開發(fā)財(cái)政大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中心、 宏觀管財(cái)政監(jiān)管分析預(yù)測(cè)系統(tǒng)；建設(shè)財(cái)政大數(shù)據(jù)中心，分為五大庫(kù)，將 分散在各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)統(tǒng)一集中，便 于財(cái)政內(nèi)部各部門及其他部門的數(shù)據(jù)共 享和數(shù)據(jù)交換；構(gòu)建領(lǐng)導(dǎo)全景圖、全省預(yù)算全貌、全省 收入全貌等。大數(shù)據(jù)典型案例財(cái)政大數(shù)據(jù)方案特點(diǎn)目錄 / CONTENTSPART 01認(rèn)識(shí)我們PART 02大數(shù)據(jù)與DSGPART 03DSG的開放大數(shù)據(jù)平臺(tái)PART 04DSG應(yīng)用成果DSG災(zāi)備一體機(jī)（Unix+linux+windo

31、ws)案例介紹：綜合性三級(jí)醫(yī)院，有200多位知名專家擔(dān)任客座教授，設(shè)40余個(gè)臨床、醫(yī)技科室，床位700余張。醫(yī)院信息系統(tǒng)HIS等是運(yùn)營(yíng)支撐系統(tǒng)，包括掛號(hào)， 交費(fèi)，診斷在內(nèi)醫(yī)療環(huán)節(jié)和服務(wù)均依賴于該信息系統(tǒng)。需要備份，因?yàn)椋阂坏┌l(fā)生數(shù)據(jù)丟失或軟硬件故障引發(fā)運(yùn)營(yíng)中斷，將產(chǎn)生經(jīng)濟(jì)損失；Windows支撐信息系統(tǒng)一旦出問題, 會(huì)造成醫(yī)院服務(wù)系統(tǒng)業(yè)務(wù)停頓， 容易引發(fā)醫(yī)患糾紛。該院選擇以下架構(gòu)備份：案例功能特點(diǎn)為醫(yī)院配置多臺(tái)BDMP BS，并直接接入到醫(yī)院現(xiàn)有網(wǎng)絡(luò)中； 在服務(wù)器和工作電腦中安裝BDMP BS客戶端軟件對(duì)服務(wù)器進(jìn)行保護(hù)：文件及數(shù)據(jù)庫(kù)：對(duì)數(shù)據(jù)庫(kù)和業(yè)務(wù)文件實(shí)施在線同步 數(shù)據(jù)復(fù)制，并利用快照技術(shù)，在

32、BDMP BS空間形成多 個(gè)保護(hù)的數(shù)據(jù)版本系統(tǒng)：對(duì)操作系統(tǒng)及應(yīng)用環(huán)境，實(shí)施在線多版本復(fù)制對(duì)工作電腦進(jìn)行保護(hù)：對(duì)醫(yī)院業(yè)務(wù)操作電腦（如：掛號(hào)、收費(fèi)、發(fā)藥等）提供 對(duì)操作系統(tǒng)、應(yīng)用環(huán)境及文件的保護(hù)3. 當(dāng)服務(wù)器和工作電腦發(fā)生任何軟件故障、存儲(chǔ)故障時(shí)：實(shí)現(xiàn)連續(xù)保護(hù)采用網(wǎng)絡(luò)啟動(dòng)模式，3分鐘內(nèi)快速恢復(fù)正常運(yùn)營(yíng)若主機(jī)發(fā)生其它硬件故障時(shí)，更換主機(jī)后利用“系統(tǒng)及 數(shù)據(jù)即時(shí)遷移”實(shí)現(xiàn)分鐘級(jí)快速恢復(fù)Dsync文件復(fù)制企業(yè)需求信息系統(tǒng)是企業(yè)最重要的資產(chǎn)，企 業(yè)需要對(duì)系統(tǒng)中重要的數(shù)據(jù)、信息、 文件等進(jìn)行及時(shí)、實(shí)時(shí)的復(fù)制備份， 用來(lái)提高系統(tǒng)的安全性與保證業(yè)務(wù) 的連續(xù)性，最大限度地減少因?yàn)?zāi)難 或故障所帶來(lái)的損失。Dsync

33、支持所有主流操作系統(tǒng)的文件及目錄復(fù)制支持全量復(fù)制和增量復(fù)制多路復(fù)制、并發(fā)裝載指定時(shí)間段數(shù)據(jù)復(fù)制支持同步刪除文件支持?jǐn)帱c(diǎn)續(xù)傳統(tǒng)計(jì)文件及目錄信息Our Products日志自動(dòng)備份參數(shù)設(shè)置統(tǒng)一管理平臺(tái)：DMP監(jiān)控拓?fù)鋱D同步-mapping和vm、ddl設(shè)置告警圖數(shù)據(jù)對(duì)比系統(tǒng)日志統(tǒng)一管理平臺(tái)：DMP災(zāi)備切換延遲數(shù)據(jù)展示通道信息，實(shí)時(shí)同步拓?fù)鋱D權(quán)限角色配置性能監(jiān)控災(zāi)備切換Archiving歷史數(shù)據(jù)歸檔解決方案業(yè)務(wù)數(shù)據(jù)庫(kù)表表表歸檔數(shù)據(jù)庫(kù)表表表數(shù)據(jù)抽取數(shù)據(jù)傳輸數(shù)據(jù)接收數(shù)據(jù)裝載數(shù)據(jù)核對(duì)數(shù)據(jù)修補(bǔ)數(shù)據(jù)刪除數(shù)據(jù)緩存1.xf1 N.xf1數(shù)據(jù)緩存1.xf1 N.xf1遷移策略02:00:00刪除策略2010-01-

34、01日志文件日志分析數(shù)據(jù)整合數(shù)據(jù)傳輸數(shù)據(jù)緩存1.xf1 N.xf1數(shù)據(jù)接收數(shù)據(jù)裝載數(shù)據(jù)緩存1.xf1 N.xf1數(shù)據(jù)過濾Include .歷史數(shù)據(jù)定時(shí)遷移和 歸檔數(shù)據(jù)實(shí)時(shí)遷移和歸檔數(shù)據(jù)自動(dòng)驗(yàn)證數(shù)據(jù)故障修補(bǔ)數(shù)據(jù)刪除和系統(tǒng)優(yōu)化歷史歸檔數(shù)據(jù)庫(kù)的可 在線使用特殊歸檔規(guī)則的客戶 化訂制服務(wù)DSG Oracle冷抽取工具：高效數(shù)據(jù)庫(kù)救援工具冷抽取指在數(shù)據(jù)庫(kù)已損壞的狀態(tài)下，采用Oracle冷庫(kù)抽取技術(shù)提取數(shù)據(jù)，保證數(shù)據(jù)可再使用。支持支持的Oracle數(shù)據(jù)庫(kù)版本，包括 9i,10g,11g,12c支持ASM，能夠直接從ASM中導(dǎo)出數(shù)據(jù)支持多種字符集之間的轉(zhuǎn)換支持各種表，包括普通的HEAP表，IOT表和聚簇（C

35、LUSTER）表，以及分區(qū)和子分區(qū)支持壓縮表支持的多種數(shù)據(jù)類型支持的UDT（用戶自定義數(shù)據(jù)類型）全面支持LOB字段支持恢復(fù)被誤刪除數(shù)據(jù)支持xmltype，暫不支持存儲(chǔ)為BINARY XML的xmltype優(yōu)勢(shì)無(wú)需運(yùn)行Oracle數(shù)據(jù)庫(kù)軟件，直接讀取 數(shù)據(jù)庫(kù)文件解析數(shù)據(jù)自動(dòng)檢測(cè)數(shù)據(jù)庫(kù)參數(shù)，如Oracle版本號(hào)， 數(shù)據(jù)塊大小(blocksize)，字節(jié)序（Big Endian和Little Endian）等數(shù)據(jù)文件名可以和原文件名不一樣，即 數(shù)據(jù)文件可以復(fù)制到任意位置并改名后， 也可以直接導(dǎo)出數(shù)據(jù)自動(dòng)檢測(cè)數(shù)據(jù)文件的表空間號(hào)和文件號(hào)自動(dòng)從SYSTEM表空間獲取數(shù)據(jù)字典信息支持10g及以上的大文件(B

36、igFile)表空間全局集中監(jiān)視實(shí)現(xiàn)異地遠(yuǎn)程集中監(jiān)控，提供 可視化圖形監(jiān)控界面首頁(yè)布局及展開操作，提供記 憶功能，方便用戶再次打開時(shí) 保持原狀全方位的多數(shù)據(jù)庫(kù)實(shí)時(shí)監(jiān)控： 包括數(shù)據(jù)庫(kù)的數(shù)據(jù)文件、表空 間、SGA、等待事件、歸檔日 志等信息數(shù)據(jù)庫(kù)壞塊、碎片監(jiān)控及分析數(shù)據(jù)庫(kù)歷史統(tǒng)計(jì)分析異常告警提示優(yōu)勢(shì)Audit大型數(shù)據(jù)庫(kù)監(jiān)控與審計(jì)Audit大型數(shù)據(jù)庫(kù)監(jiān)控與審計(jì)功能實(shí)現(xiàn)異地遠(yuǎn)程集中監(jiān)控，提供可視化圖形監(jiān)控界面監(jiān)控異地多臺(tái)服務(wù)器CPU內(nèi)存磁盤和I/O、多數(shù)據(jù)庫(kù)異常事件告警，系統(tǒng)自動(dòng)通知到相關(guān)管理人員，在最 短的時(shí)間內(nèi)做出響應(yīng)，化解風(fēng)險(xiǎn)全球獨(dú)家支持壞塊、碎片監(jiān)控與分析優(yōu)勢(shì)支持多用戶多并發(fā)遠(yuǎn)程訪問支持SQL

37、自定義，協(xié)助DBA監(jiān)控查詢其關(guān)心的數(shù)據(jù)庫(kù) 參數(shù)，并為DBA顯示運(yùn)行趨勢(shì)，提高運(yùn)維效率支持定制，并可進(jìn)行二次開發(fā)運(yùn)行占用CPU資源 3%，占用內(nèi)存少于400MB，對(duì)網(wǎng)絡(luò)及I/O的影響可以忽略Audit應(yīng)用場(chǎng)景監(jiān)控?cái)?shù)據(jù)庫(kù)1MySQLDBMonitor監(jiān)控平臺(tái)監(jiān)控?cái)?shù)據(jù)庫(kù)N監(jiān)控服務(wù)器1Web客戶端1Web客戶端N.監(jiān)控服務(wù)器N監(jiān)控模型監(jiān)控?cái)?shù)據(jù)庫(kù)1MyS QLDBMonitor監(jiān)控平臺(tái)監(jiān)控?cái)?shù)據(jù)庫(kù)N監(jiān)控服務(wù)器1Web客戶端1Web客戶端N.監(jiān)控服務(wù)器NAgentAgent生產(chǎn)系統(tǒng)MySQLDBMonitor監(jiān)控平臺(tái)備份系統(tǒng)Web客戶端1Web客戶端N.AgentAgentAgent數(shù)據(jù)日志監(jiān)控模型壞塊、碎

38、片監(jiān)控模型Agent數(shù)據(jù)庫(kù)恢復(fù)模型監(jiān)控?cái)?shù)據(jù)庫(kù)1監(jiān)控?cái)?shù)據(jù)庫(kù)N監(jiān)控服務(wù)器1Web客戶端1Web客戶端N.監(jiān)控服務(wù)器NDSG監(jiān)控平臺(tái)Audit審計(jì) 平臺(tái)DBDBMonitor監(jiān) 控平臺(tái)MySQL數(shù)據(jù)庫(kù)運(yùn)行狀態(tài)監(jiān)控優(yōu)勢(shì)多服務(wù)器性能監(jiān)控支持多服務(wù)器并發(fā)監(jiān)控，對(duì)數(shù)據(jù)庫(kù)服 務(wù)器的CPU、內(nèi)存、磁盤及服務(wù)器進(jìn)程運(yùn) 行情況進(jìn)行全面監(jiān)控全方位的多數(shù)據(jù)庫(kù)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)文件、表空間、SGA、等待事件、歸檔日志等信息，提供詳盡的數(shù)據(jù)庫(kù)運(yùn)行情況剖析Audit大型數(shù)據(jù)庫(kù)監(jiān)控與審計(jì)歷史與對(duì)比對(duì)數(shù)據(jù)庫(kù)表空間、數(shù)據(jù)文件、IO及日志切換進(jìn)行統(tǒng)計(jì)分析，能夠通過 界面快速 查詢出用戶的歷史操作過程，分析事故 發(fā)生原因監(jiān)控到數(shù)據(jù)庫(kù)的任何一

39、個(gè)細(xì)小的操作，不僅包括用 戶的操作，數(shù)據(jù)庫(kù)后臺(tái)發(fā)起的定時(shí)任務(wù)、數(shù)據(jù)庫(kù)結(jié) 構(gòu)的改變、數(shù)據(jù)庫(kù)語(yǔ)句執(zhí)行的批量操作等都可被精 確審計(jì)5萬(wàn)筆/秒審計(jì)效率允許客戶自定義各種審計(jì)策略事件回放：通過界面快速查詢出用戶的歷史操作過 程，分析事故發(fā)生原因。提供全球領(lǐng)先的數(shù)據(jù)庫(kù)備份技術(shù)、日志分析和回滾 技術(shù)，可以高效、精確地修復(fù)被篡改的、或者被毀 壞的相關(guān)數(shù)據(jù)庫(kù)數(shù)據(jù)；能夠生成修復(fù)操作建議，便 于盡快恢復(fù)系統(tǒng)的正常運(yùn)行狀態(tài)優(yōu)勢(shì)Audit大型數(shù)據(jù)庫(kù)監(jiān)控與審計(jì)SQL審計(jì)可疑SQL審計(jì)資 源 消 耗 審 計(jì)企業(yè)級(jí)備份BDMP-云備份與分布式文件存儲(chǔ)DSGFS通過橫向擴(kuò)展支持?jǐn)?shù)PB級(jí)別存儲(chǔ)容量以及處理數(shù)千客戶端，可以 將物理

40、分布的存儲(chǔ)資源聚集在一起，使用單一全局命名空間來(lái)管理數(shù)據(jù)，適 合云備份的存儲(chǔ)管理，其特點(diǎn)：完成對(duì)稱式架構(gòu)，無(wú)元數(shù)據(jù)服務(wù)器；高可用性，在線擴(kuò)容，無(wú)單點(diǎn)故障；支持在線集群關(guān)系管理和集群擴(kuò)張收縮；通過存儲(chǔ)虛擬化技術(shù)和邏輯卷管理，實(shí)現(xiàn)彈性存儲(chǔ)，用戶可以靈活地增 加或縮減數(shù)據(jù)存儲(chǔ)以及增刪存儲(chǔ)池中的資源，而不需要中斷系統(tǒng)運(yùn)行；使用WEB界面管理，參數(shù)配置、安裝等操作簡(jiǎn)單化，方便用戶維護(hù)。功能介紹Vmware、Vsphere、Exsi 虛擬機(jī)備份、恢復(fù)、瞬時(shí)恢復(fù)(在秒級(jí) 時(shí)間內(nèi)快速恢復(fù)虛擬機(jī)到可用狀態(tài))、提供細(xì)粒度文件恢復(fù)，提供 更好的數(shù)據(jù)保護(hù)；提供完全備份、增量備份、差異備份等多種不同備份方式，并提供報(bào)表

41、查詢功能；提供對(duì)異構(gòu)存儲(chǔ)環(huán)境的支持，支持多種存儲(chǔ)類型，包括本地磁盤、分區(qū)、LVM、FC、iSCSI、NFS、CIFS等；支持分布式部署備份系統(tǒng)，多節(jié)點(diǎn)備份，統(tǒng)一管理，滿足大型虛 擬化環(huán)境虛擬機(jī)備份要求；支持Lan-Free傳輸模式，備份數(shù)據(jù)可直接通過SAN進(jìn)行傳輸，降 低傳統(tǒng)網(wǎng)絡(luò)傳輸?shù)拈_銷；重復(fù)數(shù)據(jù)刪除支持，有效減少數(shù)據(jù)傳輸和存儲(chǔ)的數(shù)據(jù)；支持虛擬化環(huán)境無(wú)代理備份；無(wú)人值守，各種策略支持。企業(yè)級(jí)備份BDMP-虛擬機(jī)備份與容災(zāi)某移動(dòng)雙中心應(yīng)急容災(zāi)平臺(tái)營(yíng)業(yè)庫(kù)北環(huán)中心B中心營(yíng)業(yè)庫(kù) 備份庫(kù)帳務(wù)庫(kù)B中心帳務(wù)庫(kù) 備份庫(kù)公共庫(kù)客服庫(kù)開通庫(kù)CBOSS庫(kù)A中心營(yíng)業(yè)庫(kù) 備份庫(kù)商貿(mào)路中心營(yíng)業(yè)庫(kù)A中心帳務(wù)庫(kù) 備份庫(kù)帳務(wù)

42、庫(kù)公共庫(kù)客服備份庫(kù)開通庫(kù)CBOSS備份庫(kù)不帶 A中 B中 區(qū)號(hào) 心公心公 的表 共庫(kù)共庫(kù) 同步 的備的備份同份同步 步A中心 備份 同步B中心 備份 同步營(yíng)業(yè)庫(kù)D中心營(yíng)業(yè)庫(kù) 備份庫(kù)C中心營(yíng)業(yè)庫(kù) 備份庫(kù)營(yíng)業(yè)庫(kù)電信行業(yè)：應(yīng)急災(zāi)備項(xiàng)目解決方案全庫(kù)復(fù)制，其他網(wǎng)省如寧 夏、廣西、南方基地、集 團(tuán)139郵箱、集團(tuán)網(wǎng)關(guān)系 統(tǒng)、集團(tuán)手機(jī)閱讀基地等解決營(yíng)業(yè)庫(kù)、賬務(wù)庫(kù)、公共庫(kù)、客服庫(kù)、開通庫(kù)、CBOSS 等數(shù)據(jù)庫(kù)的災(zāi)備、數(shù)據(jù)安全、雙活應(yīng)用銀行異地容災(zāi)案例 ：?jiǎn)翁紫到y(tǒng)每日增量3T的數(shù)據(jù)異地災(zāi)備某銀行異地容災(zāi)解決方案通過DSG數(shù)據(jù)庫(kù)實(shí)時(shí)復(fù)制軟件， 實(shí)現(xiàn)銀行13套核心數(shù)據(jù)庫(kù)從蘭 州到嘉峪關(guān)的雙活容災(zāi)容災(zāi)系統(tǒng)實(shí)時(shí)處于Active可用 狀態(tài)，發(fā)生故障時(shí)可以在幾分 鐘內(nèi)接管業(yè)務(wù)災(zāi)備系統(tǒng)在非故障時(shí)期可用作 查詢和統(tǒng)計(jì)報(bào)表，提高災(zāi)備系 統(tǒng)的使用率10倍以上的數(shù)據(jù)壓縮傳輸，適 應(yīng)低帶寬遠(yuǎn)程復(fù)制，節(jié)約帶寬 資源2-5s的平均延時(shí)，使RTO和RPO都趨近與零再次感謝廣大用戶對(duì)DSG的支持！企業(yè)集團(tuán)：中國(guó)移動(dòng)集團(tuán)、中國(guó)電信集團(tuán)、中國(guó)聯(lián)通集團(tuán)、國(guó)家電網(wǎng)、南方電網(wǎng)、中國(guó)民航、中國(guó)國(guó)航、中國(guó)一汽、中石油、格力集團(tuán)、中國(guó)中車.金融行業(yè)：中國(guó)金融期貨交易所、中國(guó)證券金融公司、中國(guó)