cdr技術基于數(shù)據(jù)流數(shù)據(jù)中心實時同步

1、基于數(shù)據(jù)流的數(shù)據(jù)中心實時同步技術 引領數(shù)據(jù)革命，讓大數(shù)據(jù)更簡單CDRContinuous Data Replication劉棟目的提供數(shù)據(jù)在多個數(shù)據(jù)中心Sponge集群間的數(shù)據(jù)異步實時復制提供容災和高可用性提供多種彈性的復制拓撲架構和方案提供數(shù)據(jù)的負載分離減少操作工作量和成本案例滿足數(shù)據(jù)中心建設“單中心-主中心+備份中心-兩地三中心-多地多中心”的發(fā)展趨勢讓數(shù)據(jù)更接近用戶，減少訪問延遲時間，最大程度上提升性能和用戶體驗。加速開發(fā)，數(shù)據(jù)在產品集群和開發(fā)測試集群間實時同步。引領數(shù)據(jù)革命，讓大數(shù)據(jù)更簡單多地多中心市級省級總部Sponge集群Sponge集群Sponge集群Sponge集群Sponge

2、集群Sponge集群Sponge集群引領數(shù)據(jù)革命，讓大數(shù)據(jù)更簡單讓數(shù)據(jù)更接近用戶引領數(shù)據(jù)革命，讓大數(shù)據(jù)更簡單加速開發(fā)Sponge集群Sponge集群Sponge集群Sponge集群產品集群Staging集群開發(fā)測試集群引領數(shù)據(jù)革命，讓大數(shù)據(jù)更簡單拓撲結構單向復制熱備用容災和故障恢復與第三方集成測試和開發(fā)產生報表雙向復制多個主集群容災和故障恢復數(shù)據(jù)的本地化更多樣的拓撲結構和更好的數(shù)據(jù)保護引領數(shù)據(jù)革命，讓大數(shù)據(jù)更簡單技術特色支持斷點重連。當由于各種原因如網(wǎng)絡，人為等造成CDR中斷，當服務恢復，CDR可以自動在斷點處重新開始復制。支持單向和雙向復制。數(shù)據(jù)逐漸一致性。支持數(shù)據(jù)復制的暫停和重新開始。支持

3、集群間數(shù)據(jù)傳輸?shù)臄?shù)據(jù)加密。支持文件過濾，可以指定文件夾，文件名或正則表達式，用戶名，文件大小，時間等引領數(shù)據(jù)革命，讓大數(shù)據(jù)更簡單文件管理層緩存層NFS數(shù)據(jù)塊集群內節(jié)點目的地集群持久層數(shù)據(jù)最終一致引領數(shù)據(jù)革命，讓大數(shù)據(jù)更簡單1234CDR隊列3持久隊列復制隊列數(shù)據(jù)流程當數(shù)據(jù)存入到Sponge文件系統(tǒng)，這些數(shù)據(jù)被分成一個個數(shù)據(jù)塊，每個數(shù)據(jù)塊通過NFS先存入到緩存層。數(shù)據(jù)塊在緩存層被加入到集群間復制隊列同時數(shù)據(jù)塊在緩存層被加入到持久隊列等待存入到持久層。當數(shù)據(jù)塊存入到持久層后，CDR會把數(shù)據(jù)塊復制到目標集群。在目標集群，數(shù)據(jù)塊也會先存到緩存層以提高性能。數(shù)據(jù)流復制引領數(shù)據(jù)革命，讓大數(shù)據(jù)更簡單容器1容

4、器2容器1容器2集群1集群2DCPDCP節(jié)點間內存復制引領數(shù)據(jù)革命，讓大數(shù)據(jù)更簡單持久層CDR隊列workerReplicatorReaderCDR workerworkerworkerCDR workerCDR workerCDR server持久層緩存層雙向復制的沖突解決方案當同一個文件被修改，決定文件的贏家：根據(jù)改變的變化順序: SeqnoCAS值TTL引領數(shù)據(jù)革命，讓大數(shù)據(jù)更簡單Seqno=1Seqno=2集群1集群2Bingo14CDR VS distcpdistcp是一個批處理的過程。數(shù)據(jù)傳輸不是實時。在數(shù)據(jù)傳輸過程中，如果數(shù)據(jù)有了變化，新的數(shù)據(jù)不會被監(jiān)測到并傳輸。不能檢測到傳輸過程中的出錯。由于是批處理，每次傳輸很耗費帶寬。需要用戶觸發(fā)使用建議雙向復制時，盡量避免對在不同集群對同一文件修改。不同集群的節(jié)點數(shù)量可以不同。對于產品集群要合理的si