雙活數(shù)據(jù)中心技術(shù)研究方案.ppt

雙活數(shù)據(jù)中心技術(shù)研究方案匯報 雙活數(shù)據(jù)中心研究項目組2020年3月10日 匯報內(nèi)容 雙活 多活數(shù)據(jù)中心實現(xiàn)方案 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 上海卡園 上海集電港 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務(wù) 虛擬資源 虛擬層次 匯報內(nèi)容 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 上?？▓@ 上海集電港 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務(wù) 虛擬資源 虛擬層次 WEB 應(yīng)用層雙活實現(xiàn)機制 WEB 應(yīng)用層雙活實現(xiàn)機制主要有三種 一是基于主機集群技術(shù) 二是基于WEBSERVER 應(yīng)用中間件軟件自身集群軟件實現(xiàn)功能 三是基于負載均衡設(shè)備方式 城域互聯(lián) 站點選擇服務(wù)器 WEB層雙活工作機制 WEB層雙活工作機制 城域互聯(lián) 站點選擇服務(wù)器 WEB層雙活工作機制 城域互聯(lián) 站點選擇服務(wù)器 應(yīng)用層雙活工作機制 城域互聯(lián) 應(yīng)用層雙活工作機制 城域互聯(lián) 應(yīng)用層雙活工作機制 城域互聯(lián) 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 上海卡園 上海集電港 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務(wù) 虛擬資源 虛擬層次 數(shù)據(jù)庫層雙活實現(xiàn)示意圖 跨機房的ORACLERAC集群 VPLEX 實現(xiàn)數(shù)據(jù)零丟失和數(shù)據(jù)庫實時切換 跨機房的數(shù)據(jù)庫利用數(shù)據(jù)同步復(fù)制技術(shù) 通過應(yīng)用部署實現(xiàn)讀寫分離 數(shù)據(jù)庫層雙活實現(xiàn)機制主要有兩種 一是基于ORACLERAC VPLEX 二是基于ORACLEDATAGUARD GOLDENGATE 數(shù)據(jù)庫層雙活實現(xiàn)機制 ERAC 數(shù)據(jù)庫層雙活實現(xiàn)機制 ERAC 數(shù)據(jù)庫層雙活實現(xiàn)機制 讀寫分離 主應(yīng)用域 應(yīng)用域1 主數(shù)據(jù)庫 應(yīng)用域2 應(yīng)用域k 客戶端1 客戶端2 客戶端k RAC Node1 RAC Node2 RAC Nodej 備數(shù)據(jù)庫 OracleDB Server ActiveDataGuard 輔助應(yīng)用域 應(yīng)用域1 應(yīng)用域i 鏡像庫 OracleDB Server GoldenGateSharePlex存儲復(fù)制等 災(zāi)備精算 數(shù)據(jù)庫層雙活實現(xiàn)機制 讀寫分離 主應(yīng)用域 應(yīng)用域1 主數(shù)據(jù)庫 應(yīng)用域2 應(yīng)用域k 客戶端1 客戶端2 客戶端k RAC Node1 RAC Node2 RAC Nodej 數(shù)據(jù)庫 OracleDB Server 主 輔助應(yīng)用域 應(yīng)用域1 應(yīng)用域i k 鏡像庫 OracleDB Server GoldenGateSharePlex存儲復(fù)制等 災(zāi)備精算 數(shù)據(jù)庫層雙活實現(xiàn)機制 讀寫分離 主應(yīng)用域 應(yīng)用域1 主數(shù)據(jù)庫 應(yīng)用域2 應(yīng)用域k 客戶端1 客戶端2 客戶端k RAC Node1 RAC Node2 RAC Nodej 數(shù)據(jù)庫 OracleDB Server 主 輔助應(yīng)用域 應(yīng)用域1 應(yīng)用域i k 鏡像庫 OracleDB Server 主 輔助應(yīng)用域 應(yīng)用域1 應(yīng)用域i k 數(shù)據(jù)庫層雙活實現(xiàn)機制對比 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 上?？▓@ 上海集電港 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務(wù) 虛擬資源 虛擬層次 系統(tǒng)平臺層雙活實現(xiàn)機制 VMFSActive Active ESX備份代理 VPLEXMetro 城域互聯(lián)RTT 5ms 卡園 集電港 AccessAnywhere LAN SAN SAN VPLEXMetro FC VMFSActive Active StorageArray StorageArray ITOIVDC集中監(jiān)控控制臺 AvamarDataStore AvamarDataStore AvamarProxyVM ITOI虛擬服務(wù)器 Nexus7000 Nexus7000 ESX ESX ESX備份代理 ITOI虛擬服務(wù)器 ESX ESX SAN SAN LAN 備份數(shù)據(jù)復(fù)制 虛機在線透明遷移 基于VPLEX技術(shù)的虛擬機雙活解決方案 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 上?？▓@ 上海集電港 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務(wù) 虛擬資源 虛擬層次 存儲復(fù)制示意圖 利用基于存儲的數(shù)據(jù)復(fù)制 可以實現(xiàn)災(zāi)備 但不能實現(xiàn)實時雙活 災(zāi)備數(shù)據(jù)不能實時使用 切換時間較長 主機卷工作示意圖 主機 磁盤陣列 磁盤陣列 城域互聯(lián) LogicVolume 上海集電港 上?？▓@ PhysicalVolume PhysicalVolume 鏡像 I O I O I O 同步距離 利用基于主機的卷管理軟件 實現(xiàn)物理卷映射為邏輯卷的方式 將兩個數(shù)據(jù)中心的物理卷 映射為一個主機可見的邏輯卷 并在邏輯卷的層次 實現(xiàn)I O分離 城域互聯(lián) 虛擬機群 10110 10110 10110 10110 ACK ACK ACK ACK 同步距離 主機 主機 磁盤陣列 磁盤陣列 V PlexCluster 1 上?？▓@ V PlexCluster 2 上海集電港 分布式的設(shè)備部署 存儲雙活示意圖 存儲雙活實現(xiàn)機制 存儲雙活實現(xiàn)機制主要有四種 一是基于主機卷復(fù)制技術(shù) 二是基于存儲虛擬化技術(shù) 三是基于存儲復(fù)制技術(shù) 四是基于SAN網(wǎng)絡(luò)復(fù)制技術(shù) 匯報內(nèi)容 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 上?？▓@ 上海集電港 訪問接入層 Web層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務(wù) 虛擬資源 虛擬層次 扁平化網(wǎng)絡(luò)接入 網(wǎng)絡(luò)扁平化 將實現(xiàn)全公司業(yè)務(wù)終端的便捷網(wǎng)絡(luò)接入和快速網(wǎng)絡(luò)傳輸 將實現(xiàn)網(wǎng)絡(luò)平臺與業(yè)務(wù)平臺松耦合的跨越 降低業(yè)務(wù)系統(tǒng)部署位置對用戶端的影響 核心網(wǎng)將成為多中心網(wǎng)絡(luò)傳輸平臺 有效保障了多活中心的靈活部署 大大降低多活中心廣域網(wǎng)部署復(fù)雜度和資金投入 訪問接入層的雙活實現(xiàn)機制 為滿足雙活數(shù)據(jù)中心的需求 必須使客戶端的請求在多個中心進行智能選擇 實現(xiàn)業(yè)務(wù)的連續(xù)性 性能最優(yōu) 故障切換 按需連接 實現(xiàn)站點選擇通常有兩種方式 一是傳統(tǒng)站點輪詢技術(shù) 二是站點負載均衡技術(shù) 卡園數(shù)據(jù)中心 匯聚層 接入層 負載均衡設(shè)備 核心網(wǎng) 訪問接入層的雙活實現(xiàn)方案 WEB AP DB WEB AP DB 集電港數(shù)據(jù)中心 匯聚層 接入層 負載均衡設(shè)備 WEB AP DB WEB AP DB 站點選擇設(shè)備 站點選擇設(shè)備 js cbps8 clic 城域互聯(lián) 1 5 1 5 2 3 用戶端通過公司內(nèi)網(wǎng)DNS解析域名請求 DNS解析請求被轉(zhuǎn)向站點選擇設(shè)備站點選擇設(shè)備探測域名所對應(yīng)的多個服務(wù)器的狀態(tài) 并返回最合適的服務(wù)器IP地址 以實現(xiàn)多數(shù)據(jù)中心間負載均衡用戶訪問對應(yīng)的WEB 應(yīng)用服務(wù)器當其中一個數(shù)據(jù)中心的WEB 應(yīng)用服務(wù)器出現(xiàn)故障或數(shù)據(jù)中心出現(xiàn)故障 用戶自動流量自動切換到正常數(shù)據(jù)中心的服務(wù)器 從而實現(xiàn)雙活 站點選擇設(shè)備對WEB 應(yīng)用服務(wù)器狀態(tài)的檢測 卡園數(shù)據(jù)中心 匯聚層 接入層 負載均衡設(shè)備 核心網(wǎng) WEB 應(yīng)用層雙活實現(xiàn)方案 WEB AP DB WEB AP DB 集電港數(shù)據(jù)中心 匯聚層 接入層 負載均衡設(shè)備 WEB AP DB WEB AP DB js cbps8 clic 城域互聯(lián) 1 2 2 用戶不直接訪問服務(wù)器 而是訪問負載均衡設(shè)備的虛擬IP負載均衡設(shè)備探測虛IP對應(yīng)的多個服務(wù)器的狀態(tài) 將流量指向合適的服務(wù)器 并在業(yè)務(wù)處理過程中保持會話的一致性當其中一臺WEB 應(yīng)用服務(wù)器出現(xiàn)故障時 用戶自動流量自動切換到正常的服務(wù)器 從而實現(xiàn)數(shù)據(jù)中心內(nèi)部高可用當數(shù)據(jù)中心出現(xiàn)故障時 通過訪問接入層策略將流量遷引至正常數(shù)據(jù)中心 負載均衡設(shè)備對于會話狀態(tài)的保持負載均衡設(shè)備對WEB 應(yīng)用服務(wù)器狀態(tài)的檢測 2 網(wǎng)絡(luò)層雙活實現(xiàn)機制 兩地三中心多活模式下的網(wǎng)絡(luò)互聯(lián)和存儲備份 需要保證IP網(wǎng)絡(luò)的高可用性 又要保證能夠滿足既定RTO RPO目標及多活要求 大量使用Vmware虛擬化技術(shù) 需要多活中心間二層互通 同城間同步數(shù)據(jù)復(fù)制 需滿足OracleDataGuard同步復(fù)制或ORACLERAC VPLEX的實際要求 異地間異地數(shù)據(jù)復(fù)制技術(shù) 需滿足OracleDataGuard Goldengate技術(shù)的實際要求 考慮在卡園和集電港間部署DWDM設(shè)備 實現(xiàn)IP網(wǎng) 存儲網(wǎng)的高可用 網(wǎng)絡(luò)上通過直接二層互聯(lián)或OTV技術(shù)實現(xiàn)二層互通 在北京和上海間用SDH構(gòu)建核心傳輸網(wǎng) 實現(xiàn)IP網(wǎng)絡(luò)高速互通 同城網(wǎng)絡(luò)互聯(lián)方案 業(yè)務(wù)主機 存儲 存儲交換機 FC 城域波分系統(tǒng)可以提供豐富和大量的光纖接口 如 GE 10GE FC等 城域波分 主數(shù)據(jù)中心 光傳輸設(shè)備 以太交換機 業(yè)務(wù)主機 存儲 存儲交換機 FC 同城數(shù)據(jù)中心 光傳輸設(shè)備 以太交換機 DWDM DenseWavelengthDivisionMultiplexing 密集型光波復(fù)用 VMotion遷移虛擬機 SAN iSCSI或NAS 動態(tài)遷移可在X86架構(gòu)的VMWAREESX上實現(xiàn) 在不中斷服務(wù)的情況下 將VM遷移到其他的物理服務(wù)器上 可用在災(zāi)備 資源調(diào)整 服務(wù)器維護等場合 實現(xiàn)遷移的服務(wù)器必須在一個二層網(wǎng)絡(luò)內(nèi) VM的GW在相同設(shè)備上 虛擬機動態(tài)遷移需要二層網(wǎng)絡(luò)的支持 同城網(wǎng)絡(luò)二層擴展需求 OTV虛擬化技術(shù)有兩個或以上的數(shù)據(jù)中心L2互聯(lián)需求或者數(shù)據(jù)中心內(nèi)有跨L3的L2連接需求 需要盡量避免跨數(shù)據(jù)中心STP環(huán)路 優(yōu)化跨數(shù)據(jù)中心擴展局域網(wǎng)的廣播流量 對多地點的網(wǎng)關(guān)一致性有配套的解決方案 需要支持跨數(shù)據(jù)中心虛擬資源的自由調(diào)度 需要建立跨數(shù)據(jù)中心的服務(wù)器集群等 OTV技術(shù)不受數(shù)據(jù)中心互聯(lián)介質(zhì)影響 Source IPs OTV OTV Receiver OTV IPA 數(shù)據(jù)中心1 數(shù)據(jù)中心2 生產(chǎn)服務(wù)器 主數(shù)據(jù)中心 同城數(shù)據(jù)中心 A B 0 0 OTV Source IPs IPA Receiver 同城網(wǎng)絡(luò)連接示意圖 IPB Internet CN2MPLS核心網(wǎng) CN2MPLS核心網(wǎng) Internet 集電港數(shù)據(jù)中心 卡園數(shù)據(jù)中心 DMZ路由 廣域網(wǎng)路由 廣域網(wǎng)路由 DMZ路由 OTV服務(wù) 核心交換Catalyst6500 核心交換 DWDM通信系統(tǒng)ONS15400 生產(chǎn)應(yīng)用匯聚交換 生產(chǎn)應(yīng)用匯聚交換 同城網(wǎng)絡(luò)連接實現(xiàn)方案 Nexus7000 Nexus7000 異地網(wǎng)絡(luò)連接示意圖 上海數(shù)據(jù)中心 北京數(shù)據(jù)中心 155 622MSDH FCIP隧道 Source IPs IPA VLAN1 OTV Receiver IPB VLAN1 OTV 數(shù)據(jù)中心雙活 多活的實現(xiàn)示意圖 廣域網(wǎng) Active Active應(yīng)用服務(wù)器層 Active Standby數(shù)據(jù)庫層orActive ActiveForDifferentApplication Active ActiveWeb層 廣域網(wǎng) 運營商A 運營商B INTERNET 盤陣 數(shù)據(jù)庫 應(yīng)用 Web 網(wǎng)絡(luò)核心 匯聚 接入 Active StandbyWeb層 異步數(shù)據(jù)復(fù)制 Active Standby應(yīng)用服務(wù)器層 Active Standby數(shù)據(jù)庫層 上?？▓@ 上海集電港 北京稻香湖 INTERNET 訪問 Active Active用戶訪問層 Active Active用戶訪問層 同步數(shù)據(jù)復(fù)制 155 622MSDH DMZ區(qū) 核心網(wǎng) 廣域網(wǎng) LAN區(qū) 安全管理區(qū) DMZ區(qū) 核心網(wǎng) 廣域網(wǎng) LAN區(qū) 安全管理區(qū) Internet 站點選擇服務(wù)路由優(yōu)化 站點選擇服務(wù)路由優(yōu)化 防火墻入侵檢測 防火墻入侵檢測 DWDM 統(tǒng)一的安全管理 安全事件的關(guān)聯(lián) CN2MPLS核心網(wǎng) 集電港數(shù)據(jù)中心 卡園數(shù)據(jù)中心 雙活中心安全服務(wù)部署 事件收集分析和關(guān)聯(lián) 事件收集分析和關(guān)聯(lián) 站點選擇服務(wù)防火墻入侵防御 站點選擇服務(wù)防火墻入侵防御 雙活中心網(wǎng)絡(luò)路徑管理 DMZ區(qū) 核心網(wǎng) 廣域網(wǎng) 網(wǎng)絡(luò)匯聚區(qū) DMZ區(qū) 核心網(wǎng) 廣域網(wǎng) Internet 站點選擇服務(wù)防火墻入侵防御 站點選擇服務(wù)路由優(yōu)化 站點選擇服務(wù)路由優(yōu)化 防火墻負載均衡 防火墻入侵檢測 DWDM CN2MPLS核心網(wǎng) 集電港數(shù)據(jù)中心 卡園數(shù)據(jù)中心 網(wǎng)絡(luò)匯聚區(qū) 服務(wù)器區(qū) 服務(wù)器區(qū) 站點選擇服務(wù)防火墻入侵防御 防火墻Active Standby 二層網(wǎng)關(guān)路由控制站點選擇負載均衡防火墻 網(wǎng)絡(luò)路徑管理 匯報內(nèi)容 相關(guān)技術(shù)總結(jié) 實現(xiàn)難點 應(yīng)用系統(tǒng)分級 核心系統(tǒng)采用讀寫分離 非核心系統(tǒng)虛擬化 存儲不虛擬化 核心系統(tǒng) UNIX應(yīng)用技術(shù)方案 非核心系統(tǒng) X86平臺應(yīng)用 綜合方案一 成本分析主要依據(jù)是與原有的兩地三中心方案做對比 分析需要增加的成本 核心系統(tǒng) UNIX應(yīng)用需增加的成本 非核心系統(tǒng) X86平臺應(yīng)用需增加的成本 綜合方案一成本分析 核心系統(tǒng)采用ExtendedRAC 非核心系統(tǒng)虛擬化 存儲虛擬化 核心系統(tǒng) UNIX應(yīng)用技術(shù)方案 非核心系統(tǒng) X86平臺應(yīng)用 綜合方案二 核心系統(tǒng) UNIX應(yīng)用需增加的成本 非核心系統(tǒng) X86平臺應(yīng)用需增加的成本 綜合方案二成本分析 核心系統(tǒng)采用讀寫分離 非核心系統(tǒng)虛擬化 非核心存儲虛擬化 核心系統(tǒng) UNIX應(yīng)用技術(shù)方案 非核心系統(tǒng) X86平臺應(yīng)用 綜合方案三 核心系統(tǒng) UNIX應(yīng)用需增加的成本 非核心系統(tǒng) X86平臺應(yīng)用需增加的成本 綜合方案三成本分析 匯報內(nèi)容 技術(shù)測試方案 基于雙活規(guī)劃設(shè)計 模擬卡園和集電港基礎(chǔ)架構(gòu)環(huán)境 驗證關(guān)鍵技術(shù)要點 并評估整體方案的可行性 包括 1 整體架構(gòu)的可行性 2 實現(xiàn)跨機房的虛擬資源靈活調(diào)度 統(tǒng)一管理 提供基礎(chǔ)架構(gòu)云服務(wù) 3 實現(xiàn)對用戶透明的應(yīng)用服務(wù)負載均衡 4 異常運行狀態(tài)下 實現(xiàn)對用戶透明的快速應(yīng)用服務(wù)切換 包括接入層 應(yīng)用層 數(shù)據(jù)庫層 存儲層 網(wǎng)絡(luò)層等 5 對各類相關(guān)技術(shù)進行功能性測試 基于測試結(jié)果 進一步明確未來卡園和集電港雙活實現(xiàn)目標 通過測試 發(fā)現(xiàn)規(guī)劃設(shè)計中存在的問題與不足 并對設(shè)計規(guī)劃進行相應(yīng)的調(diào)整 通過測試 識別雙活中心實施和管理中可能存在的技術(shù)風險 作為后續(xù)實施計劃和運維方案設(shè)計的參考 在測試過程中 幫助運維管理人員熟悉新引入的解決方案和設(shè)備配置方法 測試目標 測試場地 北京朝陽門機房測試時間 2011年10 11月測試人員 中國人壽雙活研究項目組主導(dǎo) 相關(guān)廠商參與 包括 思科 HP EMC Vmware Oracle HDS F5 Quest 博科 IBM等 測試部署 模擬卡園 模擬集電港 模擬遠程節(jié)點 存儲 MDS MDS GSS GSS DWDM ONS ONS 應(yīng)用終端 2 ISR2800 Cat3750 N7K N7K ACE TUXEDO應(yīng)用服務(wù)器 存儲 VPlex Web服務(wù)器 應(yīng)用與SQL數(shù)據(jù)庫服務(wù)器 基于虛擬機 Web服務(wù)器 應(yīng)用與SQL數(shù)據(jù)庫服務(wù)器 基于虛擬機 TUXEDO應(yīng)用服務(wù)器 OracleRAC服務(wù)器 2 終端服務(wù)器 管理服務(wù)器 ITOI A