浪潮青島政務(wù)云雙活建設(shè)運營方案-v20

1、 青島政務(wù)云方案青島市政務(wù)云計算中心雙活設(shè)計方案浪潮軟件集團有限公司2015年06月目 錄第1章 項目概述- 3 -第2章 青島電子政務(wù)云雙活架構(gòu)- 4 -2.1 青島電子政務(wù)云雙活網(wǎng)絡(luò)拓?fù)鋱D- 4 -2.2 青島雙活建設(shè)方案- 6 -2.2.1 網(wǎng)絡(luò)雙活- 6 -2.2.1 安全雙活- 8 -2.2.2 存儲雙活- 8 -2.2.3 數(shù)據(jù)庫雙活- 9 -2.2.4 應(yīng)用雙活- 9 -2.2.5 雙活中心應(yīng)用發(fā)布- 10 -第3章 產(chǎn)品列表及報價- 12 -第1章 項目概述青島云計算中心與災(zāi)備中心一體化項目于2010年12月，浪潮組織專家隊伍與電政辦進(jìn)行技術(shù)交流后展開方案設(shè)計，2011年3月啟

2、動項目實景測試，最后選定浪潮提供的解決方案，2012年5月正式投入建設(shè)，本著統(tǒng)籌兼顧、嚴(yán)格標(biāo)準(zhǔn)、綠色環(huán)保的建設(shè)原則，經(jīng)過緊張施工、監(jiān)管，同年10月完成基礎(chǔ)環(huán)境搭建，開始遷移業(yè)務(wù)進(jìn)行試運行。隨著業(yè)務(wù)應(yīng)用和用戶增多，現(xiàn)有資源無法滿足需求，亟需改造服務(wù)方式，使之在容量上滿足用戶需求，在業(yè)務(wù)上能提供更多的服務(wù)。為滿足青島電子政務(wù)云大集中模式的主干系統(tǒng)對可用性、可靠性和安全性的要求，青島電子政務(wù)云規(guī)劃建設(shè)“兩地三中心”的主干系統(tǒng)運行環(huán)境，即青島雙中心和災(zāi)備中心，保障業(yè)務(wù)數(shù)據(jù)的安全、可靠，提高業(yè)務(wù)系統(tǒng)穩(wěn)定性和業(yè)務(wù)連續(xù)性。本期建設(shè)標(biāo)準(zhǔn)一致的青島雙中心，在建設(shè)過程中須充分考慮今后青島雙中心與災(zāi)備中心的切換要求

3、。第2章 青島電子政務(wù)云雙活架構(gòu)2.1 青島電子政務(wù)云雙活網(wǎng)絡(luò)拓?fù)鋱D原青島市電子政務(wù)云平臺（原7樓機房）通過光纖與浪潮云中心互聯(lián)，實現(xiàn)云計算中心一體化架構(gòu)。本次項目涉及的主要業(yè)務(wù)系統(tǒng)均在同城兩個中心雙活建設(shè)，兩個中心實現(xiàn)雙活的基本原則為同樣的業(yè)務(wù)程序基于無差別的數(shù)據(jù)資源，在用戶的相同訪問請求下獲取同樣的業(yè)務(wù)服務(wù)，在實施上基于應(yīng)用層和數(shù)據(jù)層的不同特點采用不同的技術(shù)實現(xiàn)：1、雙中心網(wǎng)絡(luò)部署大二層結(jié)構(gòu)2、應(yīng)用服務(wù)器跨中心部署應(yīng)用負(fù)載均衡群集3、雙數(shù)據(jù)中心數(shù)據(jù)庫遠(yuǎn)程RAC技術(shù)實現(xiàn)數(shù)據(jù)庫的雙活4、存儲虛擬化技術(shù)部署跨中心的分布式存儲保障數(shù)據(jù)一致5、DNS智能解析保障三中心對外提供連續(xù)的業(yè)務(wù)訪問服務(wù)兩個數(shù)

4、據(jù)中心擁有一致的業(yè)務(wù)數(shù)據(jù)，采用橫跨兩個本地數(shù)據(jù)中心的數(shù)據(jù)負(fù)載集群（如Oracle RAC）實現(xiàn)，保證在數(shù)據(jù)處理層數(shù)據(jù)的一致。兩個數(shù)據(jù)中心擁有無差別的業(yè)務(wù)程序包，且業(yè)務(wù)程序包與數(shù)據(jù)資源解耦，每個雙活的業(yè)務(wù)程序均橫跨兩個中心部署，且在每個中心內(nèi)可以由多個節(jié)點負(fù)載部署；應(yīng)用服務(wù)器應(yīng)用一致性以及會話信息同步采用中間件集群方式實現(xiàn)。兩個中心對所有關(guān)鍵應(yīng)用均采用雙活的機制運行，客戶請求在任一時刻請求任何的雙活業(yè)務(wù)兩個中心都會即時響應(yīng)。也就是所有的雙活應(yīng)用同時在本地兩個數(shù)據(jù)中心部署和發(fā)布，擁有兩套同時存活的服務(wù)接口地址。實現(xiàn)的難點在于怎么有效地引導(dǎo)客戶請求負(fù)載分發(fā)到兩套服務(wù)接口，且不引入單局點故障。這里的單

5、局點故障對象為“本地雙活的任一數(shù)據(jù)中心”，不同于傳統(tǒng)單點故障的對象為“物理設(shè)備或鏈路單點”。也就是說訪問入口不能唯一，因為兩套獨立的服務(wù)接口地址同時與外部網(wǎng)絡(luò)相接，而外部網(wǎng)絡(luò)（無論報檢專網(wǎng)還是Internet網(wǎng)絡(luò)）的感知和按需變化能力有限，不能滿足唯一訪問入口在兩個數(shù)據(jù)中心間轉(zhuǎn)移的需要。本地雙活中心與客戶端之間有兩套獨立的網(wǎng)絡(luò)；不可能在兩個中心間實現(xiàn)一個唯一的IP入口。所以本項目采用全局負(fù)載均衡實現(xiàn)一個業(yè)務(wù)域名與兩個業(yè)務(wù)入口的關(guān)聯(lián)映射，或使用客戶端智能偵測擇優(yōu)連接實現(xiàn)對中心的隨機訪問。借助負(fù)載均衡設(shè)備，把“業(yè)務(wù)域名”負(fù)載解析到本地兩個雙活數(shù)據(jù)中心以及未來的廣州災(zāi)備中心的業(yè)務(wù)訪問入口。本期項目建

6、設(shè)中在同城雙活數(shù)據(jù)中心分別部署智能DNS策略，配置相同的DNS智能解析策略，把客戶端初次訪問請求平均負(fù)載到本地兩個雙活數(shù)據(jù)中心的負(fù)載均衡設(shè)備對外lP地址；實現(xiàn)訪問基于智能DNS的負(fù)載均衡。用戶請求在經(jīng)DNS解析引導(dǎo)到某一數(shù)據(jù)中心后會慣性繼續(xù)訪問這一中心不會隨機到另一數(shù)據(jù)中心，只有當(dāng)該數(shù)據(jù)中心不存活后才會向DNS重新請求解析。在本地雙活數(shù)據(jù)中心內(nèi)，采用負(fù)載均衡設(shè)備，在最前端形成一個統(tǒng)一的訪問入口，方便客戶端對業(yè)務(wù)系統(tǒng)的訪問。負(fù)載均衡設(shè)備采用基于負(fù)載的各種壓力算法，結(jié)合服務(wù)節(jié)點存活檢測機制，把訪問會話基于負(fù)載均衡的原則分發(fā)到存活的應(yīng)用服務(wù)器集群節(jié)點上。負(fù)載均衡設(shè)備執(zhí)行應(yīng)用分配工作，以雙機HA模式接

7、入，為集群內(nèi)的應(yīng)用服務(wù)器提供應(yīng)用交換服務(wù)，結(jié)合健康檢查和業(yè)務(wù)特點，提供豐富的負(fù)載均衡算法組合（包括輪詢、加權(quán)輪詢、加權(quán)最少連接、最快響應(yīng)、動態(tài)反饋、優(yōu)先級等），滿足多種生產(chǎn)環(huán)境下的業(yè)務(wù)需求。2.2 青島雙活建設(shè)方案兩個數(shù)據(jù)中心擁有一致的業(yè)務(wù)數(shù)據(jù)，采用橫跨兩個本地數(shù)據(jù)中心的數(shù)據(jù)負(fù)載集群實現(xiàn)，保證在數(shù)據(jù)處理層數(shù)據(jù)的一致。兩個數(shù)據(jù)中心擁有無差別的業(yè)務(wù)程序包，且業(yè)務(wù)程序包與數(shù)據(jù)資源解耦，每個雙活的業(yè)務(wù)程序均橫跨兩個中心部署，且在每個中心內(nèi)可以由多個節(jié)點負(fù)載部署；應(yīng)用服務(wù)器應(yīng)用一致性以及會話信息同步采用應(yīng)用集群+Session集中方式實現(xiàn)。雙活包括以下幾個層面：網(wǎng)絡(luò)雙活、安全雙活、存儲雙活、數(shù)據(jù)庫雙活、

8、應(yīng)用雙活。其中，網(wǎng)絡(luò)與存儲的的雙活是數(shù)據(jù)庫雙活、應(yīng)用雙活的基礎(chǔ)。2.2.1 網(wǎng)絡(luò)雙活網(wǎng)絡(luò)雙活采用大二層（L2）結(jié)構(gòu)，四臺核心交換機采用虛擬化集群技術(shù)形成一臺邏輯交換機，其端口數(shù)目、交換容量是各臺成員設(shè)備之和，具備較高的可擴展性、可靠性，統(tǒng)一處理數(shù)據(jù)集中后的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)發(fā)。網(wǎng)絡(luò)系統(tǒng)的分區(qū)可根據(jù)應(yīng)用部署分區(qū)進(jìn)行劃分，可結(jié)合數(shù)據(jù)中心網(wǎng)絡(luò)要求增加相應(yīng)的分區(qū)。青島雙數(shù)據(jù)中心采用大二層(L2)結(jié)構(gòu)，將來青島雙中心與災(zāi)備中心間考慮采用三層(L3)結(jié)構(gòu)。數(shù)據(jù)中心核心層的設(shè)計要點為：1、高性能：核心層應(yīng)能高速無阻塞的轉(zhuǎn)發(fā)生產(chǎn)數(shù)據(jù)。2、高可擴展：核心層結(jié)構(gòu)應(yīng)具備較高的可擴展能力，并隨著業(yè)務(wù)的發(fā)展能夠進(jìn)行網(wǎng)絡(luò)規(guī)模的擴

9、展。3、高可靠性：網(wǎng)絡(luò)核心應(yīng)具備極高的可靠性，各數(shù)據(jù)中心應(yīng)具備雙核心結(jié)構(gòu)。青島同城兩個數(shù)據(jù)中心組成雙活數(shù)據(jù)中心，同時承擔(dān)青島電子政務(wù)云數(shù)據(jù)大集中后的業(yè)務(wù)數(shù)據(jù)核心層轉(zhuǎn)發(fā)。為確保核心節(jié)點設(shè)備的可靠性，各數(shù)據(jù)中心均配置雙核心交換機。2臺核心交換機采用虛擬化集群技術(shù)形成一臺邏輯交換機，統(tǒng)一處理數(shù)據(jù)集中后的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)發(fā)。四臺核心交換機形成虛擬交換機后，端口數(shù)目、交換容量是各臺成員設(shè)備之和，可提高雙活數(shù)據(jù)中心的網(wǎng)絡(luò)性能。為確保交換機間鏈路連接的冗余，四臺核心交換機間采用環(huán)形連接。隨著數(shù)據(jù)大集中的發(fā)展和虛擬化技術(shù)的應(yīng)用，數(shù)據(jù)中心的規(guī)模與日俱增，不僅對二層網(wǎng)絡(luò)的區(qū)域范圍要求也越來越大，在需求和管理水平上也提出

10、了新的挑戰(zhàn)。數(shù)據(jù)中心區(qū)域規(guī)模和業(yè)務(wù)處理需求的增加，對于集群處理的應(yīng)用越來越多，集群內(nèi)的服務(wù)器需要在一個二層VLAN下。同時，虛擬化技術(shù)的應(yīng)用，在帶來業(yè)務(wù)部署的便利性和靈活性基礎(chǔ)上，虛擬機的遷移問題也成為必須要考慮的問題。為了保證虛擬機承載業(yè)務(wù)的連續(xù)性，虛擬機遷移前后的IP地址不變，因此虛擬機的遷移范圍需要在同一個二層VLAN下。反過來即，二層網(wǎng)絡(luò)規(guī)模有多大，虛擬機才能遷移有多遠(yuǎn)。傳統(tǒng)的基于STP備份設(shè)備和鏈路方案已經(jīng)不能滿足數(shù)據(jù)中心規(guī)模、帶寬的需求，并且STP協(xié)議幾秒至幾分鐘的故障收斂時間，也不能滿足數(shù)據(jù)中心的可靠性要求。因此，需要能夠有新的技術(shù)，在滿足二層網(wǎng)絡(luò)規(guī)模的同時，也能夠充分利用冗余設(shè)

11、備和鏈路，提升鏈路利用率，而且數(shù)據(jù)中心的故障收斂時間能夠降低到亞秒甚至毫秒級。大二層首先需要解決的是數(shù)據(jù)中心內(nèi)部的網(wǎng)絡(luò)擴展問題，通過大規(guī)模二層網(wǎng)絡(luò)和VLAN延伸，實現(xiàn)虛擬機在數(shù)據(jù)中心內(nèi)部的大范圍遷移。IRF2是一種虛擬化技術(shù)，從對提升網(wǎng)絡(luò)整體效率的角度，起到了一種橫向整合的作用，即在不改變網(wǎng)絡(luò)物理拓?fù)溥B接結(jié)構(gòu)條件下，將網(wǎng)絡(luò)同一層的多臺設(shè)備橫向整合，從邏輯上簡化了網(wǎng)絡(luò)架構(gòu)。由于整合后的IRF2系統(tǒng)具備跨設(shè)備鏈路聚合功能，因此，不同網(wǎng)絡(luò)層之間的電纜互聯(lián)也可通過邏輯整合，多條鏈路被捆綁成一條聚合的邏輯鏈路。2.2.1 安全雙活安全雙活:兩臺安全部署，不使用傳統(tǒng)HA方案機制，但增加互相策略、會話備份和

12、流量轉(zhuǎn)發(fā)通道。一臺設(shè)備先收到一條流的報文，則建立本地會話，同時向另一臺防火墻同步對端會話，當(dāng)另一臺防火墻收到這條流的后續(xù)報文時，匹配到對端會話，則將流量轉(zhuǎn)發(fā)到建有本地會話的防火墻上處理。這樣能夠保證同一條流的所有流量都由同一臺安全來處理，延續(xù)會話的一致性，以便解決非對稱流量問題。同時，由于兩臺安全的物理接口都是分別獨立互聯(lián)，路由模式部署時，分別使用各自已建立好的動態(tài)路由鄰居關(guān)系，這樣當(dāng)單臺設(shè)備故障時，HA切換的時間就比較短，不會出現(xiàn)不可忍受的丟包現(xiàn)象。對等模式是安全全活考慮的解決方案。要求兩臺防火墻（工作在透明模式或者路由模式）部署在雙活并且起了動態(tài)路由協(xié)議（如OSPF、BGP）的CE與PE之

13、間，主要做訪問控制和攻擊防護，路由模式部署時一般還需要做網(wǎng)絡(luò)地址轉(zhuǎn)換。由于路由的冗余，會有非對稱路由的問題出現(xiàn)：如圖6所示，用戶側(cè)訪問網(wǎng)絡(luò)側(cè)的流量走一臺防火墻，而網(wǎng)絡(luò)側(cè)回用戶側(cè)的流量走了另一臺防火墻。防火墻作為狀態(tài)檢測設(shè)備，無論是采用單機還是AP/AA模式部署，都會出現(xiàn)由于匹配不到會話，非對稱流量無法通過狀態(tài)檢測而中斷的問題，同時影響應(yīng)用流量管理、入侵防御等多個功能。2.2.2 存儲雙活為滿足青島電子政務(wù)云主干系統(tǒng)環(huán)境建設(shè)項目災(zāi)備數(shù)據(jù)中心存儲平臺建設(shè)，滿足數(shù)據(jù)業(yè)務(wù)99.99%的連續(xù)性要求，方案設(shè)計為生產(chǎn)數(shù)據(jù)中心和災(zāi)備數(shù)據(jù)中心的應(yīng)用系統(tǒng)提供存儲資源，同時結(jié)合同城容災(zāi)機房進(jìn)行容災(zāi)建設(shè)，為災(zāi)備數(shù)據(jù)中

14、心的應(yīng)用系統(tǒng)提供本地備份資源完成災(zāi)備數(shù)據(jù)中心的平臺建設(shè)。數(shù)據(jù)量規(guī)劃滿足備份結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的需求。存儲雙活通過虛擬存儲+分布式集群方式實現(xiàn)。在兩個數(shù)據(jù)中心分別配置一套虛擬存儲設(shè)備，兩套虛擬存儲設(shè)備提供分布式聯(lián)合能力，允許兩個數(shù)據(jù)中心內(nèi)的虛擬存儲設(shè)備透明協(xié)作，每個數(shù)據(jù)中心的磁盤陣列都通過其進(jìn)行虛擬化，兩個數(shù)據(jù)中心的磁盤陣列對于虛擬存儲來說實現(xiàn)統(tǒng)一管理，同時通過分布式卷將需要同步的數(shù)據(jù)在兩個數(shù)據(jù)中心的磁盤陣列上做鏡像（如生產(chǎn)數(shù)據(jù)、交換數(shù)據(jù)等），鏡像卷顯示并表現(xiàn)為單個卷（其行為方式類似于使用 RAID1設(shè)備的虛擬卷），每個數(shù)據(jù)中心都維護著數(shù)據(jù)的一個副本，避免單磁盤陣列故障風(fēng)險。服務(wù)器訪問由本地虛

15、擬存儲提供的分布式鏡像卷，不直接訪問磁盤陣列生成的數(shù)據(jù)卷，分布式鏡像卷可以被兩個數(shù)據(jù)中心的服務(wù)器同時讀寫，構(gòu)成跨中心并行數(shù)據(jù)庫以及虛擬機 快速遷移的基礎(chǔ)存儲平臺。結(jié)合并行數(shù)據(jù)庫、虛擬化技術(shù)，可以實現(xiàn)應(yīng)用加數(shù)據(jù)的整體一致。2.2.3 數(shù)據(jù)庫雙活采用跨數(shù)據(jù)中心的實時應(yīng)用集群，兩個數(shù)據(jù)中心的各臺服務(wù)器都處于對外服務(wù)狀態(tài)，數(shù)據(jù)儲存在虛擬化后的分布式鏡像數(shù)據(jù)卷中，兩個數(shù)據(jù)中心提供的數(shù)據(jù)完全一致。2.2.4 應(yīng)用雙活主干系統(tǒng)及其配套應(yīng)用系統(tǒng)均在兩個數(shù)據(jù)中心相同部署，在用戶的相同訪問請求下獲取同樣的業(yè)務(wù)服務(wù)。應(yīng)用部署，兩個數(shù)據(jù)中心擁有相同的、無差別的業(yè)務(wù)程序包，且在每個數(shù)據(jù)中心內(nèi)可以由多個節(jié)點負(fù)載部署；應(yīng)用

16、服務(wù)器應(yīng)用一致性以及會話信息同步采用 NAS 文件共享、應(yīng)用集群/Session 集中方式等方式實現(xiàn)。青島雙中心對所有關(guān)鍵應(yīng)用均采用雙活的機制運行，用戶在任一時刻請求任何的雙活業(yè)務(wù)都會得到即時響應(yīng)。本次數(shù)據(jù)中心建設(shè)，目的在于實現(xiàn)青島電子政務(wù)云同城雙中心業(yè)務(wù)的負(fù)載均衡，并實現(xiàn)數(shù)據(jù)的異地災(zāi)備，保證用戶訪問的快速性和持續(xù)性，本次項目建設(shè)將在北京建設(shè)兩個主數(shù)據(jù)中心，并在后期在廣州建設(shè)一個容災(zāi)中心。目前每個數(shù)據(jù)中心均具備廣域網(wǎng)接入，通過多數(shù)據(jù)中心的建設(shè)期望達(dá)到具體效果如下：l 青島電子政務(wù)云兩個主數(shù)據(jù)中心正常時，通過靜態(tài)和動態(tài)兩種判斷方法，保障直屬局用戶在訪問資源時被引導(dǎo)至最合適的數(shù)據(jù)中心；l 實時監(jiān)控

17、青島電子政務(wù)云兩個數(shù)據(jù)中心的運行狀況，及時發(fā)現(xiàn)故障站點，并相應(yīng)地將后續(xù)的用戶訪問請求都調(diào)度到其他的健康的數(shù)據(jù)中心；l 兩個數(shù)據(jù)中心之間形成站點冗余，保障業(yè)務(wù)的高可用性，并提升各站點的資源利用率。根據(jù)以上建設(shè)目標(biāo)，本期項目將在青島雙活數(shù)據(jù)中心核心層均部署全局負(fù)載均衡設(shè)備，用于實現(xiàn)廣域網(wǎng)全局?jǐn)?shù)據(jù)流向的負(fù)載均衡。2.2.5 雙活中心應(yīng)用發(fā)布兩個中心對所有關(guān)鍵應(yīng)用均采用雙活的機制運行，客戶請求在任一時刻請求任何的雙活業(yè)務(wù)兩個中心都會即時響應(yīng)。也就是所有的雙活應(yīng)用同時在本地兩個數(shù)據(jù)中心部署和發(fā)布，擁有兩套同時存活的服務(wù)接口地址。實現(xiàn)的難點在于怎么有效地引導(dǎo)客戶請求負(fù)載分發(fā)到兩套服務(wù)接口，且不引入單局點故

18、障。這里的單局點故障對象為“本地雙活的任一數(shù)據(jù)中心”，不同于傳統(tǒng)單點故障的對象為“物理設(shè)備或鏈路單點”。也就是說訪問入口不能唯一，因為兩套獨立的服務(wù)接口地址同時與外部網(wǎng)絡(luò)相接，而外部網(wǎng)絡(luò)（無論報檢專網(wǎng)還是Internet網(wǎng)絡(luò)）的感知和按需變化能力有限，不能滿足唯一訪問入口在兩個數(shù)據(jù)中心間轉(zhuǎn)移的需要。本地雙活中心與客戶端之間有兩套獨立的網(wǎng)絡(luò)；不可能在兩個中心間實現(xiàn)一個唯一的IP入口。所以建議采用全局負(fù)載均衡實現(xiàn)一個業(yè)務(wù)域名與兩個業(yè)務(wù)入口的關(guān)聯(lián)映射，或使用客戶端智能偵測擇優(yōu)連接實現(xiàn)對中心的隨機訪問。借助負(fù)載均衡設(shè)備，把“業(yè)務(wù)域名”負(fù)載解析到本地兩個雙活數(shù)據(jù)中心的業(yè)務(wù)訪問入口，在同城雙活數(shù)據(jù)中心分別部署智能DNS策略，配置相同的DNS智能解析策略，把客戶端初次訪問請求平均負(fù)載到本地兩個雙活數(shù)據(jù)中心的負(fù)載均衡設(shè)備對外lP地址；實現(xiàn)訪問基于智能DNS的負(fù)載均衡。用戶請求在經(jīng)DNS解析引導(dǎo)到某一數(shù)據(jù)中心后會慣性繼續(xù)訪問這一中心不會隨機到另一數(shù)據(jù)中心，只有當(dāng)該數(shù)據(jù)中心不存活后才會向DNS重新請求解析。在本地雙活數(shù)據(jù)中心內(nèi)，采用負(fù)載均衡設(shè)備，在最前端形成一個統(tǒng)一的訪問入口，方便客戶端對業(yè)務(wù)系統(tǒng)的訪問。負(fù)載均衡設(shè)備采用基于負(fù)載的各種壓力算法，結(jié)合服務(wù)節(jié)點存活檢測機制，把訪問會話基于負(fù)載均衡