銀行數(shù)據(jù)中心技術(shù)架構(gòu)

1、銀行數(shù)據(jù)中心技術(shù)架構(gòu)1 銀行整體網(wǎng)絡(luò)架構(gòu)概要2 數(shù)據(jù)中心整體規(guī)劃3 數(shù)據(jù)中心網(wǎng)絡(luò)詳細(xì)設(shè)計 目錄 園區(qū)各分行全行各數(shù)據(jù)中心、業(yè)務(wù)處理中心、園區(qū)網(wǎng)及分行，采用BGP和核心網(wǎng)互聯(lián)，利用BGP特性控制流量路徑，形成邏輯簡單、結(jié)構(gòu)健壯、控制手段靈活、收斂快速的廣域網(wǎng)絡(luò)架構(gòu)各個機(jī)構(gòu)內(nèi)部采用OSPF作為內(nèi)部路由協(xié)議，提供結(jié)構(gòu)簡潔、管理簡單、收斂快速的內(nèi)部路由域核心網(wǎng)內(nèi)部路由：OSPF農(nóng)本數(shù)據(jù)中心內(nèi)部路由：OSPFBGPBGPBGPCGB大廈業(yè)務(wù)處理中心數(shù)據(jù)中心內(nèi)部路由：OSPF異地災(zāi)備中心內(nèi)部路由：OSPFBGPBGPBGPBGP一 銀行整體網(wǎng)絡(luò)架構(gòu)概要核心網(wǎng)架構(gòu)在支持分枝機(jī)構(gòu)（分行、業(yè)務(wù)處理中心等）的快速

2、接入、橫向流量、接入的標(biāo)準(zhǔn)化及提高廣域網(wǎng)可靠性及擴(kuò)展性方面均有提高核心網(wǎng)中心農(nóng)本中心異地災(zāi)備園區(qū)網(wǎng)海外業(yè)務(wù)中心一級分行網(wǎng)點網(wǎng)點ATM一級分行網(wǎng)點網(wǎng)點ATM核心網(wǎng)架構(gòu)網(wǎng)點（支行）到兩個數(shù)據(jù)中心的流量路徑網(wǎng)點（支行）之間的流量路徑數(shù)據(jù)中心之間的流量路徑二 銀行整體網(wǎng)絡(luò)架構(gòu)概要1 銀行整體網(wǎng)絡(luò)架構(gòu)概要2 數(shù)據(jù)中心整體規(guī)劃3 數(shù)據(jù)中心網(wǎng)絡(luò)詳細(xì)設(shè)計 目錄 數(shù)據(jù)中心網(wǎng)絡(luò)分區(qū)建議保留的網(wǎng)絡(luò)分區(qū)核心業(yè)務(wù)（P1）內(nèi)聯(lián)業(yè)務(wù)（P3）外聯(lián)業(yè)務(wù)（P3） 互聯(lián)網(wǎng)業(yè)務(wù)（P2）核心交換（P1）由原有分區(qū)分拆或者演變而來的分區(qū)廣域網(wǎng)分區(qū)、災(zāi)備接入分區(qū)核心網(wǎng)接入?yún)^(qū)（P2）外聯(lián)業(yè)務(wù)分區(qū)外聯(lián)接入?yún)^(qū)（P2） （包括分行3G接入、前置服

3、務(wù)器區(qū)）辦公業(yè)務(wù)分區(qū)公用及辦公服務(wù)器（P3）網(wǎng)管運維服務(wù)器（包括帶外網(wǎng)管、ECC監(jiān)控）（P6）一 數(shù)據(jù)中心整體規(guī)劃-網(wǎng)絡(luò)架構(gòu)新增的網(wǎng)絡(luò)分區(qū)大機(jī)業(yè)務(wù)（P1）NAS/IP備份網(wǎng)絡(luò)（P3）準(zhǔn)生產(chǎn)環(huán)境（P3）互聯(lián)網(wǎng)訪問代理區(qū)海外業(yè)務(wù)托管合作根據(jù)目前數(shù)據(jù)中心的IP地址總體容量，每個分區(qū)分配一個B類地址服務(wù)器和網(wǎng)絡(luò)接入設(shè)備，每個VLAN采用一個C類地址網(wǎng)絡(luò)設(shè)備互聯(lián)地址：點到點：21.XX.255.0/30 非點到點： 21.XX.255.0/24核心交換區(qū)（包括核心網(wǎng)接入?yún)^(qū)）采用B類地址，各分區(qū)上聯(lián)接口采用核心分區(qū)IP地址空間設(shè)備Loopback的地址分配數(shù)據(jù)中心核心交換區(qū)、各分區(qū)匯聚設(shè)備采用核心交換區(qū)的

4、專用地址空間分配loopback地址各個分區(qū)網(wǎng)絡(luò)設(shè)備（匯聚除外）采用本分區(qū)地址段的專用地址空間連續(xù)分配二 數(shù)據(jù)中心整體規(guī)劃-IP地址規(guī)劃部分分區(qū)，根據(jù)業(yè)務(wù)系統(tǒng)冗余架構(gòu)的區(qū)別，可能沿用/混用10.2.0.0 地址段內(nèi)/外聯(lián)業(yè)務(wù)區(qū)外聯(lián)接入?yún)^(qū)公用及辦公服務(wù)器區(qū)互聯(lián)網(wǎng)業(yè)務(wù)分區(qū)DB段分區(qū)互訪NAT當(dāng)前農(nóng)本中心，部分分區(qū)互訪采用了地址轉(zhuǎn)換（NAT），在計劃不再采用NAT，但在搬遷時，為保持服務(wù)器地址不變，仍需保留NAT分區(qū)間東西向的數(shù)據(jù)流特點：各分區(qū)的應(yīng)用系統(tǒng)跨區(qū)互訪量大，關(guān)系復(fù)雜各分區(qū)所處信任等級和風(fēng)險等級不同，跨級訪問量多分區(qū)間的訪問控制設(shè)計：訪問控制集中在各分區(qū)的匯聚層的防火墻做入方向控制通過IDS

5、做進(jìn)出雙向數(shù)據(jù)流監(jiān)控DC核心分區(qū)只做高速轉(zhuǎn)發(fā)，不進(jìn)行安全控制具體分區(qū)的控制見 各分區(qū)的互訪關(guān)系矩陣表數(shù)據(jù)中心核心分區(qū)數(shù)據(jù)中心數(shù)據(jù)中心分區(qū)1匯聚層接入層數(shù)據(jù)中心分區(qū)N匯聚層接入層FEX防火墻IDS防火墻IDS分區(qū)間互訪流量三 數(shù)據(jù)中心整體規(guī)劃-安全架構(gòu)數(shù)據(jù)中心東西向流量安全分區(qū)內(nèi)業(yè)務(wù)安全等級：各分區(qū)（特別是內(nèi)聯(lián)和外聯(lián)分區(qū)）內(nèi)部包含不同的安全等級的業(yè)務(wù)系統(tǒng)（第一到第四級業(yè)務(wù)系統(tǒng)，對應(yīng)等保四級到一級，以及非等保系統(tǒng)）分區(qū)內(nèi)的訪問控制設(shè)計：各級業(yè)務(wù)系統(tǒng)分別置于不同安全等級的VRF不同VRF之間通信通過匯聚層的防火墻實現(xiàn)安全控制VRF之間的流量由IDS監(jiān)控重要系統(tǒng)單列VLAN，與其它同等級系統(tǒng)之間靠VL

6、AN隔離安全要求特殊的系統(tǒng)（如電營外呼、稽核系統(tǒng)），置于單獨VRF數(shù)據(jù)中心核心分區(qū)三級VRF其它VRF服務(wù)器匯聚層匯聚交換機(jī)防火墻防火墻四級VRF服務(wù)器服務(wù)器數(shù)據(jù)中心分區(qū)數(shù)據(jù)中心三 數(shù)據(jù)中心整體規(guī)劃-安全架構(gòu)數(shù)據(jù)中心分區(qū)內(nèi)流量安全1 銀行整體網(wǎng)絡(luò)架構(gòu)概要2 數(shù)據(jù)中心整體規(guī)劃3 數(shù)據(jù)中心網(wǎng)絡(luò)詳細(xì)設(shè)計核心交換分區(qū)設(shè)計大機(jī)分區(qū)設(shè)計核心業(yè)務(wù)分區(qū)設(shè)計內(nèi)/外聯(lián)分區(qū)設(shè)計 互聯(lián)網(wǎng)業(yè)務(wù)分區(qū)NAS/IP備份網(wǎng)絡(luò)設(shè)計準(zhǔn)生產(chǎn)分區(qū)外聯(lián)接入網(wǎng)絡(luò)設(shè)計核心網(wǎng)接入分區(qū)（含WAAS)網(wǎng)絡(luò)運維分區(qū)設(shè)計同城互聯(lián)（DCI）分區(qū)設(shè)計 目錄 基本功能連接各個業(yè)務(wù)分區(qū)，實現(xiàn)高速的三層交換基本網(wǎng)絡(luò)架構(gòu)兩臺Nexus7010高性能核心交換機(jī)，配

7、置高密度線速萬兆端口，以滿足多個分區(qū)的萬兆接入冗余的引擎、交換背板及電源，以進(jìn)一步提高核心的可靠性主要網(wǎng)絡(luò)連接核心和業(yè)務(wù)分區(qū)匯聚交換機(jī)：兩條L3萬兆連接至不同核心交換機(jī)核心交換機(jī)之間：四條鏈路組成L3 Port Channel連接路由協(xié)議部署部署OSPF路由協(xié)議和各業(yè)務(wù)分區(qū)運行在Area0啟用BFD、IP FRR等快速收斂技術(shù)三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-核心交換區(qū)網(wǎng)絡(luò)設(shè)計整體路由部署核心交換機(jī)和匯聚交換機(jī)之間采用OSPF動態(tài)路由協(xié)議快收斂技術(shù)所有鏈路部署B(yǎng)FD，實現(xiàn)鏈路故障快速檢測選擇性部署IP FRR技術(shù)，實現(xiàn)當(dāng)鏈路故障時，路由快速重新選擇，減少中斷時間各個分區(qū)的路由分發(fā)，分發(fā)時需要進(jìn)行鏈路優(yōu)先選

8、擇，便于實現(xiàn)流量路徑對稱大機(jī)分區(qū)/核心業(yè)務(wù)分區(qū)進(jìn)行OSPF靜態(tài)OSPF之間的分發(fā)，核心網(wǎng)接入?yún)^(qū)進(jìn)行OSPFBGP之間的分發(fā)其它采用靜態(tài)路由的分區(qū)，進(jìn)行OSPF靜態(tài)之間的路由重分發(fā)內(nèi)聯(lián)區(qū)網(wǎng)銀區(qū)外聯(lián)前置區(qū)大機(jī)網(wǎng)絡(luò)分區(qū)外聯(lián)接入?yún)^(qū)核心網(wǎng)接入OSPF動態(tài)路由BGP動態(tài)路由啟用BFD、OSPF快收斂 路由重分發(fā)OSPF路由協(xié)議域路由重分發(fā)路由重分發(fā)路由重分發(fā)路由重分發(fā)三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-核心交換分區(qū)設(shè)計路由重分發(fā)基本功能連接大機(jī)服務(wù)器及附屬設(shè)備，承載信用卡業(yè)務(wù)計劃配置5套Sysplex，即生產(chǎn)、開發(fā)、UAT、準(zhǔn)生產(chǎn)、培訓(xùn)，組成Sysplex的各個LPAR網(wǎng)絡(luò)資源獨立基本網(wǎng)絡(luò)架構(gòu)設(shè)立冗余的匯聚交換機(jī)，但不

9、配置專門的接入交換機(jī)該區(qū)域服務(wù)器數(shù)量不多，行業(yè)慣例，沒有配置專門的接入交換機(jī)主要網(wǎng)絡(luò)連接匯聚交換機(jī)和核心交換機(jī)：每臺匯聚兩條L3 萬兆連接的不同核心交換機(jī)匯聚交換機(jī)之間：四條萬兆（L3&L2）連接配置專門防火墻對該區(qū)域業(yè)務(wù)系統(tǒng)進(jìn)行保護(hù)開發(fā)測試服務(wù)器分區(qū)準(zhǔn)生產(chǎn)分區(qū)大機(jī)業(yè)務(wù)區(qū)核心網(wǎng)絡(luò)分區(qū)L 3L 3L3 & L2圖例L3 連接L2 連接準(zhǔn)生產(chǎn)SysPlexLPARLPAR生產(chǎn)SysPlexLPARLPAR開發(fā)、UAT、培訓(xùn)等SysPlexLPARLPAR大機(jī)帶庫三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-大機(jī)分區(qū)設(shè)計采用VRF技術(shù)將匯聚設(shè)備分為上聯(lián)VRF和下聯(lián)VRF上聯(lián)VRF和核心交換機(jī)之間采用OSPF協(xié)議建議采用新建

10、VRF作為上聯(lián)VRF只把上聯(lián)接口、互聯(lián)口及l(fā)oopback接口置于OSPF AREA 0，接口OSPF網(wǎng)絡(luò)類型設(shè)置為 Point-to-Point啟用BFD for OSPF重分發(fā)本分區(qū)的匯總路由及各種DVIP/ SVIP路由到核心網(wǎng)絡(luò)分區(qū)采用route-map方式分發(fā)路由到OSPF，并設(shè)置不同的路由優(yōu)先級，保證路徑的一致性下聯(lián)VRF、防火墻及上聯(lián)VRF之間配置靜態(tài)路由協(xié)議下聯(lián)VRF和生產(chǎn)SysPlex之間OSPF路由協(xié)議，采用Totally Stub Area其他每個Sysplex和其他區(qū)域匯聚交換機(jī)OSPF路由協(xié)議，采用Totally Stub Area其他非大機(jī)設(shè)備和下聯(lián)VRF之間采用缺

11、省路由方式開發(fā)測試服務(wù)器分區(qū)準(zhǔn)生產(chǎn)分區(qū)大機(jī)業(yè)務(wù)區(qū)核心網(wǎng)絡(luò)分區(qū)L 3L 3L3 & L2L 3準(zhǔn)生產(chǎn)SysPlexLPARLPAR生產(chǎn)SysPlexLPARLPAR開發(fā)、UAT、培訓(xùn)等SysPlexLPARLPARL3 & L2上聯(lián)VRF下聯(lián)VRF上聯(lián)VRF下聯(lián)VRFOSPF TSA Area 1OSPFOSPF靜態(tài)路由Area 0三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-大機(jī)分區(qū)設(shè)計基本功能連接AS 400服務(wù)器、及附屬設(shè)備基本網(wǎng)絡(luò)架構(gòu)設(shè)立冗余的匯聚交換機(jī)，但不配置專門接入交換機(jī)該區(qū)域服務(wù)器數(shù)量不多行業(yè)慣例，沒有配置專門的接入交換機(jī)主要網(wǎng)絡(luò)連接匯聚交換機(jī)和核心交換機(jī)：每臺匯聚兩條L3萬兆至不同核心交換機(jī)匯聚交換機(jī)

12、之間：四條萬兆連接（L3&L2）部署專門的防火墻設(shè)備對該區(qū)域業(yè)務(wù)進(jìn)行保護(hù)AS400接入每臺AS 400有多組網(wǎng)卡連接到匯聚交換機(jī)每組網(wǎng)卡可有不同的IP地址代表不同的業(yè)務(wù)系統(tǒng)，以供客戶訪問（可能是三個IP地址）其他設(shè)備，譬如海博通、加密機(jī)等采用同樣的連接方式端口及帶寬：MIMIX流量采用萬兆光口（每臺AS400配置了12個）其余采用千兆光口（每臺AS400配置了12個）帶外管理口為電口，連接到帶外網(wǎng)圖例L3 連接L2 連接AS400業(yè)務(wù)區(qū)核心網(wǎng)絡(luò)分區(qū)L 3L 3L3 & L2其他設(shè)備（加密機(jī)）海博通設(shè)備AS400MIMIX流量MIMIX流量三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-核心業(yè)務(wù)分區(qū)網(wǎng)絡(luò)設(shè)計本分區(qū)需要同時

13、發(fā)布分區(qū)匯總路由、及AS400 VIP的IP網(wǎng)段，便于進(jìn)行AS400的切換操作采用VRF技術(shù)將匯聚設(shè)備分為上聯(lián)VRF和下聯(lián)VRF上聯(lián)VRF和核心交換機(jī)之間采用OSPF協(xié)議（來自整體路由規(guī)劃）建議采用新建VRF作為上聯(lián)VRF只把上聯(lián)接口、互聯(lián)口及l(fā)oopback接口置于OSPF AREA 0，接口OSPF網(wǎng)絡(luò)類型設(shè)置為 Point-to-Point啟用BFD for OSPF重分發(fā)本分區(qū)的匯總路由及VIP路由到核心網(wǎng)絡(luò)分區(qū)采用route-map方式分發(fā)路由到OSPF，并設(shè)置不同的路由優(yōu)先級，保證路徑的一致性下聯(lián)VRF、防火墻及上聯(lián)VRF之間采用靜態(tài)路由協(xié)議AS 400、其它設(shè)備和下聯(lián)VRF之間采

14、用缺省路由方式防火墻部署建議采用2-4條鏈路分別連接兩臺匯聚設(shè)備，并設(shè)置為“冗余鏈路組”鏈路模式建議采用物理防火墻，并工作在路由模式兩臺防火墻的冗余模式為Active/StandbyAS400業(yè)務(wù)區(qū)核心網(wǎng)絡(luò)分區(qū)Out SideL 3L 3L3 & L2InsideOut SideInside下聯(lián)VRF下聯(lián)VRF上聯(lián)VRF上聯(lián)VRFL3 & L2其他設(shè)備海博通設(shè)備AS 400OSPF靜態(tài)路由圖例L3 連接L2 連接三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-核心業(yè)務(wù)分區(qū)網(wǎng)絡(luò)設(shè)計MIMIX流量設(shè)計MIMIX的主要功能重要數(shù)據(jù)的復(fù)制保護(hù)災(zāi)難備份和恢復(fù)MIMIX的部署本地兩臺AS400形成MIMIX關(guān)系A(chǔ)S400與農(nóng)本AS

15、400形成MIMIX關(guān)系A(chǔ)S400與異地AS400形成MIMIX關(guān)系MIMIX網(wǎng)絡(luò)連接架構(gòu)專用萬兆網(wǎng)卡連接MIMIX專用的萬兆接口連接到匯聚交換機(jī)的上聯(lián)VRF本地MIMIX流量不經(jīng)過防火墻同城MIMIX流量不經(jīng)過防火墻異地MIMIX流量不經(jīng)過防火墻MIMIX流量不需要經(jīng)過防火墻MIMIX流量MIMIX專用萬兆口AS400業(yè)務(wù)區(qū)核心網(wǎng)絡(luò)分區(qū)Out SideL 3L 3L3 & L2InsideOut SideInside下聯(lián)VRF下聯(lián)VRF上聯(lián)VRF上聯(lián)VRFL3 & L2圖例L3 連接L2 連接AS 400MIMIX流量三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-核心業(yè)務(wù)分區(qū)網(wǎng)絡(luò)設(shè)計內(nèi)聯(lián)、外聯(lián)分區(qū)網(wǎng)絡(luò)架構(gòu)，采用典型

16、的Nexus752架構(gòu)，提供高可用、大帶寬的網(wǎng)絡(luò)分區(qū)基本功能用來連接內(nèi)聯(lián)、外聯(lián)分區(qū)的開放平臺的服務(wù)器（包括虛擬化平臺的服務(wù)器）基本網(wǎng)絡(luò)架構(gòu)采用三層網(wǎng)絡(luò)結(jié)構(gòu)，分區(qū)匯聚交換機(jī)（置于MDA）、及接入交換機(jī)（置于各個機(jī)房模塊的集中布線區(qū)）、FEX延伸器（置于列頭柜）主要網(wǎng)絡(luò)連接帶寬（詳見 Table 4.4.1）匯聚交換機(jī)和生產(chǎn)核心交換機(jī)：全連接的萬兆（L3），不建議配置Port Channel，增加了配置復(fù)雜度及成本接入交換機(jī)和匯聚交換之間：每個接入交換機(jī)分別2條萬兆連接到匯聚（共4條萬兆），并設(shè)置 double-side vPCFEX和接入交換機(jī)：千兆FEX分別1條萬兆連接到接入交換機(jī)（共2條萬兆

17、），萬兆FEX分別2條萬兆連接到接入交換機(jī)（共4條萬兆）；設(shè)置Enhanced vPC兩臺N7k之間、兩臺N5K之間采用4條萬兆互聯(lián)，并設(shè)置為port channl，作為vpc-peer link建議采用帶外管理口實現(xiàn)vpc keepalive連接，同時具備帶外管理功能防火墻采用2-4條萬兆接口，采用LACP的PC分別連接到兩臺匯聚圖例L3 連接L2 連接主用管理口備用管理口內(nèi)聯(lián)、外聯(lián)分區(qū)網(wǎng)絡(luò)IPSN7K-2(匯聚)N7K-1(匯聚)N5K-2(接入)N5K-1(接入)FEX-1FEX-2ServersN7K*2(生產(chǎn)核心)主生產(chǎn)網(wǎng)負(fù)載均衡FWFW帶外管理網(wǎng)三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-內(nèi)/外聯(lián)網(wǎng)絡(luò)分

18、區(qū)設(shè)計上聯(lián)VRF 下聯(lián)VRF 互聯(lián)Vlan A 直連鏈路互聯(lián)Vlan B RedistributeRedistributeStaticRouteStaticRouteStaticRouteStaticRoute接入交換機(jī) 分區(qū)防火墻分區(qū)采用OSPF協(xié)議和核心互聯(lián)，分區(qū)內(nèi)部采用靜態(tài)路由；分區(qū)對外發(fā)送本分區(qū)的匯總路由；同時對于DCI互聯(lián)網(wǎng)段，需要對外分發(fā)網(wǎng)段的詳細(xì)路由，并進(jìn)行分發(fā)控制，以符合路由對稱策略O(shè)SPF到核心匯聚設(shè)備對外路由：與核心路由域協(xié)議相同，采用OSPF 協(xié)議，同時配置BFD除了對外分發(fā)分區(qū)匯總路由以外，還需要在以高優(yōu)先級分發(fā)DCI互聯(lián)網(wǎng)段的詳細(xì)路由；在農(nóng)本分發(fā)低優(yōu)先級路由虛擬匯聚設(shè)

19、備（VRF）和防火墻之間路由：靜態(tài)路由，這是基于簡單易用，同時內(nèi)部互聯(lián)口很少有“假活”的情況下，作出的選擇分區(qū)內(nèi)部路由：直連路由到直連服務(wù)器FW inside Vlan FW outsideside Vlan 負(fù)載均衡負(fù)載均衡三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-內(nèi)/外聯(lián)網(wǎng)絡(luò)分區(qū)設(shè)計采用匯聚層通用安全架構(gòu)，將匯聚設(shè)備分為上聯(lián)VRF和下聯(lián)VRF（可以采用缺省VRF）上聯(lián)VRF和核心交換機(jī)之間采用OSPF協(xié)議（來自整體路由規(guī)劃），分發(fā)靜態(tài)路由到OSPF建議采用新建VRF作為上聯(lián)VRF只把上聯(lián)接口、互聯(lián)口及l(fā)oopback接口置于OSPF AREA 0，接口OSPF網(wǎng)絡(luò)類型設(shè)置為 Point-to-Point采用r

20、oute-map方式分發(fā)靜態(tài)路由到OSPF，并設(shè)置不同的路由優(yōu)先級啟用BFD for OSPF下聯(lián)VRF、防火墻及上聯(lián)VRF之間采用靜態(tài)路由協(xié)議，不啟用OSPF建議采用default VRF，或者全局VRF作為下聯(lián)VRF防火墻部署模式建議采用2-4條萬兆分別連接兩臺匯聚設(shè)備，并設(shè)置為動態(tài)LACP協(xié)議的Port Channel鏈路模式建議采用物理防火墻，并工作在路由模式兩臺防火墻的冗余模式為Active/Standby三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-內(nèi)/外聯(lián)網(wǎng)絡(luò)分區(qū)設(shè)計基本功能互聯(lián)網(wǎng)業(yè)務(wù)系統(tǒng)相關(guān)DMZ區(qū)域和服務(wù)器基本網(wǎng)絡(luò)架構(gòu)專用冗余的互聯(lián)網(wǎng)業(yè)務(wù)核心交換機(jī)，采用Nexus752架構(gòu)采用vPC技術(shù)，可使鏈路、

21、板卡、設(shè)備故障快速收斂，減少流量中斷的時間及范圍關(guān)鍵位置雙設(shè)備，設(shè)備雙/多電源、雙引擎采用VDC技術(shù)，將一臺Nexux7010虛擬成多臺使用，管理（VDC1），互聯(lián)網(wǎng)業(yè)務(wù)核心交換機(jī)（VDC2），互聯(lián)網(wǎng)業(yè)務(wù)匯聚交換機(jī)（VDC3）主要網(wǎng)絡(luò)連接兩臺N7k核心VDC2之間、兩臺N7k匯聚VDC3之間、兩臺N5K之間分別采用4條萬兆互聯(lián)，并設(shè)置為port-channel，作為vpc-peer link外部防火墻到互聯(lián)網(wǎng)業(yè)務(wù)核心交換機(jī)(VDC2)：4條千/萬兆連接，并啟用LACP Port-ChannelDMZ防火墻到互聯(lián)網(wǎng)業(yè)務(wù)核心交換機(jī)(VDC2)：4條萬兆連接，并啟用LACP Port-Channel

22、內(nèi)部防火墻到互聯(lián)網(wǎng)業(yè)務(wù)核心交換機(jī)(VDC3)：2條萬兆連接，并啟用LACP Port-Channel內(nèi)部防火墻到互聯(lián)網(wǎng)業(yè)務(wù)匯聚交換機(jī)(VDC2 ：2條萬兆連接，并啟用LACP Port-Channel三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-互聯(lián)網(wǎng)業(yè)務(wù)分區(qū)網(wǎng)絡(luò)設(shè)計路由協(xié)議互聯(lián)網(wǎng)業(yè)務(wù)業(yè)務(wù)區(qū)域整體采用靜態(tài)路由技術(shù)DMZ防火墻邏輯部署方式互聯(lián)網(wǎng)業(yè)務(wù)核心交換機(jī)設(shè)置多個VRF實例分別對應(yīng)外聯(lián)VRF、外部WEB、內(nèi)部Web 、互聯(lián)網(wǎng)APP、互聯(lián)網(wǎng)DB區(qū)域DMZ防火墻/內(nèi)部防火墻采用主備方式、路由模式ASA5585實體及虛墻模式選擇：建議選用實體墻網(wǎng)絡(luò)流量路徑外部用戶-外部WEB：外部防火墻（CP）- DMZ 防火墻（ASA）

23、-WEB防火墻內(nèi)部用戶-內(nèi)部WEB：內(nèi)部防火墻外部WEB-網(wǎng)銀APP-網(wǎng)銀DB：DMZ防火墻內(nèi)部WEB-網(wǎng)銀APP-網(wǎng)銀DB：DMZ防火墻三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-互聯(lián)網(wǎng)業(yè)務(wù)分區(qū)網(wǎng)絡(luò)設(shè)計兩地三中心下的網(wǎng)銀架構(gòu)規(guī)劃同城網(wǎng)銀外層區(qū)L2打通為便于互聯(lián)網(wǎng)鏈路在同城兩種心之間的平滑分享，在網(wǎng)銀模塊的最外層進(jìn)行二層連通異地共享互聯(lián)網(wǎng)出口的意義不大，故異地網(wǎng)銀外層不建議L2打通處于隔離及安全的原因，建議采用OTV技術(shù)同城及異地DB區(qū)L2打通由于三地網(wǎng)銀共用一套DB，且當(dāng)前DB的AA/AS部署架構(gòu)均需要L2互通DB的L2打通可以提高訪問DB性能、簡化網(wǎng)絡(luò)防火墻及路由的配置在三地L2打通的情況下，建議采用OTV技術(shù)

24、異地網(wǎng)銀DB的考慮按照容災(zāi)的要求，異地DC和主DC一般相距要在1000公里以上，所以異地網(wǎng)銀DB不會和主中心DB形成同一個DB cluster異地可以不建立DB，直接訪問主中心DB，或者建立準(zhǔn)同步DB；這需要網(wǎng)銀的應(yīng)用組進(jìn)行決策三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-互聯(lián)網(wǎng)業(yè)務(wù)分區(qū)網(wǎng)絡(luò)設(shè)計分區(qū)基本功能連接NAS、備份服務(wù)器及服務(wù)器的NAS/備份網(wǎng)卡，提供大帶寬、高可用、扁平網(wǎng)絡(luò)基本網(wǎng)絡(luò)架構(gòu)采用三層網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)立冗余匯聚交換機(jī)（置于MDA）、及接入交換機(jī)（置于各個機(jī)房模塊的集中布線區(qū)）、FEX延伸器（置于列頭柜）主要網(wǎng)絡(luò)連接帶寬（詳見 Table 4.7.1）NAS匯聚交換機(jī)和生產(chǎn)核心交換機(jī)：全連接的萬兆（L3）

25、，不建議配置Port Channel，增加配置復(fù)雜度NAS接入交換機(jī)和NAS匯聚交換之間：每個接入交換機(jī)分別4條萬兆連接到匯聚（共4條萬兆），并設(shè)置double-side vPCFEX和接入交換機(jī)：千兆FEX分別1條萬兆連接到接入交換機(jī)（共2條萬兆），萬兆FEX分別2條萬兆連接到接入交換機(jī)（共4條萬兆）；設(shè)置Enhanced vPC兩臺N7k之間、兩臺N5K之間采用4條萬兆互聯(lián)，并設(shè)置為port channl，作為vpc-peer link建議采用帶外管理口實現(xiàn)vpc keepalive連接，同時具備帶外管理功能防火墻采用2-4條萬兆接口，采用LACP的PC分別連接到兩臺匯聚圖例L3 連接L2

26、 連接主用管理口備用管理口中心NAS/IP備份網(wǎng)DataDomainNASN7K-2(匯聚)N7K-1(匯聚)N5K-2(接入)N5K-1(接入)NASFEX-1FEX-2ServersN7K*2(生產(chǎn)核心)主生產(chǎn)網(wǎng)DWDM帶外管理網(wǎng)三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-NAS/IP備份分區(qū)網(wǎng)絡(luò)設(shè)計采用匯聚層通用安全架構(gòu)，將匯聚設(shè)備分為上聯(lián)VRF和下聯(lián)VRF（缺省VRF）上聯(lián)VRF和核心交換機(jī)之間采用OSPF協(xié)議（來自整體路由規(guī)劃），分發(fā)靜態(tài)路由到OSPF建議采用新建VRF作為上聯(lián)VRF只把上聯(lián)接口、互聯(lián)口及l(fā)oopback接口置于OSPF AREA 0，接口OSPF網(wǎng)絡(luò)類型設(shè)置為 Point-to-Poin

27、t采用route-map方式分發(fā)靜態(tài)路由到OSPF，并設(shè)置不同的路由優(yōu)先級，避免非對稱路由啟用BFD for OSPF下聯(lián)VRF、防火墻及上聯(lián)VRF之間采用靜態(tài)路由協(xié)議，不啟用OSPF可以建立多個VRF，每個VRF對應(yīng)不同的安全等級；VRF的內(nèi)部不同VLAN之間的路由在匯聚交換機(jī)進(jìn)行，不同VRF之間的路由通過防火墻進(jìn)行控制防火墻部署模式建議采用2-4條萬兆分別連接兩臺匯聚設(shè)備，并設(shè)置為動態(tài)LACP協(xié)議的Port Channel鏈路模式建議采用物理防火墻，并工作在路由模式兩臺防火墻的冗余模式為Active/Standby三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-NAS/IP備份分區(qū)網(wǎng)絡(luò)設(shè)計上聯(lián)VRF 下聯(lián)（缺?。￢

28、RF 互聯(lián)Vlan A 直連鏈路互聯(lián)Vlan B RedistributeRedistributeStaticRouteStaticRouteStaticRouteStaticRoute接入交換機(jī) 分區(qū)防火墻由于每個分區(qū)的IP地址網(wǎng)段都基本固定，并且變化較少，服務(wù)層及匯聚之間采用靜態(tài)路由OSPF到核心匯聚設(shè)備對外路由：與核心路由域協(xié)議相同，采用OSPF 協(xié)議，同時配置BFD對外分發(fā)分區(qū)匯總路由虛擬匯聚設(shè)備和防火墻之間路由：靜態(tài)路由，這是基于簡單易用，同時內(nèi)部互聯(lián)口很少有“假活”的情況作出選擇分區(qū)內(nèi)部路由：直連路由到直連服務(wù)器FW inside Vlan FW outsideside Vlan

29、三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-NAS/IP備份分區(qū)網(wǎng)絡(luò)設(shè)計中心DataDomainNASN7K-2(匯聚)N7K-1(匯聚)N5K-4(接入)N5K-3(接入)NASFEX-1FEX-2Servers農(nóng)本DataDomainNASN7K-1(匯聚)N5K-2(接入)N5K-1(接入)NASFEX-1FEX-2ServersN7K-2(匯聚)N7K*2(生產(chǎn)核心)主生產(chǎn)網(wǎng)生產(chǎn)核心農(nóng)本主生產(chǎn)網(wǎng)為保證在vPC故障情況下網(wǎng)絡(luò)的可用性、及和其它非vPC的設(shè)備互聯(lián)的必要性，在vPC的環(huán)境下，依然需要仔細(xì)設(shè)計部署Spanning Tree協(xié)議BRNEBPDUguardRootguardEdge or portfas

30、t port type：用來連接主機(jī)的端口-Normal port type：可以用來連接主機(jī)、交換機(jī)等UDLD （建議采用normal模式）Network port：交換機(jī)之間“點對點”的互聯(lián)鏈路BPDU FilterFBENNNN-R-REFEFEFEFSTP domain1STP domain2三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-NAS/IP備份分區(qū)網(wǎng)絡(luò)設(shè)計NAS/備份網(wǎng)Promiscuous port：連接NAS、Data Domain服務(wù)器Isolated（trunk） port：連接服務(wù)器的備份網(wǎng)口Community Port：需要內(nèi)部互通、及和NAS、Data Domain通訊業(yè)務(wù)服務(wù)器有獨立

31、的NAS、IP備份網(wǎng)卡，可以建立不同的PVLAN承載不同的業(yè)務(wù)：例如NAS PVLAN：NAS連接到Promiscuous port服務(wù)器備份口連接到Isolated portIP備份PVLAN：備份服務(wù)器 連接到Promiscuous port服務(wù)器備份口連接到Isolated port業(yè)務(wù)服務(wù)器共用NAS、IP備份網(wǎng)卡，建議采用同一個PVLAN承載；例如IP備份及NAS PVLAN：NAS連接到Promiscuous port備份服務(wù)器連接到Promiscuous port服務(wù)器備份口連接到 Isolated port業(yè)務(wù)服務(wù)器共用NAS、IP備份網(wǎng)卡,也可以采用不同PVLAN承載不同業(yè)務(wù)

32、；例如NAS PVLAN：NAS連接到Promiscuous port服務(wù)器備份口連接到Isolated trunk portIP備份PVLAN：備份服務(wù)器 連接到Promiscuous port服務(wù)器備份口連接到 Isolated trunk port三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-NAS/IP備份分區(qū)網(wǎng)絡(luò)設(shè)計基本功能負(fù)責(zé)外聯(lián)專線、3G備份及外聯(lián)前置通訊服務(wù)器的接入基本網(wǎng)絡(luò)架構(gòu)設(shè)立冗余的匯聚交換機(jī)（放置于MDA），配置專門接入交換機(jī)（放置于列頭柜）該區(qū)域服務(wù)器數(shù)量不多主要網(wǎng)絡(luò)連接匯聚交換機(jī)和核心交換機(jī)：每個匯聚兩條L3萬兆至核心交換機(jī)接入交換機(jī)和匯聚交換及：萬兆互聯(lián)（L2）匯聚交換機(jī)之間：四條萬兆連接

33、（L3&L2）外聯(lián)路由器采用全連接千兆鏈路（L3)部署專門的防火墻設(shè)備對該區(qū)域業(yè)務(wù)進(jìn)行保護(hù)防火墻采用冗余千兆鏈路主生產(chǎn)網(wǎng)核心網(wǎng)絡(luò)分區(qū)L 3外聯(lián)廣域網(wǎng)外聯(lián)接入VRF外聯(lián)前置服務(wù)器VRF外聯(lián)路由器第三方路由器前置/通訊服務(wù)器外聯(lián)接入?yún)^(qū)L3 & L2外聯(lián)匯聚交換機(jī)防火墻防火墻3G網(wǎng)絡(luò)3G備份VRF3G路由器及VPN設(shè)備三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-外聯(lián)接入網(wǎng)絡(luò)設(shè)計外聯(lián)通訊/前置服務(wù)器接入采用雙連接到接入交換機(jī)接入帶寬：千兆外聯(lián)路由器采用L3鏈路雙連接到分區(qū)匯聚交換機(jī)部署獨立的3G備份路由器及VPN設(shè)備三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-外聯(lián)接入網(wǎng)絡(luò)設(shè)計采用匯聚層通用安全架構(gòu)，將匯聚設(shè)備分為上聯(lián)VRF和下聯(lián)VRF上聯(lián)VRF

34、和核心交換機(jī)之間采用OSPF協(xié)議，分發(fā)靜態(tài)路由到OSPF建議采用新建VRF作為上聯(lián)VRF只把上聯(lián)接口、互聯(lián)口及l(fā)oopback接口置于OSPF AREA 0，接口OSPF網(wǎng)絡(luò)類型設(shè)置為 Point-to-Point采用route-map方式分發(fā)靜態(tài)路由到OSPF，并設(shè)置不同的路由優(yōu)先級啟用BFD for OSPF外聯(lián)前置服務(wù)器VRF、防火墻及上聯(lián)VRF之間采用靜態(tài)路由協(xié)議，不啟用OSPF建議采用default VRF，或者全局VRF作為下聯(lián)VRF核心網(wǎng)絡(luò)分區(qū)外聯(lián)廣域網(wǎng)外聯(lián)接入VRF外聯(lián)前置服務(wù)器VRF外聯(lián)路由器前置/通訊服務(wù)器外聯(lián)接入?yún)^(qū)OSPFOSPF3G網(wǎng)絡(luò)3G備份VRF3G路由器及VPN設(shè)

35、備L3 & L2InsideOut SideOut SideInside各個下聯(lián)VRF上聯(lián)VRF上聯(lián)VRF靜態(tài)路由各個下聯(lián)VRFOSPF三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-外聯(lián)接入網(wǎng)絡(luò)設(shè)計基本網(wǎng)絡(luò)架構(gòu)兩臺ASR1006高性能路由器，每臺ASR1006采用雙電源、雙引擎及雙交換矩陣兩臺ASR1006提供故障冗余及負(fù)載分擔(dān)功能Full-mesh的連接提供高可用主要網(wǎng)絡(luò)連接核心網(wǎng)接入路由器和數(shù)據(jù)中心核心交換機(jī)：全連接的萬兆（L3）核心網(wǎng)接入路由器和核心網(wǎng)：全連接的萬兆（L3）兩臺核心網(wǎng)接入路由器之間：萬兆互聯(lián)基本功能連接農(nóng)本數(shù)據(jù)中心到核心網(wǎng)，并部署指定的流量策略生產(chǎn)主用辦公主用三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-核心網(wǎng)接入?yún)^(qū)網(wǎng)

36、絡(luò)設(shè)計路由策略部署采用OSPF和核心交換區(qū)互聯(lián)上聯(lián)接口和核心交換機(jī)之間采用OSPF協(xié)議，分發(fā)BGP路由到OSPF只把上聯(lián)接口、互聯(lián)口及l(fā)oopback接口置于OSPF AREA 0，接口OSPF網(wǎng)絡(luò)類型設(shè)置為 Point-to-Point啟用BFD for OSPF采用BGP和核心網(wǎng)互聯(lián)核心網(wǎng)接入路由器和核心網(wǎng)農(nóng)本節(jié)點運行EBGP兩臺核心網(wǎng)接入路由器之間運行IBGP并進(jìn)行BGP向OSPF的路由分發(fā)根據(jù)核心網(wǎng)生產(chǎn)辦公流量分流原則進(jìn)行BGP路由策略部署三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-核心網(wǎng)接入?yún)^(qū)網(wǎng)絡(luò)設(shè)計數(shù)據(jù)中心流量出方向：由于互聯(lián)鏈路較多，而且是機(jī)房內(nèi)部鏈路，這些鏈路損壞的可能較??；同時為使流量來回路徑對稱

37、，采用local-preference設(shè)置；放棄PIC設(shè)置優(yōu)先選用直連鏈路，再選擇交叉鏈路分發(fā)BGP路由到OSPF，并進(jìn)行分發(fā)過濾分發(fā)時，不同的路由器（D1、D2）分別賦予生產(chǎn)/辦公路由不同ospf metric，將流量引導(dǎo)到不同的上聯(lián)路由器數(shù)據(jù)中心流量入方向：通過“網(wǎng)段+接口”的靜態(tài)路由命令添加匯總網(wǎng)段的靜態(tài)路由；發(fā)布數(shù)據(jù)中心的匯總網(wǎng)段到核心網(wǎng)采用track跟蹤端口靜態(tài)路由的可用狀況，防止路由黑洞發(fā)生在發(fā)出BGP路由時，生產(chǎn)/辦公路由設(shè)置不同community，便于其它設(shè)備識別生產(chǎn)及辦公網(wǎng)段返回DC的流量控制：兩條同顏色鏈路采用相同的AS prepend策略，控制流量返回路徑，生產(chǎn)/辦公添加

38、不同長度的AS path進(jìn)一步采用MED區(qū)分兩條同顏色鏈路，使直連優(yōu)先，交叉次之三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-核心網(wǎng)接入?yún)^(qū)網(wǎng)絡(luò)設(shè)計基本功能網(wǎng)絡(luò)運維相關(guān)服務(wù)器、辦公及公用服務(wù)器、及帶外網(wǎng)管網(wǎng)、監(jiān)控網(wǎng)（ECC）基本網(wǎng)絡(luò)架構(gòu)設(shè)立冗余的匯聚交換機(jī)，按照服務(wù)器數(shù)量及機(jī)房的物理部署情況，配置少量專門接入交換機(jī)主要網(wǎng)絡(luò)連接匯聚交換機(jī)和核心交換機(jī)：每個匯聚兩條L3萬兆至核心交換機(jī)匯聚交換機(jī)之間：四條萬兆連接（L3&L2）部署專門的防火墻設(shè)備對該區(qū)域業(yè)務(wù)進(jìn)行保護(hù)網(wǎng)絡(luò)運維服務(wù)器、辦公及公用服務(wù)器的接入采用雙連接到匯聚交換機(jī)接入帶寬：千兆、萬兆帶外網(wǎng)管網(wǎng)（OOB）接入Console交換機(jī)或者KVM等服務(wù)器，也可以直接連接設(shè)

39、備的帶外管理以太口監(jiān)控網(wǎng)（ECC）的接入連接監(jiān)控室的監(jiān)控終端、操作終端等網(wǎng)絡(luò)運維分區(qū)核心網(wǎng)絡(luò)分區(qū)L 3L 3L 3帶外網(wǎng)管網(wǎng)監(jiān)控網(wǎng)ECC網(wǎng)絡(luò)運維服務(wù)器辦公及公用服務(wù)器三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-運維及辦公服務(wù)器分區(qū)N7K-2(匯聚)N7K-1(匯聚)N5K-2(接入)N5K-1(接入)FEX-1FEX-2FWFW采用VRF技術(shù)將匯聚設(shè)備分為上聯(lián)VRF和多個下聯(lián)VRF上聯(lián)VRF和核心交換機(jī)之間采用OSPF協(xié)議下聯(lián)VRF、防火墻及上聯(lián)VRF之間配置靜態(tài)路由協(xié)議帶外網(wǎng)管網(wǎng)、監(jiān)控網(wǎng)、辦公服務(wù)器、運維服務(wù)器可以分別位于不同的VRF，進(jìn)行安全隔離控制辦公服務(wù)器、運維服務(wù)器區(qū)可以根據(jù)機(jī)房空間及布線情況，決定是否采

40、用接入交換機(jī)及交換機(jī)數(shù)量下聯(lián)VRF和辦公服務(wù)器、網(wǎng)絡(luò)運維管理服務(wù)器之間Default GW方式監(jiān)控網(wǎng)（ECC）和下聯(lián)VRF之間OSPF，主要集中在生產(chǎn)中心，還有少量終端在異地數(shù)據(jù)中心，總體規(guī)模較少帶外網(wǎng)管網(wǎng)和下聯(lián)VRF之間OSPF，分布在 “兩地三中心”，且采用專門的線路連接，自成專網(wǎng)，規(guī)模也較少防火墻部署模式路由模式，冗余模式為Active/Standby網(wǎng)絡(luò)運維分區(qū)核心網(wǎng)絡(luò)分區(qū)L 3L 3L3 & L2Inside帶外網(wǎng)管網(wǎng)監(jiān)控網(wǎng)ECCL3 & L2Out SideOut SideInside多個下聯(lián)VRF多個下聯(lián)VRF上聯(lián)VRF上聯(lián)VRF網(wǎng)絡(luò)運維服務(wù)器OSPFOSPF靜態(tài)路由辦公及公用服

41、務(wù)器三 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計-運維及辦公服務(wù)器分區(qū)“兩地三中心”環(huán)境下的帶外網(wǎng)管網(wǎng)（OOB）架構(gòu)基本功能帶外網(wǎng)管網(wǎng)接入基本網(wǎng)絡(luò)架構(gòu)生產(chǎn)、同城、異地災(zāi)備中心各設(shè)立獨立帶外網(wǎng)管網(wǎng)獨立、冗余的帶外網(wǎng)管核心交換機(jī)+接入交換機(jī)帶外網(wǎng)管網(wǎng)核心交換機(jī)L3 全連接到網(wǎng)絡(luò)運維區(qū)匯聚交換機(jī)Console交換機(jī)、KVM交換機(jī)及其它帶網(wǎng)管訪問控制及審計設(shè)備連接到網(wǎng)絡(luò)設(shè)備和服務(wù)器設(shè)備建議采用專門2-10M的廣域網(wǎng)線路連接“兩地三中心”的帶外網(wǎng)管網(wǎng)帶外網(wǎng)管網(wǎng)帶外網(wǎng)管核心層帶外網(wǎng)管接入層Console 交換機(jī)KVM交換機(jī)異地中心帶外網(wǎng)管網(wǎng)帶外網(wǎng)管核心層Console 交換機(jī)KVM交換機(jī)同城中心帶外網(wǎng)管網(wǎng)帶外網(wǎng)管核心層帶外網(wǎng)管接入層Console 交換機(jī)KVM交換機(jī)中心網(wǎng)絡(luò)運維分區(qū)L3 & L2InsideOut SideInsideOut Side帶外網(wǎng)管專用廣域網(wǎng)2-10M專線2-10