網(wǎng)絡項目割接方案V18)

1、數(shù)據(jù)中心網(wǎng)絡工程割接方案文檔密級： word中煙集團數(shù)據(jù)中心網(wǎng)絡工程割接方案華為技術效勞Huawei Technologies Co., Ltd.2022年6月文檔名稱中煙集團數(shù)據(jù)中心網(wǎng)絡工程設備割接方案文檔類別技術文檔 工程文檔 培訓文檔 運維文檔 工程文檔 效勞文檔 其他 當前版本1.1創(chuàng)立日期2022.6.7文檔主送部門中煙集團數(shù)據(jù)中心文檔作者聯(lián)系方式修訂記錄修改記錄日期修改人審閱人摘要V1.02022.6.1Ø 建立文檔V1.12022.6.8Ø 建立文檔 目 錄第一章割接說明41.1 總體說明41.2 人員安排41.3 物料備件準備51.4 組網(wǎng)結構61.4.1

2、割接前組網(wǎng)結構61.4.2 割接后組網(wǎng)結構6第二章 割接規(guī)劃92.1 設備端口規(guī)劃92.2 設備標簽以及描述9第三章 割接步驟113.1 離線測試113.2 運行情況信息收集113.3 備份數(shù)據(jù)113.4 割接動作11第四章 測試驗證134.1 測試驗證內容134.1.1 設備狀態(tài)檢查13第五章 回退機制145.1 故障判斷145.2 緊急回退14第六章 風險評估156.1 風險評估15第七章 守局方案151、守局目的：152、職守方式153、管理制度154、守局值班安排16第八章 配置模板17第一章割接說明1.1 總體說明建設單位集團施工單位華為技術、北京銀信長遠科技股份割接局點中煙集團數(shù)據(jù)

3、中心網(wǎng)絡和營銷中心涉及設備及版本號CE12804 V200R001USG6600 V500R001CE6851 V200R001割接及測試時間段2022-6-17 08:00至2022-6-18 13:00回退時間段13:00-21:00升級/割接簡述：本次設備替換為,我司的CE12804替換現(xiàn)網(wǎng)的Cisco Catalyst 6509設備，USG6600替換現(xiàn)網(wǎng)的juniper設備。對原有硬件設備進行替換，涉及業(yè)務改變，原來的OTV將采用VXALN技術替代，其它配置原那么上采用原有配置,接口地址有局部改變，由于設備軟件版本不同命令會有變化，不對網(wǎng)絡結構以及流量走向做改變。升級/割接影響：&#

4、178; 此次操作將會影中斷網(wǎng)絡約2天。1.2 人員安排客戶配合人員：小組編號割接人員單位聯(lián)系 123華為公司人員：小組編號割接人員施工單位聯(lián)系 1234北京銀信人員：小組編號割接人員施工單位聯(lián)系 1234其它人員：小組編號割接人員施工單位聯(lián)系 12245678后端保障人員小組編號保障人員施工單位聯(lián)系 1231.3 物料備件準備物料名稱數(shù)量提供方備注物料Bom編碼光纖跳線假設干條客戶需要根據(jù)現(xiàn)場機房情況確定單模/多模/長度/接口類型光功率計1客戶/集成商備用光模塊 10客戶使用本期采購未使用模塊備用網(wǎng)線假設干客戶/集成商原有網(wǎng)線長度不夠或失效情況下使用線纜標簽 假設干集成商1.4 組網(wǎng)結構1.

5、4.1 割接前組網(wǎng)結構 原中煙數(shù)據(jù)中心和營銷中心現(xiàn)有核心交換機Cisco Catalyst 6509和廣域網(wǎng)路由器Cisco 7606已運行多年，系統(tǒng)容量缺乏、故障率升高。組網(wǎng)如下列圖：1.4.2 割接后組網(wǎng)結構核心區(qū)兩臺CE12804數(shù)據(jù)中心級交換機橫向堆疊成一臺設備，然后虛擬成兩臺VS，數(shù)據(jù)中心VS與園區(qū)網(wǎng)VS與數(shù)據(jù)中心中間通過兩臺USG6650互聯(lián)，中間USG6650防火墻進行平安控制，USG6650防火墻雙機熱備；數(shù)據(jù)中心VS設備通過波分鏈路與CE6851對接，實現(xiàn)VXLAN的分步式網(wǎng)關。園區(qū)網(wǎng)部署一個VS作為會聚交換機，與互聯(lián)網(wǎng)USG6650互聯(lián)，提供平安控制。割接后組網(wǎng)圖如下：1、

6、數(shù)據(jù)中心組網(wǎng)圖：VXLAN設計圖：第二章 割接規(guī)劃VLAN，策略等沿用原有數(shù)據(jù)不做新規(guī)劃，IP設備端口互聯(lián)用原有互聯(lián)地址，根據(jù)網(wǎng)絡拓撲做局部規(guī)劃，具體見附件：中煙集團數(shù)據(jù)中心網(wǎng)絡和營銷中心網(wǎng)絡工程LLD1.3。2.1 設備端口規(guī)劃具體接口連接根據(jù)中煙集團數(shù)據(jù)中心網(wǎng)絡和營銷中心網(wǎng)絡工程LLD1.3，現(xiàn)場配置再做具體調整；2.2 設備標簽以及描述設備標簽根據(jù)現(xiàn)有條件制定例如：安裝位置：設備編碼：管理地址：xxxx xxxxxxxxx 設備用途：XXX機房線纜標簽模板：集團集團Fr:設備名稱 接口To:設備名稱 接口例如：集團集團Fr: HW_CE12804 X1/，具708況設計連線6010101

7、010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010100/1/0To: 6F_HW_USG6650 2/0/0第三章 割接步驟3.1 離線測試在割接前對可預料的風險進行了離線測試，在割接前做好了充足準

8、備躲避相關風險，在未通過以下測試情況下不進行割接：1， 驗證Cisco 4506千兆光口與CE12800千兆光口對接是否成功。2， CE12800設備多模萬兆單板千兆模塊與USG6650 多模千兆光口對接是否成功。3， 驗證萬兆模塊在千兆多模/多模鏈路運行情況。4， 接口地址對應是否正確。5， 板卡熱插拔，電源模塊熱插拔。6， VXLAN分步式網(wǎng)關測試，倒換測試，檢查測試是否正常。7， Cisco 4506生成樹協(xié)議與華為生成樹協(xié)議對接。3.2 運行情況信息收集1,收集現(xiàn)網(wǎng)C6509 C4506 juniper C7606 ASA5580配置2，接口狀態(tài)3，ARP表，MAC表，路由表3.3 備

9、份數(shù)據(jù)保存現(xiàn)網(wǎng)設備配置至計算機。3.4 割接人員分組及安排由于割接工作跨越了兩個機房，需要安排兩組人員在兩個機房實施，2022-3-8第11頁, 共23頁.word3.5 割接動作序號時間實施內容操作步驟預期結果、檢查方法人員安排1割接前一周割接前準備工作1、設備安裝、調試。2、線路鋪設，完本錢部與卷煙廠機房的線路布放，并且在割接前一周確認需要布放的線纜無誤。1.1割接前一周光纖跳線鋪設，線纜做好標簽，設備腳本導入加電待命。1、檢查設備配置，確認配置無誤。2、將需要替換的光纖跳線鋪設至相應機柜，割接線纜做好標簽。細化網(wǎng)線和尾纖的標記方法：網(wǎng)線在配線架側均做好標簽，光纖在主機側做好標簽且要與需要

10、割接的光纖的綁在一起，方便萬一回滾。1.2割接前一周CE12804、CE6851、防火墻、各接入交換機聯(lián)通，設備狀態(tài)正常1、設備安裝，線路連接。需要在割接確認完全無任何問題，例如OSPF，BGP等。2、波分設備安裝配置完成，且完成與卷煙廠機房對接完成。3、光纖交換機需放線至新的OSN1800(待完成)EMC人員負責成功/PING通對端設備，OSPF、BGP鄰居關系正常。華為208:00-09:30Vxlan割接完成，集成商、華為、數(shù)據(jù)庫/主機人員2.108:00-08：10C6509,N7000互聯(lián)端口shutdown,不下電。將C6509,N7000互聯(lián)端口shutdown。2.208:10

11、-08：30CE6851、N5548對接，N5000二層、生成樹數(shù)據(jù)配置更改。完成CE6851、N5548線路對接，將新布線接至N5000，生成樹狀態(tài)檢測2.308:30-09：00Vxlan調通后，安排一組ORACLE RAC/DB2群集，首先聯(lián)機進行測試，測試內容包括系統(tǒng)狀態(tài)和切換措施，確認RAC及群集可正常工作(在此之后需把網(wǎng)口速率升成10GE)Oracle RAC、 HA環(huán)境接入1、 Vxlan聯(lián)通后,將網(wǎng)口連至新裝交換機，oracle工程師確認RAC集群狀態(tài)及業(yè)務是否正常 。2、 確認業(yè)務正常后，需要把IBM P750網(wǎng)口速率升成10GE2.409:00-09:30ORACLE RA

12、C/DB2群集業(yè)務觀察，測試結果確認Oracle RAC、 HA環(huán)境測試。2.5視情況處理問題，時間不超過2小時如第2.4步測試業(yè)務不正常，進行問題排查。對數(shù)據(jù)進行比照，路由、MAC、ARP表項查看。2.6如不能排除，將進行回退，后面步驟不再執(zhí)行建議在配置更改時不做保存，等業(yè)務正常后保存，便于回退2.7回退測試2.8割接終止39:30-11：30效勞器遷移 局部效勞器把網(wǎng)卡升至10GE1、局部效勞器把網(wǎng)卡升至10GE,需廠家和集成商完成配置,更換光模塊，修改效勞器配置。3.19:30-10:30線纜遷移，效勞器接入。1、 數(shù)據(jù)中心，效勞器接至接入交換機上。PC-SERVER在配線架側依次跳線。

13、2、 小型機需要主機側完成換線操作，有些小型機運行雙機業(yè)務，需維保廠家在完成換線操作后確認主機狀態(tài)。3.29:30-11:00業(yè)務觀察，測試結果確認檢查各項業(yè)務的運行情況。3.3視情況處理問題，時間為1小時如第3.2步中ERP、SEM或有超過30臺效勞器測試業(yè)務不正常，進行問題排查。對數(shù)據(jù)進行比照，路由、MAC、ARP表項查看。3.4如不能排除，將進行回退，后面步驟不再執(zhí)行建議在配置更改時不做保存，等業(yè)務正常后保存，便于回退3.5回退測試3.6割接終止410:00-12：00互聯(lián)網(wǎng)割接完成深信服, 集成商、華為10:00-10:30互聯(lián)網(wǎng)設備線路連接完成USG6650、AD4000、 Cisc

14、o 3560連線與配置成功/PING通對端設備，OSPF、鄰居關系正常。深信服, 集成商、華為10:30-11:00AD4000配置將原有ISG1000的PAT/NAT配置轉移到AD4000周末做好配置，不啟用深信服11:00-12:00互聯(lián)網(wǎng)業(yè)務測試各業(yè)務測試人員3.4如互聯(lián)網(wǎng)業(yè)務測試不通過,預計在1個小時內不能排除，將進行互聯(lián)網(wǎng)割接工程的單獨回退建議在配置更改時不做保存，等業(yè)務正常后保存，便于回退成功/PING通對端設備，OSPF、BGP鄰居關系正常。華為、集成商3.5回退測試回退后，業(yè)務檢查各業(yè)務測試人員512:30-14:00廣域網(wǎng)割接5.112:30-13:00進行廣域網(wǎng)USG665

15、0，廣域網(wǎng)設備的割接。將新布線接至CE12804，Cisco 7606成功/PING通對端設備，OSPF、鄰居關系正常。C7606人員安排、華為5.213:00-13:30網(wǎng)絡測試測試廣域網(wǎng)鏈路，檢查鄰居關系和鏈路。華為、集成商、各卷煙廠網(wǎng)絡管理人員5.313:00-14:00業(yè)務測試檢查各項業(yè)務的運行情況。各業(yè)務測試人員5.4視情況處理問題，時間為1小時如第12步測試業(yè)務不正常，進行問題排查。對數(shù)據(jù)進行比照，路由、MAC、ARP表項查看。是否能解決5.5如不能排除，將進行回退，后面步驟不在執(zhí)行建議在配置更改時不做做存，等業(yè)務正常后保存，便于回退回退后，業(yè)務檢查各業(yè)務測試人員614:00-園區(qū)

16、網(wǎng)割接6.114:00-14:30園區(qū)網(wǎng)設備聯(lián)線與配置樓層接入交換機、CE12804、無線控制器聯(lián)線華為、集成商6.214:30-15:00園區(qū)網(wǎng)網(wǎng)絡測試測試WLAN業(yè)務正常上網(wǎng)，出口業(yè)務訪問與園區(qū)網(wǎng)與數(shù)據(jù)中心的互訪聯(lián)網(wǎng)訪問園區(qū)網(wǎng)與數(shù)據(jù)中心華為、集成商、客戶安排人員測試6.315:00-16:00園區(qū)網(wǎng)業(yè)務測試檢查各項業(yè)務的運行情況。成功各測試人員6.4視情況處理問題，時間為1小時對數(shù)據(jù)進行比照，路由、MAC、ARP表項查看。是否能解決6.5建議在配置更改時不做做存，等業(yè)務正常后保存，便于回退回退后，業(yè)務檢查各業(yè)務測試人員716:00-17:00對各業(yè)務觀察，再次確認業(yè)務是否正常所有測試結果用

17、表格形勢反應割接完成.word割接時間窗為2022-6-17 08:00到2022-06-18 17：00，保存序號1-7進行,具體時間根據(jù)現(xiàn)場情況作調整。其中分別為VxLan、效勞器、互聯(lián)網(wǎng)、廣域網(wǎng)、園區(qū)網(wǎng)各保存2小時、1小時、1小時、1小時、1小時排故時間，總計保存6個小時的排故時間，因此，本次實施原那么上斷網(wǎng)時間為D日上午8點至D+1日1點，D+1日1點至17：00為意外應急時間。第四章 測試驗證4.1 測試驗證內容目前了解的有數(shù)據(jù)業(yè)務，廣域網(wǎng)接入業(yè)務等。序號測試工程操作及預期備注1互聯(lián)網(wǎng)業(yè)務互聯(lián)網(wǎng)正常訪問各大網(wǎng)站，收發(fā)郵件，登陸各業(yè)務系統(tǒng)辦公，測試WLAN業(yè)務正常上網(wǎng)，出口業(yè)務訪問與園

18、區(qū)網(wǎng)與數(shù)據(jù)中心的互訪 2數(shù)據(jù)業(yè)務數(shù)據(jù)中心VXLAN正常訪問，斷開主鏈路后，VXLAN業(yè)務是否正常切換開會時選擇3-4個應用3廣域網(wǎng)接入業(yè)務PING通對端網(wǎng)關IP。4視頻會議業(yè)務實際使用視頻會議系統(tǒng)，圖形無卡頓亂碼，語音清晰。5Vxlan業(yè)務ORACLE RAC/DB2群集，聯(lián)機進行測試，測試內容包括系統(tǒng)狀態(tài)和切換措施，確認RAC及群集可正常工作4.1.1 設備狀態(tài)檢查1，設備CPU占用率/內存占用率2，接口錯包統(tǒng)計，接口UP，MAC表，ARP、比照路由表與割接前收集數(shù)據(jù)比照。接口錯包統(tǒng)計:display this interface brief在鏈路端口下查看端口狀態(tài)是否UP：display

19、this interface查看接口下MAC地址學習情況:display mac-address查看接口下ARP表項:display arp比照路由表:dis ip route-table第五章 回退機制為防止割接過程中出現(xiàn)不可預料的異常，我們制定了相應的回退機制。針對割接時間窗內操作預期可能存在的風險項定義應對方案。如果出現(xiàn)以下情況在預定時間窗內不能恢復，那么進行回退操作。變更失敗定義:1，波分鏈路、以太網(wǎng)鏈路無法UP。2，各路由協(xié)議狀態(tài)不正常。3，驗證測試不通過。4，所帶業(yè)務出現(xiàn)中斷或者時延較大，在60分鐘之內如不能恢復正常。5、割接方案中說明的其他事項5.1 故障判斷故障情況操作步驟預期

20、結果、檢查方法波分鏈路、以太網(wǎng)鏈路無法UP檢查鏈路光功率，端口協(xié)商狀態(tài)，更換模塊。檢查網(wǎng)線連通性，更換網(wǎng)線。時間窗內排除直接回退。業(yè)務恢復/回退路由協(xié)議不正常檢查配置，根據(jù)狀態(tài)信息排查。時間窗內排除直接回退。業(yè)務恢復/回退出現(xiàn)單個電源模塊失效、主控板、業(yè)務板失效。單模塊運行，在24小時內更換。時間窗內排除直接回退。業(yè)務恢復/回退業(yè)務出現(xiàn)中斷或者時延較大時間窗內排除直接回退。業(yè)務恢復/回退VXLAN對接不成功檢查配置，根據(jù)狀態(tài)信息排查。時間窗內排除直接回退。業(yè)務恢復/回退VXLAN對接成功ORACLE RAC/DB2群集，首先聯(lián)機進行測試，測試內容包括系統(tǒng)狀態(tài)和切換措施，確認RAC及群集可正常工

21、作業(yè)務恢復/回退互聯(lián)網(wǎng)USG6650割接測試WLAN業(yè)務正常上網(wǎng)，出口業(yè)務訪問與園區(qū)網(wǎng)與數(shù)據(jù)中心的互訪聯(lián)網(wǎng)訪問園區(qū)網(wǎng)與數(shù)據(jù)中心，時間窗內排除直接回退。業(yè)務恢復/回退廣域網(wǎng)設備的割接。測試廣域網(wǎng)業(yè)務，測試不成功，時間窗內排除直接回退。業(yè)務恢復/回退5.2 緊急回退具體回退步驟：1， 線纜撤除，恢復原有設備線纜連接。2， 原設備互聯(lián)端口翻開。5.3 應急方案：廣域網(wǎng)、園區(qū)網(wǎng)割接時出現(xiàn)以下情況且無法在1個小時內解決，將考慮進行應急：1、 多個廣域網(wǎng)節(jié)點無法接入2、 園區(qū)網(wǎng)接入交換機出現(xiàn)故障，導致多個樓層無法連接網(wǎng)絡3、 WLAN系統(tǒng)失效，wifi用戶無法連入4、 出現(xiàn)設備不穩(wěn)定或用戶訪問系統(tǒng)速度慢的問題5、 其他尚未預見的問題主要措施：1、