網(wǎng)絡(luò)項(xiàng)目割接方案V8

1、中煙集團(tuán)數(shù)據(jù)中心網(wǎng)絡(luò)項(xiàng)目割接方案HUAWEI華為技術(shù)服務(wù)有限公司HuaweiTechnologiesCo.,Ltd.2017年6月文檔名稱中煙集團(tuán)數(shù)據(jù)中心網(wǎng)絡(luò)項(xiàng)目設(shè)備割接方案陽*技術(shù)文檔工程文檔口培訓(xùn)文檔口運(yùn)維文檔口乂怕欠力U項(xiàng)目文檔口服務(wù)文檔口其他口當(dāng)刖版本1.1創(chuàng)建日期2017.6.7文檔主送部門中煙集團(tuán)數(shù)據(jù)中心文檔作者聯(lián)系方式修訂記錄修改記錄日期修改人審閱人摘要V1.02017.6.1建立文檔V1.12017.6.8建立文檔目錄第一章割接說明41.1 總體說明41.2 人員安排41.3 物料備件準(zhǔn)備51.4 組網(wǎng)結(jié)構(gòu)71.4.1 割接前組網(wǎng)結(jié)構(gòu)71.4.2 割接后組網(wǎng)結(jié)構(gòu)7第二章割接規(guī)劃

2、92.1 設(shè)備端口規(guī)劃92.2 設(shè)備標(biāo)簽以及描述9第三章割接步驟113.1 離線測試113.2 運(yùn)行情況信息收集113.3 備份數(shù)據(jù)113.4 割接動(dòng)作11第四章測試驗(yàn)證194.1 測試驗(yàn)證內(nèi)容194.1.1 設(shè)備狀態(tài)檢查19第五章回退機(jī)制205.1 故障判斷205.2 緊急回退21第六章風(fēng)險(xiǎn)評估226.1風(fēng)險(xiǎn)評估22第七章守局方案221、守局目的：222、職守方式223、管理制度224、守局值班安排23第八章配置模板24第一章割接說明1.1 總體說明建設(shè)單位集團(tuán)施工單位華為技術(shù)有限公司、北京銀信長遠(yuǎn)科技股份有限公司割接局點(diǎn)中煙集團(tuán)數(shù)據(jù)中心網(wǎng)絡(luò)和營銷中心涉及設(shè)備及版本號CE12804V200R

3、001USG660V500R001CE6851V200R001割接及測試時(shí)間段2017-6-1708:00至2017-6-1813:00回退時(shí)間段13:00-21:00升級/割接簡述：本次設(shè)備替換為，我司的CE12804替換現(xiàn)網(wǎng)的CiscoCatalyst6509設(shè)備，USG6600替換現(xiàn)網(wǎng)的juniper設(shè)備。對原有硬件設(shè)備進(jìn)行替換，涉及業(yè)務(wù)改變，原來的OTV各采用VXALNBW代，其它配置原則上采用原有配置，接口地址有部分改變，由于設(shè)備軟件版本不同命令會(huì)有變化，不對網(wǎng)絡(luò)結(jié)構(gòu)以及流量走向做改變。升級/割接影響：此次操作將會(huì)影中斷網(wǎng)絡(luò)約2天。1.2 人員安排客戶配合人員：小組編號割接人員單位聯(lián)

4、系電話123華為公司人員:小組編號割接人員施工單位聯(lián)系電話1234北京銀信人員:小組編號割接人員施工單位聯(lián)系電話1234其它人員:小組編號割接人員施工單位聯(lián)系電話12245678后端保障人員小組編號保障人員施工單位聯(lián)系電話1231.3 物料備件準(zhǔn)備物料名稱數(shù)量提供方備注（物料Bom編碼）光纖跳線若干條客戶需要根據(jù)現(xiàn)場機(jī)房情況確定（單模/多模/長度/接口光功率計(jì)1客戶/集成商備用光模塊10客戶使用本期米購未使用模塊備用網(wǎng)線客戶/集成商原有網(wǎng)線長度不夠或失效情況卜使用線纜標(biāo)簽集成商1.4 組網(wǎng)結(jié)構(gòu)1.4.1 割接前組網(wǎng)結(jié)構(gòu)原中煙數(shù)據(jù)中心和營銷中心現(xiàn)有核心交換機(jī)CiscoCatalyst6509和廣

5、域網(wǎng)路由器Cisco7606已運(yùn)行多年，系統(tǒng)容量不足、故障率升高。組網(wǎng)如下圖：”3乜T&*Ti”f-EXPlJAIl,*1.4.2 割接后組網(wǎng)結(jié)構(gòu)核心區(qū)兩臺CE12804（數(shù)據(jù)中心級交換機(jī)）橫向堆疊成一臺設(shè)備，然后虛擬成兩臺VS,數(shù)據(jù)中心VS與園區(qū)網(wǎng)VS與數(shù)據(jù)中心中間通過兩臺USG6650互聯(lián)，中間USG6650防火墻進(jìn)行安全控制，USG6650防火墻雙機(jī)熱備；數(shù)據(jù)中心VS設(shè)備通過波分鏈路與CE6851對接，實(shí)現(xiàn)VXLAN的分步式網(wǎng)關(guān)。園區(qū)網(wǎng)部署一個(gè)VS作為匯聚交換機(jī)，與互聯(lián)網(wǎng)USG6650互聯(lián)，提供安全控制。割接后組網(wǎng)圖如下：1、數(shù)據(jù)中心組網(wǎng)圖:VXLAN設(shè)計(jì)圖:擅心交檄機(jī)棺心交檢機(jī)

6、CE12倒4CE12SM第二章割接規(guī)劃VLAN,策略等沿用原有數(shù)據(jù)不做新規(guī)劃，IP設(shè)備端口互聯(lián)用原有互聯(lián)地址，根據(jù)網(wǎng)絡(luò)拓?fù)渥霾糠忠?guī)劃，具體見附件：中煙集團(tuán)數(shù)據(jù)中心網(wǎng)絡(luò)和營銷中心網(wǎng)絡(luò)項(xiàng)目LLD1.3。2.1 設(shè)備端口規(guī)劃具體接口連接根據(jù)中煙集團(tuán)數(shù)據(jù)中心網(wǎng)絡(luò)和營銷中心網(wǎng)絡(luò)項(xiàng)目LLD1.3,現(xiàn)場配置再做具體調(diào)整；2.2 設(shè)備標(biāo)簽以及描述設(shè)備標(biāo)簽根據(jù)現(xiàn)有條件制定例如：設(shè)備編碼：XXX機(jī)房設(shè)備用途：線纜標(biāo)簽?zāi)０?集團(tuán)集團(tuán)Fr:設(shè)備名稱接口To:設(shè)備名稱接口例如:集團(tuán)集團(tuán)Fr:HW_CE12804X1/0/1/0To:6F_HW_USG66502/0/0第三章割接步驟3.1離線測試在割接前對可預(yù)料的風(fēng)險(xiǎn)進(jìn)

7、行了離線測試，在割接前做好了充足準(zhǔn)備規(guī)避相關(guān)風(fēng)險(xiǎn)，在未通過以下測試情況下不進(jìn)行割接：1,驗(yàn)證Cisco4506千兆光口與CE12800千兆光口對接是否成功。2,CE12800設(shè)備多模萬兆單板千兆模塊與USG6650多模千兆光口對接是否成功3,驗(yàn)證萬兆模塊在千兆多模/多模鏈路運(yùn)行情況。4,接口地址對應(yīng)是否正確。5,板卡熱插拔，電源模塊熱插拔。6, VXLAN分步式網(wǎng)關(guān)測試，倒換測試，檢查測試是否正常。7, Cisco4506生成樹協(xié)議與華為生成樹協(xié)議對接。3.2 運(yùn)行情況信息收集1,收集現(xiàn)網(wǎng)C6509C4506juniperC7606ASA5580配置2,接口狀態(tài)3, ARP表，MAC表，路由表

8、3.3 備份數(shù)據(jù)保存現(xiàn)網(wǎng)設(shè)備配置至計(jì)算機(jī)。3.4 割接人員分組及安排由于割接工作跨越了兩個(gè)機(jī)房，需要安排兩組人員在兩個(gè)機(jī)房實(shí)施，3.5 割接動(dòng)作序號時(shí)間實(shí)施內(nèi)容操作步驟預(yù)期結(jié)果、檢查方法人員安排1割接前一周割接前準(zhǔn)備工作1、設(shè)備安裝、調(diào)試。2、線路鋪設(shè)，完成本部與卷煙廠機(jī)房的線路布放，并且在割接前一周確認(rèn)需要布放的線纜無誤。1.1割接前一周光纖跳線鋪設(shè)，線纜做好標(biāo)簽，設(shè)備腳本導(dǎo)入加電待命。1、檢查設(shè)備配置，確認(rèn)配置無誤。2、將需要替換的光纖跳線鋪設(shè)至相應(yīng)機(jī)柜，割接線纜做好標(biāo)簽。細(xì)化網(wǎng)線和尾纖的標(biāo)記方法：網(wǎng)線在配線架側(cè)均做好標(biāo)簽，光纖在主機(jī)側(cè)做好標(biāo)簽且要與需要割接的光纖的綁在T,方便力一回滾。1

9、.2割接前一周CE12804CE6851防火墻、各接入交換機(jī)聯(lián)通，設(shè)備狀態(tài)正常1、設(shè)備安裝，線路連接。需要在割接確認(rèn)完全無任何問題，例如OSPFBG吟2、波分設(shè)備安裝配置完成，且完成與卷煙廠機(jī)房對接完成。3、光纖交換機(jī)需放線至新的OSN180g完成）EMC人員負(fù)責(zé)成功/PING通對端設(shè)備，OSPFBGP鄰居關(guān)系正常。（華為）208:00-09:30Vxlan割接完成，集成商、華為、數(shù)據(jù)庫/主機(jī)人員2.108:00-08:10C6509,N7000SK端口shutdown,與電。將C6509,N7000互聯(lián)端口shutdowno2.208:10-08:30CE6851N5548對接，N5000二

10、層、生成樹數(shù)據(jù)配置更改。完成CE6851N5548線路對接，將新布線接至N500Q生成樹狀態(tài)檢測2.308:30-09:00Vxlan調(diào)通后，安排一組ORACLERAC/DB群集，首先聯(lián)機(jī)進(jìn)行測試，測試內(nèi)容包括系統(tǒng)狀態(tài)和切換措施，確認(rèn)RAO群集可正常工作（在此之后需把網(wǎng)口速率升成10GE）OracleRAC、HA環(huán)境接入2、Vxlan聯(lián)通后，將網(wǎng)口連至新裝交換機(jī)，oracle工程師確認(rèn)RAC®群狀態(tài)及業(yè)務(wù)是否正常。2、確認(rèn)業(yè)務(wù)正常后，需要把IBMP750網(wǎng)口速率開成10GE2.409:00-09:30ORACLRAC/DB第集業(yè)務(wù)觀察，測試結(jié)果確認(rèn)OracleRAC、HA環(huán)境測試。2

11、.5視情況處理問題，時(shí)間/、超過2小時(shí)如第2.4步測試業(yè)務(wù)不止常，進(jìn)行問題排查。對數(shù)據(jù)進(jìn)行對比，路由、MACARPS項(xiàng)查看。2.6如不能排除，將進(jìn)行回退，后面步驟/、再執(zhí)行建議在配置更改時(shí)不做保存，等業(yè)務(wù)正常后保存，便于回退2.7回退測試2.8割接終止2017-8-9第13頁，共24頁39:30-11:30服務(wù)器遷移部分服務(wù)器把網(wǎng)卡升至10GE1、部分服務(wù)器把網(wǎng)卡升至10GE,需廠家和集成商完成配置，更換光模塊，修改服務(wù)器配置。3.19:30-10:30線纜遷移，服務(wù)器接入。1、數(shù)據(jù)中心，服務(wù)器接至接入交換機(jī)上。PC-SERVER配線架側(cè)依次跳線。2、小型機(jī)需要主機(jī)側(cè)完成換線操作，有些小型機(jī)運(yùn)

12、行雙機(jī)業(yè)務(wù)，需維保廠家在完成換線操作后確認(rèn)主機(jī)狀態(tài)。3.29:30-11:00業(yè)務(wù)觀察，測試結(jié)果確認(rèn)檢查各項(xiàng)業(yè)務(wù)的運(yùn)行情況。3.3視情況處理問題，時(shí)間為1小時(shí)如第3.2步中ERRSEME有超過30臺服務(wù)器測試業(yè)務(wù)/、止常，進(jìn)行問題排查。對數(shù)據(jù)進(jìn)行對比，路由、MACARPft項(xiàng)查看。3.4如不能排除，將進(jìn)行回退，后面步驟/、再執(zhí)行建議在配置更改時(shí)不做保存，等業(yè)務(wù)正常后保存，便于回退3.5回退測試3.6割接終止410:00-12:00互聯(lián)網(wǎng)割接完成（深信服,集成商、華為）2017-8-9第14頁，共24頁10:00-10:30互聯(lián)網(wǎng)設(shè)備線路連接完成USG6650AD4000Cisco3560連線與

13、配置成功/PING通對端設(shè)備，OSPF令口居關(guān)系正常。（深信服，集成商、華為）10:30-11:00AD4000酉己置將原有ISG1000的PAT/NAT配置轉(zhuǎn)移到AD4000（周末做好配置，不啟用）深信服11:00-12:00互聯(lián)網(wǎng)業(yè)務(wù)測試（各業(yè)務(wù)測試人員）3.4如互聯(lián)網(wǎng)業(yè)務(wù)測試不通過，預(yù)計(jì)在1個(gè)小時(shí)內(nèi)不能排除，將進(jìn)行互聯(lián)網(wǎng)割接項(xiàng)目的單獨(dú)回退建議在配置更改時(shí)不做保存，等業(yè)務(wù)正常后保存，便于回退成功/PING通對端設(shè)備，OSPFBGF鄰居關(guān)系正常。（華為、集成商）3.5回退測試回退后，業(yè)務(wù)檢查（各業(yè)務(wù)測試人員）512:30-14:00廣域網(wǎng)割接5.112:30-13:00進(jìn)行廣域網(wǎng)USG665

14、0廣域網(wǎng)設(shè)備的割接。將新布線接至CE12804Cisco7606成功/PING通對端設(shè)備，OSPF鄰居關(guān)系正常。（C7606人員安排、華為）5.213:00-13:30網(wǎng)絡(luò)測試測試廣域網(wǎng)鏈路，檢查鄰居關(guān)系和鏈路。華為、集成商、各卷煙J網(wǎng)絡(luò)管理人員2017-8-9第15頁，共24頁5.313:00-14:00業(yè)務(wù)測試檢查各項(xiàng)業(yè)務(wù)的運(yùn)行情況。（各業(yè)務(wù)測試人員）5.4視情況處理問題，時(shí)間為1小時(shí)如第12步測試業(yè)務(wù)/、止常，進(jìn)行問題排查。對數(shù)據(jù)進(jìn)行對比，路由、MACARPft項(xiàng)查看。是否能解決5.5如不能排除，將進(jìn)行回退，后面步驟不在執(zhí)行建議在配置更改時(shí)不做做存，等業(yè)務(wù)正常后保存，便于回退回退后，業(yè)務(wù)

15、檢查（各業(yè)務(wù)測試人員）614:00-園區(qū)網(wǎng)割接6.114:00-14:30園區(qū)網(wǎng)設(shè)備聯(lián)線與配置樓層接入交換機(jī)、CE12804無線控制器聯(lián)線華為、集成商6.214:30-15:00園區(qū)網(wǎng)網(wǎng)絡(luò)測試測試WLAMk務(wù)正常上網(wǎng)，出口業(yè)務(wù)訪問與園區(qū)網(wǎng)與數(shù)據(jù)中心的互訪聯(lián)網(wǎng)訪問園區(qū)網(wǎng)與數(shù)據(jù)中心華為、集成商、客戶安排人員測試6.315:00-16:00園區(qū)網(wǎng)業(yè)務(wù)測試檢查各項(xiàng)業(yè)務(wù)的運(yùn)行情況。成功（各測試人員）6.4視情況處理問題，時(shí)間為1小時(shí)對數(shù)據(jù)進(jìn)行對比，路由、MACARPft項(xiàng)查看。是否能解決6.5建議在配置更改時(shí)不做做存，等業(yè)務(wù)正常后保存，便于回退回退后，業(yè)務(wù)檢查（各業(yè)務(wù)測試人員）2017-8-9第16頁，

16、共24頁716:00-17:00對各業(yè)務(wù)觀察，再次確認(rèn)業(yè)務(wù)是否正常所有測試結(jié)果用表格形勢反饋割接完成2017-8-9第17頁，共24頁割接時(shí)間窗為2017-6-1708:00到2017-06-1817:00,保留序號1-7進(jìn)行，具體時(shí)間根據(jù)現(xiàn)場情況作調(diào)整。其中分別為VxLan、服務(wù)器、互聯(lián)網(wǎng)、廣域網(wǎng)、園區(qū)網(wǎng)各保留2小時(shí)、1小時(shí)、1小時(shí)、1小時(shí)、1小時(shí)排故時(shí)間，總計(jì)保留6個(gè)小時(shí)的排故時(shí)間，因此，本次實(shí)施原則上斷網(wǎng)時(shí)間為D日上午8點(diǎn)至D+1日1點(diǎn)，D+1日1點(diǎn)至17:00為意外應(yīng)急時(shí)間。第四章測試驗(yàn)證4.1 測試驗(yàn)證內(nèi)容目前了解的有數(shù)據(jù)業(yè)務(wù)，廣域網(wǎng)接入業(yè)務(wù)等。序號測試項(xiàng)目操作及預(yù)期備注1互聯(lián)網(wǎng)業(yè)務(wù)

17、互聯(lián)網(wǎng)正常訪問各大網(wǎng)站，收發(fā)郵件，登陸各業(yè)務(wù)系統(tǒng)辦公，測試WLANk務(wù)正常上網(wǎng)，出口業(yè)務(wù)訪問與園區(qū)網(wǎng)與數(shù)據(jù)中心的互訪2數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)中心VXLANE常訪問，斷開主鏈路后，VXLAN業(yè)務(wù)是否正常切換開會(huì)時(shí)選擇3-4個(gè)應(yīng)用3廣域網(wǎng)接入業(yè)務(wù)PING通對端網(wǎng)關(guān)IP。4視頻會(huì)議業(yè)務(wù)實(shí)際使用視頻會(huì)議系統(tǒng)，圖形無卡頓亂碼，語音清晰。5Vxlan業(yè)務(wù)ORACLERAC/D由集，聯(lián)機(jī)進(jìn)行測試，測試內(nèi)容包括系統(tǒng)狀態(tài)和切換措施，確認(rèn)RACX群集可止常工作4.1.1 設(shè)備狀態(tài)檢查1,設(shè)備CPU占用率/內(nèi)存占用率2,接口錯(cuò)包統(tǒng)計(jì)，接口UP,MAC表，ARP、對比路由表與割接前收集數(shù)據(jù)對比。接口錯(cuò)包統(tǒng)計(jì):displayth

18、isinterfacebrief在鏈路端口下查看端口狀態(tài)是否UPdisplaythisinterface查看接口下MACfe址學(xué)習(xí)情況:displaymac-address查看接口下ARPife項(xiàng):displayarp對比路由表:disiproute-table第五章回退機(jī)制為防止割接過程中出現(xiàn)不可預(yù)料的異常，我們制定了相應(yīng)的回退機(jī)制。針對割接時(shí)間窗內(nèi)操作預(yù)期可能存在的風(fēng)險(xiǎn)項(xiàng)定義應(yīng)對方案。如果出現(xiàn)以下情況在預(yù)定時(shí)間窗內(nèi)不能恢復(fù)，則進(jìn)行回退操作。變更失敗定義：1,波分鏈路、以太網(wǎng)鏈路無法UP。2,各路由協(xié)議狀態(tài)不正常。3,驗(yàn)證測試不通過。4,所帶業(yè)務(wù)出現(xiàn)中斷或者時(shí)延較大，在60分鐘之內(nèi)如不能恢復(fù)

19、正常。5、割接計(jì)劃中說明的其他事項(xiàng)5.1 故障判斷故障情況操作步驟預(yù)期結(jié)果、檢查方法波分鏈路、以太網(wǎng)鏈路無法UP檢查鏈路光功率，端口協(xié)商狀態(tài)，更換模塊。檢查網(wǎng)線連通性，更換網(wǎng)線。時(shí)間窗內(nèi)由卜除直接回退。業(yè)務(wù)恢復(fù)/回退路由協(xié)議不止常檢查配置，根據(jù)狀態(tài)信息排查。時(shí)問囪內(nèi)省卜除直接回退。業(yè)務(wù)恢復(fù)/回退出現(xiàn)單個(gè)電源模塊失效、主控板、業(yè)務(wù)板失效。單模塊運(yùn)行，在24小時(shí)內(nèi)更換。時(shí)間窗內(nèi)由日除直接回退。業(yè)務(wù)恢復(fù)/回退業(yè)務(wù)出現(xiàn)中斷或者時(shí)延較大時(shí)間窗內(nèi)由卜除直接回退。業(yè)務(wù)恢復(fù)/回退VXLAN寸接不成功檢查配置，根據(jù)狀態(tài)信息排查。時(shí)間窗內(nèi)由日除直接回退。業(yè)務(wù)恢復(fù)/回退VXLAN寸接成功ORACLERAC/DB2I

20、,首先聯(lián)機(jī)進(jìn)行測試，測試內(nèi)容包括系統(tǒng)狀態(tài)和切換措施，確認(rèn)RA或群集可止常工作業(yè)務(wù)恢復(fù)/回退互聯(lián)網(wǎng)USG665副接測試WLAMk務(wù)正常上網(wǎng)，出口業(yè)務(wù)訪問與園區(qū)網(wǎng)與數(shù)據(jù)中心的互訪聯(lián)網(wǎng)訪問園區(qū)網(wǎng)與數(shù)據(jù)中心，時(shí)間窗內(nèi)排除直接回退。業(yè)務(wù)恢復(fù)/回退廣域網(wǎng)設(shè)備的割接。測試廣域網(wǎng)業(yè)務(wù)，測試不成功，時(shí)間窗內(nèi)排除直接回退。業(yè)務(wù)恢復(fù)/回退5.2 緊急回退具體回退步驟：1,線纜拆除，恢復(fù)原有設(shè)備線纜連接。2,原設(shè)備互聯(lián)端口打開。5.3 應(yīng)急計(jì)劃：廣域網(wǎng)、園區(qū)網(wǎng)割接時(shí)出現(xiàn)以下情況且無法在1個(gè)小時(shí)內(nèi)解決，將考慮進(jìn)行應(yīng)急:1、多個(gè)廣域網(wǎng)節(jié)點(diǎn)無法接入2、園區(qū)網(wǎng)接入交換機(jī)出現(xiàn)故障，導(dǎo)致多個(gè)樓層無法連接網(wǎng)絡(luò)3、WLAN（統(tǒng)失效，wifi用戶無法連入4、出現(xiàn)設(shè)備不穩(wěn)定或用戶訪問系統(tǒng)速度慢的問題5、其他尚未預(yù)見的問題主要措施：1、系統(tǒng)暫時(shí)放棄主備架構(gòu)，修改為單設(shè)備或單線