云卓越架構(gòu)：云上網(wǎng)絡(luò)穩(wěn)定性建設(shè)最佳實踐

云上網(wǎng)絡(luò)穩(wěn)定性建設(shè)最佳實踐張星阿里云智能集團(tuán)云網(wǎng)絡(luò)解決方案架構(gòu)師2024/09/2002面向失敗的架構(gòu)設(shè)計03可觀測、應(yīng)急快恢和故障演練網(wǎng)絡(luò)實例異常爬蟲網(wǎng)絡(luò)實例異常爬蟲網(wǎng)絡(luò)安全攻擊網(wǎng)絡(luò)連通性異常網(wǎng)絡(luò)連通性異常穩(wěn)定性治理的責(zé)任分工客戶客戶客戶的責(zé)任故障演練（容災(zāi)切換、故障注入）應(yīng)急快恢（故障發(fā)現(xiàn)、定位、恢復(fù)）變更管理可觀測灰度與回滾故障演練（容災(zāi)切換、故障注入）應(yīng)急快恢（故障發(fā)現(xiàn)、定位、恢復(fù)）變更管理可觀測灰度與回滾高可用架構(gòu)設(shè)計（容災(zāi)、容錯、容量）物理硬件計算存儲數(shù)據(jù)庫網(wǎng)絡(luò)阿里云全球基礎(chǔ)設(shè)施Regions可用區(qū)云企業(yè)網(wǎng)面向失敗的網(wǎng)絡(luò)架構(gòu)設(shè)計綜合考慮容量、容災(zāi)和容錯，實現(xiàn)健壯聚焦可持續(xù)的網(wǎng)絡(luò)運(yùn)營面向失敗的網(wǎng)絡(luò)架構(gòu)設(shè)計綜合考慮容量、容災(zāi)和容錯，實現(xiàn)健壯聚焦可持續(xù)的網(wǎng)絡(luò)運(yùn)營觀測并通過智能化手段實現(xiàn)網(wǎng)絡(luò)的持續(xù)云廠商責(zé)任解決確定性的架構(gòu)設(shè)計問題解決不確定性風(fēng)險事件解決確定性的架構(gòu)設(shè)計問題解決不確定性風(fēng)險事件面向精細(xì)化的運(yùn)維管控面向精細(xì)化的運(yùn)維管控解決不確定性的運(yùn)維管控問題架構(gòu)設(shè)計原則變更執(zhí)行原則應(yīng)急處理原則容錯（點(diǎn)）1分鐘發(fā)現(xiàn)5容錯（點(diǎn)）1分鐘發(fā)現(xiàn)5分鐘響應(yīng)容量（線）可灰度可觀測可觀測10分鐘恢復(fù)10分鐘恢復(fù)容災(zāi)（面）可回滾業(yè)務(wù)場景業(yè)務(wù)場景穩(wěn)定可靠的私有業(yè)務(wù)環(huán)境安全的業(yè)務(wù)環(huán)境VPC網(wǎng)絡(luò)規(guī)劃設(shè)計設(shè)計方案設(shè)計方案IPv4/IPv6GWIPv4/IPv6GWAvailablezone-1Availablezone-2PrivateSubnet:/24網(wǎng)絡(luò)Availablezone-1Availablezone-2PrivateSubnet:/24網(wǎng)絡(luò)ACLPrivateSubnet:/24性伸縮/24/24TRVPC-BVPC-B/16VPC-D/16/16設(shè)計關(guān)鍵點(diǎn)設(shè)計關(guān)鍵點(diǎn)容災(zāi)容災(zāi)同城多活：VPC內(nèi)劃分的子網(wǎng)均支持多個可用區(qū)，應(yīng)用可以跨可用區(qū)部署，實現(xiàn)業(yè)務(wù)同城多容錯阿里云機(jī)房按照GB50174-2008《電子信息系統(tǒng)機(jī)房設(shè)計規(guī)范》不低于B級或者《TIA942》的T3+標(biāo)準(zhǔn)建設(shè)容量地址規(guī)劃：IP地址統(tǒng)一規(guī)劃，與現(xiàn)有內(nèi)網(wǎng)地址不能沖突且留有冗余，可以滿足業(yè)務(wù)長期發(fā)展彈性架構(gòu)：ALB/NLB加彈性伸縮實現(xiàn)彈性服務(wù)架構(gòu)轉(zhuǎn)發(fā)路由器TR協(xié)同云企業(yè)網(wǎng)CEN分鐘級構(gòu)建跨地域互聯(lián)網(wǎng)絡(luò)業(yè)務(wù)流量按需傳輸業(yè)務(wù)流量按需傳輸設(shè)計方案云網(wǎng)關(guān)網(wǎng)絡(luò)設(shè)備1212網(wǎng)絡(luò)設(shè)備31233123云網(wǎng)關(guān)業(yè)務(wù)場景設(shè)計關(guān)鍵點(diǎn)容災(zāi)VPC接入雙AZ高可靠：VPC實例關(guān)聯(lián)至TR時，請務(wù)必確保至少2個及以上可用區(qū)VSWENI連接，保障同城VPC多容錯多條跨域?qū)＞€配合主備環(huán)網(wǎng)，使2點(diǎn)間不少于3條路徑保護(hù)設(shè)計方案云網(wǎng)關(guān)網(wǎng)絡(luò)設(shè)備1212網(wǎng)絡(luò)設(shè)備31233123云網(wǎng)關(guān)業(yè)務(wù)場景設(shè)計關(guān)鍵點(diǎn)容災(zāi)VPC接入雙AZ高可靠：VPC實例關(guān)聯(lián)至TR時，請務(wù)必確保至少2個及以上可用區(qū)VSWENI連接，保障同城VPC多容錯多條跨域?qū)＞€配合主備環(huán)網(wǎng)，使2點(diǎn)間不少于3條路徑保護(hù)基于多平面網(wǎng)絡(luò)異常檢測，多因子分級最優(yōu)路徑?jīng)Q策以及秒級重路由路徑調(diào)整的全新主動式重路由技術(shù)。容量TR集群的高性能和彈性：單個TR集群支持100Gbps轉(zhuǎn)發(fā)性能，且單個VPC連接支持10Gbps，無需用戶配置規(guī)格按跨域帶寬支持按量彈性付費(fèi)：開通云數(shù)據(jù)傳輸服務(wù)CDT杭州北京新加坡深圳TR-Zoorouting快速重路由技術(shù)專線構(gòu)建混合云架構(gòu)設(shè)計方案品、品C品CEN云企業(yè)網(wǎng)專線專線業(yè)務(wù)場景設(shè)計關(guān)鍵點(diǎn)容災(zāi)通過雙專線雙接入點(diǎn)，提供線路級/設(shè)備級/機(jī)房級的高可用能力，提供不同級別的SLA保障容錯超大規(guī)模的城域?qū)Ｓ霉饫w互聯(lián)冗余連接，毫秒級故障倒換容量對于穩(wěn)定性要求高的業(yè)務(wù)可以規(guī)劃多組小帶寬專線，提供獨(dú)享鏈路對于資源靈活共享的業(yè)務(wù)可以在同一組大帶寬專線中，通過設(shè)計方案品、品C品CEN云企業(yè)網(wǎng)專線專線業(yè)務(wù)場景設(shè)計關(guān)鍵點(diǎn)容災(zāi)通過雙專線雙接入點(diǎn)，提供線路級/設(shè)備級/機(jī)房級的高可用能力，提供不同級別的SLA保障容錯超大規(guī)模的城域?qū)Ｓ霉饫w互聯(lián)冗余連接，毫秒級故障倒換容量對于穩(wěn)定性要求高的業(yè)務(wù)可以規(guī)劃多組小帶寬專線，提供獨(dú)享鏈路對于資源靈活共享的業(yè)務(wù)可以在同一組大帶寬專線中，通過vbr/qos等能力實現(xiàn)容量規(guī)劃BGP+BFD+快速倒換組，實現(xiàn)專線快速收斂和倒換，提升業(yè)務(wù)的連續(xù)性容災(zāi)BGP：在物理專線接入過程中，可以使用動態(tài)路由協(xié)議BGP實現(xiàn)本地數(shù)據(jù)中心IDC與邊界路由器VBR之間的內(nèi)網(wǎng)互連，從而搭建高效的混合云鏈路BFD：是一種雙向轉(zhuǎn)發(fā)檢測機(jī)制，可以提供毫秒級的檢測，可以實現(xiàn)鏈路的快速檢測流量自動從故障鏈路的VBR快速切換到備份VBR，完成毫秒級切換，加快阿里云網(wǎng)絡(luò)內(nèi)部收斂，實現(xiàn)業(yè)務(wù)平滑過渡設(shè)計方案23CEN云企業(yè)網(wǎng)專線業(yè)務(wù)場景設(shè)計關(guān)鍵點(diǎn)1設(shè)計方案23CEN云企業(yè)網(wǎng)專線業(yè)務(wù)場景設(shè)計關(guān)鍵點(diǎn)1業(yè)務(wù)場景設(shè)計關(guān)鍵點(diǎn)容災(zāi)用戶可以在多個VPN鏈路之間進(jìn)行ECMP負(fù)載均衡接入，從而提高可用性；雙隧道模式的IPsec-業(yè)務(wù)場景設(shè)計關(guān)鍵點(diǎn)容災(zāi)用戶可以在多個VPN鏈路之間進(jìn)行ECMP負(fù)載均衡接入，從而提高可用性；雙隧道模式的IPsec-VPN連接擁有主備兩條隧道，在主隧道故障后，流量可以通過備隧道進(jìn)行傳輸，提高了IPsec-VPN連接的可用性容錯VPN網(wǎng)元底層是NFV集群化設(shè)計，底層單機(jī)故障可以做到實時熱遷移容量VPN之間可以通過多個實例橫向擴(kuò)容，單個VPN隧道支持1Gbps的帶寬，并且可以通過多個VPN實例快速構(gòu)建更大級別的鏈路設(shè)計方案設(shè)計方案繁榮的集成生態(tài)，助力企業(yè)國內(nèi)外分支便捷上云設(shè)計方案路由表VPN路由表設(shè)計方案路由表VPN路由表海外分支分支設(shè)備海外分支分支設(shè)備業(yè)務(wù)場景業(yè)務(wù)價值容災(zāi)分支到阿里云的underlay線路選擇不同的線路供應(yīng)商實現(xiàn)物理通道的高可用到健康實例路由自動發(fā)布到TR路由表，并向全網(wǎng)自動發(fā)布容錯云上部分依賴云原生產(chǎn)品的高可用設(shè)計SDWAN部分依賴廠商自身的容錯設(shè)計容量該方案整體不具備彈性能力，端到端鏈路的彈性受限于本地網(wǎng)絡(luò)公網(wǎng)出口帶寬、專線帶寬、3rdSDWAN轉(zhuǎn)發(fā)性能的影響，如果需要擴(kuò)容測試VPC新加坡TRVPCAttachment跨地域帶寬Attachment開發(fā)VPC上海TRVPCAttachment業(yè)務(wù)場景應(yīng)用多活設(shè)計關(guān)鍵點(diǎn)容災(zāi)多可用區(qū)部署：避免單可用區(qū)故障，單可用區(qū)業(yè)務(wù)場景應(yīng)用多活設(shè)計關(guān)鍵點(diǎn)容災(zāi)多可用區(qū)部署：避免單可用區(qū)故障，單可用區(qū)健康檢測：健康檢查機(jī)制避免了后端ECS異常對總體服務(wù)的影響，提高了前端業(yè)務(wù)整體可用性容錯多節(jié)點(diǎn)session同步，單機(jī)、單節(jié)點(diǎn)故障長連接不中斷對ALBproxy的http類型健康檢查，故障節(jié)點(diǎn)容量單實例100WQps：動態(tài)彈性伸縮，單實例支持高達(dá)100WQps。設(shè)計方案設(shè)計方案自動伸縮服務(wù)器類型函數(shù)計算類型服務(wù)器組3方案核心能力ALBHTTP/HTTPS/QUIC服務(wù)器組1自動伸縮服務(wù)器類型函數(shù)計算類型服務(wù)器組3方案核心能力ALBHTTP/HTTPS/QUIC服務(wù)器組1服務(wù)器組2與轉(zhuǎn)發(fā)由ALB負(fù)責(zé)，實現(xiàn)轉(zhuǎn)發(fā)與防護(hù)完全分離，避免了業(yè)務(wù)場景應(yīng)用容災(zāi)調(diào)度提升服務(wù)連續(xù)性應(yīng)用訪問優(yōu)化提升服務(wù)體驗設(shè)計關(guān)鍵點(diǎn)容災(zāi)多中心部署：業(yè)務(wù)場景應(yīng)用容災(zāi)調(diào)度提升服務(wù)連續(xù)性應(yīng)用訪問優(yōu)化提升服務(wù)體驗設(shè)計關(guān)鍵點(diǎn)容災(zāi)多中心部署：業(yè)務(wù)同城雙可用區(qū)部署，跨地域多活災(zāi)備部署服務(wù)可用性實時探測：GTM健康檢測探測服務(wù)可用性，服務(wù)一旦不可用快速切換至雙活節(jié)點(diǎn)，實現(xiàn)兩地三中心應(yīng)用級容災(zāi)容錯GTM采用全球多節(jié)點(diǎn)部署的架構(gòu)設(shè)計，實現(xiàn)了各節(jié)點(diǎn)之間的互備，有效避免了單節(jié)點(diǎn)故障導(dǎo)致容量通過自研的高性能DNS解析軟件，單機(jī)解析并發(fā)能力超過千萬，支持動態(tài)水位擴(kuò)容升級，確保解析服務(wù)的高可用性和彈性伸縮。設(shè)計方案設(shè)計方案北京用戶云解析全局流量管理方案核心能力北京用戶云解析全局流量管理方案核心能力上海用戶健康檢查上海上海用戶健康檢查北京境外用戶美東版配置，多模版綜合判斷可用性，最快1分鐘發(fā)現(xiàn)并完成故網(wǎng)絡(luò)流量不可見網(wǎng)絡(luò)流量不可見?訪問源（國家/城市/ISP）TR同地域流量Step2：看流量Top排序，下鉆流量分析Step3：查看趨勢圖，看流量波動明細(xì)n流量TopN分析：有效抓取流量刺客，解決網(wǎng)絡(luò)擁塞問題Step1：選場景、選Region，看流量分布TR混合云流量TR跨地域流量公網(wǎng)流量n流量洞察分析：應(yīng)用AIOps智能基線預(yù)警，及時感知公網(wǎng)質(zhì)量劣化和對業(yè)務(wù)IP的影響Step1:創(chuàng)建洞察儀添加監(jiān)測資源Step2:觀測網(wǎng)絡(luò)質(zhì)量運(yùn)行狀況Step3:訂閱網(wǎng)絡(luò)質(zhì)量事件，分析影響面Step4:訂閱流量周期性波動事件服務(wù)不可用問題服務(wù)不可用問題nn實例診斷：選擇網(wǎng)絡(luò)實例一鍵觸發(fā)，診斷全面，報告詳實診斷覆蓋產(chǎn)品負(fù)載均衡：CLB/ALB/NLB彈性公網(wǎng)EIPVBRVPN網(wǎng)關(guān)私網(wǎng)連接PVL全球加速GA應(yīng)急快恢診斷分析類別健康檢查診斷容量超限診斷證書診斷安全策略檢測費(fèi)用診斷監(jiān)聽診斷等待十幾秒n路徑分析：輸入路徑五元組，逐跳分析網(wǎng)絡(luò)連通性，提供轉(zhuǎn)發(fā)拓?fù)浜途W(wǎng)絡(luò)斷點(diǎn)根因分析輸出轉(zhuǎn)發(fā)拓?fù)浜头治鼋Y(jié)果輸出轉(zhuǎn)發(fā)拓?fù)浜头治鼋Y(jié)果路由、ACL、安全組和防火墻攔截日志等路由表無命中條目、ACL/安全組存在攔截規(guī)則、防火墻存在歷史攔截等若訪問不通，提供可選路徑推薦和配置建議輸入路徑的“源”和“目的”輸入路徑的“源”和“目的”覆蓋場景跨VPC訪問：TR、VPC-peering混合云訪問：VBR、ECR、VPNVSW、ECS、IP（公網(wǎng)、云下私網(wǎng)）逐跳分析網(wǎng)絡(luò)配置VIP3容災(zāi)：VIP探測失敗，主動從DNS摘除VIPVIP3容災(zāi)：VIP探測失敗，主動從DNS摘除VIP的A記錄演練：主動摘除VIP，存量連接不影響，DNS不再解析該VIPVPCVIP1VIP2VIP3VPC容災(zāi)演練，主動關(guān)閉VIP3VPC容災(zāi)演練，主動關(guān)閉VIP3 VIP1VIP2VIP3AZ-AAZ-BAZ-C解決方案級別的解決方案級別的AZ級別的容災(zāi)演練容災(zāi)演練：與云速搭(CADT)結(jié)合，支持整個組網(wǎng)AZ級別的容災(zāi)演練故障演練：高速通道高速通道產(chǎn)品已支持用戶自主進(jìn)行故障演練，高速通道產(chǎn)品已支持用戶自主進(jìn)行故障演練，驗證組網(wǎng)的可靠性（可以驗證流量是否正常切換、切換耗時）阿里云助力某頭部出行服務(wù)商構(gòu)建全球互聯(lián)網(wǎng)絡(luò)**是全球領(lǐng)先的出行服務(wù)商，用戶可以通過該平臺享受豐富的出行旅行服務(wù)。該客戶業(yè)務(wù)包括酒**是全球領(lǐng)先的出行服務(wù)商，用戶可以通過該平臺享受豐富的出行旅行服務(wù)。該客戶業(yè)務(wù)包括酒店、機(jī)票、火車票等核心板塊。原先國內(nèi)的主要資源在上海IDC，海外主要資源在海外某云服務(wù)廠商，如今與阿里云合作，在上海、新加坡等地覆蓋其核心業(yè)務(wù)板塊。方案價值?方案價值?穩(wěn)定：專線、IPSec等場景均采用多鏈路冗余設(shè)計，提供穩(wěn)定鏈接?安全：通過CEN多平面承載不同核心業(yè)務(wù)，不同域進(jìn)過防火墻?彈性：跨境專線和多云互聯(lián)鏈路可按需彈性擴(kuò)容，快速響應(yīng)業(yè)務(wù)發(fā)展阿里云新加坡交易VPCTR交易生產(chǎn)VPC工具VPCAWS新加坡交易VPC生產(chǎn)VPC安全VPC阿里云上海-上海