深度用云 網絡先行-云網絡卓越架構設計

深度用云網絡先行常磊阿里云智能集團資深產品解決方案架構師2024/09/19總結深度用云中遇到的問題,沉淀出優(yōu)秀的架構忽視網絡規(guī)劃和設計，為業(yè)務的長期發(fā)展埋下忽視網絡規(guī)劃和設計，為業(yè)務的長期發(fā)展埋下隱患瘋狂點控制臺批量瘋狂點控制臺批量離應用未實現(xiàn)跨可用區(qū)客戶1：直播回源業(yè)務單可用區(qū)部署，花費3周時間做客戶2：業(yè)務部署在單VPC，條)，運維復雜度非常高機割接才完成改造客戶4：專線主備配置不客戶5：業(yè)務要求單ECS綁定300EIP，控制臺操作數小時穩(wěn)定穩(wěn)定構建高可靠架構構建安全隔離的網絡保障業(yè)務可持續(xù)擴展巡檢架構缺陷并告警持續(xù)優(yōu)化網絡架構提供自動化交付能力深度用云，網絡先行，構建卓越的網絡架構告警感知告警感知TheFivePillarsoftheWell-ArchitectedFramework安全組TR路由策略TR多路由表穩(wěn)定同地域多可用區(qū)部署設計跨地域容災網絡設計NAT網關多可用區(qū)容災設計TR多可用區(qū)部署設計通過IaC自動化部署ALB/NLB替換CLB提升彈性能力公網流量分析與監(jiān)測結合FC自動化運維跨地域QoS設計VPC間流量分析與監(jiān)測專線接入QoS設計通過IaC自動化部署ALB/NLB替換CLB提升彈性能力公網流量分析與監(jiān)測結合FC自動化運維跨地域QoS設計VPC間流量分析與監(jiān)測專線接入QoS設計混合云流量分析與監(jiān)測公網最短時延設計跨地域流量分析與監(jiān)測跨地域最短時延設計多專線多點接入高可用東西向流量安全專線上云最短時延設計專線與VPN容災設計南北向流量安全冗災快速倒換公網帶寬選型網絡巡檢混合云流量安全業(yè)務場景l(fā)應用雙活/災備：業(yè)務系統(tǒng)多可用區(qū)業(yè)務場景l(fā)應用雙活/災備：業(yè)務系統(tǒng)多可用區(qū)可用區(qū)內網絡故障，提升系統(tǒng)服務連續(xù)性l業(yè)務入口災備：業(yè)務入口的負載均衡需要支持同城災備，避免單機房網絡故障方案設計方案設計privatesubnet:1/24/24privatesubnet:品AVPC-1/16privateLinkNACLprivatesubnet:1/24/24privatesubnet:品AVPC-1/16privateLinkNACLpublicpublicsubnet:/24IP地址規(guī)劃：考慮到未來擴展，選擇一個足夠大的CIDR，為未來業(yè)務發(fā)展預留足夠的空間，推薦使用/16掩碼，同時要避免跟現(xiàn)有網絡地址沖突多可用區(qū)規(guī)劃：考慮到容災訴求，至少需要雙可用區(qū)規(guī)劃vSwitch部署ECS負載均衡規(guī)劃：利用SLB產品多活能力，加載不同可用區(qū)的ECS構建應用池，解決應用單節(jié)點問題業(yè)務多可用區(qū)部署，通過NLB掛載多可用區(qū)ECS，輕松實現(xiàn)同城雙活架構全局流量管理GTM+DNS，實現(xiàn)業(yè)務跨地域災備多活，提升服務連續(xù)性??應用多活/災備：業(yè)務多地域部署，避免單地域網絡故障，提升服務連續(xù)性?訪問優(yōu)化：業(yè)務多地域就近部署，提升用戶訪問體驗方案設計彈性公網EIP可用區(qū)-J可用區(qū)-I業(yè)務1系統(tǒng)vSW-1vSW-221應用入口-負載均衡共享帶寬杭州方案設計彈性公網EIP可用區(qū)-J可用區(qū)-I業(yè)務1系統(tǒng)vSW-1vSW-221應用入口-負載均衡共享帶寬杭州VPC3云企業(yè)網CEN深圳-TR共享帶寬彈性公網EIP1應用入口-負載均衡業(yè)務1系統(tǒng)vSW-1vSW-2VPC2可用區(qū)-C可用區(qū)-D業(yè)務場景杭州（主中心）深圳（雙活中心）DNS+GTM全局流量調度?多中心部署：業(yè)務同城雙可用區(qū)部署，跨地域容災多活部署?數據雙向實時同步：CEN和TR構建全局一張網，支持DTS跨地域數據同步?服務可用性實時探測：GTM健康檢測探測服務可用性，服務一旦不可用快速切換至雙活節(jié)點，實現(xiàn)兩地三中心應用級容災基于GTM和DNS構建了應用的訪問入口異地災備多活，基于CEN和TR實現(xiàn)了跨地域內網數據的實時同步，大幅提升了業(yè)務的連續(xù)性業(yè)務場景業(yè)務場景一旦攻擊者突破Internet邊界防御后，對內網安全造成較大安全威脅l內部安全管控要求：企業(yè)內的部分重要業(yè)不同層級的安全訪問控制l審計、回溯：企業(yè)需要針對網絡安全進行定期的審計、回溯，滿足網絡安全自查及方案設計方案設計系統(tǒng)路由表子網路由表安全VPC/0->FW阻斷 /0->TR-a觀察attach-FWENI-FW云防火墻集群trust系統(tǒng)路由表子網路由表安全VPC/0->FW阻斷 /0->TR-a觀察attach-FWENI-FW云防火墻集群trust路由表/16->TR-attach-Prod/16->TR-attach-RD/16->TR-attach-Test/16->TR-attach-IDC轉發(fā)路由器TransitRouter/0->TR-attach-FWuntrust路由表VPC-RDVPC-ProdTR-attach-FWTR-attach-IDCTR-attachTR-attach-IDCTR-attach-RDTR-attach-TestVPC-Test多平面的安全隔離：安全表，業(yè)務VPC綁定TR的由表引流至安全VPC；待云防火墻進行檢測和觀察后，放通可信的訪問流量，實現(xiàn)全流量可視：TR和VPC均可通過Flowlog將業(yè)務流量以流日志形式進行記錄輸出，結合云防火墻實現(xiàn)定期流量基于TR多路由表建立Trust和Untrust等路由表，隔離企業(yè)內網東西向訪問流量，并通過云防火墻進行異常檢測、阻斷、觀察及放行，來實現(xiàn)企業(yè)東西向流量的安全防護將云上資源按可用區(qū)對齊，設計端到端最短時延方案ll游戲行業(yè)：時延敏感類游戲，需要低延遲的公網網絡和跨地域網絡，保證玩家最好的體驗l金融交易類行業(yè)：時延敏感類金融交易行業(yè)，需要極低時延、穩(wěn)定的公網與跨地域網絡，保障交易順暢l其他對延遲要求極致的業(yè)務場景業(yè)務場景方案設計業(yè)務場景方案設計北京vSW-1可用區(qū)G上海vSW-1可用區(qū)B低時延公網：將EIP、共享帶寬、網元SLB和ECS同一可用區(qū)保證公網接入的最低時延低時延跨地域網絡：SRTE能力保障鉑金帶寬跨地域走最短路SLB等網元轉發(fā)路由器跨地域鉑金區(qū)域化部署，同可用區(qū)內EIP、ECS等資源對齊，CEN鉑金帶寬實現(xiàn)跨地域互通，打造極致的游戲玩家體驗單可用區(qū)AZ-AAZ-B水位隱患建議峰值提升，不增加成本優(yōu)化建議提供匯總報告和評分，支持自定義巡檢項和巡檢實例針對風險事件，提供影響面分析和優(yōu)化建議AZ-AAZ-B流量繞行其他問題單可用區(qū)AZ-AAZ-B水位隱患建議峰值提升，不增加成本優(yōu)化建議提供匯總報告和評分，支持自定義巡檢項和巡檢實例針對風險事件，提供影響面分析和優(yōu)化建議AZ-AAZ-B流量繞行其他問題網絡ACL配置漏洞安全組權限過大主備不生效主備不生效主備成本浪費成本浪費60%40%20%實例1實例2實例3實例4利用率IaC能力更新從單產品的IaC能力，提升到場景級更易用的IaC能力將符合云網絡卓越架構的方案IaCIaC能力更新從單產品的IaC能力，提升到場景級更易用的IaC能力IaCIaC(InfrastructureasCode)for卓越架構設計示例卓越架構IaCModule：專線構建混合云/多云網絡（"hybrid-cloud-network"）VBRVBR圖圖高速通道圖圖防火墻服務器服務器服務器VPC-上海TR-上海物理專線VPC-北京用戶編輯TR-北京跨地域帶寬TR-新加坡$Terraform物理專線自-----VBRVBR圖圖高速通道圖圖防火墻服務器服務器服務器VPC-上海TR-上海物理專線VPC-北京用戶編輯TR-北京跨地域帶寬TR-新加坡$Terraform物理專線自-----2.標準化交付3.擴展性強云網絡卓越架構白皮書云網絡卓越架