2016q2總體培訓(xùn)052cloud平臺(tái)網(wǎng)絡(luò)設(shè)計(jì)

培訓(xùn)課程：2Cloud平臺(tái)網(wǎng)絡(luò)設(shè)計(jì)講師：向陽(yáng)時(shí)間：17：00-18：00注意事項(xiàng)：請(qǐng)主講人使用電話進(jìn)行語(yǔ)音接入；請(qǐng)其他與會(huì)者將本地麥克風(fēng)靜音；課程結(jié)束后預(yù)留20分鐘答疑時(shí)間；

課程結(jié)束后請(qǐng)與會(huì)者參加課程調(diào)查反饋，反饋信息最有價(jià)值的前三位與會(huì)者將獲得云杉提供的精美獎(jiǎng)品一份；CopyRight@云杉網(wǎng)絡(luò)2Cloud平臺(tái)網(wǎng)絡(luò)設(shè)計(jì)向陽(yáng)目錄網(wǎng)絡(luò)設(shè)計(jì)總覽網(wǎng)絡(luò)平面劃分網(wǎng)絡(luò)平面設(shè)計(jì)數(shù)據(jù)平面存儲(chǔ)平面管理平面網(wǎng)絡(luò)連接方式典型網(wǎng)絡(luò)部署方案與其它平臺(tái)互聯(lián)網(wǎng)絡(luò)設(shè)計(jì)總覽網(wǎng)絡(luò)功能分離數(shù)據(jù)平面：租戶業(yè)務(wù)存儲(chǔ)平面：分布式存儲(chǔ)管理平面：云平臺(tái)管理控制網(wǎng)絡(luò)帶外管理網(wǎng)絡(luò)網(wǎng)絡(luò)高可用接入層網(wǎng)絡(luò)高可用：MLAG或堆疊匯聚層網(wǎng)絡(luò)高可用：MLAG或ECMPInternet接入點(diǎn)高可用：VARP按資源池?cái)U(kuò)展1個(gè)資源池=44臺(tái)服務(wù)器（42臺(tái)虛擬化服務(wù)器+2臺(tái)網(wǎng)關(guān)服務(wù)器）支持私有網(wǎng)絡(luò)跨資源池支持虛擬機(jī)池內(nèi)熱遷移，池間冷遷移一個(gè)資源池通常部署于相鄰的3~4個(gè)機(jī)架中網(wǎng)絡(luò)產(chǎn)品多ISP彈性公網(wǎng)IP私有網(wǎng)絡(luò)服務(wù)網(wǎng)絡(luò)微安全域VNF虛擬網(wǎng)關(guān)負(fù)載均衡器帶寬共享器虛擬防火墻…硬件設(shè)備接入管理員云租戶2-12-23-13-23-31-14-1存儲(chǔ)控制器計(jì)算控制器網(wǎng)絡(luò)控制器異構(gòu)接入串行/并行事務(wù)回滾門戶API

(CRUD)異步API

(回調(diào)/通知)KVM,ovs,Ceph計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)Bare

Metal計(jì)算、網(wǎng)絡(luò)Service

Device網(wǎng)絡(luò)、安全、存儲(chǔ)Switch網(wǎng)絡(luò)狀態(tài)監(jiān)控API

LayerAPI

(CRUD)定期輪詢實(shí)時(shí)上報(bào)統(tǒng)計(jì)分析真實(shí)狀態(tài)期望狀態(tài)事件通告告警報(bào)表狀

用態(tài)

量異步API

(回調(diào)/通知)操作結(jié)果通告OpenStackVMwareAzureAMQP郵件/短信主動(dòng)輪詢被動(dòng)接收API

(CRUD)

狀態(tài)保序、并發(fā)

同步狀態(tài)同步目錄網(wǎng)絡(luò)設(shè)計(jì)總覽網(wǎng)絡(luò)平面劃分網(wǎng)絡(luò)平面設(shè)計(jì)數(shù)據(jù)平面存儲(chǔ)平面管理平面網(wǎng)絡(luò)連接方式典型網(wǎng)絡(luò)部署方案與其它平臺(tái)互聯(lián)數(shù)據(jù)平面功能說明承載Internet接入點(diǎn)承載租戶業(yè)務(wù)網(wǎng)絡(luò)用于網(wǎng)關(guān)服務(wù)器、虛擬化服務(wù)器、租戶物理設(shè)備接入云平臺(tái)承載VxLAN隧道封裝和解封裝，控制器實(shí)現(xiàn)交換機(jī)自動(dòng)化配置VxLAN隧道端點(diǎn)VLAN-VNI映射關(guān)系接入租戶物理設(shè)備時(shí)，控制器實(shí)現(xiàn)交換機(jī)自動(dòng)化配置接口VLANTAGARP/MAC/IP安全策略Ingress/Egress/Storm帶寬限制支持配置雙機(jī)高可用數(shù)據(jù)平面可選交換機(jī)超過1個(gè)資源池時(shí)需選購(gòu)匯聚交換機(jī)若無需VxLAN和物理設(shè)備接入功能可選用華為S系列交換機(jī)，需支持VLAN、MLAG/堆疊、VARP、ECMP若無需VxLAN、物理設(shè)備接入、高可用功能可選用支持VLAN的其它三層以太網(wǎng)交換機(jī)，由客戶自行配置存儲(chǔ)平面功能說明承載存儲(chǔ)網(wǎng)絡(luò)；用于Ceph分布式存儲(chǔ)的客戶端網(wǎng)絡(luò)和集群網(wǎng)絡(luò)1個(gè)資源池內(nèi)的虛擬化服務(wù)器構(gòu)成一個(gè)分布式存儲(chǔ)池支持虛擬機(jī)池內(nèi)熱遷移可利用剩余端口互聯(lián)不同資源池的存儲(chǔ)平面交換機(jī)實(shí)現(xiàn)跨池冷遷移支持配置雙機(jī)高可用存儲(chǔ)平面交換機(jī)選擇若無需高可用功能可選用支持VLAN的其它以太網(wǎng)交換機(jī)，由客戶自行配置不足1/2資源池時(shí)存儲(chǔ)平面交換機(jī)可以和萬兆接入交換機(jī)共用，但未來擴(kuò)展不便管理平面功能說明控制交換機(jī)：承載云平臺(tái)控制網(wǎng)絡(luò)對(duì)虛擬化服務(wù)器、網(wǎng)關(guān)服務(wù)器操作系統(tǒng)的控制和監(jiān)控對(duì)裸金屬服務(wù)器操作系統(tǒng)的初始化、控制和監(jiān)控支持配置雙機(jī)高可用帶外交換機(jī)：承載云平臺(tái)帶外管理網(wǎng)絡(luò)對(duì)虛擬化服務(wù)器、網(wǎng)關(guān)服務(wù)器、租戶硬件設(shè)備的帶外監(jiān)控對(duì)虛擬化服務(wù)器、網(wǎng)關(guān)服務(wù)器、租戶硬件設(shè)備的帶外電源控制和監(jiān)控實(shí)現(xiàn)虛擬化服務(wù)器、網(wǎng)關(guān)服務(wù)器HA機(jī)制的STONITH過程對(duì)交換機(jī)的自動(dòng)化配置和監(jiān)控云管理區(qū)交換機(jī)：連接2Cloud跳板機(jī)和控制器管理平面交換機(jī)選擇根據(jù)走線難度差異，控制交換機(jī)選擇24端口或48端口超過1個(gè)資源池時(shí)需選購(gòu)控制匯聚交換機(jī)和帶外匯聚交換機(jī)，可共用小規(guī)模下，云管理區(qū)交換機(jī)的功能可由控制、帶外、接入交換機(jī)承載存在裸金屬服務(wù)器接入需求時(shí)，按需增加帶外交換機(jī)帶外交換機(jī)可選用百兆交換機(jī)，由客戶自行配置若無需高可用功能，可選用支持VLAN的其它交換機(jī)，由客戶自行配置千兆接入交換機(jī)虛擬化資源區(qū)萬兆接入交換機(jī)存儲(chǔ)平面交換機(jī)……物理資源區(qū)云管理區(qū)交換機(jī)控制交換機(jī)帶外交換機(jī)控制匯聚交換機(jī)帶外匯聚交換機(jī)匯聚交換機(jī)數(shù)據(jù)平面交換機(jī)連接兩臺(tái)萬兆云接管入理交區(qū)換機(jī)配置MLAG華為交換機(jī)需使用獨(dú)立的心跳線萬兆接入交換機(jī)承…載VTEP??????千兆接入交換機(jī)通過LACP連接到同一個(gè)資源池的兩臺(tái)萬兆接入交換機(jī)萬兆接入交換機(jī)使用MLAG或ECMP連接至匯聚交換機(jī)MLAG：接入層和匯聚層之間二層互聯(lián)，框式匯聚交換機(jī)，Scale

Up擴(kuò)展ECMP：接入層和匯聚層之間三層互聯(lián)，盒式匯聚交換機(jī)，Scale

Out擴(kuò)展千兆接入交換機(jī)虛擬化資源區(qū)萬兆接入交換機(jī)存儲(chǔ)平面交換機(jī)……物理資源區(qū)

…控制匯聚交換機(jī)帶外匯聚交換機(jī)云管理區(qū)交換機(jī)控制交換機(jī)帶外交換機(jī)匯聚交換機(jī)Internet接入點(diǎn)核心路由器使用二層Fa云br管ic時(shí)理，區(qū)Internet接入點(diǎn)可選位置?其中一組（或多組實(shí)現(xiàn)負(fù)載均攤）萬兆接入交換機(jī)上、所有匯聚交換機(jī)上使用三層Fabric時(shí)，Internet接入點(diǎn)可選位置其中一組（或多組實(shí)現(xiàn)負(fù)載均攤）萬兆接入交換機(jī)上云管理區(qū)Internet接入點(diǎn)可選位置與云平臺(tái)獨(dú)立、通過云平臺(tái)接入高可用方式：VARP千兆接入交換機(jī)虛擬化資源區(qū)萬兆接入交換機(jī)存儲(chǔ)平面交換機(jī)預(yù)留10G端口，用于資源池間虛擬機(jī)冷遷移……物理資源區(qū)

…云管理區(qū)控制匯聚交換機(jī)帶外匯聚交換機(jī)匯聚交換機(jī)帶外交換機(jī)云管理區(qū)交換機(jī)控制交換機(jī)存儲(chǔ)平面交換機(jī)連接千兆接入交換機(jī)虛擬化資源區(qū)萬兆接入交換機(jī)存儲(chǔ)平面交換機(jī)……物理資源區(qū)

…云管理區(qū)控制匯聚交換機(jī)帶外匯聚交換機(jī)匯聚交換機(jī)帶外交換機(jī)云管理區(qū)交換機(jī)控制交換機(jī)管理平面（控制交換機(jī)）連接千兆接入交換機(jī)虛擬化資源區(qū)萬兆接入交換機(jī)存儲(chǔ)平面交換機(jī)……物理資源區(qū)

…云管理區(qū)控制匯聚交換機(jī)帶外匯聚交換機(jī)匯聚交換機(jī)帶外交換機(jī)云管理區(qū)交換機(jī)控制交換機(jī)管理平面（帶外交換機(jī)）連接帶外交換機(jī)和帶外匯聚交換機(jī)使用SVI配置管理地址以外其它所有交換機(jī)都使用管理口配置管理地址，并就近連接至帶外交換機(jī)。服務(wù)器網(wǎng)絡(luò)連接高可用部署時(shí)，盡量選擇跨網(wǎng)卡的兩個(gè)網(wǎng)口作為一對(duì)高可用網(wǎng)口帶外交換機(jī)存儲(chǔ)交換機(jī)萬兆接入交換機(jī)控制交換機(jī)千兆接入交換機(jī)…虛擬化服務(wù)器物理設(shè)備網(wǎng)關(guān)服務(wù)器跳板機(jī)BOSSBOSS云管理區(qū)交換機(jī)存儲(chǔ)網(wǎng)絡(luò)規(guī)劃存儲(chǔ)網(wǎng)絡(luò)Client/Cluster網(wǎng)絡(luò)融合配置簡(jiǎn)單Client/Cluster網(wǎng)絡(luò)分網(wǎng)段、網(wǎng)卡bonding避免Client

Network‘被’DoS適用于計(jì)算、存儲(chǔ)分離部署Client網(wǎng)絡(luò)限速Cluster網(wǎng)絡(luò)線速存儲(chǔ)池節(jié)點(diǎn)數(shù)量（OSD數(shù)量）——Traceoff44服務(wù)器，11x44=484

OSD保持存儲(chǔ)池大小是缺點(diǎn)存儲(chǔ)池過小存儲(chǔ)池過大熱遷移范圍過小運(yùn)維壓力大Rebalance成為常態(tài)網(wǎng)絡(luò)設(shè)備投入大HDD和SSD數(shù)量0

HDD12345678910110

SSD√√√√√√√√√XXXXXXXHDD用于容量型存儲(chǔ)池，每4塊需要1塊SSD用于JournalSSD用于性能型存儲(chǔ)池，每塊20G用于Journal容14量型存儲(chǔ)池最√大可

2

1

DXD

T間X

務(wù)X

=X性能型存儲(chǔ)池最大可用空間：42服務(wù)器x

7

SSD

x

460G/3=45.08T單盤HDD順序讀寫100-160MB/s、單盤SSD

300-500MB/s,IOPS

20~100k。簡(jiǎn)化起見認(rèn)為1

HDD

~

1Gbps，1

SSD

~

3Gbps。單服√務(wù)器1√0GE

NI√C1√√√單√服√服務(wù)器√10GE

x√2

NIC

√√√√√X2√√√√√√√√√√XX3√√√√√√√√√XXX4√√√√√√√√√XXX5√√網(wǎng)√網(wǎng)√絡(luò)成√為瓶頸√√√√XXXX6√√√√√√√XXXXX7√√√√√√XXXXXX8√√√√√XXXXXXX9√√√√√XXXXXXX10√√√√XXXX盤X

位不夠XXX11√√√XXXXXXXXX12√√XXXXXXXXXX13√XXXXXXXXXXX目錄網(wǎng)絡(luò)設(shè)計(jì)總覽網(wǎng)絡(luò)平面劃分網(wǎng)絡(luò)平面設(shè)計(jì)數(shù)據(jù)平面存儲(chǔ)平面管理平面網(wǎng)絡(luò)連接方式典型網(wǎng)絡(luò)部署方案與其它平臺(tái)互聯(lián)參考部署一：每資源池部署于四個(gè)機(jī)柜中*使用華為S5700-48TP-SI-AC作為控制交換機(jī)（每資源池1組），華為S5700-52P-LI-AC作為帶外交換機(jī)（每資源池1組）*萬兆接入和存儲(chǔ)平面交換機(jī)共用*控制交換機(jī)、帶外交換機(jī)端口足夠時(shí)，可替代管理區(qū)交換機(jī)5~22萬兆數(shù)據(jù)口

5~11萬兆數(shù)據(jù)口（Arista

DCS-7150S-24）目錄網(wǎng)絡(luò)設(shè)計(jì)總覽網(wǎng)絡(luò)平面劃分網(wǎng)絡(luò)平面設(shè)計(jì)數(shù)據(jù)平面存儲(chǔ)平面管理平面網(wǎng)絡(luò)連接方式典型網(wǎng)絡(luò)部署方案與其它平臺(tái)互聯(lián)綠色：2Cloud紅色：互聯(lián)VMware接入：ACCESS模式已有資源機(jī)架2Cloud資源/服務(wù)2Cloud資源/服務(wù)ToR萬兆接入交換機(jī)萬兆接入交換機(jī)萬兆接入交換機(jī)萬兆接入交換機(jī)2匯C匯Cl聚ou交d匯換聚機(jī)Trunk:所有VLAN2Cloud

OOB2Cloud

OOB…………VMware接入：GATEWAY模式，使用網(wǎng)關(guān)服務(wù)器至少2個(gè)網(wǎng)關(guān)服務(wù)器，千兆帶寬已有資源機(jī)架已有資源機(jī)架匯聚2Cloud資源/服務(wù)2Cloud資源/服務(wù)2Cloud網(wǎng)關(guān)服務(wù)器2Cloud網(wǎng)關(guān)服務(wù)器ToRToR萬兆接入交換機(jī)萬兆接入交換機(jī)萬兆接入交換機(jī)萬兆接入交換機(jī)2匯C匯Cl聚ou交d匯換聚機(jī)Trunk:控制、隧道、公網(wǎng)VLAN2Cloud

OOB2Cloud

OOB…………2Cloud

OOB…………2Cloud

OOBVMware接入：GATEWAY模式，使用萬兆接入交換機(jī)已有資源機(jī)架已有資源機(jī)架匯聚2Cloud資源/服務(wù)2Cloud資源/服務(wù)ToRToR萬兆接入交換機(jī)萬兆接入交換機(jī)2萬C兆lo接ud入T交o換R換R

機(jī)萬兆接入交換機(jī)萬兆接入交換機(jī)2Cloud

OOB2Cloud

OOB………………Trunk:所有VLANTrunk:控制、公網(wǎng)、隧道VLAN匯聚交換機(jī)2Cloud

OOBAzure接入：VPN2Cloud資源/服務(wù)2Cloud資源/服務(wù)2匯C匯Cl聚ou交d匯換聚機(jī)2Cloud

OOB2Cloud

OOB…………InternetAzurevFW虛擬化服務(wù)器vFW虛擬化服務(wù)器VPNOpenStack接入OpenStack控制器云平臺(tái)門戶……平臺(tái)管理員、租戶虛擬化管理2C