云平臺建設實施方案v1

1、東南亞合作伙伴 OpenStack 云環(huán)境架構(gòu)2017.5.10文檔屬性文件修訂序號版本號簡明修訂日期變更人審核人備注1V1.0Init.201705102V1.13V1.24V1.35V1.46V1.5屬 性內(nèi) 容級別文檔級別文檔編 寫 人EasyStack 東南亞合作伙伴項目小組審 核 人目錄第 1 章云總體架構(gòu)設計41.1物理拓撲設計圖41.2架構(gòu)圖5第 2 章云網(wǎng)絡規(guī)劃62.1邏輯網(wǎng)絡架構(gòu)圖62.2網(wǎng)絡規(guī)劃明細6第 3 章方案中角色說明83.1網(wǎng)絡角色說明83.2服務器角色說明9第 4 章OpenStack 服務分布及 HA .04.1控制節(jié)點服務 HA .04.2所有服務列表 .2第

2、 5 章服務器配置 .45.1磁盤陣列配置 .45.2BIOS 配置 .5第 6 章服務器接線示意圖 .6第 7 章分布式.7第1章 云總體架構(gòu)設計1.1 物理拓撲設計圖圖 1:架構(gòu)圖方案簡述：共 5 臺服務器：分別為控制節(jié)點三臺，計算兩臺，另外需要一臺機器（本次環(huán)境為用戶提供的辦公筆記本）用于部署服務器；控制節(jié)點三臺組成 HA，保證 OpenStack 高可用，可隨機宕掉任意節(jié)點不影響業(yè)務；計算節(jié)點與節(jié)點融合，其中計算節(jié)點承載虛擬機，節(jié)點承載虛擬機所需要的數(shù)據(jù)為 2 個；，節(jié)點由 3 塊 144G 的 SATA 盤用于 ceph data，副本數(shù)所有的節(jié)點服務器的兩根千兆網(wǎng)卡綁定用于承載 P

3、XE、storagepub、mgmt、 private 流量；另外兩根千兆網(wǎng)卡綁定用于 public 和 storage 網(wǎng)絡；1.2架構(gòu)圖圖 2：OpenStack架構(gòu)圖第2章云網(wǎng)絡規(guī)劃2.1 邏輯網(wǎng)絡架構(gòu)圖圖 3：OpenStack 網(wǎng)絡邏輯架構(gòu)圖2.2 網(wǎng)絡規(guī)劃明細節(jié)點類型數(shù)量/臺網(wǎng)絡接口網(wǎng)絡角色網(wǎng)絡號碼vlan 號碼交換機模式控制節(jié)點32*1GPXE10.20.1.0/242001Trunkmgmt10.20.2.0/242002storagepub10.20.3.0/242003private192.168.6.0/242006192.168.7.0/2420072*1Gstorag

4、e10.20.4.0/242004Trunkpublic/floating192.168.1.0/242005計算/節(jié)點22*1GPXE10.20.1.0/242001Trunkmgmt10.20.2.0/242002表 1：網(wǎng)絡規(guī)劃明細storagepub10.20.3.0/242003private192.168.6.0/242006192.168.7.0/2420072*1Gstorage10.20.4.0/242004Trunkpublic/floating192.168.1.0/242005安裝部署11*1GPXE10.20.1.0/242001acs1*1Gpublic192.16

5、8.1.0/242005acs第 章方案中角色說明 網(wǎng)絡角色說明ESCloud 網(wǎng)絡分為六類：Public:控制節(jié)點集群網(wǎng)絡，對外提供 OpenStack Dashboard，需要連通公司網(wǎng)絡，千兆網(wǎng)絡即可，若作為 floating 網(wǎng)絡則需萬兆。MGMT:OpenStack 內(nèi)部組件通信。Private:虛機的業(yè)務網(wǎng)絡，需要連通公司網(wǎng)絡，建議萬兆網(wǎng)絡，配置成trunk，若干個 vlan；本方案包含直通和 L3 模式。PXE:僅用于部署各節(jié)點的操作系統(tǒng)和自動推送安裝 OpenStack。Storagepub:ceph public 網(wǎng)絡，建議網(wǎng)兆。Storage:ceph 存儲的 Cluste

6、r 網(wǎng)絡，建議萬兆。 服務器角色說明ESCloud 服務器角色分為四類:ESRoller:用于部署安裝操作系統(tǒng)和 OpenStack，對網(wǎng)絡要求不高，千兆網(wǎng)絡即可。Controller:包含 OpenStack 各個組件，例如 keystone、Cinder、neutron、nova、glance 等，并作高可用，控制節(jié)點集成網(wǎng)絡節(jié)點。Network: 若需要高性能 L3 方案，且本方案中對接 SDN 則需要單獨部署網(wǎng)絡節(jié)點。Compute & Storage:本方案采用融合性節(jié)點，即計算節(jié)點和存儲結(jié)點融合，對內(nèi)存和 CPU 的要求較高，本方案中服務器 CPU性能較低，建議升級 CPU 或者減

7、少 OSD 個數(shù)，生產(chǎn)環(huán)境中不建議此配置。第 章 5VKT9ZGIQ 服務分布及 . 控制節(jié)點服務 .Pacemaker 管理的是有狀態(tài)的服務圖 4：控制節(jié)點有狀態(tài)服務 HAPacemaker 管理服務列表(sus)Ceilometer:openstack-ceilometer-central(單活) openstack-ceilometer-alarm-evaluator(單活)()Rabbitmq-server()Haproxy()Neutron：neutron-openvswitch-agent()neutron-metadata-agent()eutron-dhcp-agent(neu

8、tron-l3-agent()的是無狀態(tài)的 API，起到 loadblance 的作用Haproxy圖 5：控制節(jié)點無狀態(tài)服務 HAhorizonkeystone nova-apinova-metadata-api cinder-apineutron-api glance-apiglance-registry ceilometer-api rabbitmqd radosgwnova-novncproxy4.2 所有服務列表圖 6：服務列表GlanceNovaNeutronCinderCeilometerCeph表 2：服務列表glance-apinova-certneutron-l3-age

9、ntcinder-apiceilometer-col lectormonglance-registrynova-novncpr oxyneutron-ns-m etadata-proxycinder-volumeceilometer-ag ent-centralradosgwnova-objectsto reneutron-serve rcinder-schedul erceilometer-ala rm-notifiernova-consolea uthneutron-open vswitch-agentceilometer-apinova-apineutron-rootw rapceilo

10、meter-ag ent-notificatio nnova-schedule rneutron-meta data-agentnova-conducto rneutron-dhcp- agentnova-api第5章服務器配置5.1 磁盤陣列配置表 3：服務器配置節(jié)點類型節(jié)點角色系統(tǒng)盤/RIADMongoDBOSD/RAID部署節(jié)點rollerDeploy300G SATA *2- RAID1/控制集群node-1Controller144G SATA *2node-2G SAS *2/- RAID1- RAID1node-3計算/存儲節(jié)點node-9Compute& Storage144G

11、 SATA *2- RAID1/144G SATA *10- RAID0node-105.2 BIOS 配置進 BIOS 內(nèi)，調(diào)整服務器啟動順序，將 PXE 設為第一啟動項，將磁盤啟動設為第二啟動項。進入 BIOS，禁用 UEFI 啟動改為 legacy-only 啟動，設置管理網(wǎng)絡的網(wǎng)卡為PXE 啟動，其他網(wǎng)卡從 PXE 啟動。按照前面的系統(tǒng)盤、日志盤和OSD 的RAID 規(guī)劃配置磁盤的RAID 信息。CPU 需要支持虛擬化技術，BIOS 中啟用默認開啟。el-VT or AMD-d 技術，一般 BIOS關閉節(jié)能模式。服務器磁盤 RAID 和 BIOS 配置根據(jù)實際情況進行設置。第6章服務器

12、接線示意圖圖 7:網(wǎng)絡接線示意圖此僅為示意圖，如是雙網(wǎng)卡綁定的情況，可參考此示例，如為單網(wǎng)卡接入，可忽略；圖中示意主要為雙網(wǎng)卡綁定的示例，兩個綁定的網(wǎng)口必須分布在不同的網(wǎng)卡上，以達到冗余的目的；所有服務器網(wǎng)卡插槽如均一致，請確保相同資源池的接線順序也保持一致。如對接線方式有疑問，可與我聯(lián)系確認。第7章分布式圖 8:OpenStack 與 Ceph 融合架構(gòu)圖 9:Ceph架構(gòu)為了使分布系統(tǒng)發(fā)揮最高性能，把的網(wǎng)絡（前端）和集群數(shù)據(jù)同步網(wǎng)絡（背面）網(wǎng)絡分開：1.系統(tǒng)分為 Public(前端網(wǎng)絡，主要是虛機等 cnt 端針對 Ceph 的讀寫流量)和 Cluster(后端網(wǎng)絡，主要是 Ceph數(shù)據(jù)同步流量)兩個網(wǎng)絡，實現(xiàn)了流量的有效，在進行數(shù)據(jù)同步的同時盡量不影響生產(chǎn)業(yè)務。2.SATA池的 Ceph Monitor 安裝在三臺控制節(jié)點，并做了集群，保證 Monitor 的高可用。3.南北向為 Ceublic 流量，為 Ceph通信流量和外部cntCeph進行讀寫的流量。4.東西向為 CephCluster 流量，副本的同步、OSD down以及 HOST down 機時發(fā)生的 rebalance 流量。5.副本數(shù)為三份，三份數(shù)據(jù)會分別落在不同主機的 OSD 上，保證數(shù)據(jù)