長沙銀行生產(chǎn)云平臺建設(shè)實施方案v3

1、EasyStack 長沙生產(chǎn)云實施方案2017.12.15文檔屬性文件修訂序號版本號簡要說明修訂日期變更人審核人備注1V1.0Init.201712152V2.0按照20個節(jié)點規(guī)劃20171215劉海平3456屬 性內(nèi) 容級別文檔級別文檔編 寫 人EasyStack 長沙項目小組審 核 人劉海平目錄第 1 章云總體架構(gòu)設(shè)計41.1物理拓撲設(shè)計圖41.2軟件架構(gòu)圖7第 2 章云網(wǎng)絡(luò)規(guī)劃72.1邏輯網(wǎng)絡(luò)架構(gòu)圖82.2網(wǎng)絡(luò)規(guī)劃明細9第 3 章方案中角色說明103.1網(wǎng)絡(luò)角色說明103.2服務(wù)器角色說明11第 4 章OpenStack 服務(wù)分布及 HA124.1控制節(jié)點服務(wù) HA124.2所有服務(wù)列表

2、14第 5 章服務(wù)器配置165.1磁盤陣列配置165.2BIOS 配置17第 6 章服務(wù)器接線示意圖18第 7 章分布式.19第1章 云總體架構(gòu)設(shè)計1.1 硬件資源調(diào)整基于構(gòu)建穩(wěn)定可靠的云環(huán)境，生產(chǎn)云采用計算與分離的模式部署，故需將原有融合節(jié)點資源予重新組合，調(diào)整的原則如下：1、控制節(jié)點，需要增加內(nèi)存至 128G，由于控制節(jié)點同時承載ceph monitor的角色和openstack 眾多API 的服務(wù)，需要較多內(nèi)存資源；2、計算節(jié)點，內(nèi)存調(diào)整原有的 128G 增加至 384G，保留 2 塊硬盤，用于操作系統(tǒng)；3、節(jié)點，內(nèi)存由 256G 調(diào)整為 128G，硬盤數(shù)量為 2 塊 900G SAS

3、用于操作系統(tǒng)，16 塊 900G SAS 用于Ceph 數(shù)據(jù)，4 塊 480G SSD 用于Ceph 日志盤，數(shù)據(jù)盤與日志盤比為1:4，其中單臺機器配備16 塊盤是Ceph 在生產(chǎn)中最佳實踐，防止單臺osd 節(jié)點數(shù)量過多影響數(shù)據(jù)同步和穩(wěn)定性；資源調(diào)整情況情況如下：節(jié)點調(diào)整前調(diào)整后內(nèi)存256G128G磁盤SAS 900G*12SSD 480G*2SAS 900G*18SSD 480G*4計算節(jié)點調(diào)整前調(diào)整后內(nèi)存256G384G磁盤SAS 900G*12SAS 900G*2控制節(jié)點調(diào)整前調(diào)整后內(nèi)存64G128G磁盤SAS 900G*4SAS 900G*41.2物理拓撲設(shè)計圖圖 1:架構(gòu)圖方案簡述：

4、共 20 臺服務(wù)器：分別為控制節(jié)點三臺，計算節(jié)點 8 臺，臺機器用于部署服務(wù)器；節(jié)點 8 臺，1控制節(jié)點三臺組成 HA，保證 OpenStack 高可用，可隨機宕掉任意節(jié)點不影響業(yè)務(wù)；計算節(jié)點 8 臺組成計算集群，計算節(jié)點承載虛擬機。節(jié)點 8 臺搭建分布式集群，承載虛擬機所需要的數(shù)據(jù)，節(jié)點由 4 塊 480G 的SSD 用于ceph journal，16 塊 900G 的SAS 盤用于ceph data，副本數(shù)為 3 個；（備注：其中 16 塊盤已是最高配置，是 ceph 生產(chǎn)最佳實踐）所有的節(jié)點服務(wù)器的兩根千兆網(wǎng)卡綁定用于承載 PXE 和 public 網(wǎng)絡(luò)；，由不同物理交換機承載?？刂乒?jié)點

5、網(wǎng)絡(luò)規(guī)劃，兩根萬兆網(wǎng)卡綁定用于storage-pub 和mgmt 網(wǎng)絡(luò)。計算節(jié)點網(wǎng)絡(luò)規(guī)劃，兩根萬兆網(wǎng)卡綁定用于 storage-pub 和mgmt 網(wǎng)絡(luò)，另外兩根萬兆網(wǎng)卡綁定用于 Prv-product（vm 生產(chǎn)網(wǎng)絡(luò)）流量；另外兩個千兆綁定用于承載Prv-mgmt（vm 管理網(wǎng)絡(luò)）流量。節(jié)點網(wǎng)絡(luò)規(guī)劃，兩根萬兆網(wǎng)卡綁定用于 storage-pub 和mgmt 網(wǎng)絡(luò)，另外兩根萬兆網(wǎng)卡綁定用于storage 網(wǎng)絡(luò)。1.3可用資源由 8 臺計算節(jié)點和 8 臺節(jié)點組成的計算資源集群和資源集群，為云提供云主機服務(wù)和云硬盤服務(wù)，針對云要遵循如下原則：的資源情況，對資源設(shè)置超售比，需CPU 計算資源的超售比

6、設(shè)置為 1:4；內(nèi)存資源設(shè)置為 1:1.資源使用ceph 作為分布式，將多臺節(jié)點組成分布式，其中3.2 塊 900G 的磁盤用于系統(tǒng)盤，另外 16 塊磁盤用于做 ceph 數(shù)據(jù)盤，使用 3 個副本，超售比使用 1:1；網(wǎng)卡采用兩張網(wǎng)卡做 bond，采用主備模式，交換機設(shè)定為 trunk，4.由云openvswtich 設(shè)定 bond 模式，一組 bond 承載 prv-product 流量，另外一組bond 承載prv-mgmt 流量。如下是計算分離后，云整體資源的情況：1. 單臺節(jié)點容量：2.資源總共可用：資源類型可用資源CPU(總)40 個core*8 臺*4 超售比=1280內(nèi)存(總)3

7、84G*8 臺*1.0 超售比=3072 G(可用)4.8T*8 臺*1.0 超售比=38.4T網(wǎng)絡(luò)(總)prv-product Prv-mgmt10G*1*8*100%=80G1G*1*8*100%=8G資源類型資源數(shù)據(jù)量資源小結(jié)CPU2*E5-2640V42*10*2=40內(nèi)存24*16G 2133 DDR424*16=384G16*900GB SAS disk16*900/3=4.8T網(wǎng)絡(luò)：prv-productPrv-mgmt10G network Card 1G network Card10G(bond 做主備模式) 1G(bond 做主備模式)1.4軟件架構(gòu)圖圖 2：OpenSta

8、ck 軟件架構(gòu)圖第2章 云網(wǎng)絡(luò)規(guī)劃2.1 邏輯網(wǎng)絡(luò)架構(gòu)圖圖 3：OpenStack 網(wǎng)絡(luò)邏輯架構(gòu)圖2.2 網(wǎng)絡(luò)規(guī)劃明細表 1：網(wǎng)絡(luò)規(guī)劃明細注意： 其中 public 和 private 需要三層可路由，private 根據(jù)業(yè)務(wù)的情況可設(shè)定多個 vlan，其他網(wǎng)絡(luò)，包括 mgmt，pxe，ceublic，storage 網(wǎng)絡(luò)均為云內(nèi)部通信網(wǎng)絡(luò)，只需要二層網(wǎng)絡(luò)互聯(lián)即可。節(jié)點類型數(shù)量/臺網(wǎng)絡(luò)接口網(wǎng)絡(luò)角色網(wǎng)絡(luò)號碼vlan號碼交換機模式控制節(jié)點32*1GPXE172.19.0.0/242000trunkpublic172.19.1.0/2520012*10Gmgmt172.19.2.0/242002tr

9、unkStorage-pub172.19.3.0/242003計算節(jié)點82*1GPXE172.19.0.0/242000trunkpublic172.19.1.0/2520012*10Gmgmt172.19.2.0/242002trunkStorage-pub172.19.3.0/2420032*1GPrv-mgmt172.19.100.0/242100trunk2*10GPrv-product172.19.101.0/242101節(jié)點82*1GPXE172.19.0.0/242000trunkpublic172.19.1.0/2520012*10Gmgmt172.19.2.0/242002t

10、runkStorage-pub172.19.3.0/2420032*10GStorage172.19.4.0/252104trunk安裝部署11*1GPXE172.19.0.0/242000acs1*1Gpublic172.19.1.0/252001acs第 章方案中角色說明 網(wǎng)絡(luò)角色說明本方案中 ESCloud 網(wǎng)絡(luò)分為七類：Public:控制節(jié)點集群網(wǎng)絡(luò)，對外提供 OpenStack Dashboard，需要連通公司網(wǎng)絡(luò)，千兆網(wǎng)絡(luò)即可，若作為 floating 網(wǎng)絡(luò)則需萬兆，本方案中采用萬兆網(wǎng)絡(luò)。MGMT:OpenStack 內(nèi)部組件通信，建議千兆，本方案中使用萬兆。Prv-product

11、:虛機的業(yè)務(wù)網(wǎng)絡(luò)，需要連通業(yè)務(wù)生產(chǎn)網(wǎng)絡(luò)，配置成 trunk，根據(jù)業(yè)務(wù)的類型可劃分多個 vlan 提供給不同的業(yè)務(wù)系統(tǒng)。Prv-mgmt:虛機的管理網(wǎng)絡(luò)，需要連通公司管理網(wǎng)絡(luò)，配置成trunk，根據(jù)業(yè)務(wù)的類型可劃分多個 vlan 提供給不同的業(yè)務(wù)系統(tǒng)。PXE:僅用于部署各節(jié)點的操作系統(tǒng)和自動推送安裝 OpenStack。的 public 網(wǎng)絡(luò)，建議萬兆，用于 ceph 前Storagepub:ceph端，本方案采用萬兆網(wǎng)卡。的 Cluster 網(wǎng)絡(luò)，建議萬兆，用于 ceph 內(nèi)部Storage:ceph數(shù)據(jù)通信和拷貝，本方案采用萬兆網(wǎng)卡承載。 服務(wù)器角色說明ESCloud 服務(wù)器角色分為四類:E

12、SRoller:用于部署安裝操作系統(tǒng)和 OpenStack，對網(wǎng)絡(luò)要求不高，千兆網(wǎng)絡(luò)即可。Controller:包含 OpenStack 各個組件，例如 keystone、Cinder、neutron、nova、glance 等，并作高可用，控制節(jié)點集成網(wǎng)絡(luò)節(jié)點。Network: 負責云的網(wǎng)絡(luò)API 功能實現(xiàn)，如 dhcp 地址分配，。NATCompute: 提供計算資源，用于承載虛擬機業(yè)務(wù)。Storage:每臺節(jié)點使用 16 個 osd 組建分布式儲服務(wù)。，為 vm 提供存第 章 5VKT9ZGIQ 服務(wù)分布及 . 控制節(jié)點服務(wù) .Pacemaker 管理的是有狀態(tài)的服務(wù)圖 4：控制節(jié)點有狀

13、態(tài)服務(wù) HAPacemaker 管理服務(wù)列表(sus)Ceilometer:openstack-ceilometer-central(單活)openstack-ceilometer-alarm-evaluator(單活)()Rabbitmq-server()Haproxy()Neutron：neutron-openvswitch-agent()neutron-metadata-agent()eutron-dhcp-agent(neutron-l3-agent()的是無狀態(tài)的API，起到loadblance 的作用Haproxy圖 5：控制節(jié)點無狀態(tài)服務(wù) HAhorizonkeystone no

14、va-apinova-metadata-api cinder-apineutron-api glance-api glance-registry ceilometer-api rabbitmqd radosgwnova-novncproxy4.2 所有服務(wù)列表圖 6：服務(wù)列表GlanceNovaNeutronCinderCeilometerCeph表 2：服務(wù)列表glance-apinova-certneutron-l3-age ntcinder-apiceilometer-col lectormonglance-registrynova-novncpr oxyneutron-ns-m eta

15、data-proxycinder-volumeceilometer-ag ent-centralradosgwnova-objectsto reneutron-serve rcinder-schedul erceilometer-ala rm-notifiernova-consolea uthneutron-open vswitch-agentceilometer-apinova-apineutron-rootw rapceilometer-ag ent-notificatio nnova-schedule rneutron-meta data-agentnova-conducto rneut

16、ron-dhcp- agentnova-api第5章 服務(wù)器配置5.1 磁盤陣列配置表 3：服務(wù)器配置節(jié)點類型節(jié)點角色系統(tǒng)盤/RIADMongoDB日志盤/RIADOSD/RAID部署節(jié)點rollerDeploy900G SAS *2- RAID1/控制集群node-1Controller900G SAS *2- RAID1/node-2node-3計算節(jié)點node-4Compute900G SAS *2- RAID1/node-5node-10node-11節(jié)點node-12Storage900G SAS *2- RAID1/480G SSD *4- RAID0900G SAS *16-RA

17、ID0node-13node-18node-195.2 BIOS 配置進 BIOS 內(nèi)，調(diào)整服務(wù)器啟動順序，將 PXE 設(shè)為第一啟動項，將磁盤啟動設(shè)為第二啟動項。進入 BIOS，禁用 UEFI 啟動改為 legacy-only 啟動，設(shè)置管理網(wǎng)絡(luò)的網(wǎng)卡為PXE 啟動，其他網(wǎng)卡從PXE 啟動。按照前面的系統(tǒng)盤、日志盤和OSD 的RAID 規(guī)劃配置磁盤的RAID 信息。CPU 需要支持虛擬化技術(shù)，BIOS 中啟用默認開啟。el-VT or AMD-d 技術(shù)，一般 BIOS關(guān)閉節(jié)能模式。服務(wù)器磁盤RAID 和BIOS 配置根據(jù)實際情況進行設(shè)置。第6章 服務(wù)器接線示意圖圖 7:網(wǎng)絡(luò)接線示意圖此僅為示意

18、圖，如是雙網(wǎng)卡綁定的情況，可參考此示例，如為單網(wǎng)卡接入，可忽略；圖中示意主要為雙網(wǎng)卡綁定的示例，兩個綁定的網(wǎng)口必須分布在不同的網(wǎng)卡上，以達到冗余的目的；所有服務(wù)器網(wǎng)卡插槽如均一致，請確保相同資源池的接線順序也保持一致。如對接線方式有疑問，可與我聯(lián)系確認。第7章 分布式圖 8:OpenStack 與Ceph 融合架構(gòu)圖 9:Ceph架構(gòu)為了使分布系統(tǒng)發(fā)揮最高性能，把的網(wǎng)絡(luò)（前端）和集群內(nèi)部數(shù)據(jù)同步網(wǎng)絡(luò)（背面）網(wǎng)絡(luò)分開：1.系統(tǒng)分為 Public(前端網(wǎng)絡(luò)，主要是虛機等 cnt 端針對 Ceph 的讀寫流量)和 Cluster(后端網(wǎng)絡(luò)，主要是 Ceph內(nèi)部數(shù)據(jù)同步流量)兩個網(wǎng)絡(luò)，實現(xiàn)了流量的有效，在進行數(shù)據(jù)同步的同時盡量不影響生產(chǎn)業(yè)務(wù)。2.SAS池的 Ceph Monitor 安裝在三臺控制節(jié)點，并做了集群，保證 Monitor 的高可用。3.南北向為 Ceublic 流量，為 Ceph 內(nèi)部通信流量