華大基因escloud云計(jì)算交流

1、EscloudZhou,LiboEasyStack Inc.OpenStack 簡(jiǎn)單視圖OpenStack架構(gòu)概覽OpenStack架構(gòu)概覽OpenStack體系架構(gòu)圖5e.g: ESCloud控制節(jié)點(diǎn)服務(wù)及高可用實(shí)現(xiàn)三個(gè)層面的高可用實(shí)現(xiàn)：接入層：HAProxyPacemakerCorosync接入層的負(fù)載均衡和高可用實(shí)現(xiàn)消息隊(duì)列層：RabbitMQ Cluster，消息隊(duì)列層的高可用實(shí)現(xiàn)數(shù)據(jù)庫(kù)層：MySQLGalera Cluster，SQL數(shù)據(jù)庫(kù)的高可用實(shí)現(xiàn)MongoDB Cluster：NoSQL數(shù)據(jù)庫(kù)的高可用實(shí)現(xiàn)架構(gòu)介紹Keystone是OpenStack的一個(gè)核心項(xiàng)目，在OpenSt

2、ack框架中通過應(yīng)用程序編程接口 (API) 提供身份驗(yàn)證、服務(wù)目錄、服務(wù)策略和服務(wù)令牌的功能。為OpenStack其他各個(gè)組件提供統(tǒng)一的身份驗(yàn)證服務(wù)。Keystone架構(gòu)介紹理解基本概念：關(guān)鍵詞基本概念Domain域（v3）是OpenStack委托用來資源管理的容器，是項(xiàng)目、組和用戶的更高一層的容器，每個(gè)域都是一個(gè)單獨(dú)的命名空間，提供的默認(rèn)域名為defaultProject項(xiàng)目（v2.0稱為租戶）是資源的容器，OpenStack中的所有資源必須屬于一個(gè)指定項(xiàng)目，一個(gè)項(xiàng)目必須屬于一個(gè)指定的域，并且在域中是唯一的Group組是一個(gè)容器代表用戶的集合，一個(gè)組必須屬于一個(gè)指定的域，并且在域中是唯一的

3、User用戶是使用OpenStack資源的人、系統(tǒng)或服務(wù)，用戶必須屬于一個(gè)指定的域，并且在域中是唯一的Role角色標(biāo)識(shí)了在域或項(xiàng)目中的權(quán)限，可以分配給用戶和組，角色在OpenStack中是全局唯一的Token令牌是用來驗(yàn)證用戶身份的，用戶登錄后會(huì)使用令牌執(zhí)行相應(yīng)的資源請(qǐng)求Service服務(wù)是指一個(gè)OpenStack服務(wù)，比如：nova、cinder、neutron等。Endpoint端口是一個(gè)網(wǎng)絡(luò)可訪問的服務(wù)地址，通過它可以訪問一個(gè)服務(wù)，通常是個(gè) URL 地址。比如，當(dāng) Nova 需要訪問 Glance 服務(wù)去獲取 image 時(shí)，Nova 通過訪問 Keystone 拿到 Glance 的

4、endpoint，然后通過訪問該 endpoint 去獲取Glance服務(wù)Policy策略是用來鑒別用戶對(duì)某個(gè)服務(wù)是否有訪問權(quán)限的，對(duì)于keystone來說policy就是一個(gè)json文件GroupKeystone架構(gòu)介紹資源、用戶和角色：OpenStack資源Domain1Domain2Project1Project2Project1User2Project2User1RoleUser1用戶角色為指定的domain創(chuàng)建用戶為用戶指定角色Keystone架構(gòu)介紹令牌、服務(wù)、端口、策略：用戶keystoneglance1、用戶使用用戶名、密碼登錄2、返回token和catalog3、請(qǐng)求訪問im

5、age4、驗(yàn)證token是否有效5、返回驗(yàn)證結(jié)果6、policy鑒權(quán)7、鑒權(quán)成功返回所請(qǐng)求的資源，否則返回沒有權(quán)限訪問Keystone架構(gòu)介紹架構(gòu)解析： keystone在OpenStack中提供身份認(rèn)證、服務(wù)目錄、服務(wù)令牌、服務(wù)策略的功能提供用戶身份認(rèn)證為用戶提供token管理和token驗(yàn)證記錄OpenStack服務(wù)的名稱和端口，并提供給用戶使用鑒別用戶權(quán)限Nova架構(gòu)介紹nova-api: makes command and control of the Nova Compute programmatically available to users. Supports the Open

6、Stack API , Amazon EC2 and an Admin API, via port 8774 pute : sets up and manages instancesnova-database: storages information for all of the nova servicesnova-conductor: a RPC server that decouples pute and the database with the advantages of increasing perfomance, database security, and allowing u

7、pdates to database schema with requiring a pute upgradeQueue: provides a central hub for passing AMPQ messages between daemons. Nova架構(gòu)介紹nova-scheduler: responsible for determining which compute node host should launch an image instance.nova objectstore : provides an S3 interface for registering imag

8、es onto the Glance. It is primarily used for installations that need to support euca2ools.nova-cert: manages x509 certificates.nova-consoleauth : authorizes users tokens from the vnc proxy, which is allows users to access their instances through VNC clients.nova-novncproxy (not shown) : provides a p

9、roxy for accessing running instances through a VNC connection. It supports browser-based novnc clients.Nova架構(gòu)介紹1234567891011Request Keystone to generate and return an auth tokenSend API request to nova-api with tokenNova-api validates API tokenNova-api processes API requestNova-api makes rpc call to

10、 schedulerHost selected based on scheduling policies nova-scheduler Start provisioning VM on compute node rpc cast to puteRequest OS image from GlanceGet Image URI from GlanceCan download image from Swift Nova-api makes rpc call to allocate a network Create network and associate with VMAttach block

11、volume as appropriate using an rpc castCinder服務(wù)cinder-apiWSGI app that authenticates and routes requests throughout the block storage systemcinder-schedulera daemon, much like thenova-scheduler, that picks the optimal block storage provider node on which to create the volume, by default the node wit

12、h the most space available.cinder-backupProvides services to backup volumes to Swift object storageCinder服務(wù)cinder-volumeruns on the storage node, acting upon the requests by reading or writing to the Cinder database to maintain state, interacts with other processes (likecinder-scheduler) through a m

13、essage queue and directly upon block storage providing hardware or software. The cinder-volume service can run on multiple nodes, each constituting part of the block storage pool; the scheduler will distribute requests across all nodes that are running the volume service.neutron架構(gòu)圖neutron-server提供ne

14、utron API，使用plugin的方式處理API并讀寫數(shù)據(jù)庫(kù)，icehouse版的默認(rèn)plugin是ml2 plugin。使用消息隊(duì)列與其他agent交互。L3-agent負(fù)責(zé)浮動(dòng)IP的和router的具體實(shí)現(xiàn)。實(shí)現(xiàn)浮動(dòng)IP到虛機(jī)私有IP的映射。負(fù)責(zé)router的具體實(shí)現(xiàn)，創(chuàng)建router對(duì)應(yīng)的私有網(wǎng)絡(luò)的網(wǎng)關(guān)，創(chuàng)建router對(duì)應(yīng)的公網(wǎng)的網(wǎng)絡(luò)設(shè)備neutron-metadata-agent負(fù)責(zé)虛機(jī)里訪問metadata數(shù)據(jù)dhcp-agent負(fù)責(zé)私有網(wǎng)絡(luò)中虛機(jī)的IP分配為不同的子網(wǎng)創(chuàng)建不同的dnsmasq實(shí)例，負(fù)責(zé)給虛機(jī)分配IP。創(chuàng)建虛機(jī)時(shí)，IP和mac地址會(huì)在dnsmasq里設(shè)置好，虛機(jī)

15、啟動(dòng)時(shí)獲取指定的IP。plugin-agent: neutron-openvswitch-agent負(fù)責(zé)不同類型網(wǎng)絡(luò)的具體實(shí)現(xiàn)根據(jù)網(wǎng)絡(luò)的類型和屬性建立規(guī)則連通網(wǎng)絡(luò)。neutron-openvswitch-agent使用openvswtich網(wǎng)絡(luò)虛擬化技術(shù)，實(shí)現(xiàn)neutron里定義的網(wǎng)絡(luò)Ceph網(wǎng)絡(luò)塊存儲(chǔ) linux Kernel RBD1.ceph osd pool create test 1024 10242.rbd -p test create myimage -size 102403.rbd map myimage -p test4.mkfs.xfs -f /dev/rbd/test/m

16、yimage5.mkdir /mnt/test6.mount rw, /dev/rbd/test/myimage /mnt/test ESCloud 典型部署架構(gòu)域管理節(jié)點(diǎn)(1,3,5.)NovaGlancNeutronCeilometerSwiftCinderCentOS6.5CentOS6.5CentOS6.5商業(yè)存儲(chǔ)存儲(chǔ)節(jié)點(diǎn)(1-N)CephCephCentOS6.5CentOS6.5管理Management網(wǎng)Ceph存儲(chǔ)Storage網(wǎng)存儲(chǔ)Ceph Public網(wǎng)PXE部署網(wǎng)L3 Public網(wǎng)RollerZabbixCentOS6.5部署和監(jiān)控KVMKVMCentOS6.5CentO

17、S6.5計(jì)算節(jié)點(diǎn)(1-N)生產(chǎn)Private網(wǎng)光纖ESCloud實(shí)現(xiàn)數(shù)據(jù)中心資源整合，統(tǒng)一管理。控制節(jié)點(diǎn)：ceph public-萬兆/public-萬兆/private-萬兆/manage-千兆/pxe-千兆計(jì)算節(jié)點(diǎn)：ceph public，private，manage, pxe存儲(chǔ)節(jié)點(diǎn)：ceph storage, manage, pxe, ceph public計(jì)算&存儲(chǔ)超融合節(jié)點(diǎn)：ceph public , private, management ,pxe, ceph storagePXE：此網(wǎng)絡(luò)用于推送操作系統(tǒng)和部署、擴(kuò)展OpenStack云平臺(tái)，接入Roller節(jié)點(diǎn)，此環(huán)境中需要禁止

18、DHCP，可與mgmt網(wǎng)絡(luò)合并，無需網(wǎng)關(guān)。千兆網(wǎng)絡(luò)支撐。Public：分為public(千兆)和Folating(建議萬兆)兩個(gè)網(wǎng)絡(luò)，public是集群的業(yè)務(wù)網(wǎng)絡(luò)，即對(duì)外提供dashboard UI和API的網(wǎng)絡(luò)，floating是L3，此網(wǎng)絡(luò)可選，大規(guī)模部署有瓶頸，也可單獨(dú)將L3部署到獨(dú)立物理機(jī)。Private：內(nèi)部私有業(yè)務(wù)網(wǎng)絡(luò)，用于虛機(jī)之間的相互通信，在沒有L3的純L2環(huán)境，網(wǎng)關(guān)可以指向物理網(wǎng)關(guān)，這時(shí)類似傳統(tǒng)網(wǎng)絡(luò)，避免L3網(wǎng)絡(luò)瓶頸，穩(wěn)定。需要萬兆網(wǎng)絡(luò)。Management：集群心跳網(wǎng)絡(luò)(千兆)，包含AMQP、數(shù)據(jù)庫(kù)，組件之間的消息通信。也包含Ceph Public網(wǎng)絡(luò)，大型環(huán)境中需要單獨(dú)拿

19、出Ceph Public網(wǎng)絡(luò)(萬兆)。Storage：主要用于Ceph內(nèi)部集群通信。對(duì)網(wǎng)絡(luò)要求較高，需要萬兆網(wǎng)絡(luò)支撐。IPMI：此網(wǎng)絡(luò)不屬于OpenStack必須要求，但是建議。IPMI主要用于對(duì)服務(wù)器的管理，可以遠(yuǎn)程支持開關(guān)機(jī)等操作。如果HOST HA需要?jiǎng)t此網(wǎng)絡(luò)要跟控制節(jié)點(diǎn)互通，千兆網(wǎng)絡(luò)。網(wǎng)絡(luò)角色說明控制節(jié)點(diǎn)網(wǎng)絡(luò)設(shè)備計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)設(shè)備ESCloud跨數(shù)據(jù)中心部署架構(gòu)（Multi-Region）域管理節(jié)點(diǎn)(1,3,5.)NovaGlancNeutronCeilometerSwiftCinderCentOS6.5CentOS6.5CentOS6.5商業(yè)存儲(chǔ)存儲(chǔ)節(jié)點(diǎn)(1-N)KVMKVMCentO

20、S6.5CentOS6.5Dashboard管理節(jié)點(diǎn)ESCloud 企業(yè)云KeystoneCentOS6.5CentOS6.5CentOS6.5AccountAnalysis北京數(shù)據(jù)中心上海數(shù)據(jù)中心廣州數(shù)據(jù)中心管理Management網(wǎng)Ceph存儲(chǔ)Storage網(wǎng)存儲(chǔ)Ceph Public網(wǎng)PXE部署網(wǎng)L3 Public網(wǎng)RollerZabbixCentOS6.5部署和監(jiān)控KVMKVMCentOS6.5CentOS6.5計(jì)算節(jié)點(diǎn)(1-N)生產(chǎn)Private網(wǎng)光纖ESCloud可實(shí)現(xiàn)多數(shù)據(jù)中心資源整合，統(tǒng)一管理。系統(tǒng)配置建議控制節(jié)點(diǎn)計(jì)算節(jié)點(diǎn) 計(jì)算能力：2顆8Core以上 CPU，不低于64GB內(nèi)存 存儲(chǔ)能力：2塊480GB SSD硬盤，3塊600GB SAS 15