運營商Mesos云平臺實踐

1、運營商Mesos云平臺實踐技術創(chuàng)新，變革未來內(nèi)容為什么使用MESOS基于MESOS的DCOS實現(xiàn)實踐經(jīng)驗云計算驅(qū)動企業(yè)IT架構演進企 業(yè) IT架 構 演 進（圖片來自互聯(lián)網(wǎng)）“煙囪”式IT系統(tǒng)架構云化IT架構打破豎井、應用和平臺解耦 打破供應商綁定加強企業(yè)自身核心能力掌控敏捷建設、聚焦支撐業(yè)務統(tǒng)一管理建設運營，提升運維效率、提升資源利用率，降低TCO亞馬遜的AWS服務：以虛擬化為基礎， 提供IaaS、PaaS及跨服務功能層和服 務訪問工具。Google云計算平臺：基于操作系統(tǒng) 層面輕量級隔離技術的數(shù)據(jù)中心操作 系統(tǒng)（Borg/Omega），在數(shù)以萬記 的PC服務器上進行集中的資源分配和 調(diào)度。

2、典型的云計算平臺（圖片來自互聯(lián)網(wǎng)）浙江移動云化的階段對數(shù)據(jù)中心內(nèi) 部整體目標架 構沒有統(tǒng)一的 規(guī)劃設計標準化的硬件和 軟件體系業(yè)務基礎架構建設以月為單位通過核心云構件 實現(xiàn)進程級資源 共享業(yè)務基礎架構建設以分鐘為單位實現(xiàn)數(shù)據(jù)中心級 彈性伸縮傳統(tǒng)孤島標準化IaaS資源池化PaaS和應用資源池化DCOS化虛擬化服務化智能化孤島X86化通過服務化實現(xiàn) 共享的平臺架構業(yè)務基礎架構建設以日為單位實現(xiàn)集群級彈性 伸縮通過虛擬化實現(xiàn) 共享的基礎架構業(yè)務基礎架構建設以周為單位實現(xiàn)虛擬機級彈 性伸縮簡化高效靈活動態(tài)復用存在的問題靜態(tài)部署只能大切小不能小聚大不能維持應用環(huán)境的自動化封裝應用的快速部署開通受到極大制

3、約傳統(tǒng)虛擬化只能實現(xiàn)虛機級彈性伸縮，效果極其有限資源利用率低基于IaaS層的云化先天不足：DCOS 第三代PaaS的核心 PaaS 1.0Google AppEngine、SAE等早期的PaaS概念，提供軟件開發(fā)平 臺和運行環(huán)境 PaaS 2.0Cloud Foundry、OpenShift等允許用戶運行自己的PaaS，將平臺進行標準化、服務化。 PaaS 3.0以分布式集群資源調(diào) 度（Mesos、Yarn） 為基礎，結合容器（ Docker）技術構建支持多種計算框架，具備敏捷開發(fā)、快速 部署和彈性伸縮特性第三代PaaS的核心是DCOS（DataCenter Operating System）

4、數(shù)據(jù)中心操作系統(tǒng)DCOS數(shù)據(jù)中心操作系統(tǒng)（DataCenter Operating System，簡稱DCOS）是為整個數(shù)據(jù)中心提供分布 式調(diào)度與協(xié)調(diào)功能，實現(xiàn)數(shù)據(jù)中心級彈性伸縮能力的軟件堆棧，它將所有數(shù)據(jù)中心的資源當做一 臺大型計算機來調(diào)度，可以視作這個大型主機的操作系統(tǒng)。（以Mesos為例）Linux OSDCOSResource ManagementLinux KernelMesosProcess ManagementLinux KernelDockerJob Schedulinginit.d, cronMarathon, ChronosInter-Process Communicati

5、onPipe, SocketRabbitMQFile Systemext4HDFS, Ceph（圖片來自互聯(lián)網(wǎng)）DCOS的特征數(shù)據(jù)中心操作系統(tǒng)終極目標是提供一個通用的標準化運維系統(tǒng)高效率可靠安全地管 理數(shù)據(jù)中心，同時簡化應用程序的開發(fā)、部署難度，協(xié)調(diào)各類資源，確保各類資源隨著 應用的需求動態(tài)調(diào)度數(shù)據(jù)中心級的彈性伸縮自動化調(diào)度、故障自愈細粒度的資源分配高資源利用率敏捷開發(fā)、快速部署DCOS解決方案典型案例Google：Borg/OmegaTwitter、Apple、Netflix：Mesos解決方案Mesos ： Mesos由加州大學伯克利分校AMPLab開發(fā)，后在Twitter廣泛使用，成熟度

6、 高。Mesosphere公司DCOS，以Mesos為核心，支持多領域的分布式集群調(diào)度框架：Marathon、Chronos和Hadoop、Spark等的集群調(diào)度框架，實現(xiàn)系統(tǒng)的資源彈性調(diào)度。 Apache Hadoop YARN：一種新的 Hadoop 資源管理器，它是一個通用資源管理系統(tǒng)， 可為上層應用提供統(tǒng)一的資源管理和調(diào)度 。Kubernetes：是Google多年大規(guī)模容器管理技術的開源版本，面世以來就受到各大巨 頭及初創(chuàng)公司的青睞，社區(qū)活躍。Docker Machine + Compose + Swarm：Docker公司的容器編排工具。傳統(tǒng)PaaS產(chǎn)品：CloudFoundry/

7、OpenShift等傳統(tǒng)PaaS解決方案。Why MesosMesosYarnKubernetesDockerSwarmCF/OpenShift調(diào)度級別二級調(diào)度（Dominant Resource Fairness）二級調(diào)度（FIFO，Capacity Scheduler，F(xiàn)air Scheduler）二級調(diào)度（基于Predicates和Priorities兩階段 算法）一級調(diào)度 （提供Strategy 和Filter 兩種調(diào)度策略）CF一級調(diào)度 （基于 Highest-scoring調(diào) 度策略）/OpenShift使用 Kubernetes生態(tài)活躍活躍活躍非?；钴S活躍一般適用場景通用性高，混

8、合場 景大數(shù)據(jù)生態(tài)場景目前較單一較單一較單一成熟度高高中低中應用與平 臺耦合度低中中低高應用案例 分析Twitter、Apple、Airbnb、Yelp、Netflix、ebay、 VerizonHadoop生態(tài)圈應用目前快速發(fā)展中， 生產(chǎn)環(huán)境應用較 少很少較少，PaaS整體解 決方案，應用與平 臺的耦合度較高根據(jù)對適合構建DCOS的各種技術架構的評估，選擇以Mesos為基礎的方案。優(yōu)點是成熟度高、兩級調(diào)度框架、適合多種應用場景、混合部署、應用與平臺耦合度低中國移動浙江公司DCOS建設歷程2014年3月開始關注Docker容器化技術，2014年8月啟動Docker應用的技術 驗證2014年11

9、月將核心系統(tǒng)CRM的一個完整集群遷移到容器運行，Docker正式投入生產(chǎn)2015年8月，提出數(shù)據(jù)中心操作系統(tǒng)的設想，建設DCOS驗證網(wǎng)，使用Mesos+Marathon+Docker方案2015年11月4日中國移動浙江公司DCOS驗證網(wǎng)上線，11月11日支撐手機營 業(yè)廳“雙11”活動2015年12月10上線CRM應用內(nèi)容為什么使用MESOS基于MESOS的DCOS實現(xiàn)實踐經(jīng)驗關鍵技術選型 - 資源調(diào)度（圖片來自互聯(lián)網(wǎng)）Mesos關鍵技術選型 - 任務調(diào)度Mesos僅負責分布式集群資源分配Marathon做任務調(diào)度，故障轉(zhuǎn)移（圖片來自互聯(lián)網(wǎng)）Marathon關鍵技術選型 應用封裝（圖片來自互聯(lián)網(wǎng)

10、）容器serverHypervisorGuest OSBin/libsGuest OSBin/libsappapp虛擬機serverHost OSDocker EngineBin/libsappBin/libsappDocker關鍵技術選型 - 服務發(fā)現(xiàn)與注冊HAProxy業(yè)務負載的分發(fā)Marathon將服務通過Confd注冊到HAProxyMarathonEtcdConfdHAProxy思路來自：劉天斯構建一個高可用及自動發(fā)現(xiàn)的Docker基礎架構-HECD /post/242/DCOS架構圖Mesos Cluster (Master)Mesos MasterMesos MasterMeso

11、s Master MarathonMarathonMarathon ZookeeperZookeeperZookeeper EtcdEtcdEtcdGit服務器應用包、鏡像JenkinsDocker ContainerDocker ContainerDockerContainerMesos SlaveMesos SlaveMesos SlaveMesos Cluster (Slave)Distributed File System(Ceph、HDFS)Docker RegistryLB HAProxyConfdHAProxy Confd部署彈性調(diào)度 構建 構建/上傳PushPull服務發(fā)現(xiàn) 代

12、碼DCOS功能架構圖EtcdEtcdEtcd服務發(fā)現(xiàn) 服務注冊應用容器化(Docker封裝)應用（Docker）應用（Docker）Confd/HAproxy節(jié)點節(jié)點節(jié)點節(jié)點MESOSMARATHONzookeeper物理機或虛擬機資源調(diào)度 任務調(diào)度DCOS管理平臺監(jiān)控管理模塊彈性擴縮容調(diào)度模塊資源配置模塊統(tǒng)一日志中心鑒權模塊持續(xù)集成平臺DashboardConfd/HAproxyConfd/HAproxyDCOS物理部署MESOS-slaveZookeeperEtcd、ConfdHAProxyLoadbalanceStatechangesStatechangesreloadtask浙江移動D

13、COS平臺采用93個主機節(jié)點，其中平臺部分由5個節(jié)點構成Mesos Master Cluster，8個節(jié)點構成Haproxy Cluster，80個計算節(jié)點，平臺和計算節(jié)點均跨機房部署Mesos master、Marathon 、Zookpeer、Etcd 共采用5臺 X86虛擬機分布式部署HAProxy 和Confd共 采用8臺X86虛擬機Mesos slave節(jié)點采用80臺X86虛擬機MarathonMESOS-masterreloadreload所有組件容器化部署試點組件版本Mesos 0.25Marathon 0.11Docker 1.8.3Zookeeper 3.4.6HAProxy

14、 1.61Etcd 2.2.1業(yè)務規(guī)模（手機營業(yè)廳）注冊用戶2500萬日活躍用戶數(shù)300萬“雙十一”搶購Dashboard數(shù)據(jù)中心容器視圖內(nèi)容為什么使用MESOS基于MESOS的DCOS實現(xiàn)實踐經(jīng)驗自動彈性擴縮容Marathon的擴縮容默認只能根據(jù)用戶需要進行手動調(diào)整，我們結合多年的系統(tǒng) 運維經(jīng)驗，實現(xiàn)基于并發(fā)數(shù)、響應時間、CPU和內(nèi)存使用率等容量指標進行自動 彈性擴縮容調(diào)度的算法。Marathon Etcd聯(lián)動實現(xiàn)服務發(fā)現(xiàn)注冊Etcd只是個獨立的服務注冊發(fā)現(xiàn)組件，只能通過在 宿主機上部署Etcd發(fā)現(xiàn)組件，通過其發(fā)現(xiàn)宿主機的 容器變化來發(fā)現(xiàn)，屬于被動的發(fā)現(xiàn)，往往會出現(xiàn)發(fā) 現(xiàn)延遲時間較長的問題，

15、我們通過修改Etcd組件的 發(fā)現(xiàn)接口，實現(xiàn)與Marathon的Event事件接口進行 對接，達到Marathon的任何變動都會及時同步給Etcd組件，提高了系統(tǒng)的發(fā)現(xiàn)速度，并且避免在每 個宿主機上部署Etcd 發(fā)現(xiàn)組件。MarathonEtcdConfdHAProxy數(shù)據(jù)中心切換應用的改造自動彈性擴縮容對應用的要求：無狀態(tài)化接入層的無狀態(tài)化改造去http session交互用http+json短連接Session信息放緩存ClientHAProxyWEB1WEB2WEB3RedissessionId應用的改造內(nèi)部服務調(diào)用的改造HTTP接口：同接入層一樣使用負載均衡方案HAProxy+Confd+Etcd；服務化框架：使用服務化框架服務的發(fā)現(xiàn)和注冊功能，注意需要將容器外的IP和端口上報給配置中心；WEB1APP1MarathonWEB2APP2APP3ZookeeperDCOS帶來的好處高資源利用率DCOS相較于虛擬機有著基于CPU、內(nèi)存、IO的更細粒度的資源調(diào)度，多個計算框架或應用程序可共 享資源