容器大數(shù)據(jù)平臺方案

容器大數(shù)據(jù)平臺方案2目錄一容器docker介紹二容器調(diào)度kubernets介紹三框架調(diào)度mesos介紹四容器實踐大數(shù)據(jù)平臺案例搭建一個非結(jié)構(gòu)數(shù)據(jù)庫需要多久？？？傳統(tǒng)方式一個熟練的運維人員需要??數(shù)據(jù)庫版本,環(huán)境的兼容,部署腳本,環(huán)境6變量,啟動調(diào)試….使用容器化技術你只需要??什么是docker？1容器現(xiàn)狀2Docker背后的力量3容器背景什么是docker？07測試05迭代開發(fā)06版本部署08上線04準備測試環(huán)境01需求&分析02界面原型03構(gòu)建基礎框架docker其實就是PAAS平臺相比paas系統(tǒng)docker更快捷，更簡單，更輕便dotCloud與dockerCDEF2010年一家美國的創(chuàng)業(yè)公司dotCloud誕生Docker和Docker開源社區(qū)火熱發(fā)展容器技術進行了簡化和標準化，并命名為

Docker，效果甚微早期基于LXC技術的PaaS平臺2013年

10月29日，dotCloud更名為

Docker2013年3月將Docker項目開源，同時推出了開放容器項目（OCP）ABLXC集大成者----docker提供跨底層IaaS云、實現(xiàn)支持多種開發(fā)語言的開發(fā)云平臺第7頁國際趨勢-應用全面docker化，DCOS化或?qū)⒊蔀槌绷魅萜骰内厔?/p>

容器化成為下一代云計算架構(gòu)商業(yè)化進展日趨成熟谷歌、亞馬遜、IBM、VMWare各大巨頭爭相進行容器商業(yè)化實踐新技術發(fā)展驅(qū)動市場

2014年底，docker容器鏡像下載量高達1億，2017年初，超過了80億。容器技術現(xiàn)狀Docker背后的力量2015年6月2015年7月2015年8月容器標準之戰(zhàn)掌握容器標準主導權，把握未來kubernetes大殺器微服務架構(gòu)面向公有云市場入駐Openstack將k8s扶上位擴大容器技術的影響力OCI旨在圍繞容器格式和運行時指定一個開放的工業(yè)化標準Image（鏡像）DockerRegistry（鏡像倉庫）Container（容器）Part1Part2Part3容器的核心概念Image（鏡像）Image相當于綠色版的二進制程序包，無需編譯，無需安裝過程。所有底層以來的第三方軟件都包含在鏡像文件里一個典型的能“獨立運行”的程序包（Java應用為例）UserAppTomcatJDKLinux(外圍如Ubuntu、Centos)少量私有程序包大量可復用部分程序包UserAppJDKCentosTomcat鏡像層級管理鏡像的json文件DockerRegistry（鏡像倉庫）DockerEngineDockerRegistryDockerHubPullPullDockerImageDockerImageDockerImageDockerImageDockerImageDockerImageDockerImageDockerImage鏡像副本私有的或是Docker官方的(Dockerhub)無法接入公網(wǎng)或者不方便接入公網(wǎng)的用戶離線部署容器鏡像的需求。Container（容器）沒有操作系統(tǒng)的概念獨立的沙盒式運行環(huán)境宏觀又是一個整體基本的linux內(nèi)核減少了結(jié)構(gòu)的復雜性精簡就精簡的原則容器組件都有哪幾個?概述作用TEST容器技術組件包括三項，鏡像，倉庫，容器。鏡像是將容器的程序?qū)訉影b，只保留私有的那份app程序包，而其他部分則相互共享。便于程序的迭代開發(fā)。倉庫則是提供了用戶離線管理鏡像的能力。容器則是容器技術的基本，在傳統(tǒng)虛擬化的基礎上，去掉了復雜的操作系統(tǒng)，只保留了linux的系統(tǒng)核心，以便快速部署

答案15目錄一容器docker介紹二容器調(diào)度kubernets介紹三框架調(diào)度mesos介紹四容器實踐大數(shù)據(jù)平臺案例一個能管多少docker？為什么要用Kubernetes為什么谷歌1個人管10w個docker我們一個運維人員才管1000個？Kubernetes的背景谷歌的意志Kubernetes的生態(tài)圈Kubernetes背景與概述Kubernetes背景Google2014年啟用該項目100%開源資源調(diào)度、部署運行、服務發(fā)現(xiàn)和擴容縮容簡寫為k8s，微軟、IBM、VMware、Docker加入社區(qū)黑科技borg：調(diào)試、啟動、停止、重啟和監(jiān)控工作Borg最精華的部分提取出來跨多個數(shù)據(jù)中心的資源利用率最大化模塊性和可理解性公開和定制化的產(chǎn)物谷歌的意志PKKubernets讓各大IT巨頭爭相在原有版本上提出新的需求和完善性代碼針對亞馬遜成熟的公有云技術進行硬拼，無異于以卵擊石Kubernetes的生態(tài)圈和影響力連競爭對手都轉(zhuǎn)投kubernetsKubernets的核心組件PodPOD和容器什么關系？ReplicationController(RC)RC的用處？Service服務是統(tǒng)一的嘛？Label如何做服務發(fā)現(xiàn)？什么是PODpod是Kubernetes最基本的部署調(diào)度單元，可以包含多個container，多個容器統(tǒng)一部署web站點應用的例子Pod應該是短暫的而不是長久的應用，kubernets1.6自動遷移的特性rc來負責Pods的創(chuàng)建，復制，監(jiān)控和銷毀K8s核心資源之PodK8s核心資源之ReplicationController(RC)負責pod的數(shù)量控制為了達到高性能或高可用性的目的，進行彈性伸縮在線Pod數(shù)量調(diào)整平衡，少了創(chuàng)建，多了銷毀主機健康檢查自動在健康Node上重新創(chuàng)建Pod，類守護程序應用故障自愈，滾動升級IP地址也都不是持久的K8s核心資源之Service一組相同功能Pod的對外訪問地址虛擬訪問：IP地址+虛擬端口號（IP+Port）集合通過Label選擇器來完成關聯(lián)的三后端圖像前段無意識不關心變化K8s核心資源之Label流量計費流量計費流量計費RCservice…PodNservice和rc只是建立在pod之上的抽象,label可用于搜索或關聯(lián)的一組key/value標簽kubernets組件都有哪幾個?概述作用TEST1pod是容器的集合，一個pod相當于我們傳統(tǒng)系統(tǒng)的一個實例2rc是用來控制pod的數(shù)量的，相當于傳統(tǒng)系統(tǒng)的實例控制。無論rc中有幾個pod，對外圍來說都是一個3service，而區(qū)分這些service并且把service，rc，pod三者聯(lián)系起來的就是label標簽。所以上下游服務的發(fā)現(xiàn)，呈現(xiàn)出一環(huán)扣一環(huán)的現(xiàn)象，也是通過這些標簽抽象概念來完成的。

答案28目錄一容器docker介紹二容器調(diào)度kubernets介紹三框架調(diào)度mesos介紹四容器實踐大數(shù)據(jù)平臺案例MESOS的大一統(tǒng)就沒有一個通用的資源調(diào)度解決方案了呢？？B無狀態(tài)應用臨時性應用復雜的傳統(tǒng)應用重應用計費系統(tǒng)耦合性極強業(yè)務復雜適合容器化改造Mesos現(xiàn)狀A背景與概述MesosCMesos生態(tài)圈MesosBMesos商用情況MesosMesos背景與概述分布式計算框架飛速發(fā)展，但沒有一種框架能優(yōu)化運行所有類型的應用強烈的需求：在一個集群中運行多種框架，最大化集群資源利用率，在不同框架間可以共享數(shù)據(jù)mesos天生就是基于數(shù)據(jù)中心自身特點制作的操作系統(tǒng)，公，私，虛，物，都被統(tǒng)一管理。作為通用的資源共享層，不同框架都以Framework的形式運行在Mesos上01020304Mesos商用情況技術更成熟，十分廣泛的支持團隊IBM已經(jīng)成為第二貢獻廠商穩(wěn)定性、可靠性備受認可2015年4月蘋果Siri100家公司，廣泛認可Mesos生態(tài)圈公私云，虛擬，物理機兩級調(diào)度統(tǒng)一分配資源Mesos核心組件010203MesosAgentMesosMasterMesosFrameworkMesosAgent 主要工作收資源集節(jié)點信息上報給MesosMaster負責利用已有資源執(zhí)行框架下發(fā)的任務特點提供隔離機制保證任務獲得準確的資源份額替master節(jié)點準確的分配每個應用應有的資源MesosMaster一致性HA的需求按照策略制定收集和分配資源執(zhí)行任務消耗資源

Framework是雙層調(diào)度的上一層

運行在Mesos之上的分布式應用，使用Mesos提供的資源

框架運行很多任務，而任務是資源的最終消費者

myriad，spark他們使用mesos提供的資源

實際的資源使用量需求

任務才是資源的最終消費者

生命周期；任務管理；框架API（提供調(diào)度器和執(zhí)行器的通信功能）2134756MesosFramework框架A框架的組成B調(diào)度器&執(zhí)行器C生命周期管理框架調(diào)度器和任務執(zhí)行器調(diào)度器細分資源執(zhí)行器負責通過多種方式完成一個任務的執(zhí)行任務何時創(chuàng)建，何時銷毀，任務的數(shù)量與作業(yè)量的關系API（提供調(diào)度器和執(zhí)行器的通信功能）MesosFramework框架mesos組件都有哪幾個?概述作用TESTmesos主要組件有agent，master，fromwork。Master負責收集集群節(jié)點，框架和任務的信息，根據(jù)可插拔策略為框架分配資源。管理任務的生命，agent則負責監(jiān)控主機的資源情況并執(zhí)行資源分配fromwork則是資源的最終使用者答案目錄41一容器docker介紹二容器調(diào)度kubernets介紹三框架調(diào)度mesos介紹四容器實踐大數(shù)據(jù)平臺案例01來自的案例CU-DCOS02CU-DCOS1.0技術架構(gòu)03CU-DCOS企業(yè)級平臺04UcloudPaas&&CU-DCOS05CU-DCOS系統(tǒng)實踐心得容器實踐經(jīng)典案例來自的案例CU-DCOS完成IT資源的一體化調(diào)度；提供大數(shù)據(jù)微服務化能力管理、調(diào)度和開放化運營的管理框架；承載各IT域無狀態(tài)應用的容器化微服務能力，開展基于CU-DCOS能力平臺的應用的DevOps。CU-DCOS1.0技術架構(gòu)MesosKubernetesMyriadMicroServiceYarnDBservice（mysql、redis、oracle）Hadoop已有框架Open-DCOSIaaS(O3)服務服務CU-DC/OS管理

服務管理

應用管理

監(jiān)控管理統(tǒng)一服務路由接入層服務層框架調(diào)度層服務服務服務服務服務服務服務

資源管理租戶管理

統(tǒng)一運營門戶

統(tǒng)一運維門戶IaaS管理門戶自開發(fā)框架其他未容器化APPKafkasparkhive已有框架stormHadoop接入層服務層框架調(diào)度層提供統(tǒng)一的服務接入能力；實現(xiàn)統(tǒng)一的服務路由能力；提供應用負載均衡能力；提供自服務和后臺管理基于容器編排框架實現(xiàn)應用的容器化封裝；實現(xiàn)大數(shù)據(jù)能力提供服務；實現(xiàn)Oracle、MPP等數(shù)據(jù)庫能力服務實現(xiàn)Kubernets框架在Mesos承載；實現(xiàn)Myriad在Mesos承載；利用已有框架和自主研發(fā)框架，實現(xiàn)storm、Kafka等在mesos承載CU-DCOS企業(yè)級平臺容器持久化DCOS能力平臺使用Ceph作為Kubernetes的持久化存儲方案，來解決解決應用服務容器化后重啟或宕機數(shù)據(jù)不丟失的問題。容器化的敏捷迭代開發(fā)DCOS能力平臺可為開發(fā)類用戶迅速搭建基于Jenkins和主流代碼倉庫Github（開放倉庫）、SVN（私有倉庫）的持續(xù)集成環(huán)境，從而保障用戶的應用服務實現(xiàn)快速迭代。46UcloudPaas集中運維管理與CU-DCOS的融合峰值應對標準化運營高彈性伸縮微服務能力化第47頁讓業(yè)務變得更輕，更快更智能解決粗/細顆粒度的資源精細化調(diào)度1實現(xiàn)合理化的調(diào)度一切硬件資源2解決大數(shù)據(jù)不同進程CPU，內(nèi)存使