云計(jì)算之PaaS經(jīng)典案例30_第1頁(yè)
云計(jì)算之PaaS經(jīng)典案例30_第2頁(yè)
云計(jì)算之PaaS經(jīng)典案例30_第3頁(yè)
云計(jì)算之PaaS經(jīng)典案例30_第4頁(yè)
云計(jì)算之PaaS經(jīng)典案例30_第5頁(yè)
已閱讀5頁(yè),還剩176頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

梅峰谷大數(shù)據(jù)資料整理小組云計(jì)算之PaaS經(jīng)典案例匯總-中篇版本號(hào)V1.0日期2017-10-15來(lái)源梅峰谷大數(shù)據(jù)本文檔版權(quán)由梅峰谷大數(shù)據(jù)所有。未經(jīng)書(shū)面許可,任何單位和個(gè)人不得以任何形式摘抄、復(fù)制本文檔的部分或全部,并以任何形式傳播。梅峰谷大數(shù)據(jù)資料整理小組2017年10月目錄TOC\o"1-3"\h\u15545梅峰谷大數(shù)據(jù)資料整理小組 127148目錄 23105第一章中國(guó)移動(dòng)網(wǎng)狀網(wǎng)PaaS之路 9251911.建設(shè)說(shuō)明 9148431.1建設(shè)背景 9133711.2.試點(diǎn)系統(tǒng)選擇 11209812.PaaS技術(shù)選型 12258692.1.Kubernetes 12291552.2.Mesos 1361982.3.產(chǎn)品對(duì)比 1384903.PAAS平臺(tái)解決方案 15110593.1.技術(shù)架構(gòu) 1552113.2.功能框架 1685243.3技術(shù)方案亮點(diǎn) 16180894.PAAS應(yīng)用效果 22168184.1.集群規(guī)模 22246174.2.應(yīng)用效果 2290235.下一步計(jì)劃 2322268第二章中國(guó)公有云計(jì)算產(chǎn)品線 24316101.愿景 24273432.洞察 25293352.1產(chǎn)品競(jìng)爭(zhēng) 25218462.2運(yùn)營(yíng)競(jìng)爭(zhēng) 2532032.3客戶競(jìng)爭(zhēng) 2681113.云商 26305243.1阿里云 27194113.2騰訊云 28207433.3百度開(kāi)放云 30149633.4華為云 31197803.5網(wǎng)易云 33145923.6新浪云 3453593.7樂(lè)視云 35165563.8360云 36266343.9京東云 37303663.10美團(tuán)云 39285553.11金山云 4016057第三章中聯(lián)通CU-DC/OS 41275201.研究背景 41321632.CU-DCOS發(fā)展 4219253.CU-DCOS技術(shù)創(chuàng)新 43194353.1創(chuàng)新的獨(dú)立式技術(shù)架構(gòu) 43122303.2資源的統(tǒng)一管理 44111383.3創(chuàng)新的大數(shù)據(jù)服務(wù) 44212723.4持續(xù)集成/持續(xù)交付能力 4466313.5統(tǒng)一服務(wù)網(wǎng)關(guān) 4489553.6多實(shí)例持久化存儲(chǔ) 45278204.落地應(yīng)用 45103654.1公共創(chuàng)新大數(shù)據(jù)能力開(kāi)放平臺(tái) 4549394.2聯(lián)通PaaS平臺(tái)的基礎(chǔ)架構(gòu) 45320834.3聯(lián)通牛人部落實(shí)驗(yàn)室的基礎(chǔ)架構(gòu) 4528759第四章開(kāi)源PaaS初探 46129661PaaS平臺(tái)概述 46198602.主流的開(kāi)源PaaS平臺(tái) 47315932.1CloudFoundry 47188142.2Cloudify 4877272.3Docker 49210552.4小結(jié) 5048233開(kāi)源PaaS發(fā)展趨勢(shì) 5184893.1輕量化 5147543.2服務(wù)外化 518143.3大數(shù)據(jù)分析 51217654.結(jié)束語(yǔ) 5324046第五章傳統(tǒng)企業(yè)PaaS上云思考(薦) 53193541.背景說(shuō)明 5377582.傳統(tǒng)架構(gòu)與應(yīng)用分類(lèi) 54297582.1經(jīng)典架構(gòu) 54257842.2OLAP與OLTP 55263943.云化需求與分析 5693353.1OLTP類(lèi)應(yīng)用云化的要求 5679453.2OLAP型應(yīng)用云化的需求 58222154.基于容器的PaaS平臺(tái)架構(gòu)構(gòu)建 61150705.PaaS平臺(tái)問(wèn)題及上云注意點(diǎn) 64101315.1資源調(diào)度問(wèn)題 6496545.2多租戶的問(wèn)題 64289206.問(wèn)答環(huán)節(jié) 6818146第六章Pivotal云原生應(yīng)用和PaaS 69174111.Pivotal的探索 6977351.1pivotal介紹 70287431.2pivotal大牛 7160822.云原生架構(gòu)與應(yīng)用 73187502.1云原生架構(gòu) 73312812.2云原生應(yīng)用特征 7480823.PaaS的業(yè)務(wù)驅(qū)動(dòng)力

75116344.PaaS的架構(gòu)模型與業(yè)務(wù)價(jià)值

76219475.微服務(wù)監(jiān)控鏈—SpringZipkin 7817235第七章基于k8s的PaaS平臺(tái)設(shè)計(jì)和思考 80293441.PaaS平臺(tái)的意義 80148952.為什么選擇Kubernetes 81271542.1主流容器框架 81291592.2容器設(shè)計(jì)理念 82210893.PaaS平臺(tái)上的微服務(wù)架構(gòu)應(yīng)用 82198934.PaaS平臺(tái)架構(gòu)設(shè)計(jì) 83141744.1平臺(tái)建設(shè)原則 8345184.2平臺(tái)關(guān)鍵能力說(shuō)明 84323754.3PaaS平臺(tái)功能組件 8516563第八章容器驅(qū)動(dòng)的PaaS平臺(tái)實(shí)現(xiàn)(薦) 86114931.基于容器的PaaS是趨勢(shì) 87104492.企業(yè)選擇PaaS的關(guān)注點(diǎn) 88102302.1某世界500強(qiáng)保險(xiǎn)集團(tuán) 89298202.2某全國(guó)性股份制商業(yè)銀行 8922992.3某通訊解決方案提供商 9055012.4某省科技廳醫(yī)療大數(shù)據(jù)項(xiàng)目 90106003.PaaS平臺(tái)選型要素 91151034.CaaS構(gòu)建:引擎還是汽車(chē) 92289635.容器服務(wù)CaaS框架示例 93218076.企業(yè)對(duì)容器訴求 95216.1對(duì)網(wǎng)絡(luò)訴求 95314816.2對(duì)存儲(chǔ)訴求 96218807.PaaS應(yīng)用舉例 99273047.1基于Weblogic應(yīng)用 99272657.2基于Mysql高可用數(shù)據(jù)服務(wù) 101257058.容器的日志和告警 10290359.容器的安全問(wèn)題 10422018第九章YY互娛私有PaaS平臺(tái)實(shí)踐 105205331.運(yùn)維價(jià)值體系 106187572.運(yùn)維平臺(tái)化方式 10728302.1面向流程 107212442.2面向服務(wù) 108222102.3.拿來(lái)主義 109282673.YY互娛PaaS運(yùn)維平臺(tái)實(shí)踐 110239203.1業(yè)務(wù)場(chǎng)景 110208833.2平臺(tái)理念 112184363.3實(shí)踐歷程 113268424.YY互娛PaaS運(yùn)維平臺(tái)未來(lái)規(guī)化 13217354第十章PaaS關(guān)鍵技術(shù)點(diǎn)和難點(diǎn) 133237621.PaaS建設(shè)的意義何在 134116842.PaaS的主要技術(shù)有哪些 135233303.容器云的負(fù)載均衡如何選擇 135224584.PaaS的日志和監(jiān)控如何進(jìn)行處理 136255785.PaaS如何更好的實(shí)現(xiàn)CI/CD 136178886.PaaS鍵技術(shù)點(diǎn)和難點(diǎn) 13710009第十一章唯品會(huì)輕量級(jí)PaaS平臺(tái) 138240771.唯品會(huì)現(xiàn)狀 13965332.唯品會(huì)PaaS構(gòu)建流程 139137113.唯品會(huì)PaaS功能點(diǎn) 143265764.PaaS網(wǎng)絡(luò)方案和定制 144104675.日志收集和監(jiān)控 147238966.唯品會(huì)PaaS監(jiān)控 14970077.問(wèn)題總結(jié) 15018373第十二章運(yùn)營(yíng)商上PaaS遇到的問(wèn)題 151255911.運(yùn)營(yíng)商IT系統(tǒng)現(xiàn)狀 152267222.IT系統(tǒng)集中一體化問(wèn)題 15218823.硬件資源整合 153222023.1IaaS層面的硬件資源整合 15443343.2PaaS層面的硬件資源整合 15486494.關(guān)系型數(shù)據(jù)庫(kù)擴(kuò)展性問(wèn)題 155183105.構(gòu)建跨域的PaaS平臺(tái) 161187716.能力開(kāi)放 162140937.總結(jié)語(yǔ) 16428655第十三章新浪微博基于Docker的混合云架構(gòu) 164278511.背景,挑戰(zhàn)與實(shí)現(xiàn) 164139872.混合云架構(gòu)方案 166130592.112306混合云架構(gòu) 16678332.2混合云DCP技術(shù)架構(gòu) 167118802.3混合云功能模塊 169269393.基礎(chǔ)設(shè)施 16951674.彈性調(diào)度 173293085.編排與實(shí)現(xiàn) 17696796.春晚實(shí)戰(zhàn)&總結(jié) 181第一章中國(guó)移動(dòng)網(wǎng)狀網(wǎng)PaaS之路1.建設(shè)說(shuō)明中國(guó)移動(dòng)一級(jí)業(yè)務(wù)支撐系統(tǒng)作為中國(guó)移動(dòng)的管理中心和全網(wǎng)業(yè)務(wù)的核心系統(tǒng),有內(nèi)容計(jì)費(fèi)、網(wǎng)狀網(wǎng)、BBOSS、統(tǒng)一電渠、一級(jí)營(yíng)銷(xiāo)、一級(jí)客服等系統(tǒng),業(yè)務(wù)模式涵蓋了交易、計(jì)費(fèi)、服務(wù)等各種移動(dòng)核心業(yè)務(wù)模式,系統(tǒng)功能各異復(fù)雜度高。1.1建設(shè)背景這些系統(tǒng)都是做為獨(dú)立項(xiàng)目單獨(dú)建設(shè)的。然而,近幾年隨著大數(shù)據(jù)、云計(jì)算、容器化、微服務(wù)、平臺(tái)戰(zhàn)略等新技術(shù)和新概念的層出不窮和快速發(fā)展,在業(yè)務(wù)支撐、架構(gòu)能力、平臺(tái)擴(kuò)展性等方面對(duì)舊有的煙囪式建設(shè)的業(yè)務(wù)支撐系統(tǒng)提出了巨大的挑戰(zhàn)。企業(yè)在IT平臺(tái)的建設(shè)、開(kāi)發(fā)和維護(hù)的過(guò)程中,經(jīng)常會(huì)被以下問(wèn)題所困擾:開(kāi)發(fā)環(huán)境管理復(fù)雜,開(kāi)發(fā)、測(cè)試、生產(chǎn)環(huán)境無(wú)法進(jìn)行有效隔離,無(wú)法實(shí)現(xiàn)自動(dòng)化的安裝部署和應(yīng)用維護(hù),業(yè)務(wù)的環(huán)境和配置依賴問(wèn)題常常會(huì)給系統(tǒng)遷移帶來(lái)很大的麻煩;X86化加大了系統(tǒng)的運(yùn)維壓力,日常升級(jí)部署工作繁雜巨大,開(kāi)發(fā)/測(cè)試/運(yùn)維人員之間相互抱怨。特別是隨著移動(dòng)X86化推進(jìn),資源數(shù)量急速膨脹。怎樣實(shí)現(xiàn)資源集中有效管理,資源動(dòng)態(tài)靈活調(diào)配,提高對(duì)資源的可監(jiān)控可管理能力對(duì)現(xiàn)有系統(tǒng)構(gòu)架提出了挑戰(zhàn)。另一方面,隨著移動(dòng)融合業(yè)務(wù)發(fā)展,尤其是互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展,對(duì)系統(tǒng)水平彈性動(dòng)態(tài)擴(kuò)展、業(yè)務(wù)連續(xù)性保障、故障迅速恢復(fù)提出高要求。因此,企業(yè)迫切需要引入新的技術(shù)和管理方式來(lái)應(yīng)對(duì)云計(jì)算時(shí)代所帶來(lái)的變革,舊有的平臺(tái)技術(shù)架構(gòu)亟待升級(jí),開(kāi)發(fā)管理流程亟待優(yōu)化。做為一級(jí)業(yè)務(wù)支撐中心,怎么實(shí)現(xiàn)所有系統(tǒng)的統(tǒng)一資源分配和調(diào)度,怎么實(shí)現(xiàn)原有煙囪系統(tǒng)的資源共享,怎么實(shí)現(xiàn)開(kāi)發(fā)/測(cè)試/生產(chǎn)部署的有效分離,怎么實(shí)現(xiàn)整個(gè)X86集群的統(tǒng)一監(jiān)控是支撐中心亟待解決的問(wèn)題。針對(duì)以上問(wèn)題,中國(guó)移動(dòng)業(yè)務(wù)支撐系統(tǒng)部業(yè)務(wù)支撐中心(以下簡(jiǎn)稱業(yè)務(wù)支撐中心)在2015年開(kāi)始了PAAS平臺(tái)的摸索,希望通過(guò)試點(diǎn)積累PAAS平臺(tái)的建設(shè)和運(yùn)維經(jīng)驗(yàn),為未來(lái)建設(shè)一級(jí)系統(tǒng)PAAS平臺(tái)打下基礎(chǔ)。1.2試點(diǎn)系統(tǒng)選擇

中國(guó)移動(dòng)一級(jí)業(yè)務(wù)支撐系統(tǒng)做為中國(guó)移動(dòng)的管理中心和全網(wǎng)業(yè)務(wù)的核心系統(tǒng),有內(nèi)容計(jì)費(fèi),網(wǎng)狀網(wǎng),BBOSS,統(tǒng)一電渠,一級(jí)營(yíng)銷(xiāo),一級(jí)客服等系統(tǒng),業(yè)務(wù)模式涵蓋了交易、計(jì)費(fèi)、服務(wù)等各種移動(dòng)核心業(yè)務(wù)模式,系統(tǒng)功能各異復(fù)雜度高。這些系統(tǒng)都是做為獨(dú)立項(xiàng)目單獨(dú)建設(shè)的。然而,近幾年隨著大數(shù)據(jù)、云計(jì)算、容器化、微服務(wù)、平臺(tái)戰(zhàn)略等新技術(shù)和新概念的層出不窮和快速發(fā)展,在業(yè)務(wù)支撐、架構(gòu)能力、平臺(tái)擴(kuò)展性等方面對(duì)舊有的煙囪式建設(shè)的業(yè)務(wù)支撐系統(tǒng)提出了巨大的挑戰(zhàn)。企業(yè)在IT平臺(tái)的建設(shè)、開(kāi)發(fā)和維護(hù)的過(guò)程中,經(jīng)常會(huì)被以下問(wèn)題所困擾:開(kāi)發(fā)環(huán)境管理復(fù)雜,開(kāi)發(fā)、測(cè)試、生產(chǎn)環(huán)境無(wú)法進(jìn)行有效隔離,無(wú)法實(shí)現(xiàn)自動(dòng)化的安裝部署和應(yīng)用維護(hù),業(yè)務(wù)的環(huán)境和配置依賴問(wèn)題常常會(huì)給系統(tǒng)遷移帶來(lái)很大的麻煩;X86化加大了系統(tǒng)的運(yùn)維壓力,日常升級(jí)部署工作繁雜巨大,開(kāi)發(fā)/測(cè)試/運(yùn)維人員之間相互抱怨。特別是隨著移動(dòng)X86化推進(jìn),資源數(shù)量急速膨脹。怎樣實(shí)現(xiàn)資源集中有效管理,資源動(dòng)態(tài)靈活調(diào)配,提高對(duì)資源的可監(jiān)控可管理能力對(duì)現(xiàn)有系統(tǒng)構(gòu)架提出了挑戰(zhàn)。另一方面,隨著移動(dòng)融合業(yè)務(wù)發(fā)展,尤其是互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展,對(duì)系統(tǒng)水平彈性動(dòng)態(tài)擴(kuò)展、業(yè)務(wù)連續(xù)性保障、故障迅速恢復(fù)提出高要求。因此,企業(yè)迫切需要引入新的技術(shù)和管理方式來(lái)應(yīng)對(duì)云計(jì)算時(shí)代所帶來(lái)的變革,舊有的平臺(tái)技術(shù)架構(gòu)亟待升級(jí),開(kāi)發(fā)管理流程亟待優(yōu)化。做為一級(jí)業(yè)務(wù)支撐中心,怎么實(shí)現(xiàn)所有系統(tǒng)的統(tǒng)一資源分配和調(diào)度,怎么實(shí)現(xiàn)原有煙囪系統(tǒng)的資源共享,怎么實(shí)現(xiàn)開(kāi)發(fā)/測(cè)試/生產(chǎn)部署的有效分離,怎么實(shí)現(xiàn)整個(gè)X86集群的統(tǒng)一監(jiān)控是支撐中心亟待解決的問(wèn)題。針對(duì)以上問(wèn)題,中國(guó)移動(dòng)業(yè)務(wù)支撐系統(tǒng)部業(yè)務(wù)支撐中心(以下簡(jiǎn)稱業(yè)務(wù)支撐中心)在2015年開(kāi)始了PAAS平臺(tái)的摸索,希望通過(guò)試點(diǎn)積累PAAS平臺(tái)的建設(shè)和運(yùn)維經(jīng)驗(yàn),為未來(lái)建設(shè)一級(jí)系統(tǒng)PAAS平臺(tái)打下基礎(chǔ)。1.2.試點(diǎn)系統(tǒng)選擇網(wǎng)狀網(wǎng)做為整個(gè)一級(jí)業(yè)務(wù)支撐系統(tǒng)的核心系統(tǒng),是中國(guó)移動(dòng)內(nèi)外部信息傳輸交換、服務(wù)管控、數(shù)據(jù)處理、業(yè)務(wù)支撐、運(yùn)營(yíng)開(kāi)放為一體的綜合信息交換樞紐,是連接中國(guó)移動(dòng)集團(tuán)、31個(gè)省公司、各一級(jí)業(yè)務(wù)平臺(tái)、服務(wù)公司、合作伙伴等內(nèi)外部各應(yīng)用系統(tǒng),并對(duì)外提供服務(wù)的橋梁,是中國(guó)移動(dòng)的企業(yè)數(shù)字神經(jīng)網(wǎng)絡(luò)。目前承載200多個(gè)平臺(tái)的接入,支撐業(yè)務(wù)達(dá)到2000多個(gè),包含金融,客服,業(yè)務(wù)訂購(gòu),互聯(lián)網(wǎng)等各類(lèi)的業(yè)務(wù)。峰值業(yè)務(wù)量目前達(dá)到10億筆/每天,每月結(jié)算金額在60多億。系統(tǒng)承載業(yè)務(wù)具有容量大,實(shí)時(shí)性強(qiáng),波動(dòng)劇烈,增長(zhǎng)迅速,重要性強(qiáng),客戶影響大,無(wú)狀態(tài)業(yè)務(wù)居多等特點(diǎn)。非常適合做PAAS平臺(tái)的試點(diǎn)。業(yè)務(wù)支撐中心和網(wǎng)狀網(wǎng)項(xiàng)目技術(shù)團(tuán)隊(duì)經(jīng)過(guò)大量的研討,創(chuàng)新的提出了APU(ApplicationProcessUnit)的概念,把資源和應(yīng)用有效的結(jié)合在一起,解決未來(lái)的系統(tǒng)的發(fā)展和管理瓶頸,并申請(qǐng)了專利。而且通過(guò)深入的技術(shù)研究和實(shí)踐探索,在Docker基礎(chǔ)上通過(guò)增強(qiáng)接口和管理功能,實(shí)現(xiàn)了APU概念的落地。結(jié)合Kunbernet做為集群管理平臺(tái),搭建了能夠承載網(wǎng)狀網(wǎng)系統(tǒng)的PAAS平臺(tái)試點(diǎn)。實(shí)現(xiàn)了整個(gè)平臺(tái)的容器化改造和集群的部署,管理和監(jiān)控。2015年3月,搭建群,選Kubernetes+Docker集取部分業(yè)務(wù)進(jìn)行POC。2015年5月,開(kāi)始逐步大規(guī)模進(jìn)行業(yè)務(wù)的開(kāi)發(fā)改造。2015年7月,基于Kubernetes+Docker的網(wǎng)狀網(wǎng)PAAS平臺(tái)上線,第一步遷移了移動(dòng)商城業(yè)務(wù)。2015年9月,建立生產(chǎn)+容災(zāi)兩個(gè)集群,共120個(gè)節(jié)點(diǎn),遷移60%的業(yè)務(wù)。2015年12月,開(kāi)始逐步遷移全部的業(yè)務(wù)到PAAS.PaaS技術(shù)選型目前適用于容器集群管理和大規(guī)模部署的,并且得到大規(guī)模生產(chǎn)驗(yàn)證的開(kāi)源產(chǎn)品有:Kubernetes、ApacheMesos。這兩個(gè)平臺(tái)各有特點(diǎn):2.1.Kubernetes2015年,谷歌公布多年以來(lái)的容器集群方面的秘密:Google早些年構(gòu)建了一個(gè)管理系統(tǒng),它可以用來(lái)管理集群、容器、網(wǎng)絡(luò)以及命名系統(tǒng)。第一個(gè)版本被稱為Brog,后續(xù)版本稱為Omega。目前每秒會(huì)啟動(dòng)大約7000個(gè)容器,每周可能會(huì)超過(guò)20億個(gè)容器。利用在容器技術(shù)上的實(shí)踐經(jīng)驗(yàn)和技術(shù)積累,Google構(gòu)建了Kubernetes(簡(jiǎn)寫(xiě)K8s)。Kubernetes是一個(gè)全新的基于容器技術(shù)的分布式架構(gòu)的集群管理解決方案,Kubernetes具有完備的集群管理能力,包括多層次的安全防護(hù)和準(zhǔn)入機(jī)制、多租戶應(yīng)用支撐能力、透明的服務(wù)注冊(cè)和服務(wù)發(fā)現(xiàn)機(jī)制、內(nèi)建智能負(fù)載均衡器、強(qiáng)大的故障發(fā)現(xiàn)和自我修復(fù)能力、服務(wù)滾動(dòng)升級(jí)和在線擴(kuò)容能力、可擴(kuò)展的資源自動(dòng)調(diào)度機(jī)制,以及多粒度的資源配額管理能力。有了Kubernetes,你可以告訴系統(tǒng),你的應(yīng)用程序需要一個(gè)數(shù)據(jù)庫(kù)、三個(gè)服務(wù)器、X量的存儲(chǔ)等等。Kubernetes主要關(guān)注的是對(duì)服務(wù)級(jí)別的控制而并非僅僅對(duì)容器級(jí)別的控制,Kubernetes提供了一種“機(jī)智”的管理方式,它將服務(wù)看成一個(gè)整體。在Kubernetes的解決方案中,一個(gè)服務(wù)甚至可以自我擴(kuò)展,自我診斷,并且容易升級(jí)。在Kubernetes的設(shè)計(jì)理念中,第一次將Service的高度提升到超過(guò)Machine,第一次將服務(wù)自動(dòng)化提升到平臺(tái)高度(監(jiān)控、部署、擴(kuò)容)。目前Kubernetes生態(tài)環(huán)境熱度很高,發(fā)展很快。2.2.MesosMesos最早由美國(guó)加州大學(xué)伯克利分校AMPLab實(shí)驗(yàn)室開(kāi)發(fā),Mesos是分布式系統(tǒng)內(nèi)核,它可以將不同的機(jī)器整合在一個(gè)邏輯計(jì)算機(jī)上面。當(dāng)你擁有很多的物理資源并想構(gòu)建一個(gè)巨大的靜態(tài)的計(jì)算集群的時(shí)候,Mesos就派上用場(chǎng)了。有很多的現(xiàn)代化可擴(kuò)展性的數(shù)據(jù)處理應(yīng)用都可以在Mesos上運(yùn)行,包括Hadoop、Kafka、Spark等,同時(shí)你可以通過(guò)容器技術(shù)將所有的數(shù)據(jù)處理應(yīng)都運(yùn)行在一個(gè)基礎(chǔ)的資源池中。如果你擁有已經(jīng)存在的多個(gè)工作任務(wù)(Hadoop、Spark、Kafka等),那Mesos提供了一個(gè)將不同工作任務(wù)相互交錯(cuò)的框架。Mesos目前做為DCOS(DataCenterOperationSystem)理念的實(shí)現(xiàn)者,也得到了很多企業(yè)的關(guān)注。但是Mesos如果做為容器集群的管理者,需要通過(guò)Marathon框架支撐,另外還需要另外增加很多Kubernetes內(nèi)置的一些功能,如proxy,serviceDNS,以及集群的動(dòng)態(tài)伸縮要求的和proxy負(fù)載策略的數(shù)據(jù)同步,應(yīng)用的監(jiān)控等等。因?yàn)?,如果企業(yè)只是想實(shí)現(xiàn)容器集群實(shí)現(xiàn)PAAS平臺(tái)搭建的話,Mesos過(guò)于復(fù)雜,但是如果企業(yè)想實(shí)現(xiàn)DCOS平臺(tái)的話,Mesos是個(gè)不錯(cuò)的選擇。另外,一個(gè)針對(duì)Mesos+kubernetes的框架正在開(kāi)發(fā)中,來(lái)替換Marathon,提供最理想的方式以構(gòu)建基于微服務(wù)架構(gòu)的應(yīng)用程序?qū)崿F(xiàn)對(duì)容器集群的更有效的管理??偟内厔?shì)是兩者不斷的借鑒和融合。2.3.產(chǎn)品對(duì)比相關(guān)技術(shù)在核心特點(diǎn)、量級(jí)、復(fù)雜性、穩(wěn)定性、擴(kuò)展性,二次開(kāi)發(fā)工作量等方面的比較如下表所示:

KubernetesApacheMesos定位專注于容器Docker的集群管理以service的角度定義容器的應(yīng)用,產(chǎn)生微服務(wù)整個(gè)框架考慮了很多生產(chǎn)中需要的功能,比如proxy,serviceDNS,livenessProbe等,基本不用二次開(kāi)發(fā)就能應(yīng)用到生產(chǎn)Mesos是一個(gè)分布式系統(tǒng)內(nèi)核,編織不同類(lèi)型的主機(jī)放在一起當(dāng)一臺(tái)邏輯計(jì)算電腦。它專注資源的管理和任務(wù)調(diào)度,并不是針對(duì)容器管理的。Mesos上所有的應(yīng)用部署都需要有專門(mén)的框架支撐,如支撐Docker必須安裝Marathon。安裝spark和hadoop都需要不同的框架。對(duì)容器支撐天生就是針對(duì)的容器,和應(yīng)用的云化,通過(guò)微服務(wù)的理念對(duì)容器的進(jìn)行服務(wù)化包裝支撐Docker必須安裝Marathon框架。Mesos只關(guān)注應(yīng)用層資源的管理。其余由框架完成。對(duì)資源的控制Kubernets本身具備資源管控能力,可以控制容器對(duì)資源的調(diào)用Mesos對(duì)所有的主機(jī)虛擬成一個(gè)大的CPU,內(nèi)存池,可以定義資源分配,也可以動(dòng)態(tài)調(diào)配是否可以分區(qū)Kubernetes能通過(guò)namespace和node進(jìn)行集群分區(qū),能控制到主機(jī),CPU和內(nèi)存可以,可以定義到cpu,內(nèi)存,磁盤(pán)等開(kāi)發(fā)成本原生集成了serviceproxy,serviceDNS,集群動(dòng)態(tài)擴(kuò)展對(duì)proxy的實(shí)時(shí)更新?;緵](méi)有二次開(kāi)發(fā)成本。而且便于多集群的集成要實(shí)現(xiàn)生產(chǎn)應(yīng)用需要增加很多功能,如HAPROXY,SERVICEDNS等,需要自己實(shí)現(xiàn)集群擴(kuò)展和proxy的集成,二次開(kāi)發(fā)成本高。需要專業(yè)的實(shí)施團(tuán)隊(duì)非docker應(yīng)用的集成對(duì)于不能實(shí)現(xiàn)docker化的應(yīng)用,通過(guò)外部service方式集成進(jìn)集群必須自行開(kāi)發(fā)framework來(lái)集成到mesos里面通過(guò)對(duì)以上技術(shù)體系的研究和評(píng)估,我們認(rèn)為如果企業(yè)只是搭建基于容器的PAAS平臺(tái)的話,Kubernetes是比較好的選擇,如果是要搭建數(shù)據(jù)中心DCOS的話Mesos+Kubernetes是最優(yōu)的選擇。在技術(shù)選型中我們最終選擇以Kubernetes+Docker為基礎(chǔ)的搭建PAAS平臺(tái)方案。其優(yōu)點(diǎn)是已經(jīng)過(guò)Google十多年的生產(chǎn)驗(yàn)證,成熟度高,支持裸機(jī)、VM等混合部署,適合多種應(yīng)用場(chǎng)景,Kubernetes可以用最快的、最簡(jiǎn)單的、最輕量級(jí)的方式來(lái)解決目前存在的問(wèn)題,并幫助進(jìn)行面向集群的開(kāi)發(fā)。而且很多廠商已經(jīng)開(kāi)始支持Kubernetes,例如微軟、IBM、RedHat、CoreOS、MesoSphere、VMWare等。社區(qū)的熱度很高,功能也在快速的增強(qiáng)中。在PAAS平臺(tái)穩(wěn)定之后,逐步開(kāi)始考慮一級(jí)業(yè)務(wù)支撐系統(tǒng)的DCOS平臺(tái)的建設(shè),整合Mesos和Kubernetes,構(gòu)建一個(gè)穩(wěn)定性強(qiáng),支持復(fù)雜業(yè)務(wù)場(chǎng)景,強(qiáng)大彈性擴(kuò)展能力的電信行業(yè)DCOS+Paas平臺(tái),為未來(lái)的業(yè)務(wù)快速發(fā)展打下堅(jiān)實(shí)的基礎(chǔ)。PAAS平臺(tái)解決方案本方案規(guī)劃以網(wǎng)狀網(wǎng)為先行實(shí)踐范例,盡可能考慮其通用性和普適性,根據(jù)業(yè)務(wù)特點(diǎn),對(duì)業(yè)務(wù)類(lèi)型和架構(gòu)模型進(jìn)行抽象,歸類(lèi)出典型的應(yīng)用場(chǎng)景和架構(gòu)模型進(jìn)行方案設(shè)計(jì),為其他系統(tǒng)的快速遷移提供參考和最佳實(shí)踐。PAAS平臺(tái)建議架構(gòu)視圖如下圖所示:3.1.技術(shù)架構(gòu)承載網(wǎng)狀網(wǎng)系統(tǒng)的PAAS平臺(tái)總體技術(shù)架構(gòu)如下:Ku8Manager可視化管理平臺(tái)負(fù)責(zé)安裝,部署,監(jiān)控,運(yùn)維,分析。Kubernetes集群由兩類(lèi)節(jié)點(diǎn)組成,Master和Node。Master上運(yùn)行etcd、APIServer、ControllerManager和Scheduler四個(gè)組件,后三個(gè)組件構(gòu)成了Kubernetes的總控中心,負(fù)責(zé)對(duì)集群中所有資源進(jìn)行管控和調(diào)度。Node上運(yùn)行Kubelet、Proxy和DockerDaemon三個(gè)組件,負(fù)責(zé)對(duì)本節(jié)點(diǎn)上的Pod的生命周期進(jìn)行管理。3.2.功能框架以開(kāi)源技術(shù)Docker、Kubernetes為核心引擎,在其基礎(chǔ)上自主開(kāi)發(fā)了Ku8Manager可視化管理控制臺(tái),Ku8Manager可視化管理平臺(tái)提供簡(jiǎn)便的一鍵式自動(dòng)化安裝、部署配置、基于容器、應(yīng)用、服務(wù)、資源等不同視角的綜合監(jiān)控、系統(tǒng)管理和安全管理。PAAS的功能框架如下圖所示:3.3技術(shù)方案亮點(diǎn)針對(duì)電信行業(yè)的特點(diǎn),我們對(duì)Kubernetes做了很多的功能改造和增強(qiáng),以適用于大規(guī)模的生產(chǎn)部署和管理。1)高可用多數(shù)據(jù)中心之間的服務(wù)動(dòng)態(tài)擴(kuò)展場(chǎng)景一:多集群的統(tǒng)一服務(wù)部署:由Kubernetes管理平臺(tái)自動(dòng)化部署模塊統(tǒng)一對(duì)各數(shù)據(jù)中心進(jìn)行服務(wù)自動(dòng)化安裝部署??梢远x同一個(gè)服務(wù)在不同數(shù)據(jù)中心的Kubernetes集群統(tǒng)一部署,并且可以定義在每個(gè)cluster部署服務(wù)的容器實(shí)例的比例。比如按6:4的比例在clusterA和ClusterB上部署服務(wù)。場(chǎng)景二:灰度升級(jí):由Kubernetes管理平臺(tái)自動(dòng)化部署模塊統(tǒng)一對(duì)各數(shù)據(jù)中心自動(dòng)化進(jìn)行服務(wù)升級(jí)??梢詫?shí)現(xiàn)先在一部分集群部署新版本,穩(wěn)定之后再平滑升級(jí)全部的節(jié)點(diǎn)。場(chǎng)景三:動(dòng)態(tài)集群間業(yè)務(wù)調(diào)整:業(yè)務(wù)高峰期當(dāng)一個(gè)數(shù)據(jù)中心容量不足時(shí),由Kubernetes管理平臺(tái)自動(dòng)進(jìn)行服務(wù)動(dòng)態(tài)擴(kuò)展,啟動(dòng)容災(zāi)數(shù)據(jù)中心的部分服務(wù)來(lái)支撐業(yè)務(wù)。場(chǎng)景四:業(yè)務(wù)高可用:當(dāng)主數(shù)據(jù)中心發(fā)生故障(如網(wǎng)絡(luò)故障)時(shí),由Kubernetes管理平臺(tái)自動(dòng)進(jìn)行容災(zāi)切換,由容災(zāi)數(shù)據(jù)中心自動(dòng)接管所有業(yè)務(wù)服務(wù)。實(shí)現(xiàn)高可用的數(shù)據(jù)中心。2)集群的Master節(jié)點(diǎn)高可用缺省的Kubernetes集群只有一個(gè)master節(jié)點(diǎn),當(dāng)Master節(jié)點(diǎn)崩潰的時(shí)候?qū)?huì)造成整個(gè)集群無(wú)法管理,因此在生產(chǎn)中我們實(shí)現(xiàn)了三節(jié)點(diǎn)的高可用master集群,保證了整個(gè)集群的高可用:3)網(wǎng)絡(luò)方案的改造標(biāo)準(zhǔn)Kubernetes+Docker的組網(wǎng)方案是通過(guò)軟負(fù)載均衡+flannel。該類(lèi)型方案會(huì)帶來(lái)30%以上的網(wǎng)絡(luò)性能損耗,在高吞吐量的應(yīng)用中不可接受。因此對(duì)標(biāo)準(zhǔn)方案做了如下的改造提升系統(tǒng)性能:增加硬負(fù)載均衡器,替代service,提升負(fù)載均衡能力和穩(wěn)定性。實(shí)現(xiàn)集群節(jié)點(diǎn)狀態(tài)變化實(shí)時(shí)與負(fù)載均衡器同步,保證集群擴(kuò)張和節(jié)點(diǎn)狀態(tài)變化實(shí)時(shí)反應(yīng)到負(fù)載均衡器的策略上。采用直接路由降低跨node間的pod訪問(wèn)網(wǎng)絡(luò)損耗。跳過(guò)IptablesNAT轉(zhuǎn)發(fā)提升網(wǎng)絡(luò)傳輸效率。4)先進(jìn)的DockerIMAGE全生命周期管理對(duì)DockerIMAGE進(jìn)行統(tǒng)一管理,提供DockerIMAGE的參考模型和流程指導(dǎo),DockerIMAGE模板規(guī)劃、設(shè)計(jì)、生成及Pod生成的管理流程如下圖所示:5)先進(jìn)的持續(xù)集成和灰度發(fā)布全過(guò)程管理持續(xù)集成可以讓團(tuán)隊(duì)在持續(xù)集成的基礎(chǔ)上收到反饋并加以改進(jìn),不必等到開(kāi)發(fā)的后期才尋找和修復(fù)缺陷。通過(guò)持續(xù)集成工具Jenkins,持續(xù)、自動(dòng)地構(gòu)建/測(cè)試軟件項(xiàng)目,監(jiān)控定時(shí)執(zhí)行的任務(wù)。實(shí)現(xiàn)持續(xù)集成和灰度發(fā)布的全過(guò)程管理,核心工作流程如下:6)Ku8Manager可視化管理平臺(tái)提供一鍵式自動(dòng)化安裝、部署和配置功能集群自動(dòng)化安裝主界面如下圖所示,可以幾分鐘完成幾十臺(tái)機(jī)器的集群安裝:7)應(yīng)用視角的服務(wù)部署發(fā)布在Kubernetes集群中,以Service、Pod、容器的分級(jí)視圖進(jìn)行綜合管理。新Node加入非常簡(jiǎn)單,通過(guò)相應(yīng)的參數(shù)調(diào)整,即可在秒級(jí)實(shí)現(xiàn)容量的動(dòng)態(tài)調(diào)整,如下圖所示:8)基于基于服務(wù)的的立體化綜合監(jiān)控傳統(tǒng)的網(wǎng)管系統(tǒng),因?yàn)橐慌_(tái)機(jī)器上部署很多應(yīng)用和實(shí)例,所以很難把資源的占用和業(yè)務(wù)有效匹配起來(lái)。但是實(shí)現(xiàn)容器化改造之后,每個(gè)業(yè)務(wù)的容器占用的資源能一目了然的看出來(lái),有效的解決了對(duì)業(yè)務(wù)-》資源占用的有效監(jiān)控。分兩種視圖:1)主機(jī)視圖:從設(shè)備的角度,查看總體上主機(jī)CPU、內(nèi)存的占用情況,保證每臺(tái)主機(jī)是可用的:2)服務(wù)視圖:從業(yè)務(wù)的角度,查看每個(gè)業(yè)務(wù)的Docker容器對(duì)CPU、內(nèi)存關(guān)鍵性能指標(biāo),從而能很輕松的看出每個(gè)業(yè)務(wù)對(duì)總體資源的占用情況。監(jiān)控指標(biāo)如下圖所示:(點(diǎn)擊放大圖像)4.PAAS應(yīng)用效果4.1.集群規(guī)模中國(guó)移動(dòng)一級(jí)業(yè)務(wù)支撐系統(tǒng)PAAS平臺(tái)所承載的網(wǎng)狀網(wǎng)系統(tǒng)應(yīng)用集群包括移動(dòng)總部和31省公司,網(wǎng)狀網(wǎng)四期之后由1200臺(tái)X86服務(wù)器組成的多個(gè)集群,分布在全國(guó)。中國(guó)移動(dòng)網(wǎng)狀網(wǎng)應(yīng)用集群架構(gòu)如下圖所示:4.2.應(yīng)用效果采用Kubernetes+Docker承載網(wǎng)狀網(wǎng)的PAAS平臺(tái),在2015年底的業(yè)務(wù)高峰中有力支持中國(guó)移動(dòng)統(tǒng)一認(rèn)證平臺(tái)及移動(dòng)商城等電子渠道業(yè)務(wù),同時(shí)支撐1億多活躍用戶,交易額日均達(dá)10億人民幣,且系統(tǒng)運(yùn)行穩(wěn)定。實(shí)現(xiàn)業(yè)務(wù)的灰度發(fā)布管理,如:為移動(dòng)商城平臺(tái)應(yīng)用建立兩個(gè)集群組ummp1和ummp2,兩個(gè)組的業(yè)務(wù)中斷互不影響,當(dāng)集群組ummp1業(yè)務(wù)升級(jí)時(shí),由ummp2支撐業(yè)務(wù);Ummp1完成業(yè)務(wù)升級(jí)后轉(zhuǎn)為生產(chǎn)支撐業(yè)務(wù),再對(duì)ummp2進(jìn)行業(yè)務(wù)升級(jí)。通過(guò)輪換的迭代發(fā)布,實(shí)現(xiàn)快速的灰度發(fā)布和應(yīng)用上線,實(shí)現(xiàn)系統(tǒng)上線業(yè)務(wù)不中斷。通過(guò)該P(yáng)AAS平臺(tái),極大提高了大規(guī)模應(yīng)用快速部署的靈活性和系統(tǒng)快捷的水平擴(kuò)展能力。如針對(duì)2015年12月1日業(yè)務(wù)高峰的劇烈波動(dòng),實(shí)現(xiàn)了對(duì)移動(dòng)商城和統(tǒng)一支付業(yè)務(wù)節(jié)點(diǎn)的動(dòng)態(tài)負(fù)載均衡和容器的彈性伸縮,在秒級(jí)快速增加了50個(gè)容器實(shí)例支撐峰值業(yè)務(wù)量,很好地支撐了業(yè)務(wù)的波動(dòng)。同時(shí)通過(guò)PAAS平臺(tái)也可構(gòu)建高可用多數(shù)據(jù)中心,并實(shí)現(xiàn)服務(wù)的動(dòng)態(tài)擴(kuò)展,業(yè)務(wù)高峰期當(dāng)主數(shù)據(jù)中心容量不足或發(fā)生故障時(shí),由Ku8Manager可視化管理平臺(tái)自動(dòng)進(jìn)行服務(wù)動(dòng)態(tài)擴(kuò)展和自動(dòng)進(jìn)行容災(zāi)切換,實(shí)現(xiàn)高可用的數(shù)據(jù)中心。通過(guò)采用Kubernetes+Docker的PAAS平臺(tái),實(shí)現(xiàn)了開(kāi)發(fā)、測(cè)試、生產(chǎn)環(huán)境的有效隔離和應(yīng)用的一次構(gòu)建、隨處運(yùn)行,有效提升了開(kāi)發(fā)和運(yùn)維管理的效率。通過(guò)采用相應(yīng)的持續(xù)集成工具,在開(kāi)發(fā)過(guò)程中實(shí)現(xiàn)持續(xù)/自動(dòng)地構(gòu)建項(xiàng)目,自動(dòng)化測(cè)試軟件代碼,并監(jiān)控定時(shí)執(zhí)行的任務(wù),實(shí)現(xiàn)了持續(xù)集成的全過(guò)程管理。5.下一步計(jì)劃繼續(xù)優(yōu)化承載網(wǎng)狀網(wǎng)系統(tǒng)的PAAS平臺(tái),擴(kuò)展規(guī)模,滿足2016年業(yè)務(wù)50億筆/天的需求。摸索構(gòu)建統(tǒng)一化的服務(wù)組件,如數(shù)據(jù)庫(kù)即服務(wù)、中間件即服務(wù)、消息服務(wù)、流程服務(wù)、搜索引擎服務(wù)、移動(dòng)化服務(wù)、安全服務(wù)等。逐步實(shí)現(xiàn)對(duì)中國(guó)移動(dòng)總部一級(jí)業(yè)務(wù)支撐系統(tǒng)的資源和服務(wù)進(jìn)行統(tǒng)一的監(jiān)控和管理。。形成云平臺(tái)標(biāo)準(zhǔn)化技術(shù)規(guī)范,建立一套符合管理思路、適應(yīng)性強(qiáng)、易于應(yīng)用、易于推廣的云平臺(tái)標(biāo)準(zhǔn)化框架、模型和規(guī)范,為一級(jí)業(yè)務(wù)支撐系統(tǒng)的云化奠定技術(shù)基礎(chǔ)。推動(dòng)其他一級(jí)業(yè)務(wù)支撐系統(tǒng)依據(jù)上述平臺(tái)標(biāo)準(zhǔn)進(jìn)行系統(tǒng)重構(gòu),加強(qiáng)應(yīng)用系統(tǒng)業(yè)務(wù)無(wú)關(guān)性及業(yè)務(wù)能力化改造,加快業(yè)務(wù)支撐中心系統(tǒng)由煙囪煙囪型向平臺(tái)型轉(zhuǎn)變。在此基礎(chǔ)上探索Mesos和Kubernetes平臺(tái)的集成,為下一步建設(shè)一級(jí)系統(tǒng)DCOS平臺(tái)做好準(zhǔn)備。第二章中國(guó)公有云計(jì)算產(chǎn)品線1.愿景為啥要談愿景?就是要大家放開(kāi)了想:云計(jì)算到底能干嘛。我希望未來(lái)的應(yīng)用是:1、開(kāi)發(fā)基礎(chǔ)在微信上,可以利用微信的ID登錄、通訊錄、群組、掃碼識(shí)別、消息推送、社交分享、支付等功能2、原型設(shè)計(jì)在云上、代碼托管在云上、測(cè)試環(huán)境在云上3、各種互聯(lián)網(wǎng)應(yīng)用、社交應(yīng)用、電商應(yīng)用、物聯(lián)設(shè)備應(yīng)用、SaaS應(yīng)用,全都開(kāi)放OpenAPI,開(kāi)發(fā)是基于OpenAPI的組合而成4、云計(jì)算服務(wù)商提供:AB測(cè)試、灰度發(fā)布、大流量分流5、云計(jì)算服務(wù)商提供:虛擬主機(jī)和應(yīng)用容器、分布式存儲(chǔ)、分布式數(shù)據(jù)庫(kù)、開(kāi)源中間件,讓我不用部署、不用擔(dān)心版本、不用擔(dān)心組件依賴6、云計(jì)算服務(wù)商提供:安全防護(hù)、自動(dòng)備份/轉(zhuǎn)移/恢復(fù)、監(jiān)控預(yù)警、在線圖形化操作擴(kuò)容管理、中間件自動(dòng)補(bǔ)丁升級(jí)那我們看看中國(guó)的云計(jì)算服務(wù)商誰(shuí)更接近這個(gè)愿景,誰(shuí)能把應(yīng)用開(kāi)發(fā)與測(cè)試、應(yīng)用部署、運(yùn)維管理與安全防護(hù)、大數(shù)據(jù)分析都一站搞定。這是我今天這篇文章的寫(xiě)作出發(fā)點(diǎn)。我們選擇了中國(guó)一線互聯(lián)網(wǎng)公司:阿里、騰訊、百度;華為、360;小米、金山、樂(lè)視;京東、美團(tuán)、滴滴;新浪、網(wǎng)易。看看這些排頭兵正在做什么、成熟度進(jìn)展如何。我們看到:小米、滴滴還沒(méi)有開(kāi)展公有開(kāi)放云服務(wù)。注意:1、我并沒(méi)有把外國(guó)云含入:amazon、google、微軟、IBM、VMWare、Oracle2、我并沒(méi)有把老牌中國(guó)IT商含入:中國(guó)電信、世紀(jì)互聯(lián)、浪潮、太極...3、我并沒(méi)有把新貴含入:如七牛、UCloud、青云...4、我更沒(méi)有把創(chuàng)業(yè)含入:類(lèi)OpenStack公司、類(lèi)Docker公司、類(lèi)DevOps公司2.洞察2.1產(chǎn)品競(jìng)爭(zhēng)1、產(chǎn)品線競(jìng)爭(zhēng)發(fā)現(xiàn)阿里云在產(chǎn)品線方面確實(shí)處于領(lǐng)頭位置,其他的云都尚有一段差距。不過(guò)騰訊云從產(chǎn)品線研發(fā)來(lái)看追的非??臁0俣仍坪桶俣却竽X在產(chǎn)品結(jié)果層面呈現(xiàn)的不多。2、特色競(jìng)爭(zhēng)按說(shuō):華為偏通信、360偏安全、樂(lè)視偏視頻、京東偏零售電商、美團(tuán)偏服務(wù)電商,那我們看看是不是這樣。但發(fā)現(xiàn),他們的云,和他們的主業(yè)關(guān)系并不密切,算單獨(dú)發(fā)展。這也意味著,大家是在同一條起跑線,只不過(guò)有人跑的比較早而已。華為云在DaaS層面提供了唯一的研發(fā)管理云,這個(gè)有點(diǎn)特殊,不知道華為是有布局還是能整合什么就整合什么。另外,記得百度也發(fā)布了自己的研發(fā)管理云,但不是百度開(kāi)放云事業(yè)部搞的。整合自己的原有主干技術(shù)優(yōu)勢(shì),看來(lái)每家都是一個(gè)壁壘啊。事業(yè)部制之間老死不相往來(lái)。倒是網(wǎng)易云、樂(lè)視云做的比較有調(diào)調(diào)。網(wǎng)易云發(fā)揮自己一貫的小精品優(yōu)勢(shì),做的克制,但做一個(gè)亮眼一個(gè)。樂(lè)視云是完全從自己長(zhǎng)處出發(fā),圍繞視頻這個(gè)領(lǐng)域猛打,也算一批黑馬。去年呢,大家一窩蜂扎到大數(shù)據(jù)產(chǎn)品商。大家今年都扎堆到視頻云產(chǎn)品上了,這就不算特色了。估計(jì)下一步,大家都要扎到區(qū)塊鏈、人工智能產(chǎn)品。2.2運(yùn)營(yíng)競(jìng)爭(zhēng)1、運(yùn)維產(chǎn)品線都差不多利用開(kāi)源軟件搭起來(lái)了。下一步就是運(yùn)維的競(jìng)爭(zhēng)。我看云廠商普遍在:DevOps、運(yùn)維監(jiān)控與管理、安全防護(hù)方面還需要比較大的進(jìn)展。這也是下一步產(chǎn)品夯實(shí)的重點(diǎn)。2、運(yùn)營(yíng)呼叫中心服務(wù)、技術(shù)論壇/知識(shí)庫(kù)、技術(shù)支持工程師的建設(shè),發(fā)現(xiàn)各家建設(shè)也都比較欠缺。中國(guó)的云看似已經(jīng)進(jìn)展了5年,但其實(shí)連運(yùn)維層戰(zhàn)爭(zhēng)都還沒(méi)有打。今年騰訊、百度、網(wǎng)易、華為高調(diào)發(fā)布會(huì),表明大佬們都才正式進(jìn)場(chǎng)了。中國(guó)云戰(zhàn)爭(zhēng),其實(shí)才剛剛開(kāi)始。2.3客戶競(jìng)爭(zhēng)1、市場(chǎng)格局現(xiàn)在云市場(chǎng)天下三分:創(chuàng)業(yè)公司長(zhǎng)尾、高速成長(zhǎng)的互聯(lián)網(wǎng)公司/電商公司、傳統(tǒng)大型企業(yè)大量O2O公司死亡、SaaS公司回歸私有部署是個(gè)暗點(diǎn)。但今年新成立許多視頻公司是熱點(diǎn),讓大家紛紛開(kāi)展云視頻產(chǎn)品業(yè)務(wù)。不少巨頭云廠商扎入大客戶模式:金融、電信、央企、政府??此茊巫雍艽螅直簧钌罾p繞在業(yè)務(wù)需求解決方案、多廠商協(xié)同配合打單、長(zhǎng)周期招標(biāo)投標(biāo)講標(biāo)的泥潭中。2、解決方案意外居然發(fā)生在大數(shù)據(jù)領(lǐng)域。上半年,做通用大數(shù)據(jù)技術(shù)平臺(tái)的紛紛再下一層,開(kāi)始做分析應(yīng)用,否則客戶買(mǎi)了一套大數(shù)據(jù)技術(shù)平臺(tái)也不知道干什么用,這就阻礙了大數(shù)據(jù)廠商的銷(xiāo)售。但是大家又對(duì)行業(yè)業(yè)務(wù)不熟悉,所以大家又都一窩蜂扎到移動(dòng)App流量行為分析這個(gè)領(lǐng)域。雖然巨頭云廠商甚至創(chuàng)業(yè)云廠商都在嘗試扎大客戶,但目前仍然沒(méi)有一家提供有行業(yè)特點(diǎn)的領(lǐng)域解決方案。單獨(dú)買(mǎi)云來(lái)干什么,這個(gè)問(wèn)題仍然深深困擾著云廠商。就如同買(mǎi)大數(shù)據(jù)技術(shù)平臺(tái)干什么,這個(gè)問(wèn)題也同樣深深困然著大數(shù)據(jù)廠商。而現(xiàn)在的SaaS呢,也在探索著:公有租用(中小/小/小微/創(chuàng)業(yè)企業(yè))、專有公有部署(中型及中大企業(yè))、私有部署(大型企業(yè))。這和咱們現(xiàn)在的公有云面臨的策略一樣。需要行業(yè)業(yè)務(wù)專家、SaaS廠商、大數(shù)據(jù)技術(shù)平臺(tái)廠商、云廠商、云遷移和云運(yùn)維服務(wù)廠商共同努力才能推開(kāi)這種三模式。而行業(yè)業(yè)務(wù)專家和行業(yè)IT專家,成為推進(jìn)的關(guān)鍵資源要素。3.云商3.1阿里云一、云計(jì)算1、基礎(chǔ)云:移動(dòng)解析HttpDNS、域名服務(wù)(域名注冊(cè)與備案、云解析、SSL證書(shū)管理)2、云服務(wù)器:云服務(wù)器ECS、容器服務(wù)、高性能計(jì)算服務(wù)器HPC、計(jì)算資源彈性伸縮管理3、云存儲(chǔ):對(duì)象存儲(chǔ)OSS、塊存儲(chǔ)、文件存儲(chǔ)、表格存儲(chǔ)、歸檔存儲(chǔ)4、云網(wǎng)絡(luò):內(nèi)容分發(fā)網(wǎng)絡(luò)CDN、負(fù)載均衡CLB、私有網(wǎng)絡(luò)VPC、專線接入高速通道、NAT網(wǎng)關(guān)5、視頻云:媒體轉(zhuǎn)碼、視頻直播、視頻點(diǎn)播二、云運(yùn)維1、監(jiān)控:云監(jiān)控、業(yè)務(wù)實(shí)時(shí)監(jiān)控服務(wù)ARMS(RPC調(diào)用、數(shù)據(jù)庫(kù)binlog、消息、終端日志、業(yè)務(wù)定制日志)2、管理:資源編排、訪問(wèn)控制、操作審計(jì)、密鑰管理服務(wù)三、安全1、服務(wù)器安全:安騎士、安全管家2、應(yīng)用安全:Web應(yīng)用防火墻3、APP加固:無(wú)4、防DDos攻擊(DDos高防IP)、防刷(無(wú))5、內(nèi)容安全:綠網(wǎng)6、數(shù)據(jù)安全:數(shù)據(jù)加密服務(wù)、CA證書(shū)服務(wù)、數(shù)據(jù)風(fēng)控、數(shù)據(jù)安全險(xiǎn)四、DaaS1、開(kāi)發(fā):移動(dòng)開(kāi)發(fā)框架Weex、IM框架(悟空)、日志服務(wù)、API網(wǎng)關(guān)2、中間件服務(wù):企業(yè)級(jí)分布式應(yīng)用服務(wù)PaaS、消息隊(duì)列、云服務(wù)總線CSB3、測(cè)試:性能測(cè)試4、消息推送:郵件推送/短信推送五、大數(shù)據(jù)1、云數(shù)據(jù)庫(kù):云數(shù)據(jù)庫(kù)、云數(shù)據(jù)Redis、云數(shù)據(jù)庫(kù)OceanBase、云數(shù)據(jù)庫(kù)MongoDB、云數(shù)據(jù)庫(kù)Memcache、云數(shù)據(jù)庫(kù)GreenPlum、云數(shù)據(jù)庫(kù)PetaData2、大數(shù)據(jù)處理套件:E-MapReduce、大數(shù)據(jù)開(kāi)發(fā)套件、大數(shù)據(jù)計(jì)算服務(wù)、分析型數(shù)據(jù)庫(kù)3、大數(shù)據(jù)應(yīng)用引擎:開(kāi)放搜索、推薦引擎4、可視化工具:QuickBI、DataV數(shù)據(jù)可視化5、分析應(yīng)用:公眾趨勢(shì)分析、郡縣圖治、畫(huà)像分析六、人工智能1、自然語(yǔ)言處理:印刷文字識(shí)別2、機(jī)器學(xué)習(xí):機(jī)器學(xué)習(xí)3、圖片識(shí)別:無(wú)4、人臉識(shí)別:人臉識(shí)別5、語(yǔ)音識(shí)別:智能語(yǔ)音交互6、圖像分析:電商圖像分析、通用圖像分析7、機(jī)器翻譯:機(jī)器翻譯七、物聯(lián)網(wǎng)八、通用企業(yè)軟件1、網(wǎng)站建設(shè):官網(wǎng)、商城2、通信:企業(yè)郵箱3.2騰訊云一、云計(jì)算1、基礎(chǔ)云:移動(dòng)解析HttpDNS、無(wú)線網(wǎng)絡(luò)接入(維納斯WNS)、域名服務(wù)(域名注冊(cè)與備案、云解析、SSL證書(shū)管理)2、云服務(wù)器:云服務(wù)器CVM、黑市物理服務(wù)器CPM、計(jì)算資源彈性伸縮管理AS3、云存儲(chǔ):云硬盤(pán)CBS、對(duì)象存儲(chǔ)服務(wù)COS4、云網(wǎng)絡(luò):內(nèi)容分發(fā)網(wǎng)絡(luò)CDN、負(fù)載均衡CLB、私有網(wǎng)絡(luò)VPC、專線接入DC5、視頻云:點(diǎn)播VOD、直播LVB、互動(dòng)直播ILVB、微視頻MVS二、云運(yùn)維1、監(jiān)控:云監(jiān)控CM、云撥測(cè)CAT2、管理:藍(lán)鯨平臺(tái)BLUEKING三、安全1、主機(jī)與網(wǎng)站安全:HS2、應(yīng)用安全:無(wú)3、APP加固:(樂(lè)固CR)4、防DDos攻擊(DAYU)、防刷(天御BSP)5、內(nèi)容安全:無(wú)6、數(shù)據(jù)安全:無(wú)四、DaaS1、開(kāi)發(fā):移動(dòng)開(kāi)發(fā)工具(TAB)2、中間件服務(wù):消息服務(wù)CMQ3、測(cè)試:手游兼容性測(cè)試MGCT4、消息推送:信鴿XGPush五、大數(shù)據(jù)1、數(shù)據(jù)庫(kù):云數(shù)據(jù)庫(kù)CDB、云存儲(chǔ)redis、云數(shù)據(jù)庫(kù)MongoDB、云數(shù)據(jù)庫(kù)Hbase、云緩存Memcached、分布式云數(shù)據(jù)庫(kù)DCDB2、大數(shù)據(jù)處理套件:TBDS3、大數(shù)據(jù)應(yīng)用引擎:結(jié)構(gòu)化數(shù)據(jù)搜索托管(云搜)4、可視化工具:無(wú)5、分析應(yīng)用:用戶洞察分析、區(qū)域人流分析六、人工智能1、自然語(yǔ)言處理:OpenAPI開(kāi)放語(yǔ)義分析平臺(tái)2、機(jī)器學(xué)習(xí):機(jī)智TML3、圖片識(shí)別:萬(wàn)象優(yōu)圖CI4、人臉識(shí)別:優(yōu)圖FR5、語(yǔ)音識(shí)別:無(wú)6、圖像分析:無(wú)7、機(jī)器翻譯:無(wú)七、物聯(lián)網(wǎng)八、通用企業(yè)軟件1、智能機(jī)器人客服:微金小云客服ICS2、通信:云通信IM、PSTN多方通話PMC、短信SMS3.3百度開(kāi)放云一、云計(jì)算1、基礎(chǔ)云:移動(dòng)解析HttpDNS、域名服務(wù)(云解析、SSL證書(shū)管理)2、云服務(wù)器:云服務(wù)器BCC、專屬服務(wù)器DCC、物理服務(wù)器BBC、應(yīng)用引擎BAE3、云存儲(chǔ):云硬盤(pán)CDS、對(duì)象存儲(chǔ)服務(wù)BOS4、云網(wǎng)絡(luò):內(nèi)容分發(fā)網(wǎng)絡(luò)CDN、負(fù)載均衡BLB、私有網(wǎng)絡(luò)VPC、專線接入ET5、視頻云:音視頻直播LSS、音視頻點(diǎn)播VOD、音視頻轉(zhuǎn)碼MCT二、云運(yùn)維1、監(jiān)控:云監(jiān)控BCM2、管理:無(wú)三、安全1、主機(jī)安全:云安全BSS2、網(wǎng)站安全:無(wú)3、App加固:無(wú)4、防刷、防DDos:無(wú)5、內(nèi)容安全:無(wú)6、數(shù)據(jù)安全:無(wú)四、DaaS1、開(kāi)發(fā):百度云API市場(chǎng)2、中間件服務(wù):消息服務(wù)Kafka、規(guī)則引擎RuleEngine3、測(cè)試:應(yīng)用性能管理服務(wù)APM、移動(dòng)App測(cè)試服務(wù)4、消息推送:簡(jiǎn)單消息服務(wù)SMS、簡(jiǎn)單郵件服務(wù)SES五、大數(shù)據(jù)1、云數(shù)據(jù)庫(kù):時(shí)序數(shù)據(jù)庫(kù)TSDB2、大數(shù)據(jù)處理套件:百度MapReduce、百度OLAP引擎Palo、百度批量計(jì)算3、大數(shù)據(jù)應(yīng)用引擎:百度ElasticSearch、百度日志服務(wù)BLS、百度結(jié)構(gòu)化數(shù)據(jù)即席查詢BigSQL4、可視化工具:無(wú)5、分析應(yīng)用:六、人工智能1、自然語(yǔ)言處理:文字識(shí)別OCR2、機(jī)器學(xué)習(xí):百度機(jī)器學(xué)習(xí)BML、百度深度學(xué)習(xí)Paddle3、圖片識(shí)別:無(wú)4、人臉識(shí)別:人臉識(shí)別BFR5、語(yǔ)音識(shí)別:無(wú)6、圖像分析:無(wú)7、機(jī)器翻譯:無(wú)七、物聯(lián)網(wǎng)1、物聯(lián)管理:物聯(lián)接入IoTHub、解析(IoTParser)、管理(IoTDevice)八、通用企業(yè)軟件1、文檔瀏覽展示服務(wù)2、問(wèn)卷調(diào)研服務(wù)3.4華為云一、云計(jì)算1、基礎(chǔ)云:無(wú)2、云主機(jī):彈性云服務(wù)器、云容器引擎、裸金屬服務(wù)器、彈性伸縮服務(wù)、鏡像服務(wù)、專屬云3、云存儲(chǔ):云硬盤(pán)、云硬盤(pán)備份、對(duì)象存儲(chǔ)服務(wù)、數(shù)據(jù)快遞服務(wù)、數(shù)據(jù)傳輸加速、彈性文件服務(wù)4、云網(wǎng)絡(luò):彈性負(fù)載均衡、云專線、VPN5、視頻云:無(wú)二、云運(yùn)維1、云監(jiān)控:云監(jiān)控服務(wù)2、云管理:統(tǒng)一身份認(rèn)證服務(wù)、云審計(jì)服務(wù)、密鑰管理服務(wù)、安全指數(shù)服務(wù)三、安全1、主機(jī)安全:主機(jī)入侵檢測(cè)2、網(wǎng)站安全:Web應(yīng)用防火墻、Web漏洞掃描3、App加固:無(wú)4、反DDos、反刷:Anti-DDoS流量清洗5、內(nèi)容安全:無(wú)6、數(shù)據(jù)安全:無(wú)四、DaaS1、開(kāi)發(fā):無(wú)2、中間件服務(wù):云應(yīng)用引擎、分布式消息服務(wù)3、測(cè)試:無(wú)4、消息推送:消息通知服務(wù)5、研發(fā)管理:項(xiàng)目管理、配置管理、代碼檢查、編譯構(gòu)建、測(cè)試管理、發(fā)布管理五、大數(shù)據(jù)1、云數(shù)據(jù)庫(kù):關(guān)系型數(shù)據(jù)庫(kù)、分布式緩存服務(wù)2、大數(shù)據(jù)處理套件:數(shù)據(jù)接入服務(wù)、MapReduce服務(wù)、數(shù)據(jù)調(diào)度服務(wù)3、大數(shù)據(jù)應(yīng)用引擎:無(wú)4、可視化工具:多維交互分析服務(wù)5、分析應(yīng)用:無(wú)六、人工智能1、自然語(yǔ)言處理:無(wú)2、機(jī)器學(xué)習(xí):機(jī)器學(xué)習(xí)服務(wù)3、圖片識(shí)別:無(wú)4、人臉識(shí)別:無(wú)5、語(yǔ)音識(shí)別:無(wú)6、圖像分析:無(wú)7、機(jī)器翻譯:無(wú)七、物聯(lián)網(wǎng)八、通用企業(yè)軟件1、云桌面2、通信平臺(tái)云3.5網(wǎng)易云一、云計(jì)算1、基礎(chǔ)云:無(wú)2、云主機(jī):容器云(網(wǎng)易蜂巢)3、云存儲(chǔ):無(wú)4、云網(wǎng)絡(luò):無(wú)5、視頻云:網(wǎng)易視頻云二、云運(yùn)維1、云監(jiān)控:無(wú)2、云資源管理:無(wú)三、安全1、主機(jī)安全:無(wú)2、網(wǎng)站安全:無(wú)3、App加固:無(wú)4、防DDos、防刷:無(wú)5、內(nèi)容安全:網(wǎng)易易盾6、數(shù)據(jù)安全:無(wú)四、DaaS1、開(kāi)發(fā):無(wú)2、中間件服務(wù):無(wú)3、測(cè)試:網(wǎng)易易測(cè)、App性能監(jiān)測(cè):網(wǎng)易云捕4、消息服務(wù):無(wú)五、大數(shù)據(jù)六、人工智能七、物聯(lián)網(wǎng)八、通用企業(yè)軟件1、通信:網(wǎng)易云信2、客服:網(wǎng)易七魚(yú)3.6新浪云一、云計(jì)算1、基礎(chǔ)云:無(wú)2、云主機(jī):云應(yīng)用引擎SAE3、云存儲(chǔ):對(duì)象存儲(chǔ)4、云網(wǎng)絡(luò):無(wú)5、視頻云:云直播二、云運(yùn)維無(wú)三、安全無(wú)五、大數(shù)據(jù)無(wú)六、人工智能無(wú)七、物聯(lián)網(wǎng)八、通用企業(yè)軟件1、云郵箱2、云應(yīng)用商店3.7樂(lè)視云一、云計(jì)算1、基礎(chǔ)云:無(wú)2、云主機(jī):無(wú)3、云存儲(chǔ):對(duì)象存儲(chǔ)4、云網(wǎng)絡(luò):直播加速、點(diǎn)播加速、下載加速5、視頻云:標(biāo)準(zhǔn)點(diǎn)播、標(biāo)準(zhǔn)直播、移動(dòng)直播、VR直播二、云運(yùn)維無(wú)三、安全1、主機(jī)安全:無(wú)2、網(wǎng)站安全:無(wú)3、App加固:無(wú)4、防DDos、防刷:無(wú)5、內(nèi)容安全:云版權(quán)6、數(shù)據(jù)安全:無(wú)四、DaaS無(wú)五、大數(shù)據(jù)1、云數(shù)據(jù)庫(kù):無(wú)2、大數(shù)據(jù)處理套件:無(wú)3、大數(shù)據(jù)應(yīng)用引擎:無(wú)4、可視化工具:無(wú)5、分析應(yīng)用:Data+視頻分析、Data+人群洞察六、人工智能1、自然語(yǔ)言處理:無(wú)2、機(jī)器學(xué)習(xí):無(wú)3、圖片識(shí)別:無(wú)4、人臉識(shí)別:無(wú)5、語(yǔ)音識(shí)別:無(wú)6、圖像分析:視頻鑒黃7、機(jī)器翻譯:無(wú)七、物聯(lián)網(wǎng)八、通用企業(yè)軟件1、云媒體、云新聞2、視頻發(fā)行平臺(tái)、互動(dòng)直播運(yùn)營(yíng)平臺(tái)3、商業(yè)化直播服務(wù)、一站式視頻營(yíng)銷(xiāo)服務(wù)、場(chǎng)館大屏營(yíng)銷(xiāo)服務(wù)3.8360云一、云計(jì)算1、基礎(chǔ)云:高防DNS2、云主機(jī):云主機(jī)3、云存儲(chǔ):對(duì)象存儲(chǔ)4、云網(wǎng)絡(luò):云加速、負(fù)載均衡5、視頻云:無(wú)二、云運(yùn)維1、云監(jiān)控:無(wú)2、云資源管理:無(wú)三、安全1、主機(jī)安全:云安全2、網(wǎng)站安全:網(wǎng)站衛(wèi)士3、App加固:無(wú)4、防DDos:DDos基礎(chǔ)防護(hù)5、內(nèi)容安全:無(wú)6、數(shù)據(jù)安全:無(wú)四、DaaS無(wú)五、大數(shù)據(jù)1、云數(shù)據(jù)庫(kù):關(guān)系型數(shù)據(jù)庫(kù)MySQL、高速緩存服務(wù)memcached2、大數(shù)據(jù)處理套件:無(wú)3、大數(shù)據(jù)應(yīng)用引擎:無(wú)4、可視化工具:無(wú)5、分析應(yīng)用:無(wú)六、人工智能無(wú)七、物聯(lián)網(wǎng)無(wú)八、通用企業(yè)軟件無(wú)3.9京東云一、云計(jì)算1、基礎(chǔ)云:無(wú)2、云主機(jī):云主機(jī)、云鏡像3、云存儲(chǔ):云硬盤(pán)、對(duì)象存儲(chǔ)4、云網(wǎng)絡(luò):子網(wǎng)、路由器、公網(wǎng)IP、負(fù)載均衡、CDN5、視頻云:無(wú)二、云運(yùn)維1、云監(jiān)控2、云管理:子賬號(hào)管理三、安全1、主機(jī)安全:監(jiān)控報(bào)警2、網(wǎng)站安全:防火墻3、App加固:無(wú)4、防DDos:DDos基礎(chǔ)防護(hù)5、內(nèi)容安全:無(wú)6、數(shù)據(jù)安全:無(wú)四、DaaS無(wú)五、大數(shù)據(jù)1、云數(shù)據(jù)庫(kù):關(guān)系型數(shù)據(jù)庫(kù)、KV存儲(chǔ)2、大數(shù)據(jù)處理套件:數(shù)據(jù)地圖、數(shù)據(jù)探索、作業(yè)調(diào)度3、大數(shù)據(jù)應(yīng)用引擎:無(wú)4、數(shù)據(jù)可視化工具:無(wú)5、分析應(yīng)用:無(wú)六、人工智能1、自然語(yǔ)言處理:自然語(yǔ)言處理2、機(jī)器學(xué)習(xí):機(jī)器學(xué)習(xí)、深度學(xué)習(xí)3、圖片識(shí)別:無(wú)4、人臉識(shí)別:無(wú)5、語(yǔ)音識(shí)別:無(wú)6、圖像分析:無(wú)7、機(jī)器翻譯:無(wú)七、物聯(lián)網(wǎng)無(wú)八、通用企業(yè)軟件無(wú)3.10美團(tuán)云一、云計(jì)算1、基礎(chǔ)云:SSHKey管理2、云主機(jī):虛擬主機(jī)、機(jī)械硬盤(pán)主機(jī)、SSD主機(jī)、物理主機(jī)3、云存儲(chǔ):對(duì)象存儲(chǔ)4、云網(wǎng)絡(luò):負(fù)載均衡5、視頻云:無(wú)二、云運(yùn)維無(wú)三、安全無(wú)四、DaaS無(wú)五、大數(shù)據(jù)1、云數(shù)據(jù)庫(kù):關(guān)系型數(shù)據(jù)庫(kù)MySQL、MongoDB、Redis、Memcached2、大數(shù)據(jù)處理套件:大數(shù)據(jù)計(jì)算(Hadoop、Hive、Spark、HBase)、流計(jì)算(Storm,Kafka,Flume)3、大數(shù)據(jù)應(yīng)用引擎:無(wú)4、可視化工具:無(wú)5、分析應(yīng)用:無(wú)六、人工智能無(wú)七、物聯(lián)網(wǎng)無(wú)八、通用企業(yè)軟件無(wú)3.11金山云一、云計(jì)算1、基礎(chǔ)云:云解析2、云主機(jī):云服務(wù)器、云物理主機(jī)3、云存儲(chǔ):對(duì)象存儲(chǔ)、云硬盤(pán)4、云網(wǎng)絡(luò):負(fù)載均衡、虛擬專有網(wǎng)絡(luò)、彈性IP、內(nèi)容分發(fā)網(wǎng)絡(luò)5、視頻云:云直播、云點(diǎn)播、云轉(zhuǎn)碼二、云運(yùn)維無(wú)三、安全1、主機(jī)安全:服務(wù)器安全2、應(yīng)用安全:漏洞掃描3、App加固:4、防DDos:防攻擊中心5、內(nèi)容安全:無(wú)6、數(shù)據(jù)安全:無(wú)四、DaaS無(wú)五、大數(shù)據(jù)1、云數(shù)據(jù)庫(kù):關(guān)系型數(shù)據(jù)庫(kù)MySQL、MongoDB、Redis、Memcached2、大數(shù)據(jù)處理套件:托管Hadoop3、大數(shù)據(jù)應(yīng)用引擎:無(wú)4、可視化工具:無(wú)5、分析應(yīng)用:無(wú)六、人工智能無(wú)七、物聯(lián)網(wǎng)無(wú)八、通用企業(yè)軟件1、企業(yè)云盤(pán)第三章中聯(lián)通CU-DC/OS1.研究背景中國(guó)聯(lián)通作為一個(gè)有IT歷史背景的公司,和現(xiàn)今其他靠IT驅(qū)動(dòng)的服務(wù)業(yè)公司一樣有一定的歷史包袱。由于整個(gè)IT系統(tǒng)漸進(jìn)發(fā)展,產(chǎn)生了新老系統(tǒng)并存、資源分散、設(shè)備異構(gòu)、軟件環(huán)境異構(gòu)等諸多問(wèn)題。孤島式的IT資源和IT能力服務(wù)制約了企業(yè)轉(zhuǎn)型現(xiàn)代化服務(wù)業(yè)發(fā)展之路。隨著云計(jì)算出現(xiàn),一定程度上解決了資源孤島、共享的問(wèn)題,但是依然存在物理機(jī)資源調(diào)度的缺位,且現(xiàn)今虛擬機(jī)顆粒度的資源也收到了一定程度的挑戰(zhàn),從業(yè)務(wù)發(fā)展上來(lái)說(shuō)今后的IT資源一定是物理、虛擬、容器(進(jìn)程級(jí))資源相互并存的。IT業(yè)務(wù)驅(qū)動(dòng)的企業(yè)需要尋找一條IT向I3能力,即創(chuàng)新性、信息化、集成化的IT能力的IT綜合治理轉(zhuǎn)型之路。近年來(lái)隨著中國(guó)聯(lián)通IT系統(tǒng)的大數(shù)據(jù)應(yīng)用的不斷上升,聯(lián)通自身的IT資源在現(xiàn)在大數(shù)據(jù)應(yīng)用發(fā)展的強(qiáng)大需求下面臨極大壓力。大數(shù)據(jù)中心3000余臺(tái)服務(wù)器設(shè)備中有77%是純物理機(jī)使用,傳統(tǒng)的IT資源管理方式造成了物理集群之間無(wú)法共享資源,從而造成有限資源的浪費(fèi)。聯(lián)通IT系統(tǒng)集中化進(jìn)程中,能力開(kāi)放、服務(wù)能力供給側(cè)不足也成為了隨之而來(lái)的問(wèn)題。所以,在聯(lián)通資源共享、服務(wù)化、開(kāi)放化層面,需要一個(gè)統(tǒng)一的解決方案。2.CU-DCOS發(fā)展因此在2016年4月啟動(dòng)了CU-DCOS項(xiàng)目,旨在解決聯(lián)通IT治理和能力開(kāi)放等問(wèn)題。經(jīng)過(guò)初期的技術(shù)方案設(shè)計(jì),在驗(yàn)證了多種開(kāi)源技術(shù)和商業(yè)化產(chǎn)品后,完成了技術(shù)路線的選擇,確定了CU-DCOS的基礎(chǔ)架構(gòu)。2016年8月份啟動(dòng)了CU-DCOS平臺(tái)開(kāi)發(fā),經(jīng)過(guò)近6個(gè)月的研發(fā)和測(cè)試,突破了關(guān)鍵技術(shù)43項(xiàng),完成了9大功能、56小功能的門(mén)戶開(kāi)發(fā),通過(guò)了技術(shù)測(cè)試和業(yè)務(wù)測(cè)試共59項(xiàng)。在2017年1月推出了CU-DCOS1.0平臺(tái)。之后在多個(gè)業(yè)務(wù)系統(tǒng)嘗試落地使用,并仍在持續(xù)進(jìn)行產(chǎn)品化迭代研發(fā)?,F(xiàn)今,CU-DCOS平臺(tái)已能夠面向企業(yè)用戶提供40余種服務(wù)能力,其中包括大數(shù)據(jù)、數(shù)據(jù)庫(kù)、中間件以及技術(shù)、應(yīng)用等服務(wù),已能夠面向開(kāi)發(fā)運(yùn)維流程提供DevOps服務(wù)。為中國(guó)聯(lián)通公共創(chuàng)新大數(shù)據(jù)能力開(kāi)放平臺(tái)、中國(guó)聯(lián)通PaaS平臺(tái)以及中國(guó)聯(lián)通牛人部落實(shí)驗(yàn)室提供架構(gòu)支撐和資源優(yōu)化,大幅提升IT資源應(yīng)用效率。CU-DCOS能力平臺(tái)利用其架構(gòu)特質(zhì),對(duì)以下IT環(huán)節(jié)進(jìn)行了優(yōu)化:低運(yùn)營(yíng)成本:用戶能夠通過(guò)共享網(wǎng)絡(luò)、存儲(chǔ)、CPU內(nèi)存等計(jì)算資源,在業(yè)務(wù)高峰期通過(guò)彈性擴(kuò)容方式有效的應(yīng)對(duì)業(yè)務(wù)峰值,在業(yè)務(wù)波谷期將資源分享給其他用戶,有效的節(jié)約了成本。簡(jiǎn)化設(shè)備運(yùn)維:在原有的IT體系中,研發(fā)團(tuán)隊(duì)既需要維護(hù)應(yīng)用程序,同時(shí)還要維護(hù)基礎(chǔ)設(shè)施。在CU-DCOS平臺(tái)架構(gòu)中,開(kāi)發(fā)人員面對(duì)的將是第三方開(kāi)發(fā)或自定義的API和URL,底層硬件對(duì)于開(kāi)發(fā)人員透明化了,技術(shù)團(tuán)隊(duì)無(wú)需再關(guān)注運(yùn)維工作,能夠更加專注于應(yīng)用系統(tǒng)開(kāi)發(fā)。提升可維護(hù)性:微服務(wù)應(yīng)用將調(diào)用多種平臺(tái)的能力服務(wù),組成最終的應(yīng)用邏輯。目前,例如登陸鑒權(quán)服務(wù),云數(shù)據(jù)庫(kù)服務(wù)等,在安全性、可用性、性能方面都進(jìn)行了大量?jī)?yōu)化,通過(guò)直接集成平臺(tái)提供的服務(wù),能夠有效的降低開(kāi)發(fā)成本,同時(shí)使得應(yīng)用的運(yùn)維過(guò)程變得更加清晰,有效的提升了應(yīng)用的可維護(hù)性。更快的開(kāi)發(fā)速度:創(chuàng)新項(xiàng)目由于人員與資金等問(wèn)題,不可能每個(gè)產(chǎn)品線都同時(shí)進(jìn)行,通過(guò)CU-DCOS平臺(tái),能夠很快進(jìn)行產(chǎn)品開(kāi)發(fā)的速度,把工作重點(diǎn)放在業(yè)務(wù)實(shí)現(xiàn)上,把產(chǎn)品更快的推向市場(chǎng)。3.CU-DCOS技術(shù)創(chuàng)新CU-DCOS平臺(tái)旨在通過(guò)新一代的云計(jì)算架構(gòu)——容器技術(shù),解決IT面臨的實(shí)際問(wèn)題,完成IT資源的集中管理的新一代平臺(tái)系統(tǒng)。該平臺(tái)不僅驗(yàn)證了以容器為基礎(chǔ)的PaaS平臺(tái)從模式、到技術(shù)的可行性,同時(shí)在行業(yè)內(nèi)首次實(shí)現(xiàn)了面向大數(shù)據(jù)、物理資源彈性調(diào)度、多租戶管理的“資源+數(shù)據(jù)+能力“的平臺(tái)架構(gòu),在滿足公司數(shù)據(jù)管控要求前提下,實(shí)現(xiàn)了大數(shù)據(jù)能力的開(kāi)放。3.1創(chuàng)新的獨(dú)立式技術(shù)架構(gòu)使用Kubernets+Mesos+Docker的架構(gòu)模式,集成了該領(lǐng)域領(lǐng)先開(kāi)源技術(shù),發(fā)揮了每個(gè)開(kāi)源模塊的先天優(yōu)勢(shì),相較單獨(dú)開(kāi)源軟件更適用于聯(lián)通生產(chǎn)業(yè)務(wù)。在有效管理容器化應(yīng)用的同時(shí),通過(guò)Mesos的框架資源調(diào)度功能,解決了物理資源完全按需共享的技術(shù)難題。

自動(dòng)化細(xì)粒度擴(kuò)縮容管理:獨(dú)創(chuàng)的根據(jù)資源使用率閾值自動(dòng)觸發(fā)和根據(jù)時(shí)間周期性觸發(fā)的自動(dòng)擴(kuò)縮容能力,搭配業(yè)務(wù)量越大占資源越多、無(wú)業(yè)務(wù)不占資源的細(xì)粒度資源調(diào)度模式,將傳統(tǒng)的物理節(jié)點(diǎn)業(yè)務(wù)部署方式轉(zhuǎn)變?yōu)槿萜骷汗芾砟J?,根?jù)業(yè)務(wù)需求“一鍵式”增減服務(wù)節(jié)點(diǎn)數(shù)量。3.2資源的統(tǒng)一管理面向中國(guó)聯(lián)通“兩地三中心”的跨地域、跨網(wǎng)絡(luò)的物理節(jié)點(diǎn),CU-DCOS平臺(tái)可以實(shí)現(xiàn)統(tǒng)一管理調(diào)度,各應(yīng)用能力“按需、按時(shí)”自動(dòng)化資源分配,提高IT資源利用率,降低運(yùn)營(yíng)成本。3.3創(chuàng)新的大數(shù)據(jù)服務(wù)CU-DCOS團(tuán)隊(duì)為了滿足對(duì)Hadoop生態(tài)體系需求,創(chuàng)新性的研發(fā)了基于Myriad的自動(dòng)化多集群多租戶的Hadoop框架。經(jīng)測(cè)試性能穩(wěn)定,支持多種Yarn生態(tài)軟件如Hive、Spark等,并能夠做到計(jì)算存儲(chǔ)分離,本地計(jì)算,細(xì)顆粒度調(diào)度,資源預(yù)留、超售、搶占等計(jì)算資源的多元分配方案。

3.4持續(xù)集成/持續(xù)交付能力CU-DCOS平臺(tái)具有的DevOps能力支持快速迭代開(kāi)發(fā),從源代碼到上線全部在系統(tǒng)內(nèi)流轉(zhuǎn),當(dāng)完成迭代上線時(shí),業(yè)務(wù)應(yīng)用已經(jīng)封裝為容器鏡像并推送到私庫(kù),用戶可實(shí)現(xiàn)不同版本應(yīng)用的灰度發(fā)布,滾動(dòng)升級(jí)。有效降低了業(yè)務(wù)割接和升級(jí)過(guò)程中出現(xiàn)的故障率,同時(shí)為服務(wù)供給側(cè)提供了便捷的研發(fā)環(huán)境和供給通道。3.5統(tǒng)一服務(wù)網(wǎng)關(guān)以Gateway方式實(shí)現(xiàn)統(tǒng)一服務(wù)路由功能,針對(duì)不同的租戶,實(shí)現(xiàn)服務(wù)能力化,需求差異化,針對(duì)不同需求,提供服務(wù)發(fā)現(xiàn)功能,讓?xiě)?yīng)用之間無(wú)縫實(shí)現(xiàn)業(yè)務(wù)上下游串聯(lián),真正的做到全流程自動(dòng)化能力部署。同時(shí)優(yōu)化了現(xiàn)有技術(shù)大大提高了服務(wù)發(fā)現(xiàn)和路由轉(zhuǎn)送的流程,縮短了56%的有效響應(yīng)時(shí)間。

3.6多實(shí)例持久化存儲(chǔ)CU-DCOS平臺(tái)提供了多副本、高可用、可共享的分布式存儲(chǔ),為容器增加了持久化存儲(chǔ)的能力,解決了容器長(zhǎng)期以來(lái)有狀態(tài)部分的問(wèn)題。在保證數(shù)據(jù)安全的前提下實(shí)現(xiàn)了容器調(diào)度的自動(dòng)化管理,優(yōu)化了代碼保證多個(gè)實(shí)例都能成功掛載并穩(wěn)定運(yùn)行。4.落地應(yīng)用聯(lián)通研究院的CU-DCOS平臺(tái)面向企業(yè)內(nèi)部,已服務(wù)支撐以下系統(tǒng):4.1公共創(chuàng)新大數(shù)據(jù)能力開(kāi)放平臺(tái)支撐了中國(guó)聯(lián)通公共創(chuàng)新大數(shù)據(jù)能力開(kāi)放平臺(tái),為平臺(tái)提供底層IT資源的整體調(diào)度、集群的動(dòng)態(tài)擴(kuò)縮容部署、大數(shù)據(jù)應(yīng)用的容器化管理和編排以及統(tǒng)一的大數(shù)據(jù)服務(wù)開(kāi)放等。實(shí)現(xiàn)了快速部署、秒級(jí)停啟各類(lèi)應(yīng)用,支持多種大數(shù)據(jù)服務(wù)的集群部署、負(fù)載均衡、災(zāi)難恢復(fù)和彈性伸縮,為公共、專業(yè)、創(chuàng)新等各類(lèi)應(yīng)用的快速部署提供快速支撐。目前已成為公司開(kāi)源技術(shù)與業(yè)務(wù)轉(zhuǎn)型相結(jié)合的創(chuàng)新型示范項(xiàng)目,相比于傳統(tǒng)的分配方式部署時(shí)間節(jié)省了80%以上,集群間資源利用率之差不超過(guò)10%,可靠性大幅度提升。4.2聯(lián)通PaaS平臺(tái)的基礎(chǔ)架構(gòu)支撐中國(guó)聯(lián)通PaaS平臺(tái)的基礎(chǔ)架構(gòu),支撐整體PaaS平臺(tái)的資源調(diào)度和整合以及容器化封裝PaaS能力和編排調(diào)度等能力。目前已完成了全部15種PaaS能力的封裝,可對(duì)外提供服務(wù)。PaaS平臺(tái)上的數(shù)十個(gè)O域、M域應(yīng)用已經(jīng)完成CU-DCOS整體遷移,并且運(yùn)行穩(wěn)定。4.3聯(lián)通牛人部落實(shí)驗(yàn)室的基礎(chǔ)架構(gòu)支撐中國(guó)聯(lián)通牛人部落實(shí)驗(yàn)室的基礎(chǔ)架構(gòu),目前已應(yīng)用于百余臺(tái)設(shè)備并利用CU-DCOS進(jìn)行統(tǒng)一的部署和資源調(diào)度。實(shí)現(xiàn)了大規(guī)模集群資源的動(dòng)態(tài)管理、靈活的資源控制策略和應(yīng)用安裝部署。成功搭建了開(kāi)放式實(shí)驗(yàn)環(huán)境,滿足中國(guó)聯(lián)通IT實(shí)驗(yàn)室的需要。CU-DCOS的投入應(yīng)用,將以其創(chuàng)新的技術(shù)架構(gòu),全面支持中國(guó)聯(lián)通實(shí)際管理、生產(chǎn)流程,并在中國(guó)聯(lián)通首次實(shí)現(xiàn)以物理資源統(tǒng)一管理調(diào)度,各應(yīng)用能力“按需、按時(shí)”分配資源,大幅提高IT資源利用率,降低運(yùn)營(yíng)成本。第四章開(kāi)源PaaS初探1PaaS平臺(tái)概述PaaS(Platform-as-a-Service,平臺(tái)即服務(wù))是云計(jì)算領(lǐng)域的三個(gè)主要組成部分之一,是指將軟件研發(fā)平臺(tái)作為一種服務(wù),以SaaS的模式提交給用戶。PaaS平臺(tái)的兩類(lèi)主要客戶是開(kāi)發(fā)人員、運(yùn)維人員。PaaS平臺(tái)一方面連接IaaS為應(yīng)用的提供云計(jì)算環(huán)境,一方面通過(guò)SaaS為應(yīng)用提供平臺(tái)基礎(chǔ)設(shè)施服務(wù),因此要求PaaS平臺(tái)在為應(yīng)用提供業(yè)務(wù)功能的同時(shí)具備彈性伸縮的能力和智能化運(yùn)維功能。綜上所述,PaaS平臺(tái)功能架構(gòu)主要由以下部分構(gòu)成:(1)支撐應(yīng)用的基礎(chǔ)軟件和中間件支撐(如數(shù)據(jù)庫(kù)、Web服務(wù)、應(yīng)用框架和消息服務(wù)等)(2)基于云計(jì)算的應(yīng)用部署運(yùn)行環(huán)境和開(kāi)發(fā)環(huán)境,包括共享應(yīng)用資源庫(kù)和開(kāi)發(fā)社區(qū)支持等(3)多租戶支持與管理PaaS平臺(tái)邏輯架構(gòu)主要包括基于上述功能映射形成的各種類(lèi)型的服務(wù)插件,以及服務(wù)間隔離設(shè)施來(lái)保障服務(wù)的相互獨(dú)立性。PaaS平臺(tái)從云計(jì)算框架建立之初就開(kāi)始發(fā)展,初期主要是國(guó)內(nèi)外大型互聯(lián)網(wǎng)企業(yè),比如Google、SalesForce等,構(gòu)建了自己的PaaS平臺(tái),是獨(dú)有產(chǎn)權(quán)的封閉PaaS平臺(tái),未對(duì)外公開(kāi)發(fā)布其架構(gòu)。傳統(tǒng)的封閉的PaaS平臺(tái)主要有三類(lèi)提供商,一類(lèi)是互聯(lián)網(wǎng)企業(yè)提供的PaaS平臺(tái),典型代表是GoogleAppEngine;一類(lèi)是原有的SaaS提供商,典型代表是SalesForce的Heroku;一類(lèi)是以Amazon為代表的從IaaS虛擬化實(shí)施起步而逐步擴(kuò)展出PaaS層平臺(tái)的提供商。這三類(lèi)平臺(tái)以實(shí)現(xiàn)其自身的商業(yè)價(jià)值為主要目標(biāo)明確了初期PaaS平臺(tái)的功能范疇和架構(gòu)要素。隨著開(kāi)源PaaS平臺(tái)的崛起,新的技術(shù)趨勢(shì)逐步明朗,改變了原有PaaS平臺(tái)產(chǎn)業(yè)鏈的競(jìng)爭(zhēng)格局和發(fā)展方向。2.主流的開(kāi)源PaaS平臺(tái)2011年4月,第一個(gè)開(kāi)源PaaS項(xiàng)目CloudFoundry誕生。隨后,開(kāi)源PaaS平臺(tái)層出不窮,得到了各大廠家和大量開(kāi)發(fā)者的支持,版本的更新和新思路出現(xiàn)的頻率遠(yuǎn)高于原有封閉的PaaS平臺(tái),也推動(dòng)了PaaS平臺(tái)架構(gòu)設(shè)計(jì)理念的發(fā)展演化。2.1CloudFoundryCloudFoundry是VMware公司推出的業(yè)界第一個(gè)開(kāi)源PaaS平臺(tái),并于2013年發(fā)布了最新的2.0版本。CloudFoundry作為基于云環(huán)境的PaaS平臺(tái),核心是一套消息系統(tǒng),通過(guò)CloudFoundry消息總線組件(NATS)實(shí)現(xiàn)了一套模塊自注冊(cè)、自發(fā)現(xiàn)的松耦合消息發(fā)布訂閱機(jī)制,并將各種功能抽象為模版、服務(wù)通過(guò)消息總線連接起來(lái)[2]。其最新版本的邏輯架構(gòu)如圖1:對(duì)比CloudFoundry的早期版本,新版的主要變化如下:(1)加強(qiáng)了服務(wù)總線,統(tǒng)一規(guī)范了服務(wù)的處理模式。新版的CloudFoundry中內(nèi)置服務(wù)數(shù)量大幅減少,新增的DB、存儲(chǔ)、消息隊(duì)列服務(wù),比如Neo4j圖形數(shù)據(jù)庫(kù)、RabbitMQ消息隊(duì)列等,均作為標(biāo)準(zhǔn)服務(wù)與外部服務(wù)和框架一起作為標(biāo)準(zhǔn)服務(wù)接入ServiceBroker并提供給應(yīng)用使用。(2)引入大數(shù)據(jù)處理。CloudFoundry在DEAPool中提供了日志管理組件Loggregator,支持應(yīng)用以日志流的方式將日志數(shù)據(jù)接入到CloudFoundry完成大數(shù)據(jù)分析,這樣就使得大數(shù)據(jù)庫(kù)分析服務(wù)成為新版PaaS平臺(tái)對(duì)外提供的服務(wù)。2.2CloudifyCloudify是Gigaspaces公司推出的基于java實(shí)現(xiàn)的PaaS平臺(tái)。Gigaspaces是業(yè)界知名的PaaS提供商,也是高端Java應(yīng)用服務(wù)器產(chǎn)品XAP(eXtremeApplicationPlatform)的提供廠家。Cloudify實(shí)現(xiàn)PaaS的主要思路是把云資源以及業(yè)務(wù)功能單元看作獨(dú)立的計(jì)算節(jié)點(diǎn),通過(guò)編排技術(shù)分別去關(guān)聯(lián)計(jì)算節(jié)點(diǎn),形成可定制的PaaS平臺(tái)服務(wù)。這一設(shè)計(jì)思想與其早期產(chǎn)品XAP的設(shè)計(jì)理念一脈相承。這種方式使得Cloudify很輕薄,但也具有相當(dāng)?shù)姆?wù)提供能力,是從另一種角度闡述了PaaS最核心的本質(zhì),即將軟件研發(fā)的平臺(tái)作為一種服務(wù)交付給用戶。新版的邏輯架構(gòu)如圖2:對(duì)比新舊版本的架構(gòu),我們發(fā)現(xiàn)的新變化如下:(1)秉承了輕薄化的線路并對(duì)功能架構(gòu)做了增強(qiáng),如客戶端支持從原有的一種接入模式擴(kuò)展到了三種類(lèi)型的接入模式。(2)新增了日志數(shù)據(jù)管理,開(kāi)始提供大數(shù)據(jù)分析支撐。通過(guò)日志數(shù)據(jù)管理工具,Cloudify實(shí)現(xiàn)了對(duì)其自身的日志分析、查詢、匯總和存儲(chǔ)的支持,遺憾的是還不能對(duì)其平臺(tái)上加載的應(yīng)用提供類(lèi)似日志分析的大數(shù)據(jù)支撐。2.3Docker如果要列舉2013年至今開(kāi)源PaaS平臺(tái)發(fā)展的主要事件,Docker的發(fā)布應(yīng)算其一。Docker是PaaS提供商dotCloud開(kāi)源的一個(gè)基于LXC的高級(jí)容器引擎。短短時(shí)間內(nèi),Redhat在RHEL6.5中集成對(duì)Docker的支持,GoogleComputeEngine也支持Docker在其之上運(yùn)行。Docker平臺(tái)主要由DockerEngine、DockerHub兩部分組成。DockerEngine是應(yīng)用的運(yùn)行環(huán)境和打包工具,DockerHub則主要包括平臺(tái)功能的應(yīng)用開(kāi)放API。Docker在技術(shù)模式上最大的創(chuàng)新在于其改變了PaaS平臺(tái)實(shí)現(xiàn)虛擬化的技術(shù)路線,并將一個(gè)更加輕量、簡(jiǎn)潔的可實(shí)現(xiàn)PaaS平臺(tái)模式展示給大眾。Docker不是基于傳統(tǒng)的Hypervisor技術(shù)來(lái)構(gòu)建多個(gè)相互獨(dú)立的虛擬操作系統(tǒng),而是直接對(duì)操作系統(tǒng)本身的功能進(jìn)行擴(kuò)展來(lái)實(shí)現(xiàn)虛擬化,從而使得實(shí)現(xiàn)虛擬化的技術(shù)層次從操作系統(tǒng)層降低到了操作系統(tǒng)容器內(nèi),從而實(shí)現(xiàn)了PaaS的輕量化。上述思路的具體的實(shí)現(xiàn)主要是:基于Linux的LXC,通過(guò)Linuxnamespaces機(jī)制做權(quán)限的控制和隔離,用Linuxcgroups來(lái)進(jìn)行資源的調(diào)度和分配,并通過(guò)Linuxaufs文件管理機(jī)制實(shí)現(xiàn)應(yīng)用復(fù)制、重建、移動(dòng),從而實(shí)現(xiàn)大規(guī)模部署和更新。在其他PaaS平臺(tái)中作為服務(wù)提供給應(yīng)用的各項(xiàng)基礎(chǔ)設(shè)施,比如數(shù)據(jù)庫(kù)等,在Docker中是以鏡像加容器的形式來(lái)實(shí)現(xiàn)的。Docker鏡像、容器及其與Linux的關(guān)系如圖3:Docker鏡像(Images)是基于Linuxaufs機(jī)制來(lái)實(shí)現(xiàn)的。首先建立基礎(chǔ)根文件系統(tǒng)(Bootfs),并在其之上建立分層的、與服務(wù)對(duì)應(yīng)的Docker鏡像,鏡像之間是有繼承(父子)關(guān)系的,每一層鏡像的下面一層稱為父鏡像,最后在鏡像之上針對(duì)每個(gè)應(yīng)用的實(shí)例化就是容器。2.4小結(jié)基于上述的分析,上述開(kāi)源PaaS平臺(tái)的特征概況小結(jié)如表1:3開(kāi)源PaaS發(fā)展趨勢(shì)我們可以看到以下這些技術(shù)趨勢(shì)在各個(gè)開(kāi)源PaaS平臺(tái)的架構(gòu)升級(jí)中都有體現(xiàn):3.1輕量化無(wú)論是CloudFoundry對(duì)內(nèi)置服務(wù)的縮減,還是Cloudify對(duì)輕量化設(shè)計(jì)思路的堅(jiān)持,以及Docker的火熱,都折射出的PaaS產(chǎn)業(yè)鏈各方對(duì)輕量化的認(rèn)同,都反應(yīng)了PaaS平臺(tái)輕量化的發(fā)展趨勢(shì)。降低客戶端的難度,讓更多的現(xiàn)有應(yīng)用接入到PaaS平臺(tái),讓更多的開(kāi)發(fā)人員參與到PaaS平臺(tái)中,將為PaaS平臺(tái)的后續(xù)發(fā)展帶來(lái)無(wú)盡的可能性,也許這就是新時(shí)代信息技術(shù)的魅力吧。3.2服務(wù)外化原有的PaaS平臺(tái)希望為給用戶提供一個(gè)集成的開(kāi)發(fā)環(huán)境,內(nèi)置了諸多系統(tǒng)服務(wù),以期降低開(kāi)發(fā)者的門(mén)檻,但是卻帶來(lái)了部署繁瑣、移植難度大的問(wèn)題。為了兼顧運(yùn)營(yíng)維護(hù)的便利性,PaaS平臺(tái)開(kāi)始剝離內(nèi)置的系統(tǒng)服務(wù),將系統(tǒng)服務(wù)與第三方服務(wù)一視同仁,將包括Mysql等基礎(chǔ)數(shù)據(jù)庫(kù)的系統(tǒng)服務(wù)與第三方服務(wù)都作為標(biāo)準(zhǔn)的服務(wù)接入到統(tǒng)一的服務(wù)框架中,服務(wù)框架自身也推動(dòng)了PaaS平臺(tái)走向更加開(kāi)放與分布式。同時(shí),為了支持服務(wù)的相對(duì)獨(dú)立,PaaS平臺(tái)通過(guò)服務(wù)總線、應(yīng)用編排、消息總線的組合來(lái)支持服務(wù)與應(yīng)用間的互聯(lián)互通。上述趨勢(shì)無(wú)論在Cloudify、CloudFoundry還是新興的Dokcer中都可以看到,一方面,PaaS架構(gòu)變得清晰明確而更加易于大規(guī)模部署,一方面也給了應(yīng)用更加明確的可為空間,只要應(yīng)用足夠便利和廣泛,就可以作為服務(wù)接入到平臺(tái)中提供給其他應(yīng)用。3.3大數(shù)據(jù)分析隨著PaaS平臺(tái)承載的應(yīng)用類(lèi)型越來(lái)越多樣,面向的用戶越來(lái)越廣泛,PaaS平臺(tái)上的各種業(yè)務(wù)數(shù)據(jù)、客戶數(shù)據(jù)也越來(lái)越具有統(tǒng)計(jì)分析價(jià)值。大數(shù)據(jù)分析既可以作為PaaS平臺(tái)自身的資源動(dòng)態(tài)分配的依據(jù),對(duì)應(yīng)用推廣和引導(dǎo)應(yīng)用研發(fā)也具有重要的參考價(jià)值。目前,越來(lái)越多企業(yè)、供應(yīng)商已經(jīng)認(rèn)識(shí)到大數(shù)據(jù)需要作為PaaS平臺(tái)的核心要素為平臺(tái)運(yùn)營(yíng)和應(yīng)用研發(fā)提供支持。無(wú)論是CloudFoundry引入數(shù)據(jù)分析工具,還是Cloudify加強(qiáng)自身平臺(tái)對(duì)大數(shù)據(jù)分析的支持,我們都能深切的體會(huì)到這種趨勢(shì)。4.結(jié)束語(yǔ)開(kāi)源PaaS平臺(tái)帶動(dòng)了整個(gè)PaaS領(lǐng)域的技術(shù)進(jìn)步,在開(kāi)源平臺(tái)具有技術(shù)優(yōu)勢(shì)的背景下,更多的商業(yè)企業(yè)采用了開(kāi)源平臺(tái)作為基于互聯(lián)網(wǎng)的新信息平臺(tái)的基礎(chǔ)框架。在互聯(lián)網(wǎng)信息化的浪潮中,作為原有企業(yè)信息化的主要建設(shè)者的電信運(yùn)營(yíng)商需要抓住機(jī)遇,在變革中結(jié)合自身的業(yè)務(wù)、技術(shù)發(fā)展需要與新技術(shù)趨勢(shì),調(diào)整自身的平臺(tái)建設(shè)和發(fā)展策略,為未來(lái)的競(jìng)爭(zhēng)奠定優(yōu)勢(shì)。第五章傳統(tǒng)企業(yè)PaaS上云思考(薦)1.背景說(shuō)明伴隨著Docker技術(shù)的興起,以及容器集群管理平臺(tái)Mesos、Kubernetes、Swarm、Rancher等的大行其道,仿佛PaaS平臺(tái)及其相關(guān)技術(shù)一下進(jìn)入了黃金時(shí)期,各種各樣的技術(shù)組合,各種各樣的技術(shù)驗(yàn)證,以及伴隨著容器相關(guān)的創(chuàng)業(yè)公司布道,仿佛只要有了PaaS平臺(tái)及其相關(guān)的技術(shù),就能解決一切的企業(yè)IT問(wèn)題。但是,企業(yè)IT,尤其是非互聯(lián)網(wǎng)傳統(tǒng)企業(yè),PaaS平臺(tái)的構(gòu)建與業(yè)務(wù)上云是一個(gè)長(zhǎng)期化的過(guò)程,絕不是一個(gè)Docker+kubernetes/Mesos/Swarm構(gòu)建完以后就是完成了的,IaaS年代是這樣,PaaS年代也是這樣。

在互聯(lián)網(wǎng)公司或者自研發(fā)型的應(yīng)用,開(kāi)發(fā)環(huán)境與部署運(yùn)行環(huán)境非常的類(lèi)似,這也是Docker或者容器相關(guān)技術(shù)在應(yīng)用上的一個(gè)很大的優(yōu)勢(shì)(比如構(gòu)建開(kāi)發(fā)、測(cè)試、部署的DevOps流水線),但是在傳統(tǒng)企業(yè)便不一定能行得通,比如某個(gè)企業(yè)的IT應(yīng)用開(kāi)發(fā)維護(hù)是外包的,標(biāo)準(zhǔn)軟件需要采購(gòu)、應(yīng)用開(kāi)發(fā)需要在應(yīng)用開(kāi)發(fā)商完成、硬件是另外的硬件提供商,到貨后需要硬件系統(tǒng)集成、標(biāo)準(zhǔn)軟件部署、應(yīng)用開(kāi)發(fā)部署調(diào)試,需要很多供貨商來(lái)完成,往往以項(xiàng)目經(jīng)理統(tǒng)籌完成,很難由一套DevOps之類(lèi)的平臺(tái)來(lái)解決所有問(wèn)題。那么傳統(tǒng)企業(yè)PaaS平臺(tái)設(shè)計(jì)需要什么樣的功能?上云時(shí)又需要進(jìn)行如何改造,這是我們探討的一些重點(diǎn)。2.傳統(tǒng)架構(gòu)與應(yīng)用分類(lèi)2.1經(jīng)典架構(gòu)

大家對(duì)這種架構(gòu)耳熟能詳,但也請(qǐng)做云計(jì)算或者容器技術(shù)的同事不要對(duì)這種架構(gòu)嗤之以鼻,但是這種架構(gòu)在也包含很多的對(duì)我們有學(xué)習(xí)借鑒意義的技術(shù)模塊:SAN存儲(chǔ):包括高、低、中不同的存儲(chǔ),存儲(chǔ)中磁盤(pán)的RAID配置、存儲(chǔ)池配置、存儲(chǔ)的集群配置、存儲(chǔ)的容災(zāi)備份、數(shù)據(jù)的熱點(diǎn)遷移、數(shù)據(jù)的緩存、存儲(chǔ)之間的SAN交換機(jī)配置(劃分Zoning,連接主機(jī))等都需要專業(yè)的存儲(chǔ)工程師(衍生出來(lái)了很多的認(rèn)證),這種存儲(chǔ)可以做到高IOPS、低延遲、高可靠性,是目前大多數(shù)的分布式存儲(chǔ)難以匹敵的,且目前存儲(chǔ)廠商在SAN上也做到了虛擬化;主機(jī):小型機(jī)、x86服務(wù)器,小型機(jī)以IBM小型機(jī)為例,小型機(jī)虛擬化比x86虛擬化出現(xiàn)的年代早了幾十年,當(dāng)時(shí)是硬分區(qū)技術(shù),后來(lái)發(fā)展到邏輯分區(qū)+IO虛擬化,邏輯分區(qū)可以做到分配0.1個(gè)CPU的細(xì)粒度,同時(shí)也在2007年就推出了類(lèi)似于容器的技術(shù),做到了進(jìn)程級(jí)別的隔離,但因?yàn)椴婚_(kāi)源、不方便打包、鏡像管理沒(méi)有Docker方便,最終只在少數(shù)客戶處進(jìn)行了部署使用;DB:傳統(tǒng)的數(shù)據(jù)庫(kù)廠商比如Oracle為例,很早就推出了RAC技術(shù),同時(shí),2012年左右Oracle研發(fā)中心內(nèi)部就開(kāi)始使用Container技術(shù)搭建DBasaService(這比我們目前大多數(shù)的Docker相關(guān)的創(chuàng)業(yè)公司還早);APP:以IBMWebSphere為例,十年之前就有WAS集群的概念,可以部分做到橫向擴(kuò)展。

傳統(tǒng)企業(yè)這種架構(gòu)統(tǒng)治了企業(yè)IT數(shù)十年之久,在大的行業(yè),通常以商用中間件、商用DB、小型機(jī)、SAN存儲(chǔ)部署。這種架構(gòu)存在擴(kuò)展性不足的問(wèn)題,但是在傳統(tǒng)企業(yè)架構(gòu)中大量存在。

2.2OLAP與OLTP我們部署一個(gè)IT系統(tǒng),最終的目的是為了解決傳統(tǒng)的問(wèn)題,所謂把線下業(yè)務(wù)線上化,這些業(yè)務(wù)最終的服務(wù)對(duì)象是數(shù)據(jù),而數(shù)據(jù)處理大致可以分成兩大類(lèi):聯(lián)機(jī)事務(wù)處理OLTP(on-linetransactionprocessing)、聯(lián)機(jī)分析處理OLAP(On-LineAnalyticalProcessing)。

當(dāng)然還有其他的業(yè)務(wù)類(lèi)型,比如銀行或者運(yùn)營(yíng)商的每月出賬系統(tǒng),這種系統(tǒng)為也是一種批處理系統(tǒng),但是實(shí)時(shí)性很強(qiáng),跟HadoopMR所謂的批處理不是一個(gè)概念,也不在一個(gè)層級(jí)。這種應(yīng)用我們暫時(shí)不考慮。

OLTP,也叫聯(lián)機(jī)事務(wù)處理(OnlineTransactionProcessing),表示事務(wù)性非常高的系統(tǒng),一般都是高可用的在線系統(tǒng),評(píng)估其系統(tǒng)的時(shí)候,一般看其每秒執(zhí)行的Transaction以及ExecuteSQL的數(shù)量。典型的OLTP系統(tǒng)有客戶關(guān)系管理系統(tǒng)、電子商務(wù)系統(tǒng)、銀行、證券等。

要求:一致性、高可用性。

OLAP,也叫聯(lián)機(jī)分析處理(OnlineAnalyticalProcessing)系統(tǒng),有的時(shí)候也叫決策支持系統(tǒng),就是我們說(shuō)的數(shù)據(jù)倉(cāng)庫(kù)。在這樣的系統(tǒng)中,語(yǔ)句的執(zhí)行量不是考核標(biāo)準(zhǔn),因?yàn)橐粭l語(yǔ)句的執(zhí)行時(shí)間可能會(huì)非常長(zhǎng),讀取的數(shù)據(jù)也非常多。所以,在這樣的系統(tǒng)中,考核的標(biāo)準(zhǔn)往往是磁盤(pán)子系統(tǒng)的吞吐量(帶寬),如能達(dá)到多少M(fèi)B/s的流量。3.云化需求與分析下面我們分別分析一下這兩類(lèi)應(yīng)用的云化需求與云化的分析。注意:這些要求分析與要求是在Docker與各類(lèi)容器管理平臺(tái)火起來(lái)之前總結(jié)與做的,不是依據(jù)Docker或者容器相關(guān)技術(shù)的要求做的。所

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論