大數(shù)據(jù)平臺(tái)產(chǎn)品線售前資料-V1

1、大數(shù)據(jù)平臺(tái)產(chǎn)品線產(chǎn)品產(chǎn)品匯報(bào)2015-12-022中國(guó)移動(dòng)云計(jì)算平臺(tái)典型架構(gòu)存在的明顯缺失云平臺(tái)建設(shè)：重IaaS輕PaaS：以提供計(jì)算和存儲(chǔ)服務(wù)的資源池建設(shè)為主，形成“薄平臺(tái)厚應(yīng)用”多個(gè)資源池獨(dú)立建設(shè)：資源利用率低，缺乏統(tǒng)籌規(guī)劃和集中運(yùn)維管控能力，難以發(fā)揮規(guī)模化效益采用VMware等商用虛擬化軟件：技術(shù)路線嚴(yán)重依賴廠商，建設(shè)成本居高不下，影響投資效率傳統(tǒng)的運(yùn)維管理方法：將虛擬資源當(dāng)做物理資源按日、周進(jìn)行申請(qǐng)和分配，丟失云平臺(tái)資源動(dòng)態(tài)調(diào)度和服務(wù)彈性伸縮的優(yōu)點(diǎn)應(yīng)用云化：新的應(yīng)用資源豎井：資源池的資源重新被固定、靜態(tài)分配給應(yīng)用；應(yīng)用缺乏足夠的彈性和靈活性應(yīng)用云化難度大：“薄平臺(tái)厚應(yīng)用”結(jié)果，每個(gè)應(yīng)用

2、自行規(guī)劃、建設(shè)所需的基礎(chǔ)平臺(tái)軟件；難以提煉出標(biāo)準(zhǔn)化的軟件服務(wù)組件應(yīng)用云化不徹底：某些應(yīng)用模塊、核心數(shù)據(jù)庫(kù)等仍然依賴小型機(jī)和專用高端存儲(chǔ)提供的性能，難以遷往資源池市場(chǎng)分析之一：云計(jì)算平臺(tái)的現(xiàn)狀和分析業(yè)支資源池管理平臺(tái)業(yè)支資源池計(jì)算資源存儲(chǔ)資源網(wǎng)絡(luò)資源網(wǎng)管資源池管理平臺(tái)網(wǎng)管資源池計(jì)算資源存儲(chǔ)資源網(wǎng)絡(luò)資源IDC資源池管理平臺(tái)IDC資源池計(jì)算資源存儲(chǔ)資源網(wǎng)絡(luò)資源CRM云化部分BOSS云化部分經(jīng)分云化部分網(wǎng)管應(yīng)用云化部分網(wǎng)管應(yīng)用云化部分網(wǎng)管應(yīng)用云化部分移動(dòng)公網(wǎng)應(yīng)用外部租戶外部租戶3云計(jì)算的基本特性：租戶、服務(wù)和資源模型（亞信數(shù)據(jù)對(duì)NIST Cloud Computing Reference Archit

3、ecture的解讀）租戶和服務(wù)的關(guān)系 按需自助服務(wù)：服務(wù)的開(kāi)通方式；租戶沒(méi)有綁定固定的服務(wù) 廣泛網(wǎng)絡(luò)訪問(wèn)：服務(wù)的訪問(wèn)方式；不限定租戶對(duì)服務(wù)的訪問(wèn)方式和位置服務(wù)和資源的關(guān)系 快速可伸縮性：服務(wù)和資源的松耦合關(guān)系；在不中斷服務(wù)的前提下增加、減少務(wù)所使用的資源，實(shí)現(xiàn)服務(wù)容量的動(dòng)態(tài)調(diào)整租戶和資源的關(guān)系： 動(dòng)態(tài)資源池：租戶和資源的動(dòng)態(tài)分配關(guān)系；針對(duì)每個(gè)租戶進(jìn)行細(xì)粒度的資源動(dòng)態(tài)分配和隔離 可計(jì)量服務(wù)：租戶對(duì)服務(wù)、資源的使用方式；記錄租戶對(duì)服務(wù)和資源的使用量租戶租戶租戶服務(wù)資源資源資源服務(wù)的訪問(wèn)服務(wù)的訪問(wèn)資源的供給資源的供給 從煙囪型到分層模型轉(zhuǎn)變：規(guī)劃、投資、建設(shè)、運(yùn)維等都要從“以應(yīng)用為核心”向“平臺(tái)化思

4、維”轉(zhuǎn)變 服務(wù)和資源的解耦：資源按需要快速采購(gòu)從而靈活增加服務(wù)的容量和性能，對(duì)現(xiàn)有采購(gòu)模式有很大影響4中國(guó)移動(dòng)云計(jì)算平臺(tái)典型架構(gòu)存在的明顯缺失從“資源池+應(yīng)用云化”向“企業(yè)級(jí)云平臺(tái)+應(yīng)用上云”的思路轉(zhuǎn)變服務(wù)內(nèi)容：以IaaS和PaaS服務(wù)并重，PaaS服務(wù)以能被多個(gè)應(yīng)用共享的標(biāo)準(zhǔn)化平臺(tái)服務(wù)為主；應(yīng)用按需申請(qǐng)所需服務(wù)IAAS服務(wù)：采用VMware和Openstack技術(shù)，建設(shè)跨資源池的IaaS服務(wù)平臺(tái)PAAS服務(wù)：實(shí)現(xiàn)PAAS服務(wù)之間的資源共享和動(dòng)態(tài)調(diào)度，提供服務(wù)的彈性伸縮能力市場(chǎng)分析之二：云計(jì)算平臺(tái)的發(fā)展方向（亞信數(shù)據(jù)的觀點(diǎn)）資源池資源池+應(yīng)用云化應(yīng)用云化企業(yè)級(jí)云平臺(tái)企業(yè)級(jí)云平臺(tái)+應(yīng)用上云應(yīng)用上

5、云建設(shè)思路自上而下，根據(jù)應(yīng)用云化需求推動(dòng)資源池的建設(shè)自下而上，根據(jù)云平臺(tái)能力建設(shè)推動(dòng)應(yīng)用平滑、有序部署和遷移到云平臺(tái)應(yīng)用開(kāi)發(fā)支持資源池提供標(biāo)準(zhǔn)化的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)服務(wù)，與應(yīng)用開(kāi)發(fā)關(guān)聯(lián)度小云平臺(tái)提供應(yīng)用所需要的PaaS服務(wù)，應(yīng)用基于云平臺(tái)的PaaS服務(wù)進(jìn)行開(kāi)發(fā)和部署，關(guān)聯(lián)度高建設(shè)模式應(yīng)用和資源池相對(duì)獨(dú)立，由各自主管部門規(guī)劃、立項(xiàng)、建設(shè)和運(yùn)維建議成立“云平臺(tái)建設(shè)領(lǐng)導(dǎo)小組”統(tǒng)籌規(guī)劃云平臺(tái)能力建設(shè)和應(yīng)用上云步驟，并協(xié)調(diào)、監(jiān)督執(zhí)行硬件采購(gòu)模式通常按年編制預(yù)算、集中采購(gòu)云平臺(tái)根據(jù)應(yīng)用需求按需提供服務(wù)，需要更及時(shí)、更靈活的硬件采購(gòu)體制運(yùn)維保障由偏硬件運(yùn)維服務(wù)的團(tuán)隊(duì)承擔(dān)，要求相對(duì)簡(jiǎn)單對(duì)硬件、操作系統(tǒng)、各種Pa

6、aS服務(wù)軟件都要全面深入掌握，要求很高物理資源池物理資源池PAASPAAS平臺(tái)平臺(tái)大數(shù)據(jù)平臺(tái)大數(shù)據(jù)平臺(tái)IAASIAAS平臺(tái)平臺(tái)HadoopHadoop平臺(tái)平臺(tái)實(shí)時(shí)計(jì)算服務(wù)實(shí)時(shí)計(jì)算服務(wù)集群服務(wù)集群服務(wù)PAASPAAS服務(wù)服務(wù)MPPMPP數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)一體機(jī)一體機(jī)容器集群容器集群虛擬機(jī)集群虛擬機(jī)集群通用服務(wù)通用服務(wù)BOSSBOSS服務(wù)服務(wù)企業(yè)級(jí)云管企業(yè)級(jí)云管理平臺(tái)理平臺(tái)計(jì)算服務(wù)計(jì)算服務(wù)X86/X86/小機(jī)小機(jī)虛擬機(jī)虛擬機(jī)存儲(chǔ)服務(wù)存儲(chǔ)服務(wù)塊設(shè)備塊設(shè)備文件系統(tǒng)文件系統(tǒng)對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)網(wǎng)絡(luò)服務(wù)網(wǎng)絡(luò)服務(wù)路由交換路由交換負(fù)載均衡負(fù)載均衡容器容器安全安全計(jì)算資源計(jì)算資源存儲(chǔ)資源存儲(chǔ)資源網(wǎng)絡(luò)資源網(wǎng)絡(luò)資源CRMCR

7、M服務(wù)服務(wù)SAASSAAS服務(wù)服務(wù)使用使用IAASIAAS服務(wù)服務(wù)使用使用PAASPAAS服務(wù)服務(wù)MR/HiveMR/HiveSPARK/SparkSQLSPARK/SparkSQLHBASEHBASEStormStormSparkStreamingSparkStreamingRedisRedisImpalaImpalasqlfiresqlfire使用大數(shù)據(jù)服務(wù)使用大數(shù)據(jù)服務(wù)租戶管理租戶管理資源管理資源管理服務(wù)管理服務(wù)管理開(kāi)發(fā)運(yùn)維管開(kāi)發(fā)運(yùn)維管理理數(shù)據(jù)管理數(shù)據(jù)管理系統(tǒng)管理系統(tǒng)管理通用通用SAASSAAS服務(wù)服務(wù)業(yè)務(wù)支撐業(yè)務(wù)支撐SAASSAAS服務(wù)服務(wù)網(wǎng)絡(luò)管理網(wǎng)絡(luò)管理SAASSAAS服務(wù)服務(wù)管理信

8、息管理信息SAASSAAS服務(wù)服務(wù)我們的產(chǎn)品策略：私有云平臺(tái)系統(tǒng)總體架構(gòu)PAAS集群子系統(tǒng)集群子系統(tǒng)產(chǎn)品1/3：PAAS平臺(tái) 的功能架構(gòu)PAAS管理子系統(tǒng)管理子系統(tǒng)租戶管理租戶管理資源管理資源管理服務(wù)集群管理服務(wù)集群管理數(shù)據(jù)管理數(shù)據(jù)管理系統(tǒng)管理系統(tǒng)管理資源管理資源管理容器管理容器管理虛機(jī)管理虛機(jī)管理存儲(chǔ)管理存儲(chǔ)管理彈性集群管理彈性集群管理監(jiān)控分析監(jiān)控分析分布式協(xié)調(diào)分布式協(xié)調(diào)服務(wù)注冊(cè)服務(wù)注冊(cè)服務(wù)查詢服務(wù)查詢網(wǎng)絡(luò)設(shè)置網(wǎng)絡(luò)設(shè)置負(fù)載均衡設(shè)置負(fù)載均衡設(shè)置VLANVLAN設(shè)置設(shè)置數(shù)據(jù)管理數(shù)據(jù)管理鏡像存儲(chǔ)鏡像存儲(chǔ)PAAS服務(wù)子系統(tǒng)服務(wù)子系統(tǒng)應(yīng)用應(yīng)用PAASPAAS服務(wù)服務(wù)啟動(dòng)啟動(dòng)/ /停止停止擴(kuò)縮容擴(kuò)縮容在

9、線升級(jí)在線升級(jí)監(jiān)控監(jiān)控/HA/HA租戶賬號(hào)管理租戶賬號(hào)管理租戶資源管理租戶資源管理租戶權(quán)限管理租戶權(quán)限管理資源定義資源定義資源監(jiān)控資源監(jiān)控資源報(bào)表資源報(bào)表目錄管理目錄管理集群管理集群管理服務(wù)管理服務(wù)管理快照管理快照管理鏡像管理鏡像管理安全管理安全管理平臺(tái)監(jiān)控平臺(tái)監(jiān)控NATNAT設(shè)置設(shè)置通用通用PAASPAAS服務(wù)服務(wù)開(kāi)源服務(wù)組件開(kāi)源服務(wù)組件商用服務(wù)組件商用服務(wù)組件快照存儲(chǔ)快照存儲(chǔ)亞信亞信服務(wù)服務(wù)組件組件亞信亞信服務(wù)服務(wù)框架框架CSFCSF服務(wù)框架服務(wù)框架MSGMSG消息框架消息框架COMCOM流程框流程框架架SECSEC權(quán)限框架權(quán)限框架CACHECACHE緩存緩存框架框架LOG4XLOG4X日

10、志日志AIRuleAIRule規(guī)則規(guī)則AICEPAICEP事件事件AISchedulerAIScheduler調(diào)度調(diào)度AISEAISE搜索搜索AIExceptionAIException異常處理異常處理開(kāi)源服務(wù)框架開(kāi)源服務(wù)框架DADBDADB數(shù)據(jù)訪問(wèn)數(shù)據(jù)訪問(wèn)框架框架商用服務(wù)框架商用服務(wù)框架開(kāi)發(fā)運(yùn)維管理開(kāi)發(fā)運(yùn)維管理上線上線/ /發(fā)布發(fā)布運(yùn)行監(jiān)控運(yùn)行監(jiān)控故障處理故障處理快照快照遠(yuǎn)程命令遠(yuǎn)程命令產(chǎn)品2/3：大數(shù)據(jù)平臺(tái)建設(shè)的四個(gè)階段第一階段：分散建設(shè)階段第二階段：統(tǒng)一服務(wù)階段第三階段：統(tǒng)一管控階段第四階段：云化建設(shè)階段產(chǎn)品2/3：大數(shù)據(jù)云平臺(tái)產(chǎn)品總體架構(gòu)服務(wù)層服務(wù)層管理層管理層特定服務(wù)管理特定服務(wù)管理

11、平臺(tái)層平臺(tái)層批處理服務(wù)批處理服務(wù)實(shí)時(shí)計(jì)算服務(wù)實(shí)時(shí)計(jì)算服務(wù)服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器存儲(chǔ)服務(wù)存儲(chǔ)服務(wù)MRMRSpark/Spark/SparkSQLSparkSQLStormStormSparkSparkStreamingStreamingHDFSHDFSHbaseHbase通用服務(wù)管理通用服務(wù)管理RedisRedis服務(wù)器服務(wù)器中間件服務(wù)中間件服務(wù)TomcatTomcat服務(wù)服務(wù)服務(wù)管理服務(wù)管理資源管理資源管理安全管理安全管理租戶管理租戶管理監(jiān)控運(yùn)維監(jiān)控運(yùn)維LVS/NginLVS/Nginx x服務(wù)服務(wù)KafkaKafka服務(wù)服務(wù)APIAPI接口接口用戶操作接

12、口用戶操作接口命令行接口命令行接口總線總線服務(wù)服務(wù)數(shù)據(jù)服務(wù)管理數(shù)據(jù)服務(wù)管理總線服務(wù)管理總線服務(wù)管理HDFSHDFSYARN/SliderYARN/SliderZookeeperZookeeperLVS/NginxLVS/NginxHive/Hive/TezTez產(chǎn)品2/3：大數(shù)據(jù)平臺(tái)產(chǎn)品技術(shù)架構(gòu)-某省移動(dòng)樣板點(diǎn)u產(chǎn)品設(shè)計(jì)目標(biāo)：基于通用PC硬件和開(kāi)源軟件的分布式事務(wù)型關(guān)系數(shù)據(jù)庫(kù)u 高可靠性：代替oracle等傳統(tǒng)集中事務(wù)型關(guān)系數(shù)據(jù)庫(kù)u 平滑遷移：支持現(xiàn)有核心業(yè)務(wù)系統(tǒng)安全、經(jīng)濟(jì)、平滑地遷移u 高擴(kuò)展性：滿足億級(jí)用戶規(guī)模數(shù)據(jù)量業(yè)務(wù)處理的系統(tǒng)建設(shè)需求u設(shè)計(jì)思路：以BSD license的開(kāi)源PG為基礎(chǔ)

13、，結(jié)合電信核心業(yè)務(wù)特點(diǎn)(實(shí)時(shí)、高并發(fā)、億級(jí)用戶、海量數(shù)據(jù)存儲(chǔ))自主開(kāi)發(fā)相關(guān)模塊，形成自主知識(shí)產(chǎn)權(quán)的高可用，高性能，易用的分布式數(shù)據(jù)庫(kù)產(chǎn)品u技術(shù)思路：PG+自主功能模塊（運(yùn)維，監(jiān)控，HA）集成易學(xué)、易用、好用的管理界面和輔助工具， 保證產(chǎn)品的穩(wěn)定性和簡(jiǎn)捷性訂制化低成本數(shù)據(jù)安全高可用簡(jiǎn)單易用高可靠高性能 High availabilityCluster managementPG Management ToolsNew Hardware SupportADB產(chǎn)品3/3： 亞信分布式數(shù)據(jù)庫(kù)ADB（Asiainfo Data Base）mGTM：全局事務(wù)管理器u提供全局事務(wù)ID和快照號(hào)：實(shí)現(xiàn)事務(wù)并發(fā)控制

14、和事務(wù)隔離u提供全局序列號(hào)和時(shí)間戳功能產(chǎn)品3 /3 : ADB產(chǎn)品架構(gòu)代理層：處理客戶端的連接請(qǐng)求（主、從節(jié)點(diǎn)內(nèi)）u支持SQL92標(biāo)準(zhǔn)：生成執(zhí)行計(jì)劃，將執(zhí)行計(jì)劃、全局事務(wù)ID和快照號(hào)發(fā)送給數(shù)據(jù)節(jié)點(diǎn)執(zhí)行，對(duì)結(jié)果集歸并處理u多協(xié)調(diào)節(jié)點(diǎn)同時(shí)接受客戶端連接：提供讀寫可擴(kuò)展性u(píng)對(duì)跨節(jié)點(diǎn)操作提供分布式事務(wù)支持u支持跨節(jié)點(diǎn)的關(guān)聯(lián)、聚合類分析操作數(shù)據(jù)層：完成數(shù)據(jù)的存儲(chǔ)和執(zhí)行（主、從節(jié)點(diǎn)內(nèi)）u支持?jǐn)?shù)據(jù)節(jié)點(diǎn)的分組管理u提供應(yīng)用透明的復(fù)制和分布兩種存儲(chǔ)方式u提供多種分片函數(shù)，支持定制開(kāi)發(fā)u支持節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)容和數(shù)據(jù)自動(dòng)重平衡亞信分布式數(shù)據(jù)庫(kù)提供透明的數(shù)據(jù)分布存儲(chǔ)水平擴(kuò)展性好無(wú)單點(diǎn)故障和秒級(jí)切換提供多數(shù)據(jù)副本的強(qiáng)一致性提供透明的ACID特性產(chǎn)品3/3: ADB總體技術(shù)特點(diǎn)功能特點(diǎn)承載復(fù)雜事物環(huán)境下高性能、高可用的OL