阿里云新型互聯(lián)網(wǎng)架構(gòu)介紹

1、阿里云新型互聯(lián)網(wǎng)架構(gòu)介紹阿里巴巴的技術(shù)架構(gòu)變遷IOE業(yè)務(wù)遷移至Hadoop（云梯1）自主研發(fā)的飛天平臺第一個集群穩(wěn)定運行12節(jié)點的Oracle RAC集群成為國 內(nèi)最大數(shù)據(jù)倉庫，擴展困難200920102013.52013.82014阿里集團最后一臺小型機在支 付寶下線，標(biāo)志去IOE完成云梯1（Hadoop）下線單集群規(guī)模達(dá)5000臺服務(wù)器的飛天集群云梯2正式開始運行阿里完成登月計劃2008阿里提出去IOE啟動阿里云的研發(fā)飛天平臺日趨成熟， 支撐雙十一海量交易2015.6IOEIOE阿里云GreenPlumHadoop阿里云早期過渡期現(xiàn)在阿里云平臺歷程2009平臺整合2010平臺調(diào)優(yōu)2011平

2、臺擴展業(yè)務(wù)分層 統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)2013業(yè)界領(lǐng)先5K集群2014行業(yè)應(yīng)用國家部委、省級平臺解決資源 集約問題解決資源 復(fù)用問題解決數(shù)據(jù) 長效保存 及采集問題解決數(shù)據(jù) 規(guī)范問題解決數(shù)據(jù)交換及安全問題解決技術(shù) 轉(zhuǎn)化輸出問題數(shù) 字 娛 樂其它領(lǐng)域淘寶天貓AAliexpress電子商務(wù)支付 寶小 貸保 險基 金螞蟻金服聚劃 算高 德友 盟菜 鳥 網(wǎng) 絡(luò)物流醫(yī) 療UC承載所有阿里數(shù)據(jù)應(yīng)用，數(shù)據(jù)規(guī)模800PB,數(shù)據(jù)吞吐量100GB/s2012飛天平臺飛天平臺：由實踐錘煉而來天貓支付寶17.5萬筆/秒訂單12萬筆/秒支付2017天貓 11.11 購物狂歡節(jié)1682億元總成交額阿里云專有云：讓每個企業(yè)都擁有自己的

3、飛天公共云北京，杭州，上海，青島深圳，香港，新加坡專有云專有云更好的私密性和專屬性軟件定義企業(yè)級特性公有云彈性多租戶大規(guī)模驗證一套架構(gòu)體系，不同的部署環(huán)境專有云飛天發(fā)展概況V3.0（2017.07）客戶和場景：互聯(lián)網(wǎng)金融生產(chǎn)環(huán)境（含大數(shù)據(jù)）關(guān)鍵產(chǎn)品：IAAS+大數(shù)據(jù)+ 中間件（含docker）+高級版云盾平臺特性：等保三級，兩地三中心V2.0（2016.05）客戶和場景：央企，互聯(lián)網(wǎng)中臺+大數(shù)據(jù)關(guān)鍵產(chǎn)品：IAAS+大數(shù)據(jù)+中間件平臺特性：統(tǒng)一運維管理，管控節(jié)點壓縮V1.0（2015.07）場景：政府/部委，大數(shù)據(jù)關(guān)鍵產(chǎn)品：IAAS+基礎(chǔ)大數(shù)據(jù)產(chǎn)品平臺特性：半自動化部署，ERMSV4.0（201

4、8.05）客戶和場景：人工智能，IOT，國際化，數(shù)據(jù)治理版本形態(tài)：混合云，Agility版本未來的持續(xù)演進：開放、可信、可控的企業(yè)級云平臺可 信開 放可 控引擎和接口的兼容性硬件兼容性E2E安全設(shè)計數(shù)據(jù)可靠性業(yè)務(wù)連續(xù)性自主可控的調(diào)度框架統(tǒng)一運維多租戶運營數(shù)字化轉(zhuǎn)型引擎飛天平臺：優(yōu)化應(yīng)用架構(gòu) 創(chuàng)新數(shù)據(jù)價值結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)著陸區(qū)（原始數(shù)據(jù)）多媒體數(shù)據(jù)描述信息文本數(shù)據(jù)操作數(shù)據(jù)存儲 (ODS)數(shù)據(jù)倉庫 (EDW)索引庫信息發(fā)現(xiàn)區(qū)信息知識發(fā)現(xiàn)區(qū)（人）數(shù)據(jù)集市(ADM)搜索數(shù)據(jù)大屏知識利用區(qū)BI(報表/統(tǒng)計/分析)數(shù)據(jù)目錄應(yīng)用沙箱數(shù)據(jù)交互接口區(qū)敏捷視圖數(shù)據(jù)API知識挖掘區(qū)（機器+人）大數(shù)據(jù)分析知識數(shù)據(jù)治理運

5、 營 流 程質(zhì) 量 管 理數(shù) 據(jù) 運 營數(shù) 據(jù) 利 用 協(xié) 同生產(chǎn)消費數(shù)據(jù)上云業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換互聯(lián)網(wǎng)數(shù)據(jù)其它數(shù)據(jù)源數(shù)據(jù)魔方淘寶指數(shù)知識利用區(qū)阿里集團的數(shù)據(jù)產(chǎn)品淘寶時光機生意參謀螞蟻微貸芝麻信用應(yīng)用上云云主機云負(fù)載均衡云數(shù)據(jù)庫云存儲大數(shù)據(jù)離線引擎大數(shù)據(jù)實時引擎大數(shù)據(jù)流式引擎云安全云服務(wù)云網(wǎng)絡(luò)大數(shù)據(jù)開發(fā)平臺基礎(chǔ)設(shè)施 全資源池化不同數(shù)據(jù)類型 分級存儲PaaS敏捷開發(fā) 能力共享中心OLTP和OLAP分離分布式數(shù)據(jù)庫應(yīng)用架構(gòu)互聯(lián)網(wǎng)化 分層彈性橫向擴展 無性能瓶頸應(yīng) 用 架 構(gòu) 提 升創(chuàng)新數(shù)據(jù)環(huán)流加工企業(yè)級云平臺的架構(gòu)要求01一套系統(tǒng)平滑支撐 橫向和縱向擴展02滿足生產(chǎn)級可靠性和 安全合規(guī)的要求03統(tǒng)一的

6、管理運維系統(tǒng)， 和企業(yè)現(xiàn)有IT管理系統(tǒng) 無縫對接04向混合云 平滑演進飛天平臺整體架構(gòu)資源管理遠(yuǎn)程過程調(diào)用安全管理分布協(xié)同服務(wù)X86 Server（Linux 集群）集群布署集群監(jiān)控分布式文件系統(tǒng)任務(wù)調(diào)度彈性計算服務(wù)云數(shù)據(jù)庫服務(wù)對象存儲服務(wù)表格存儲服務(wù)離線計算 服務(wù)分析型數(shù)據(jù) 庫服務(wù)負(fù)載均衡服務(wù)流計算服務(wù)IaaS服務(wù)PaaS服務(wù)DaaS服務(wù)微服務(wù)開發(fā) 框架服務(wù)分布式數(shù)據(jù) 庫服務(wù)分布式消息云服務(wù)總線 中間件服務(wù)服務(wù)數(shù)據(jù)交換服 務(wù)數(shù)據(jù)治理服數(shù)據(jù)開放服數(shù)據(jù)可視化務(wù)務(wù)服務(wù)淘寶、天貓、支付寶、高德、菜鳥網(wǎng)絡(luò)、阿里音樂等事業(yè)部IaaS服務(wù)存儲和數(shù)據(jù)庫ECSSLBECS：云服務(wù)器 SLB：云負(fù)載均衡安全與管

7、理云盾云盾：安全體檢、 安全管家RDSOSSOTSSLSRDS：云數(shù)據(jù)庫（關(guān)系型數(shù)據(jù)庫） OSS： 云 存 儲 （ 對 象 存 儲 ） OTS：Nosql 結(jié)構(gòu)化數(shù)據(jù)服務(wù) SLS：簡單日志服務(wù)計算VPC網(wǎng)絡(luò)VPC：虛擬網(wǎng)絡(luò)服務(wù)大數(shù)據(jù)平臺ODPSADSOSPSBaseODPS：大規(guī)模離線數(shù)據(jù)處理服務(wù)ADS：OLAP在線分析服務(wù) OSPS：流式計算服務(wù) Base：數(shù)據(jù)管理平臺提供個性化定制化服務(wù)，滿足各類應(yīng)用需求。分布式存儲：塊存儲+文件存儲+對象存儲容量性和性能型兩種規(guī)格支持NFSv3/NFSv4.0協(xié)議NAS圖片處理功能未來兼容S3和HDFSOSSEBS中小型數(shù)據(jù)庫大型開發(fā)測試web服務(wù)器日志

8、I/O密集型應(yīng)用中大型關(guān)系數(shù)據(jù)庫NoSQL數(shù)據(jù)庫Share-disk類型應(yīng)用 (Oracle RAC)共享式訪問最大容量32TB32TB32TB最大IOPS30002000030000最大吞吐量MBps80MBps256MBps512MBps時延Latency1-3ms0.5-2ms0.5-2ms塊存儲種類高效云盤SSD 云盤共享存儲網(wǎng)絡(luò)虛擬化用戶IDC用戶辦公室VBR-專線接入 路由器物理專線NATVPNSLBAZ(可用區(qū))-1Region1VPCInternet用戶辦公室 移動辦公v-Routerv-switchv-switchECSRDSECS軟專線AZ(可用區(qū))-2OSSRDS物理專線

9、VPNSLBAZ(可用區(qū))-1Internetv-Routerv-switchv-switchECSRDSECSAZ(可用區(qū))-2ECS OSSRDS專線接入ECS安全組ECSRegion2 VPCVPC互聯(lián)NATDAAS:智能數(shù)據(jù)中臺數(shù)據(jù)引擎多樣化123數(shù)據(jù)處理和展現(xiàn) 人工智能數(shù)據(jù)靈活互通數(shù)據(jù)引擎多樣化HybridDB (Greenplum)AnalyticDBOLAP大數(shù)據(jù)處理可基于ECS部署Postgre開源體系A(chǔ)psaraDB (PG/PPAS)MySQL開源體系A(chǔ)psaraDB(MySQL)線下 OracleOLTP代碼不改 直接上云業(yè)務(wù)邏輯解耦 橫向擴展離線數(shù)據(jù)處理MaxCompu

10、te大數(shù)據(jù)處理引擎流處理 StreamCompute圖數(shù)據(jù)庫Redis表格存儲MemcacheNoSQLMongoSQLServerOracle統(tǒng)一的數(shù)據(jù)互通引擎關(guān)系型數(shù)據(jù)庫MySQL，Oracle，SQLServerPostgre，DRDS，OceanBaseNoSQL數(shù)據(jù)庫Mongo，Redis Memcache，Hbase大數(shù)據(jù)Maxcompute，MppDB Hadoop，Spark存儲NAS，OSSDTS數(shù)據(jù)傳輸數(shù)據(jù)平滑遷移在線/離線數(shù)據(jù)同步增量數(shù)據(jù)實時訂閱數(shù)據(jù)中臺和人工智能大數(shù)據(jù)開發(fā)和治理大數(shù)據(jù)開發(fā)套件 DataIDE數(shù)據(jù)治理工具數(shù)據(jù)分析、應(yīng)用、展現(xiàn)標(biāo)簽體系 整合分析規(guī)則引擎推薦引

11、擎數(shù)據(jù)可視化 DataV關(guān)系網(wǎng)絡(luò)分析（I+）機器學(xué)習(xí)、人工智能機器學(xué)習(xí) PAI人臉識別圖像分析報表（Quick BI ）OCR 文本識別機器翻譯PAAS：敏捷業(yè)務(wù)中臺(支撐企業(yè)級應(yīng)用向微服務(wù)架構(gòu)演進)DevOps 管理容器服務(wù)分布式企業(yè)中間件經(jīng)過阿里巴巴大規(guī)模實踐和微服務(wù)平臺無縫集成經(jīng)過企業(yè)級客戶生產(chǎn)環(huán)境檢驗由阿里巴巴開源，大量互聯(lián)網(wǎng)公司使用Docker企業(yè)版(國內(nèi)獨家)支持Kubernates云效：持續(xù)開發(fā)持續(xù)集成（DevOps） 的管理軟件Aliware（分布式企業(yè)中間件）： 大規(guī)模驗證的Java中間件飛天平臺or第三方IAAS新型應(yīng)用第三方應(yīng)用存量IT系統(tǒng)用戶中心鑒權(quán)中心情報中心評價中心

12、搜索中心數(shù)據(jù)分析中心信息交換中心資源中心共享服務(wù)層。中心。中心分布式 服務(wù)框架企業(yè)級高性能分布式平臺框架分布式事務(wù)處理應(yīng)用實時 監(jiān)控服務(wù)高性能高可靠 消息框架分布式數(shù)據(jù)庫 服務(wù)框架EDASARMSTXCMQDRDSCSB云服務(wù)總線API管理運營API運維監(jiān)控平臺PAAS業(yè)務(wù)PAAS能力開放運營IAAS基礎(chǔ)層容器技術(shù)：快速發(fā)展的微服務(wù)基礎(chǔ)引擎應(yīng)用云監(jiān)控日志 服務(wù)應(yīng)用應(yīng)用管控集成訪問 控制應(yīng)用負(fù)載均衡/路由服務(wù)注冊、發(fā)現(xiàn)彈性伸縮灰度發(fā)布服務(wù)容器編排調(diào)度資源調(diào)度集群管理Docker 容器引擎容器Docker鏡像倉庫 編排模板內(nèi)容存儲支持塊存儲/對象存儲/文件存儲網(wǎng)絡(luò)支持VPC網(wǎng)絡(luò)，支持混合云ECS物

13、理機接入緩存 服務(wù)數(shù)據(jù)庫消息 隊列CI/CD中間件開發(fā)交付第三方擴展第三方 擴展可管可控：統(tǒng)一運維管理企業(yè)自 定義云 資源控 制臺企業(yè)ITIL 系統(tǒng)對接統(tǒng)一管理運維系統(tǒng)（統(tǒng)一入口）系統(tǒng)管理云資源管理云運維管理交付和變更安全管理賬號/AK管理資源Dashboard系統(tǒng)監(jiān)控&告警部署云盾管理角色/權(quán)限管理云產(chǎn)品控制臺庫存管理升級安全審計項目/部門管理細(xì)粒度授權(quán)產(chǎn)品運維擴容系統(tǒng)OS密碼管理配置管理云監(jiān)控硬件運維產(chǎn)品上下線系統(tǒng)安全補丁更新軟件版本管理云資源報表日志管理系統(tǒng)備份兩地三中心管理分層安全框架云平臺安全權(quán)威機構(gòu)認(rèn)證（CSA，等保三級，可信云認(rèn)證，ISO27001）飛天平臺安全物理機安全專有網(wǎng)絡(luò)

14、訪問控制賬號安全云用戶安全傳輸加密虛擬機安全鏡像安全防IP/MAC欺騙數(shù)據(jù)清零存儲安全數(shù)據(jù)加密ACL訪問控制數(shù)據(jù)索引清零數(shù)據(jù)庫安全I(xiàn)P白名單數(shù)據(jù)加密SQL審計大數(shù)據(jù)安全細(xì)粒度授權(quán)安全數(shù)據(jù)交換數(shù)據(jù)審計物理網(wǎng)絡(luò)安全云盾主機入侵防護WAF（應(yīng)用防火墻）態(tài)勢感知安全審計業(yè)務(wù)連續(xù)性：兩地三中心災(zāi)備從庫部分備可用區(qū)主可用區(qū)ECS應(yīng)用集群ECS應(yīng)用集群同城機房A同城機房B多可用區(qū)SLB實例通過域名訪問RDS權(quán)重配比決定流量分配表格存儲OSSMaxComputeAliware日志同步數(shù)據(jù)同步數(shù)據(jù)同步數(shù)據(jù)同步數(shù)據(jù)同步RDS（災(zāi)備實例）SLB（災(zāi)備實例）ECS應(yīng)用集群異地數(shù)據(jù)中心DNS災(zāi)難發(fā)生，切換域名DTS異步數(shù)據(jù)復(fù)制異步數(shù)據(jù)復(fù)制異步數(shù)據(jù)復(fù)制一鍵式切換系統(tǒng)表格存儲OSSAliwareRDS主庫部分開源不是開放的唯一途徑：引擎通用性和接口的開放性最重要OS：Linux基金會成員ECS: KVMNAS:NFSOSS:Restful/S3容器 Docker/K8SMySQLPostgreGreenplumMongoRedisHBASEMaxComputeSpark調(diào)度，ElasticSearch引擎VPC:VxLAN完善的北向接口：資源管理，告警監(jiān)控，ITIL系統(tǒng)對接流計算：FlinkEDAS：兼容Spring Cloud可控的框架統(tǒng)一賬號統(tǒng)一權(quán)限管理統(tǒng)一資源管理統(tǒng)一交付統(tǒng)一監(jiān)控運維開放接