基于云平臺(tái)的新型數(shù)據(jù)中心

1、戴艷Principle Solution ArchitectOracle China構(gòu)建基于云平臺(tái)的下一代數(shù)據(jù)中心提綱提綱1、云數(shù)據(jù)中心概念的提出2、云計(jì)算與數(shù)據(jù)中心的關(guān)系3、云數(shù)據(jù)中心的應(yīng)用場(chǎng)景4、云數(shù)據(jù)中心的數(shù)據(jù)管理傳統(tǒng)的數(shù)據(jù)中心傳統(tǒng)的數(shù)據(jù)中心煙囪式架構(gòu)煙囪式架構(gòu) 異構(gòu)的技術(shù) 多種操作系統(tǒng)平臺(tái) 支撐高峰時(shí)的容量 被動(dòng)的響應(yīng)式管理龐大的應(yīng)用體系龐大的應(yīng)用體系 靜態(tài)地部署 多種軟件組合 點(diǎn)對(duì)點(diǎn)集成 獨(dú)立的應(yīng)用數(shù)據(jù)MainframeDASCustomApplicationBig serverDASERPApplicationSalesApplicationClusterDatabaseDataW

2、arehouseNAS/SANORBNAS/SANFilesDatabaseDatabaseSmall server數(shù)據(jù)中心的利用率和效率不高數(shù)據(jù)中心的利用率和效率不高很少的一部分客戶開(kāi)很少的一部分客戶開(kāi)始監(jiān)控?cái)?shù)據(jù)中心服務(wù)始監(jiān)控?cái)?shù)據(jù)中心服務(wù)器的利用率，然而，器的利用率，然而，非常少的客戶會(huì)注意非常少的客戶會(huì)注意數(shù)據(jù)中心的效率數(shù)據(jù)中心的效率Server utilization remains very low. . .Average daily utilization (percent)01020304050607080901000102030405090100 Up to 30% server

3、s are dead* Sample size 45 data centersSource: Uptime InstitutePeak daily utilization (percent)下一代云數(shù)據(jù)中心概念的提出下一代云數(shù)據(jù)中心概念的提出整合的整合的敏捷的敏捷的高性能高性能高可用性高可用性整合架構(gòu)-動(dòng)態(tài)負(fù)載管理煙囪式架構(gòu)-低效的資源管理整合的要求整合的要求提升服務(wù)器的利用水平提升服務(wù)器的利用水平5% - 10% (Gartner)60% - 70% (Oracle大學(xué)網(wǎng)格)敏捷的要求敏捷的要求 敏捷地適應(yīng)應(yīng)用變化情況 根據(jù)負(fù)載隨需擴(kuò)展 高彈性，動(dòng)態(tài)伸縮，self service，配置更多的

4、實(shí)例 在初始投資成本和獲得良好的效率之間作出平衡（減少Capex 和Opex） 實(shí)時(shí)地獲取業(yè)務(wù)變化，并以此作出響應(yīng)Applications A, B, C, D, ENetWorkloadIf utilization too high,increase capacityShared InstanceServer AServer BServer CServer DScale-out on-demand聯(lián)邦式云數(shù)據(jù)中心聯(lián)邦式云數(shù)據(jù)中心Austin, TXColorado Springs, COSalt Lake City, UT根據(jù)應(yīng)用要求進(jìn)行資源分配根據(jù)應(yīng)用要求進(jìn)行資源分配Austin, TXC

5、olorado Springs, COSalt Lake City, UT高性能的要求高性能的要求全球最大數(shù)據(jù)倉(cāng)庫(kù)容量其大小每?jī)赡暝鲩L(zhǎng)三倍1998 1 TB; 2001 10 TB; 2003 30 TB; 2005 100 TB; 2007 300TB; 2009 900 TB; 2011 2.7 PB高性能的要求高性能的要求分布式處理能力分布式處理能力集中處理層問(wèn)題：昨天的客戶發(fā)展量如何？分布式處理層匯總、合并結(jié)果Select sum(sales) whereDate=24-Sept 多個(gè)服務(wù)器并行處理查詢請(qǐng)求構(gòu)建并發(fā)Smart Scan請(qǐng)求各服務(wù)器返回結(jié)果Storage數(shù)據(jù)復(fù)制完全激活故

6、障切換到備點(diǎn)數(shù)據(jù)的備份和恢復(fù)低成本高性能數(shù)據(jù)保護(hù) & 歸檔集群技術(shù)保證容錯(cuò)和 服務(wù)器水平擴(kuò)展DatabaseDatabaseStorage高可用性的要求高可用性的要求自動(dòng)存儲(chǔ)管理保證容錯(cuò)和存儲(chǔ)水平擴(kuò)展保證業(yè)務(wù)不被中斷 - 每個(gè)都是可以水平擴(kuò)展的, 完全激活的, 以數(shù)據(jù)為中心的要求達(dá)到最高可用性和最低的成本在線升級(jí)硬件和軟件提綱提綱1、云數(shù)據(jù)中心概念的提出2、云計(jì)算與數(shù)據(jù)中心的關(guān)系3、云數(shù)據(jù)中心的應(yīng)用場(chǎng)景4、云數(shù)據(jù)中心的數(shù)據(jù)管理云計(jì)算模式能以按需方式，通過(guò)網(wǎng)絡(luò)，方便的訪問(wèn)云系統(tǒng)的可配置計(jì)算資源共享池(比如：網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用程序和服務(wù)) 。同時(shí)它以最少的管理開(kāi)銷及最少的與供應(yīng)商的交

7、互，迅速配置提供或釋放資源。* Source: NIST云計(jì)算基本特征普遍網(wǎng)絡(luò)訪問(wèn)共享的資源池多DB快速?gòu)椥阅芰啥攘康姆?wù)按需的自服務(wù)為什么采用為什么采用“云云”煙囪式的系統(tǒng)建設(shè)，IT成本居高不下（硬件/能耗/管理）按峰值規(guī)模建設(shè)，資源平均利用率低缺乏彈性的系統(tǒng)設(shè)計(jì)，應(yīng)對(duì)業(yè)務(wù)突發(fā)情況差建設(shè)周期漫長(zhǎng)，無(wú)法快速提供與部署業(yè)務(wù)需求的快速增長(zhǎng)，設(shè)備更替快，不利投資保護(hù)集中資源池的共享虛擬化、分時(shí)/區(qū)共享動(dòng)態(tài)調(diào)配、彈性伸縮自動(dòng)化、自服務(wù)低成本、標(biāo)準(zhǔn)化硬件云計(jì)算云數(shù)據(jù)中心技術(shù)標(biāo)準(zhǔn)化能力服務(wù)化提供快速化資源彈性化管理自動(dòng)化管控集中化傳統(tǒng)模式提綱提綱1、云數(shù)據(jù)中心概念的提出2、云計(jì)算與數(shù)據(jù)中心的關(guān)系3、云數(shù)

8、據(jù)中心的應(yīng)用場(chǎng)景4、云數(shù)據(jù)中心的數(shù)據(jù)管理眾多分散的小數(shù)據(jù)庫(kù)需要整合，尤其是OSS域及MSS域，分散的數(shù)據(jù)庫(kù)帶來(lái)很多問(wèn)題：分散的管理與運(yùn)維DB的多版本數(shù)據(jù)分散帶來(lái)的數(shù)據(jù)一致性問(wèn)題系統(tǒng)擴(kuò)展能力的限制，即，缺乏彈性能力（突發(fā)性業(yè)務(wù)需求的支撐能力難以滿足）數(shù)據(jù)安全問(wèn)題，無(wú)統(tǒng)一標(biāo)準(zhǔn)和流程數(shù)據(jù)質(zhì)量問(wèn)題，無(wú)統(tǒng)一標(biāo)準(zhǔn)和流程數(shù)據(jù)全生命周期管理缺失維護(hù)人員分散利用率不高的問(wèn)題分散數(shù)據(jù)庫(kù)帶來(lái)的License冗余問(wèn)題（集中的數(shù)據(jù)庫(kù)基于共享可以帶來(lái)License成本的降低）分散帶來(lái)的數(shù)據(jù)分析與數(shù)據(jù)挖掘的困難低信息密度的現(xiàn)狀導(dǎo)致的存儲(chǔ)空間的浪費(fèi)問(wèn)題（缺乏高性能壓縮能力）整合符合綠色計(jì)算的發(fā)展趨勢(shì)通過(guò)標(biāo)準(zhǔn)化及自動(dòng)化管理的采

9、用有效降低運(yùn)維成本有效提升數(shù)據(jù)安全并降低數(shù)據(jù)分發(fā)的難度滿足全企業(yè)內(nèi)集中的、標(biāo)準(zhǔn)化的數(shù)據(jù)管理要求整合與共享可以帶來(lái)數(shù)據(jù)服務(wù)能力的持續(xù)可用集中化、標(biāo)準(zhǔn)化是IT演進(jìn)大趨勢(shì)的要求分散數(shù)據(jù)庫(kù)的整合集中化的災(zāi)備中心大集中SaaS應(yīng)用的數(shù)據(jù)庫(kù)支撐新一代IDC/ADC的數(shù)據(jù)庫(kù)提供與運(yùn)營(yíng)電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求1目前的災(zāi)備中心多為基于現(xiàn)有應(yīng)用進(jìn)行一對(duì)一的匹配建設(shè)（Silo），硬件投資巨大目前的災(zāi)備中心多為冷備中心（Active-Standby），日常災(zāi)備中心的資源只能空閑無(wú)法利用，資源的有效利用率很低需要建設(shè)雙活的災(zāi)備中心（Active-Active），有效提升資源利用率需要基于資源共享（Share

10、 Pool）及動(dòng)態(tài)調(diào)整能力，有效節(jié)約硬件投資異構(gòu)數(shù)據(jù)管理變?yōu)榻y(tǒng)一的同構(gòu)數(shù)據(jù)管理，提升可管理性通過(guò)集中化的災(zāi)備中心建設(shè)，促進(jìn)IT系統(tǒng)的管控集中化、技術(shù)標(biāo)準(zhǔn)化的演進(jìn)分散數(shù)據(jù)庫(kù)的整合集中化的災(zāi)備中心大集中SaaS應(yīng)用的數(shù)據(jù)庫(kù)支撐新一代IDC/ADC的數(shù)據(jù)庫(kù)提供與運(yùn)營(yíng)電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求3伴隨電信市場(chǎng)競(jìng)爭(zhēng)的加劇，電信企業(yè)的產(chǎn)品的同質(zhì)化及全網(wǎng)一體化趨勢(shì)越發(fā)明顯，這使得電信企業(yè)的業(yè)務(wù)標(biāo)準(zhǔn)化程度越來(lái)越高；這些趨勢(shì)直接導(dǎo)致了全網(wǎng)大集中的SaaS應(yīng)用需求的產(chǎn)生SaaS應(yīng)用基于統(tǒng)一的業(yè)務(wù)流程、數(shù)據(jù)模型、客戶體驗(yàn)等為全網(wǎng)的所有使用者提供IT應(yīng)用能力，帶來(lái)更高要求的數(shù)據(jù)庫(kù)服務(wù)提供能力需求：滿足大集中的

11、高性能需求（數(shù)億用戶的OLTP）滿足大集中帶來(lái)的PB級(jí)海量數(shù)據(jù)管理能力滿足大集中帶來(lái)的高可用性要求滿足數(shù)據(jù)的生命周期管理能力滿足業(yè)務(wù)增長(zhǎng)帶來(lái)的動(dòng)態(tài)擴(kuò)展性需求滿足SaaS應(yīng)用需要的數(shù)據(jù)一致性保障能力滿足SaaS應(yīng)用需要的關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)管理與數(shù)據(jù)提供能力要求全國(guó)大集中的SaaS應(yīng)用對(duì)高性能、高可用性、數(shù)據(jù)嚴(yán)格一致性等方面的數(shù)據(jù)庫(kù)需求，在BSS領(lǐng)域核心支撐系統(tǒng)的全國(guó)大集中項(xiàng)目中顯得尤為突出分散數(shù)據(jù)庫(kù)的整合集中化的災(zāi)備中心大集中SaaS應(yīng)用的數(shù)據(jù)庫(kù)支撐新一代IDC/ADC的數(shù)據(jù)庫(kù)提供與運(yùn)營(yíng)電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求3適合大型企業(yè)的大型關(guān)系型數(shù)據(jù)庫(kù)的提供或托管高性能海量數(shù)據(jù)的可管理性數(shù)據(jù)生

12、命周期管理擴(kuò)展性服務(wù)使用的度量數(shù)據(jù)安全適合中小企業(yè)的小型關(guān)系型數(shù)據(jù)庫(kù)的提供或托管DB Instance的快速自服務(wù)創(chuàng)建與釋放計(jì)算能力及存儲(chǔ)容量的彈性能力自動(dòng)化管理能力服務(wù)使用的度量數(shù)據(jù)安全分散數(shù)據(jù)庫(kù)的整合集中化的災(zāi)備中心大集中SaaS應(yīng)用的數(shù)據(jù)庫(kù)支撐新一代IDC/ADC的數(shù)據(jù)庫(kù)提供與運(yùn)營(yíng)電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求4眾多分散的小數(shù)據(jù)庫(kù)的整合，尤其是OSS域及MSS域基于整合平臺(tái)提升數(shù)據(jù)生命周期管理能力及數(shù)據(jù)質(zhì)量通過(guò)標(biāo)準(zhǔn)化及自動(dòng)化管理的采用有效降低運(yùn)維成本有效提升數(shù)據(jù)安全并降低數(shù)據(jù)分發(fā)的難度全企業(yè)內(nèi)集中的、標(biāo)準(zhǔn)化的數(shù)據(jù)管理要求建設(shè)雙活的災(zāi)備中心，有效提升資源利用率基于資源共享及動(dòng)態(tài)調(diào)整能

13、力，有效節(jié)約硬件投資通過(guò)集中化的災(zāi)備中心建設(shè)，促進(jìn)IT系統(tǒng)的管控集中化、技術(shù)標(biāo)準(zhǔn)化的演進(jìn)全國(guó)大集中的SaaS應(yīng)用帶來(lái)高性能數(shù)據(jù)庫(kù)集群的需求，尤其是BSS領(lǐng)域核心支撐系統(tǒng)全國(guó)大集中的OLTP需求海量數(shù)據(jù)管理能力及動(dòng)態(tài)擴(kuò)展能力SaaS應(yīng)用所需的數(shù)據(jù)一致性保障及關(guān)系數(shù)據(jù)管理能力適合大型企業(yè)的大型關(guān)系型數(shù)據(jù)庫(kù)的提供或托管高性能、海量數(shù)據(jù)管理、擴(kuò)展性適合中小企業(yè)的小型關(guān)系型數(shù)據(jù)庫(kù)的提供或托管DB實(shí)例的快速提供、彈性能力、自動(dòng)化分散數(shù)據(jù)庫(kù)的整合集中化的災(zāi)備中心大集中SaaS應(yīng)用的數(shù)據(jù)庫(kù)支撐新一代IDC/ADC的數(shù)據(jù)庫(kù)提供與運(yùn)營(yíng)電信企業(yè)在云化架構(gòu)的數(shù)據(jù)庫(kù)平臺(tái)層的潛在現(xiàn)實(shí)需求云數(shù)據(jù)中心的需求總結(jié)業(yè)務(wù)目標(biāo)：降低

14、成本、提高效率、改善服務(wù)、拓展業(yè)務(wù)！提綱提綱1、云數(shù)據(jù)中心概念的提出2、云計(jì)算與數(shù)據(jù)中心的關(guān)系3、云數(shù)據(jù)中心的應(yīng)用場(chǎng)景4、云數(shù)據(jù)中心的數(shù)據(jù)管理云數(shù)據(jù)中心的技術(shù)要求云數(shù)據(jù)中心的技術(shù)要求24計(jì)算資源、存儲(chǔ)計(jì)算資源、存儲(chǔ)數(shù)據(jù)數(shù)據(jù)應(yīng)用應(yīng)用/服務(wù)服務(wù)云接入云接入數(shù)據(jù)仍然是云中心最重要的信息資產(chǎn)！ 海量分布式存儲(chǔ)和處理 高并發(fā)讀寫 高性能獲取 負(fù)載均衡 資源共享 在線擴(kuò)展遷移 足夠的安全 簡(jiǎn)單的管理 標(biāo)準(zhǔn)的訪問(wèn)接口云存儲(chǔ)+分布式云數(shù)據(jù)庫(kù)如何實(shí)現(xiàn)云數(shù)據(jù)中心如何實(shí)現(xiàn)云數(shù)據(jù)中心兩種兩種云云中的分布式數(shù)據(jù)庫(kù)中的分布式數(shù)據(jù)庫(kù)25基于key/value的鍵值非關(guān)系型并行數(shù)據(jù)庫(kù)云服務(wù)提供商：Google BigTabl

15、e,Amazon SimpleDB,MS SDS開(kāi)源/獨(dú)立：Hadoop Hbase, oldemort,Cassandra關(guān)系型數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)分布式解決方案OLTP&DW:Oracle,DB2,SQL server,SybaseDW:Teradata,Netezza,Greenplum開(kāi)源：Hadoop CloudBase兩種兩種云云中的分布式數(shù)據(jù)庫(kù)中的分布式數(shù)據(jù)庫(kù) Cont.Cont.26非關(guān)系型分布式數(shù)據(jù)庫(kù)針對(duì)某類特定需求而設(shè)計(jì)具有很強(qiáng)的彈性和擴(kuò)展能力規(guī)?；峁┹^強(qiáng)的分布式處理能力數(shù)據(jù)弱一致性設(shè)計(jì)較弱的結(jié)構(gòu)化查詢統(tǒng)計(jì)能力，一般存在較多限制非標(biāo)準(zhǔn)/部分標(biāo)準(zhǔn)的訪問(wèn)接口關(guān)系型分布式數(shù)

16、據(jù)庫(kù)通用性設(shè)計(jì)，但也帶來(lái)了性能的限制通過(guò)集群提供較強(qiáng)的橫向擴(kuò)展能力較強(qiáng)的分布式能力數(shù)據(jù)強(qiáng)一致性保障很強(qiáng)的結(jié)構(gòu)化查詢與復(fù)雜分析能力標(biāo)準(zhǔn)的數(shù)據(jù)訪問(wèn)接口很小的應(yīng)用領(lǐng)域，缺乏成熟的商業(yè)產(chǎn)品。產(chǎn)品成熟，但要在性能和伸縮性上進(jìn)一步增強(qiáng)VS更適合企業(yè)私有云數(shù)據(jù)中心的建設(shè)云數(shù)據(jù)中心可能的問(wèn)題云數(shù)據(jù)中心可能的問(wèn)題可用性可用性大規(guī)模集群環(huán)境下，單個(gè)/部分節(jié)點(diǎn)的故障容錯(cuò)性能瓶頸性能瓶頸隨著集群規(guī)模的擴(kuò)大，單節(jié)點(diǎn)環(huán)境下的性能瓶頸可能會(huì)被放大，如節(jié)點(diǎn)交互、IO擴(kuò)展性擴(kuò)展性隨著數(shù)據(jù)量和負(fù)載的增大，如何保證可擴(kuò)展性以滿足業(yè)務(wù)處理和分析對(duì)性能的要求數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)海量數(shù)據(jù)的在分布式環(huán)境下的存儲(chǔ)和高效訪問(wèn)，空間的需求和壓縮等2

17、7云環(huán)境下需要一個(gè)更加強(qiáng)大的分布式數(shù)據(jù)庫(kù)解決方案！Oracle云數(shù)據(jù)中心解決方案云數(shù)據(jù)中心解決方案Exadata完美解決超大型分布式數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)面臨的挑戰(zhàn)！28 Extreme Performance 為數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用帶來(lái)10-100倍的性能提升；OLTP應(yīng)用帶來(lái)20倍的性能提升； Linear Scalability 適應(yīng)海量數(shù)據(jù)迅速增長(zhǎng)的線性性能擴(kuò)展，消除瓶頸 Availability 預(yù)配置的軟硬件提供企業(yè)級(jí)的支撐能力，最大可用性、安全性、容災(zāi)等。 Distributed 基于網(wǎng)格的智能分布式存儲(chǔ)，解決海量數(shù)據(jù)的存儲(chǔ)和處理，保證強(qiáng)大的I/O吞吐能力。更低的總體擁有成本！更高的性能！資源

18、的分割與整合資源的分割與整合 Instance Caging Instance caging允許管理員限制每個(gè)例程使用的CPU資源 可以防止運(yùn)行在一個(gè)例程中的失控進(jìn)程影響到運(yùn)行在服務(wù)器上的其它例程 當(dāng)數(shù)據(jù)庫(kù)運(yùn)行時(shí)可以動(dòng)態(tài)調(diào)整. 參數(shù)cpu_count 支持分割方式和過(guò)度配置 與Resource Manager一起工作分布式智能處理分布式智能處理分布式處理，解決計(jì)算能力問(wèn)題分布式處理，解決計(jì)算能力問(wèn)題：每個(gè)服務(wù)器包括存儲(chǔ)、CPU及相應(yīng)的軟件, 處理SQL 及壓縮，恒定的計(jì)算能力與存儲(chǔ)的比值。橫向并發(fā)計(jì)算，解決帶寬和可靠性問(wèn)題橫向并發(fā)計(jì)算，解決帶寬和可靠性問(wèn)題：分布式處理單元橫向部署，ASM提供鏡

19、像保護(hù)，處理能力與數(shù)據(jù)量同比擴(kuò)展。廉價(jià)標(biāo)準(zhǔn)化，解決價(jià)格及更新問(wèn)題廉價(jià)標(biāo)準(zhǔn)化，解決價(jià)格及更新問(wèn)題：完全標(biāo)準(zhǔn)的PC服務(wù)器硬件，智能存儲(chǔ)單元數(shù)量不受限，極大降低成本，并隨著PC技術(shù)的發(fā)展而發(fā)展。Exadata CellInfiniBand Switch/Network集群數(shù)據(jù)庫(kù)或單實(shí)例數(shù)據(jù)庫(kù)Exadata CellExadata Cell分布式處理層集中處理層超高速、并發(fā)網(wǎng)絡(luò)層Exadata CellExadata CellExadata CellExadata Cell云中存儲(chǔ)云中存儲(chǔ)的的高可用性高可用性通過(guò)自動(dòng)存儲(chǔ)技術(shù)通過(guò)自動(dòng)存儲(chǔ)技術(shù)(ASM)避免磁盤或存儲(chǔ)節(jié)點(diǎn)的單點(diǎn)故障避免磁盤或存儲(chǔ)節(jié)點(diǎn)的單點(diǎn)

20、故障 自動(dòng)存儲(chǔ)管理保證數(shù)據(jù)的冗余和條帶化 保證數(shù)據(jù)的分布是均勻的 保證存儲(chǔ)的動(dòng)態(tài)添加和刪除 保證熱點(diǎn)數(shù)據(jù)獲得更好的性能Exadata CellExadata CellHotHotHotHotHotHotColdColdColdColdColdColdASMDisk GroupASMFailure GroupASMFailure Group案例介紹案例介紹 奧斯丁數(shù)據(jù)中心:超過(guò) 20,000 服務(wù)器全世界最大的 Dell/Linux 數(shù)據(jù)中心每星期增加100服務(wù)器超過(guò) 5,000 TB 數(shù)據(jù)全世界最大的 NetApp 數(shù)據(jù)中心每月增加 60TBs 數(shù)據(jù)支持超過(guò) 400 其他客戶的關(guān)鍵應(yīng)用為超過(guò)65000甲骨文員工服務(wù)超過(guò)7000平方米Oracle的應(yīng)用架構(gòu)整合的應(yīng)用架構(gòu)整合1998TodayBusiness as UsualGlobal Single Instance (GSI) 52 applica