基于云平臺(tái)的新型數(shù)據(jù)中心課件

1、戴艷 Principle Solution Architect Oracle China,構(gòu)建基于云平臺(tái)的 下一代數(shù)據(jù)中心,基于云平臺(tái)的新型數(shù)據(jù)中心,提綱,1、云數(shù)據(jù)中心概念的提出 2、云計(jì)算與數(shù)據(jù)中心的關(guān)系 3、云數(shù)據(jù)中心的應(yīng)用場(chǎng)景 4、云數(shù)據(jù)中心的數(shù)據(jù)管理,基于云平臺(tái)的新型數(shù)據(jù)中心,傳統(tǒng)的數(shù)據(jù)中心,煙囪式架構(gòu) 異構(gòu)的技術(shù) 多種操作系統(tǒng)平臺(tái) 支撐高峰時(shí)的容量 被動(dòng)的響應(yīng)式管理,龐大的應(yīng)用體系 靜態(tài)地部署 多種軟件組合 點(diǎn)對(duì)點(diǎn)集成 獨(dú)立的應(yīng)用數(shù)據(jù),Mainframe,DAS,Custom Application,Big server,DAS,ERP Application,Sales Appl

2、ication,Cluster,Database,Data Warehouse,NAS/SAN,NAS/SAN,Files,Database,Database,Small server,基于云平臺(tái)的新型數(shù)據(jù)中心,數(shù)據(jù)中心的利用率和效率不高,很少的一部分客戶開(kāi)始監(jiān)控?cái)?shù)據(jù)中心服務(wù)器的利用率，然而，非常少的客戶會(huì)注意數(shù)據(jù)中心的效率,* Sample size 45 data centers Source:Uptime Institute,Peak daily utilization (percent),基于云平臺(tái)的新型數(shù)據(jù)中心,下一代云數(shù)據(jù)中心概念的提出,整合的,基于云平臺(tái)的新型數(shù)據(jù)中心,整合架構(gòu)-

3、動(dòng)態(tài)負(fù)載管理,煙囪式架構(gòu)-低效的資源管理,整合的要求提升服務(wù)器的利用水平,5% - 10% (Gartner),60% - 70% (Oracle大學(xué)網(wǎng)格),基于云平臺(tái)的新型數(shù)據(jù)中心,敏捷的要求,敏捷地適應(yīng)應(yīng)用變化情況 根據(jù)負(fù)載隨需擴(kuò)展 高彈性，動(dòng)態(tài)伸縮，self service，配置更多的實(shí)例 在初始投資成本和獲得良好的效率之間作出平衡（減少Capex 和Opex） 實(shí)時(shí)地獲取業(yè)務(wù)變化，并以此作出響應(yīng),基于云平臺(tái)的新型數(shù)據(jù)中心,聯(lián)邦式云數(shù)據(jù)中心,Austin, TX,Colorado Springs, CO,Salt Lake City, UT,基于云平臺(tái)的新型數(shù)據(jù)中心,根據(jù)應(yīng)用要求進(jìn)行資源

4、分配,Austin, TX,Colorado Springs, CO,Salt Lake City, UT,基于云平臺(tái)的新型數(shù)據(jù)中心,高性能的要求,基于云平臺(tái)的新型數(shù)據(jù)中心,高性能的要求分布式處理能力,集中處理層,問(wèn)題：昨天的客戶發(fā)展量如何？,分布式處理層,匯總、合并結(jié)果,Select sum(sales) where Date=24-Sept ,多個(gè)服務(wù)器并行處理查詢請(qǐng)求,構(gòu)建并發(fā)Smart Scan請(qǐng)求,各服務(wù)器返回結(jié)果,基于云平臺(tái)的新型數(shù)據(jù)中心,數(shù)據(jù)復(fù)制 完全激活 故障切換到備點(diǎn),數(shù)據(jù)的備份和恢復(fù) 低成本高性能 數(shù)據(jù)保護(hù) & 歸檔,集群技術(shù)保證容錯(cuò)和 服務(wù)器水平擴(kuò)展,高可用性的要求,自動(dòng)

5、存儲(chǔ)管理保證容錯(cuò)和 存儲(chǔ)水平擴(kuò)展,保證業(yè)務(wù)不被中斷 - 每個(gè)都是可以水平擴(kuò)展的, 完全激活的, 以數(shù)據(jù)為中心的,要求達(dá)到最高可用性和最低的成本,在線升級(jí) 硬件和軟件,基于云平臺(tái)的新型數(shù)據(jù)中心,提綱,1、云數(shù)據(jù)中心概念的提出 2、云計(jì)算與數(shù)據(jù)中心的關(guān)系 3、云數(shù)據(jù)中心的應(yīng)用場(chǎng)景 4、云數(shù)據(jù)中心的數(shù)據(jù)管理,基于云平臺(tái)的新型數(shù)據(jù)中心,云計(jì)算模式能以按需方式，通過(guò)網(wǎng)絡(luò)，方便的訪問(wèn)云系統(tǒng)的可配置計(jì)算資源共享池(比如：網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用程序和服務(wù)) 。同時(shí)它以最少的管理開(kāi)銷及最少的與供應(yīng)商的交互，迅速配置提供或釋放資源。,* Source: NIST,云計(jì)算 NIST定義,基于云平臺(tái)的新型數(shù)據(jù)中心,

6、云計(jì)算的5個(gè)基本特征,基于云平臺(tái)的新型數(shù)據(jù)中心,為什么采用“云”,煙囪式的系統(tǒng)建設(shè)，IT成本居高不下（硬件/能耗/管理） 按峰值規(guī)模建設(shè)，資源平均利用率低 缺乏彈性的系統(tǒng)設(shè)計(jì)，應(yīng)對(duì)業(yè)務(wù)突發(fā)情況差 建設(shè)周期漫長(zhǎng)，無(wú)法快速提供與部署 業(yè)務(wù)需求的快速增長(zhǎng)，設(shè)備更替快，不利投資保護(hù),集中資源池的共享,虛擬化、分時(shí)/區(qū)共享,動(dòng)態(tài)調(diào)配、彈性伸縮,自動(dòng)化、自服務(wù),低成本、標(biāo)準(zhǔn)化硬件,云計(jì)算,云數(shù)據(jù)中心,技術(shù)標(biāo)準(zhǔn)化 能力服務(wù)化 提供快速化 資源彈性化 管理自動(dòng)化 管控集中化,傳統(tǒng)模式,基于云平臺(tái)的新型數(shù)據(jù)中心,提綱,1、云數(shù)據(jù)中心概念的提出 2、云計(jì)算與數(shù)據(jù)中心的關(guān)系 3、云數(shù)據(jù)中心的應(yīng)用場(chǎng)景 4、云數(shù)據(jù)中心

7、的數(shù)據(jù)管理,基于云平臺(tái)的新型數(shù)據(jù)中心,眾多分散的小數(shù)據(jù)庫(kù)需要整合，尤其是OSS域及MSS域，分散的數(shù)據(jù)庫(kù)帶來(lái)很多問(wèn)題： 分散的管理與運(yùn)維 DB的多版本 數(shù)據(jù)分散帶來(lái)的數(shù)據(jù)一致性問(wèn)題 系統(tǒng)擴(kuò)展能力的限制，即，缺乏彈性能力（突發(fā)性業(yè)務(wù)需求的支撐能力難以滿足） 數(shù)據(jù)安全問(wèn)題，無(wú)統(tǒng)一標(biāo)準(zhǔn)和流程 數(shù)據(jù)質(zhì)量問(wèn)題，無(wú)統(tǒng)一標(biāo)準(zhǔn)和流程 數(shù)據(jù)全生命周期管理缺失 維護(hù)人員分散利用率不高的問(wèn)題 分散數(shù)據(jù)庫(kù)帶來(lái)的License冗余問(wèn)題（集中的數(shù)據(jù)庫(kù)基于共享可以帶來(lái)License成本的降低） 分散帶來(lái)的數(shù)據(jù)分析與數(shù)據(jù)挖掘的困難 低信息密度的現(xiàn)狀導(dǎo)致的存儲(chǔ)空間的浪費(fèi)問(wèn)題（缺乏高性能壓縮能力） 整合符合綠色計(jì)算的發(fā)展趨勢(shì) 通

8、過(guò)標(biāo)準(zhǔn)化及自動(dòng)化管理的采用有效降低運(yùn)維成本 有效提升數(shù)據(jù)安全并降低數(shù)據(jù)分發(fā)的難度 滿足全企業(yè)內(nèi)集中的、標(biāo)準(zhǔn)化的數(shù)據(jù)管理要求 整合與共享可以帶來(lái)數(shù)據(jù)服務(wù)能力的持續(xù)可用 集中化、標(biāo)準(zhǔn)化是IT演進(jìn)大趨勢(shì)的要求,分散數(shù)據(jù)庫(kù)的整合,集中化的災(zāi)備中心,大集中SaaS應(yīng)用的數(shù)據(jù)庫(kù)支撐,新一代IDC/ADC的數(shù)據(jù)庫(kù)提供與運(yùn)營(yíng),電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求,分散數(shù)據(jù)庫(kù)的整合- 現(xiàn)狀及需求,1,基于云平臺(tái)的新型數(shù)據(jù)中心,目前的災(zāi)備中心多為基于現(xiàn)有應(yīng)用進(jìn)行一對(duì)一的匹配建設(shè)（Silo），硬件投資巨大 目前的災(zāi)備中心多為冷備中心（Active-Standby），日常災(zāi)備中心的資源只能空閑無(wú)法利用，資源的有效利用

9、率很低 需要建設(shè)雙活的災(zāi)備中心（Active-Active），有效提升資源利用率 需要基于資源共享（Share Pool）及動(dòng)態(tài)調(diào)整能力，有效節(jié)約硬件投資 異構(gòu)數(shù)據(jù)管理變?yōu)榻y(tǒng)一的同構(gòu)數(shù)據(jù)管理，提升可管理性 通過(guò)集中化的災(zāi)備中心建設(shè)，促進(jìn)IT系統(tǒng)的管控集中化、技術(shù)標(biāo)準(zhǔn)化的演進(jìn),分散數(shù)據(jù)庫(kù)的整合,集中化的災(zāi)備中心,大集中SaaS應(yīng)用的數(shù)據(jù)庫(kù)支撐,新一代IDC/ADC的數(shù)據(jù)庫(kù)提供與運(yùn)營(yíng),電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求,集中化的災(zāi)備中心- 現(xiàn)狀及需求,3,基于云平臺(tái)的新型數(shù)據(jù)中心,伴隨電信市場(chǎng)競(jìng)爭(zhēng)的加劇，電信企業(yè)的產(chǎn)品的同質(zhì)化及全網(wǎng)一體化趨勢(shì)越發(fā)明顯，這使得電信企業(yè)的業(yè)務(wù)標(biāo)準(zhǔn)化程度越來(lái)越高；這些

10、趨勢(shì)直接導(dǎo)致了全網(wǎng)大集中的SaaS應(yīng)用需求的產(chǎn)生 SaaS應(yīng)用基于統(tǒng)一的業(yè)務(wù)流程、數(shù)據(jù)模型、客戶體驗(yàn)等為全網(wǎng)的所有使用者提供IT應(yīng)用能力，帶來(lái)更高要求的數(shù)據(jù)庫(kù)服務(wù)提供能力需求： 滿足大集中的高性能需求（數(shù)億用戶的OLTP） 滿足大集中帶來(lái)的PB級(jí)海量數(shù)據(jù)管理能力 滿足大集中帶來(lái)的高可用性要求 滿足數(shù)據(jù)的生命周期管理能力 滿足業(yè)務(wù)增長(zhǎng)帶來(lái)的動(dòng)態(tài)擴(kuò)展性需求 滿足SaaS應(yīng)用需要的數(shù)據(jù)一致性保障能力 滿足SaaS應(yīng)用需要的關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)管理與數(shù)據(jù)提供能力要求 全國(guó)大集中的SaaS應(yīng)用對(duì)高性能、高可用性、數(shù)據(jù)嚴(yán)格一致性等方面的數(shù)據(jù)庫(kù)需求，在BSS領(lǐng)域核心支撐系統(tǒng)的全國(guó)大集中項(xiàng)目中顯得尤為突出,分散

11、數(shù)據(jù)庫(kù)的整合,集中化的災(zāi)備中心,大集中SaaS應(yīng)用的數(shù)據(jù)庫(kù)支撐,新一代IDC/ADC的數(shù)據(jù)庫(kù)提供與運(yùn)營(yíng),電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求,大集中SaaS應(yīng)用的數(shù)據(jù)庫(kù)支撐- 現(xiàn)狀及需求,3,基于云平臺(tái)的新型數(shù)據(jù)中心,適合大型企業(yè)的大型關(guān)系型數(shù)據(jù)庫(kù)的提供或托管 高性能 海量數(shù)據(jù)的可管理性 數(shù)據(jù)生命周期管理 擴(kuò)展性 服務(wù)使用的度量 數(shù)據(jù)安全 適合中小企業(yè)的小型關(guān)系型數(shù)據(jù)庫(kù)的提供或托管 DB Instance的快速自服務(wù)創(chuàng)建與釋放 計(jì)算能力及存儲(chǔ)容量的彈性能力 自動(dòng)化管理能力 服務(wù)使用的度量 數(shù)據(jù)安全,分散數(shù)據(jù)庫(kù)的整合,集中化的災(zāi)備中心,大集中SaaS應(yīng)用的數(shù)據(jù)庫(kù)支撐,新一代IDC/ADC的數(shù)據(jù)庫(kù)

12、提供與運(yùn)營(yíng),電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求,新一代IDC/ADC的數(shù)據(jù)庫(kù)提供與運(yùn)營(yíng) - 現(xiàn)狀及需求,4,基于云平臺(tái)的新型數(shù)據(jù)中心,眾多分散的小數(shù)據(jù)庫(kù)的整合，尤其是OSS域及MSS域 基于整合平臺(tái)提升數(shù)據(jù)生命周期管理能力及數(shù)據(jù)質(zhì)量 通過(guò)標(biāo)準(zhǔn)化及自動(dòng)化管理的采用有效降低運(yùn)維成本 有效提升數(shù)據(jù)安全并降低數(shù)據(jù)分發(fā)的難度 全企業(yè)內(nèi)集中的、標(biāo)準(zhǔn)化的數(shù)據(jù)管理要求,建設(shè)雙活的災(zāi)備中心，有效提升資源利用率 基于資源共享及動(dòng)態(tài)調(diào)整能力，有效節(jié)約硬件投資 通過(guò)集中化的災(zāi)備中心建設(shè)，促進(jìn)IT系統(tǒng)的管控集中化、技術(shù)標(biāo)準(zhǔn)化的演進(jìn),全國(guó)大集中的SaaS應(yīng)用帶來(lái)高性能數(shù)據(jù)庫(kù)集群的需求，尤其是BSS領(lǐng)域核心支撐系統(tǒng)全國(guó)大

13、集中的OLTP需求 海量數(shù)據(jù)管理能力及動(dòng)態(tài)擴(kuò)展能力 SaaS應(yīng)用所需的數(shù)據(jù)一致性保障及關(guān)系數(shù)據(jù)管理能力,適合大型企業(yè)的大型關(guān)系型數(shù)據(jù)庫(kù)的提供或托管 高性能、海量數(shù)據(jù)管理、擴(kuò)展性 適合中小企業(yè)的小型關(guān)系型數(shù)據(jù)庫(kù)的提供或托管 DB實(shí)例的快速提供、彈性能力、自動(dòng)化,分散數(shù)據(jù)庫(kù)的整合,集中化的災(zāi)備中心,大集中SaaS應(yīng)用的數(shù)據(jù)庫(kù)支撐,新一代IDC/ADC的數(shù)據(jù)庫(kù)提供與運(yùn)營(yíng),電信企業(yè)在云化架構(gòu)的數(shù)據(jù)庫(kù)平臺(tái)層的潛在現(xiàn)實(shí)需求,云數(shù)據(jù)中心的需求總結(jié),業(yè)務(wù)目標(biāo)：降低成本、提高效率、改善服務(wù)、拓展業(yè)務(wù)！,基于云平臺(tái)的新型數(shù)據(jù)中心,提綱,1、云數(shù)據(jù)中心概念的提出 2、云計(jì)算與數(shù)據(jù)中心的關(guān)系 3、云數(shù)據(jù)中心的應(yīng)用場(chǎng)景

14、 4、云數(shù)據(jù)中心的數(shù)據(jù)管理,基于云平臺(tái)的新型數(shù)據(jù)中心,云數(shù)據(jù)中心的技術(shù)要求,數(shù)據(jù)仍然是云中心最重要的信息資產(chǎn)！,海量分布式存儲(chǔ)和處理 高并發(fā)讀寫(xiě) 高性能獲取 負(fù)載均衡 資源共享 在線擴(kuò)展遷移 足夠的安全 簡(jiǎn)單的管理 標(biāo)準(zhǔn)的訪問(wèn)接口,云存儲(chǔ)+分布式云數(shù)據(jù)庫(kù),基于云平臺(tái)的新型數(shù)據(jù)中心,如何實(shí)現(xiàn)云數(shù)據(jù)中心兩種云中的分布式數(shù)據(jù)庫(kù),基于key/value的鍵值非關(guān)系型并行數(shù)據(jù)庫(kù) 云服務(wù)提供商：Google BigTable,Amazon SimpleDB,MS SDS 開(kāi)源/獨(dú)立：Hadoop Hbase, oldemort,Cassandra,關(guān)系型數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)分布式解決方案 OLTP&DW:Or

15、acle,DB2,SQL server,Sybase DW:Teradata,Netezza,Greenplum 開(kāi)源：Hadoop CloudBase,?,基于云平臺(tái)的新型數(shù)據(jù)中心,兩種云中的分布式數(shù)據(jù)庫(kù) Cont.,很小的應(yīng)用領(lǐng)域，缺乏成熟的商業(yè)產(chǎn)品。,產(chǎn)品成熟，但要在性能和伸縮性上進(jìn)一步增強(qiáng),VS,更適合企業(yè)私有云數(shù)據(jù)中心的建設(shè),基于云平臺(tái)的新型數(shù)據(jù)中心,云數(shù)據(jù)中心可能的問(wèn)題,云環(huán)境下需要一個(gè)更加強(qiáng)大的分布式數(shù)據(jù)庫(kù)解決方案！,基于云平臺(tái)的新型數(shù)據(jù)中心,Oracle云數(shù)據(jù)中心解決方案Exadata,完美解決超大型分布式數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)面臨的挑戰(zhàn)！,Extreme Performance 為

16、數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用帶來(lái)10-100倍的性能提升；OLTP應(yīng)用帶來(lái)20倍的性能提升； Linear Scalability 適應(yīng)海量數(shù)據(jù)迅速增長(zhǎng)的線性性能擴(kuò)展，消除瓶頸 Availability 預(yù)配置的軟硬件提供企業(yè)級(jí)的支撐能力，最大可用性、安全性、容災(zāi)等。 Distributed 基于網(wǎng)格的智能分布式存儲(chǔ)，解決海量數(shù)據(jù)的存儲(chǔ)和處理，保證強(qiáng)大的I/O吞吐能力。,更低的總體擁有成本！更高的性能！,基于云平臺(tái)的新型數(shù)據(jù)中心,資源的分割與整合 Instance Caging,Instance caging允許管理員限制每個(gè)例程使用的CPU資源 可以防止運(yùn)行在一個(gè)例程中的失控進(jìn)程影響到運(yùn)行在服務(wù)器上的其它例

17、程 當(dāng)數(shù)據(jù)庫(kù)運(yùn)行時(shí)可以動(dòng)態(tài)調(diào)整. 參數(shù)cpu_count 支持分割方式和過(guò)度配置 與Resource Manager一起工作,基于云平臺(tái)的新型數(shù)據(jù)中心 30 ,分布式智能處理,分布式處理，解決計(jì)算能力問(wèn)題：每個(gè)服務(wù)器包括存儲(chǔ)、CPU及相應(yīng)的軟件, 處理SQL 及壓縮，恒定的計(jì)算能力與存儲(chǔ)的比值。 橫向并發(fā)計(jì)算，解決帶寬和可靠性問(wèn)題：分布式處理單元橫向部署，ASM提供鏡像保護(hù)，處理能力與數(shù)據(jù)量同比擴(kuò)展。 廉價(jià)標(biāo)準(zhǔn)化，解決價(jià)格及更新問(wèn)題：完全標(biāo)準(zhǔn)的PC服務(wù)器硬件，智能存儲(chǔ)單元數(shù)量不受限，極大降低成本，并隨著PC技術(shù)的發(fā)展而發(fā)展。,InfiniBand Switch/Network,集群數(shù)據(jù)庫(kù)或單實(shí)

18、例數(shù)據(jù)庫(kù),Exadata Cell,分布式處理層,集中處理層,超高速、并發(fā)網(wǎng)絡(luò)層,基于云平臺(tái)的新型數(shù)據(jù)中心 31 ,云中存儲(chǔ)的高可用性通過(guò)自動(dòng)存儲(chǔ)技術(shù)(ASM)避免磁盤(pán)或存儲(chǔ)節(jié)點(diǎn)的單點(diǎn)故障,自動(dòng)存儲(chǔ)管理保證數(shù)據(jù)的冗余和條帶化 保證數(shù)據(jù)的分布是均勻的 保證存儲(chǔ)的動(dòng)態(tài)添加和刪除 保證熱點(diǎn)數(shù)據(jù)獲得更好的性能,Exadata Cell,Exadata Cell,ASM Disk Group,基于云平臺(tái)的新型數(shù)據(jù)中心,案例介紹,基于云平臺(tái)的新型數(shù)據(jù)中心,Oracle奧斯丁數(shù)據(jù)中心,奧斯丁數(shù)據(jù)中心: 超過(guò) 20,000 服務(wù)器 全世界最大的 Dell/Linux 數(shù)據(jù)中心 每星期增加100服務(wù)器 超過(guò) 5,000 TB 數(shù)據(jù) 全世界最大的 NetApp 數(shù)據(jù)中心 每月增加 60TBs 數(shù)據(jù) 支持超過(guò) 400 其他客戶的關(guān)鍵應(yīng)用 為超過(guò)65000甲骨文員工服務(wù) 超過(guò)7000平方米,基于云平臺(tái)的新型數(shù)據(jù)中心,Oracle的應(yīng)用架構(gòu)整合,基于云平臺(tái)的新型數(shù)據(jù)中心,結(jié)果: 持續(xù)發(fā)展和收益增長(zhǎng),Note: All figures after FY2004 are provided on a non-GAAP basis.GAAP to non-GAAP reconciliation