下一代數(shù)據(jù)中心解決方案-Oracle

戴艷 Principle Solution Architect Oracle China 構(gòu)建基于云平臺的 下一代數(shù)據(jù)中心 提綱 1、 云數(shù)據(jù)中心 概念的提出 2、云計算與 數(shù)據(jù)中心 的關(guān)系 3、 云數(shù)據(jù)中心 的應(yīng)用場景 4、 云數(shù)據(jù)中心 的數(shù)據(jù)管理 傳統(tǒng)的數(shù)據(jù)中心 煙囪式架構(gòu) 異構(gòu)的技術(shù) 多種操作系統(tǒng)平臺 支撐高峰時的容量 被動的響應(yīng)式管理 龐大的應(yīng)用體系 靜態(tài)地部署 多種軟件組合 點對點集成 獨立的應(yīng)用數(shù)據(jù) Mainframe DAS Custom Application Big server DAS ERP Application Sales Application Cluster Database Data Warehouse NAS/SAN ORB NAS/SAN Files Database Database Small server 數(shù)據(jù)中心的利用率和效率不高 很少的一部分客戶開始監(jiān)控數(shù)據(jù)中心服務(wù)器的利用率，然而，非常少的客戶會注意數(shù)據(jù)中心的效率 Server utilization remains very low. . . Average daily utilization (percent) 0 10 20 30 40 50 60 70 80 90 100 0 10 20 30 40 50 90 100 Up to 30% servers are dead * Sample size 45 data centers Source: Uptime Institute Peak daily utilization (percent) 下一代云數(shù)據(jù)中心概念的提出 整合的 敏捷的 高性能 高可用性 整合架構(gòu) -動態(tài)負載管理 煙囪式架構(gòu) -低效的資源管理 整合的要求 提升服務(wù)器的利用水平 5% - 10% (Gartner) 60% - 70% (Oracle大學(xué)網(wǎng)格 ) 敏捷的要求 敏捷地適應(yīng)應(yīng)用變化情況 根據(jù)負載隨需擴展 高彈性，動態(tài)伸縮， self service，配置更多的實例 在初始投資成本和獲得良好的效率之間作出平衡（減少 Capex 和 Opex） 實時地獲取業(yè)務(wù)變化，并以此作出響應(yīng) Applications A, B, C, D, E Net Workload If utilization too high, increase capacity Shared Instance Server A Server B Server C Server D Scale-out on-demand 聯(lián)邦式云數(shù)據(jù)中心 Austin, TX Colorado Springs, CO Salt Lake City, UT 根據(jù)應(yīng)用要求進行資源分配 Austin, TX Colorado Springs, CO Salt Lake City, UT 高性能的要求 全球最大數(shù)據(jù)倉庫容量其大小每兩年增長三倍 1998 1 TB； 2001 10 TB； 2003 30 TB； 2005 100 TB； 2007 300TB； 2009 900 TB； 2011 2.7 PB 高性能的要求 分布式處理能力 集中處理層 問題：昨天的客戶發(fā)展量如何？ 分布式處理層 匯總、合并結(jié)果 Select sum(sales) where Date=24-Sept 多個服務(wù)器并行處理查詢請求 構(gòu)建并發(fā)Smart Scan請求 各服務(wù)器返回結(jié)果 Storage 數(shù)據(jù)復(fù)制 完全激活 故障切換到備點 數(shù)據(jù)的備份和恢復(fù) 低成本高性能 數(shù)據(jù)保護 & 歸檔 集群技術(shù)保證容錯和 服務(wù)器水平擴展 Database Database Storage 高可用性的要求 自動存儲管理保證容錯和 存儲水平擴展 保證業(yè)務(wù)不被中斷 - 每個都是可以水平擴展的 , 完全激活的 , 以數(shù)據(jù)為中心的 要求達到最高可用性和最低的成本 在線升級 硬件和軟件 提綱 1、 云數(shù)據(jù)中心 概念的提出 2、云計算與 數(shù)據(jù)中心 的關(guān)系 3、 云數(shù)據(jù)中心 的應(yīng)用場景 4、 云數(shù)據(jù)中心 的數(shù)據(jù)管理 云計算模式能 以按需方式 ， 通過網(wǎng)絡(luò) ， 方便的訪問 云系統(tǒng)的 可配置計算資源共享池 (比如：網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用程序和服務(wù) ) 。同時它以 最少的管理開銷 及 最少的與供應(yīng)商的交互 ，迅速配置提供或釋放資源 。 * Source: NIST 云計算 NIST定義 云計算 基本特征 普遍網(wǎng) 絡(luò)訪問 共享的 資源池 多 DB 快速彈 性能力 可度量 的服務(wù) 按需的 自服務(wù) 云計算的 5個基本特征 為什么采用“云” 煙囪式的系統(tǒng)建設(shè)， IT成本居高不下（硬件 /能耗 /管理） 按峰值規(guī)模建設(shè)，資源平均利用率低 缺乏彈性的系統(tǒng)設(shè)計，應(yīng)對業(yè)務(wù)突發(fā)情況差 建設(shè)周期漫長，無法快速提供與部署 業(yè)務(wù)需求的快速增長，設(shè)備更替快，不利投資保護 集中資源池的共享 虛擬化、分時 /區(qū)共享 動態(tài)調(diào)配、彈性伸縮 自動化、自服務(wù) 低成本、標(biāo)準(zhǔn)化硬件 云計算 云數(shù)據(jù)中心 技術(shù)標(biāo)準(zhǔn)化 能力服務(wù)化 提供快速化 資源彈性化 管理自動化 管控集中化 傳統(tǒng)模式 提綱 1、 云數(shù)據(jù)中心 概念的提出 2、云計算與 數(shù)據(jù)中心 的關(guān)系 3、 云數(shù)據(jù)中心 的應(yīng)用場景 4、 云數(shù)據(jù)中心 的數(shù)據(jù)管理 眾多分散的小數(shù)據(jù)庫需要整合，尤其是 OSS域及 MSS域，分散的數(shù)據(jù)庫帶來很多問題： 分散的管理與運維 DB的多版本 數(shù)據(jù)分散帶來的數(shù)據(jù)一致性問題 系統(tǒng)擴展能力的限制，即，缺乏彈性能力（突發(fā)性業(yè)務(wù)需求的支撐能力難以滿足） 數(shù)據(jù)安全問題，無統(tǒng)一標(biāo)準(zhǔn)和流程 數(shù)據(jù)質(zhì)量問題，無統(tǒng)一標(biāo)準(zhǔn)和流程 數(shù)據(jù)全生命周期管理缺失 維護人員分散利用率不高的問題 分散數(shù)據(jù)庫帶來的 License冗余問題（集中的數(shù)據(jù)庫基于共享可以帶來 License成本的降低） 分散帶來的數(shù)據(jù)分析與數(shù)據(jù)挖掘的困難 11 低信息密度的現(xiàn)狀導(dǎo)致的存儲空間的浪費問題（缺乏高性能壓縮能力） 整合符合綠色計算的發(fā)展趨勢 通過標(biāo)準(zhǔn)化及自動化管理的采用有效降低運維成本 有效提升數(shù)據(jù)安全并降低數(shù)據(jù)分發(fā)的難度 滿足全企業(yè)內(nèi)集中的、標(biāo)準(zhǔn)化的數(shù)據(jù)管理要求 整合與共享可以帶來數(shù)據(jù)服務(wù)能力的持續(xù)可用 集中化、標(biāo)準(zhǔn)化是 IT演進大趨勢的要求 分散數(shù)據(jù)庫的整合 集中化的災(zāi)備中心 大集中 SaaS應(yīng)用的數(shù)據(jù)庫支撐 新一代 IDC/ADC的數(shù)據(jù)庫提供與運營 電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實需求 分散數(shù)據(jù)庫的整合 - 現(xiàn)狀及需求 1 目前的災(zāi)備中心多為基于現(xiàn)有應(yīng)用進行一對一的匹配建設(shè)（ Silo），硬件投資巨大 目前的災(zāi)備中心多為冷備中心（ Active-Standby），日常災(zāi)備中心的資源只能空閑無法利用，資源的有效利用率很低 需要建設(shè)雙活的災(zāi)備中心（ Active-Active），有效提升資源利用率 需要基于資源共享（ Share Pool）及動態(tài)調(diào)整能力，有效節(jié)約硬件投資 異構(gòu)數(shù)據(jù)管理變?yōu)榻y(tǒng)一的同構(gòu)數(shù)據(jù)管理，提升可管理性 通過集中化的災(zāi)備中心建設(shè)，促進 IT系統(tǒng)的管控集中化、技術(shù)標(biāo)準(zhǔn)化的演進 分散數(shù)據(jù)庫的整合 集中化的災(zāi)備中心 大集中 SaaS應(yīng)用的數(shù)據(jù)庫支撐 新一代 IDC/ADC的數(shù)據(jù)庫提供與運營 電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實需求 集中化的災(zāi)備中心 - 現(xiàn)狀及需求 3 伴隨電信市場競爭的加劇，電信企業(yè)的產(chǎn)品的同質(zhì)化及全網(wǎng)一體化趨勢越發(fā)明顯，這使得電信企業(yè)的業(yè)務(wù)標(biāo)準(zhǔn)化程度越來越高；這些趨勢直接導(dǎo)致了全網(wǎng)大集中的SaaS應(yīng)用需求的產(chǎn)生 SaaS應(yīng)用基于統(tǒng)一的業(yè)務(wù)流程、數(shù)據(jù)模型、客戶體驗等為全網(wǎng)的所有使用者提供 IT應(yīng)用能力，帶來更高要求的數(shù)據(jù)庫服務(wù)提供能力需求： 滿足大集中的高性能需求（數(shù)億用戶的 OLTP） 滿足大集中帶來的 PB級海量數(shù)據(jù)管理能力 滿足大集中帶來的高可用性要求 滿足數(shù)據(jù)的生命周期管理能力 滿足業(yè)務(wù)增長帶來的動態(tài)擴展性需求 滿足 SaaS應(yīng)用需要的數(shù)據(jù)一致性保障能力 滿足 SaaS應(yīng)用需要的關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)管理與數(shù)據(jù)提供能力要求 全國大集中的 SaaS應(yīng)用對高性能、高可用性、數(shù)據(jù)嚴格一致性等方面的數(shù)據(jù)庫需求，在 BSS領(lǐng)域核心支撐系統(tǒng)的全國大集中項目中顯得尤為突出 分散數(shù)據(jù)庫的整合 集中化的災(zāi)備中心 大集中 SaaS應(yīng)用的數(shù)據(jù)庫支撐 新一代 IDC/ADC的數(shù)據(jù)庫提供與運營 電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實需求 大集中 SaaS應(yīng)用的數(shù)據(jù)庫支撐- 現(xiàn)狀及需求 3 適合大型企業(yè)的大型關(guān)系型數(shù)據(jù)庫的提供或托管 高性能 海量數(shù)據(jù)的可管理性 數(shù)據(jù)生命周期管理 擴展性 服務(wù)使用的度量 數(shù)據(jù)安全 適合中小企業(yè)的小型關(guān)系型數(shù)據(jù)庫的提供或托管 DB Instance的快速自服務(wù)創(chuàng)建與釋放 計算能力及存儲容量的彈性能力 自動化管理能力 服務(wù)使用的度量 數(shù)據(jù)安全 分散數(shù)據(jù)庫的整合 集中化的災(zāi)備中心 大集中 SaaS應(yīng)用的數(shù)據(jù)庫支撐 新一代 IDC/ADC的數(shù)據(jù)庫提供與運營 電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實需求 新一代 IDC/ADC的數(shù)據(jù)庫提供與運營 - 現(xiàn)狀及需求 4 眾多分散的小數(shù)據(jù)庫的整合，尤其是 OSS域及 MSS域 基于整合平臺提升數(shù)據(jù)生命周期管理能力及數(shù)據(jù)質(zhì)量 通過標(biāo)準(zhǔn)化及自動化管理的采用有效降低運維成本 有效提升數(shù)據(jù)安全并降低數(shù)據(jù)分發(fā)的難度 全企業(yè)內(nèi)集中的、標(biāo)準(zhǔn)化的數(shù)據(jù)管理要求 建設(shè)雙活的災(zāi)備中心，有效提升資源利用率 基于資源共享及動態(tài)調(diào)整能力，有效節(jié)約硬件投資 通過集中化的災(zāi)備中心建設(shè)，促進 IT系統(tǒng)的管控集中化、技術(shù)標(biāo)準(zhǔn)化的演進 全國大集中的 SaaS應(yīng)用帶來高性能數(shù)據(jù)庫集群的需求，尤其是 BSS領(lǐng)域核心支撐系統(tǒng)全國大集中的 OLTP需求 海量數(shù)據(jù)管理能力及動態(tài)擴展能力 SaaS應(yīng)用所需的數(shù)據(jù)一致性保障及關(guān)系數(shù)據(jù)管理能力 適合大型企業(yè)的大型關(guān)系型數(shù)據(jù)庫的提供或托管 高性能、海量數(shù)據(jù)管理、擴展性 適合中小企業(yè)的小型關(guān)系型數(shù)據(jù)庫的提供或托管 DB實例的快速提供、彈性能力、自動化 分散數(shù)據(jù)庫的整合 集中化的災(zāi)備中心 大集中 SaaS應(yīng)用的數(shù)據(jù)庫支撐 新一代 IDC/ADC的數(shù)據(jù)庫提供與運營 電信企業(yè)在云化架構(gòu)的數(shù)據(jù)庫平臺層的潛在現(xiàn)實需求 云數(shù)據(jù)中心的需求總結(jié) 業(yè)務(wù)目標(biāo)： 降低成本、提高效率、改善服務(wù)、拓展業(yè)務(wù)！ 提綱 1、 云數(shù)據(jù)中心 概念的提出 2、云計算與 數(shù)據(jù)中心 的關(guān)系 3、 云數(shù)據(jù)中心 的應(yīng)用場景 4、 云數(shù)據(jù)中心 的數(shù)據(jù)管理 云數(shù)據(jù)中心的技術(shù)要求 24 計算資源、存儲 數(shù)據(jù) 應(yīng)用 /服務(wù) 云接入 數(shù)據(jù)仍然是云中心最重要的信息資產(chǎn)！ 海量分布式存儲和處理 高并發(fā)讀寫 高性能獲取 負載均衡 資源共享 在線擴展遷移 足夠的安全 簡單的管理 標(biāo)準(zhǔn)的訪問接口 如何實現(xiàn)云數(shù)據(jù)中心 兩種云中的分布式數(shù)據(jù)庫 25 集 群 調(diào) 度分 布 式 文 件 系 統(tǒng)G F S分 布 式 鎖 服 務(wù)主 服 務(wù) 器 客 戶 端支 撐 層B i g t a b l e客 戶 端（ l i b r a r y ）服 務(wù) 層用 戶 層元 數(shù)據(jù) 表子 表 服 務(wù) 器子表子表子表子 表 服 務(wù) 器子表子表子 表 服 務(wù) 器子表子表子表存 儲 存 儲 存 儲存 儲高 速 網(wǎng) 絡(luò) 互 聯(lián)N + 1 集 群存 儲 層管 理 控 制 層存 儲S A N基于 key/value的鍵值非關(guān)系型并行數(shù)據(jù)庫 云服務(wù)提供商： Google BigTable,Amazon SimpleDB,MS SDS 開源 /獨立： Hadoop Hbase, oldemort,Cassandra 關(guān)系型數(shù)據(jù)庫 /數(shù)據(jù)倉庫分布式解決方案 OLTP&DW:Oracle,DB2,SQL server,Sybase DW:Teradata,Netezza,Greenplum 開源： Hadoop CloudBase 兩種云中的分布式數(shù)據(jù)庫 Cont. 26 非關(guān)系型分布式數(shù)據(jù)庫 針對某類特定需求而設(shè)計 具有 很強的彈性和擴展能力 規(guī)?；峁?較強的分布式處理能力 數(shù)據(jù)弱一致性設(shè)計 較弱的結(jié)構(gòu)化查詢統(tǒng)計能力，一般存在較多限制 非標(biāo)準(zhǔn) /部分標(biāo)準(zhǔn)的訪問接口 關(guān)系型分布式數(shù)據(jù)庫 通用性設(shè)計 ，但也帶來了 性能的限制 通過集群提供較強的橫向擴展能力 較強的分布式能力 數(shù)據(jù)強一致性保障 很強的結(jié)構(gòu)化查詢與復(fù)雜分析能力 標(biāo)準(zhǔn)的數(shù)據(jù)訪問接口 很小的應(yīng)用領(lǐng)域，缺乏成熟的商業(yè)產(chǎn)品。 產(chǎn)品成熟，但要在性能和伸縮性上進一步增強 VS 云數(shù)據(jù)中心可能的問題 可用性 大規(guī)模集群環(huán)境下，單個 /部分節(jié)點的 故障容錯 性能瓶頸 隨著集群規(guī)模的擴大，單節(jié)點環(huán)境下的 性能瓶頸可能會被放大，如 節(jié)點交互 、 IO 擴展性 隨著數(shù)據(jù)量和負載的增大，如何保證可 擴展性 以滿足業(yè)務(wù)處理和分析對性能的要求 數(shù)據(jù)存儲 海量數(shù)據(jù)的在 分布式環(huán)境 下的存儲和高效訪問，空間的需求和壓縮等 27 云環(huán)境下需要一個更加強大的分布式數(shù)據(jù)庫解決方案！ Oracle云數(shù)據(jù)中心解決方案 Exadata 完美解決 超大型分布式數(shù)據(jù)庫 /數(shù)據(jù)倉庫 面臨的挑戰(zhàn)！ 28 Extreme Performance 為數(shù)據(jù)倉庫應(yīng)用帶來 10-100倍的性能提升； OLTP應(yīng)用帶來 20倍的性能提升； Linear Scalability 適應(yīng)海量數(shù)據(jù)迅速增長的線性性能擴展，消除瓶頸 Availability 預(yù)配置的軟硬件提供企業(yè)級的支撐能力，最大可用性、安全性、容災(zāi)等 。 Distributed 基于網(wǎng)格的智能分布式存儲，解決海量數(shù)據(jù)的存儲和處理，保證強大的 I/O吞吐能力。 資源的分割與整合 Instance Caging Instance caging允許管理員限制每個例程使用的 CPU資源 可以防止運行在一個例程中的失控進程影響到運行在服務(wù)器上的其它例程 當(dāng)數(shù)據(jù)庫運行時可以動態(tài)調(diào)整 . 參數(shù) cpu_count 支持分割方式和過度配置 與 Resource Manager一起工作 分布式智能處理 分布式處理，解決計算能力問題 ：每個服務(wù)器包括存儲、 CPU及相應(yīng)的軟件 , 處理 SQL 及壓縮，恒定的計算能力與存儲的比值。 橫向并發(fā)計算，解決帶寬和可靠性問題 ：分布式處理單元橫向部署， ASM提供鏡像保護，處理能力與數(shù)據(jù)量同比擴展。 廉價標(biāo)準(zhǔn)化，解決價格及更新問題 ：完全標(biāo)準(zhǔn)的 PC服務(wù)器硬件，智能存儲單元數(shù)量不受限，極大降低成本，并隨著 PC技術(shù)的發(fā)展而發(fā)展。 Exadata Cell InfiniBand Switch/Network 集群數(shù)據(jù)庫或單實例數(shù)據(jù)庫 Exadata Cell Exadata Cell 分布式處理層 集中處理層 超高速、并發(fā)網(wǎng)絡(luò)層 Exadata Cell Exadata Cell Exadata Cell Exadata Cell 云中存儲 的 高可用性 通過自動存儲技術(shù) (ASM)避免磁盤或存儲節(jié)點的單點故障 自動存儲管理保證數(shù)據(jù)的冗余和條帶化 保證數(shù)據(jù)的分布是均勻的 保證存儲的動態(tài)添加和刪除 保證熱點數(shù)據(jù)獲得更好的性能 Exadata Cell Exadata Cell Hot Hot Hot Hot Hot Hot Cold Cold Cold Cold Cold Cold ASM Disk Group ASM Failure Group ASM Failure Group 案例介紹 Oracle奧斯丁數(shù)據(jù)中心 奧斯丁數(shù)據(jù)中心 : 超過 20,000 服務(wù)器 全世界最大的 Dell/Linux 數(shù)據(jù)中心 每星期增加 100服務(wù)器 超過 5,000 TB 數(shù)據(jù) 全世界最大的 NetApp 數(shù)據(jù)中心 每月增加 60TBs 數(shù)據(jù) 支持超過 400 其他客戶的關(guān)鍵應(yīng)用 為超過 65000甲骨文員工服務(wù) 超過 7000平方米 Oracle的應(yīng)用架構(gòu)整合 1998 Today Business as Usual Global Single Instance (GSI) 52 application instances 1 application instan