數(shù)據(jù)庫技術(shù)發(fā)展與演進

1、 數(shù)據(jù)庫技術(shù)原理與數(shù)據(jù)庫技術(shù)原理與Oracle發(fā)展歷程發(fā)展歷程 電信企業(yè)在數(shù)據(jù)管理面臨的主要問題與應(yīng)對電信企業(yè)在數(shù)據(jù)管理面臨的主要問題與應(yīng)對 當前業(yè)界主流數(shù)據(jù)庫的體系架構(gòu)當前業(yè)界主流數(shù)據(jù)庫的體系架構(gòu) 數(shù)據(jù)庫技術(shù)發(fā)展趨勢和方向數(shù)據(jù)庫技術(shù)發(fā)展趨勢和方向 數(shù)據(jù)庫規(guī)劃和安裝部署數(shù)據(jù)庫規(guī)劃和安裝部署數(shù)據(jù)存儲的不同組織方法數(shù)據(jù)存儲的不同組織方法電子表格電子表格文件柜文件柜數(shù)據(jù)庫數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫的數(shù)據(jù)交互和訪問關(guān)系數(shù)據(jù)庫的數(shù)據(jù)交互和訪問SQL statement is entered.Statement is sent to Oracle server.OracleserverSELECT departme

2、nt_name FROM departments;ACID模型：關(guān)系型（模型：關(guān)系型（SQL）數(shù)據(jù)庫的理論基礎(chǔ)）數(shù)據(jù)庫的理論基礎(chǔ)ACID是Atomicity（原子性）, Consistency（一致性）, Isolation（隔離性）, and Durability（持久性）的縮寫。 Atomicity（原子性）：事務(wù)的原子性是指事務(wù)中包含的所有操作要么全做，要么全不做（all or none）。 Consistency（一致性）：在事務(wù)開始以前，數(shù)據(jù)庫處于一致性的狀態(tài)，事務(wù)結(jié)束后，數(shù)據(jù)庫也必須處于一致性狀態(tài)。 Isolation（隔離性）：事務(wù)隔離性要求系統(tǒng)必須保證事務(wù)不受其他并發(fā)執(zhí)行的事務(wù)

3、的影響，也即要達到這樣一種效果： 對于任何一對事務(wù)T1 和 T2，在事務(wù) T1 看來，T2 要么在 T1 開始之前已經(jīng)結(jié)束，要么在 T1 完成之后才開始執(zhí)行。這樣，每個事務(wù)都感覺不到系統(tǒng)中有其他事務(wù)在并發(fā)地執(zhí)行。 Durability（持久性）：一個事務(wù)一旦成功完成，它對數(shù)據(jù)庫的改變必須是永久的，即便是在系統(tǒng)遇到故障的情況下 也不會丟失。數(shù)據(jù)的重要性決定了事務(wù)持久性的重要性。關(guān)系數(shù)據(jù)庫管理系統(tǒng)關(guān)系數(shù)據(jù)庫管理系統(tǒng)User tablesData dictionaryOracleserver數(shù)據(jù)庫數(shù)據(jù)庫體系結(jié)構(gòu)體系結(jié)構(gòu)Storage structuresMemory structuresProces

4、s structuresInstanceSystem Global Area (SGA)Background processesDatabaseDatabaseOracle數(shù)據(jù)庫體系結(jié)構(gòu)數(shù)據(jù)庫體系結(jié)構(gòu) PMONSMONOthersData filesOnline redo log filesControl filesInstance RECOARCn DBWn LGWRCKPTStorage structuresUserprocessServerprocessMemory structuresProcessesDatabasebuffercacheShared poolData diction

5、arycacheLibrarycacheSGARedo logbuffer數(shù)據(jù)庫數(shù)據(jù)庫IO特點分析特點分析數(shù)據(jù)庫基于磁盤設(shè)計數(shù)據(jù)庫基于磁盤設(shè)計- Sequential logging 順序?qū)懭? In-place update 就地更新日志文件順序?qū)懭罩疚募樞驅(qū)? 同步寫入，響應(yīng)延遲低- 連續(xù)位置的隨機寫IO 數(shù)據(jù)文件隨機寫數(shù)據(jù)文件隨機寫- 異步寫入- 大量的隨機寫IO瓶頸分析瓶頸分析- IOPS：小IO，數(shù)據(jù)文件隨機讀，隨機寫，日志文件寫- 吞吐量：大IO，數(shù)據(jù)文件連續(xù)讀時間表時間表OracleIBMSybase其他其他19701970前前多為文件數(shù)據(jù)存儲、網(wǎng)狀數(shù)據(jù)庫、層次數(shù)據(jù)庫19701

6、970Edgar Frank Codd發(fā)表了業(yè)界第一篇關(guān)于關(guān)系數(shù)據(jù)庫理論的論文A Relational Model of Data for Large Shared Data Banks，首次提出了關(guān)系模型的概念19731973開始著手SystemR項目研究Berkeley大學也開始開發(fā)關(guān)系數(shù)據(jù)庫系統(tǒng)Ingres19741974Don Chamberlin和Ray Boyce將Codd關(guān)系數(shù)據(jù)庫的12條準則的數(shù)學定義以簡單的關(guān)鍵字語法表現(xiàn)出來，里程碑式地提出了SQL（Structured Query Language）語言19771977Larry Ellison 成立了軟件開發(fā)Relatio

7、nal Software公司19791979Oracle 1, 為美國軍方開發(fā)。用匯編語言開發(fā)，基于RSX操作系統(tǒng)，運行在128KB內(nèi)存的PDP-11小型機上SystemR完成， 完成了第一個實現(xiàn)SQL的DBMS19801980Oracle2 ，世界上第一個整合了完整SQL的商用關(guān)系型數(shù)據(jù)庫(RDBMS)商用數(shù)據(jù)庫仍在堅持其層次數(shù)據(jù)庫產(chǎn)品IMS(Information Management System)19821982發(fā)布了Oracle3，主要用C語言開發(fā)，具有事務(wù)處理的功能。 實現(xiàn)跨平臺，實現(xiàn)非阻塞查詢。19831983Relational Software公司改名為Oracle公司DB2

8、 for MVS V1 正式發(fā)布時間表時間表OracleIBMSybase其他其他19841984Oracle 4, 實現(xiàn)讀一致性。擴充了數(shù)據(jù)一致性支持，并開始支持更廣泛的平臺， Oracle的銷售額是1270萬美元Haderle領(lǐng)導成立了 DBTI（DB2 技術(shù)研究所），這是一個集研究、開發(fā)、市場推廣于一身，致力于發(fā)展 DB2 的部門。Sybase公司創(chuàng)立。公司名稱Sybase取自system和database相結(jié)合的含義Ingres 是當時主要的數(shù)據(jù)庫廠家。Ingres是900萬美元19851985Oracle 5, 支持客戶機/服務(wù)器模式(C/S)，支持Parallel Server，成

9、為第一個具有分布式特性的數(shù)據(jù)庫產(chǎn)品IBM發(fā)布了第一款商用關(guān)系數(shù)據(jù)庫DB2,采用了和Ingres不同的數(shù)據(jù)查詢語言SQL, Ingres用的是QUELOracle和Ingres兩者銷售額都翻了一倍以上，只是Ingres增長得更快，如果照此發(fā)展,Ingres將會超越對手19861986ANSI把SQL作為關(guān)系數(shù)據(jù)庫語言的美國標準，同年公布了標準SQL文本。 SQL在1986年成為了正式工業(yè)標準,Ingres的老板簡直無法相信Ellison的運氣,但這正是Ellison的精明之處19881988Oracle 6, 實現(xiàn)行級鎖。性能極大突破。IBM 發(fā)布了SQL/400，為集成了關(guān)系型數(shù)據(jù)庫管理系統(tǒng)的

10、AS/400服務(wù)器提供了SQL支持 ，處理能力和穩(wěn)定性得到了業(yè)界的廣泛認可。Sybase發(fā)表Sybase Open Client/Open Server應(yīng)用程序接口，對不同的客戶端設(shè)備及Sybase Grows和Expands等數(shù)據(jù)來源，提供一般性的通訊功能。從1986年到1990年雖然Ingres的銷售額每年增長高于50%，但Oracle遠遠跑在了前面，每年增長率超過100%1989-1989-19901990Oracle 6.2, Oracle Parallel Server (OPS是RAC的前身)IBM 定義了 Common SQL 和 IBM 分布式關(guān)系數(shù)據(jù)庫架構(gòu)（DRDA），并在

11、IBM 所有的關(guān)系數(shù)據(jù)庫管理系統(tǒng)上加以實現(xiàn)Sybase推介第一個將IBM MVS大型主機整合到局域網(wǎng)絡(luò)主從環(huán)境的產(chǎn)品。美國財富(Fortune)雜志將Sybase列入美國成長最快速企業(yè)的前十名之內(nèi)。19921992Oracle 7, 功能全面的第一個著名版本Sybase發(fā)布了SQLServer10.0和一系列的新產(chǎn)品. 將SQLServer從一個Client/Server系統(tǒng)推進到支持企業(yè)級的計算環(huán)境。Sybase將此產(chǎn)品系列叫做 System10SQL-92包括模式操作，動態(tài)創(chuàng)建和SQL語句動態(tài)執(zhí)行、網(wǎng)絡(luò)環(huán)境支持等增強特性。時間表時間表OracleIBMSybase其他其他1994-1994

12、-19951995Oracle 7.1, 支持并行操作（OPS）DB2 并行版 V1，DB2 從此有了能夠適應(yīng)大型數(shù)據(jù)倉庫和復(fù)雜查詢?nèi)蝿?wù)的可擴展架構(gòu)；IBM 將 DB2 Common Server 擴展到 HP-UX 和 Sun Solaris 上。DB2 開始支持其他公司開發(fā)的 UNIX 平臺。Sybase推出了SybaseSQLServer11.0。除了繼續(xù)對聯(lián)機事務(wù)提供強有力的支持之外，Sybase在 11.0中增加了不少新功能以支持聯(lián)機分析處理和決策支持系統(tǒng)。19971997Oracle 8, 對象-關(guān)系型數(shù)據(jù)庫，支持多媒體；融合數(shù)據(jù)倉庫方案1998-1998-19991999Orac

13、le 8i R1 (8.1.5, i 代表 Internet), 內(nèi)嵌JVM；Oracle 8i R2 (8.1.6)，支持XMLDB2 UDB V5.2 增加了對 SQLJ、Java 存儲過程和用戶自定義函數(shù)的支持 ;IBM發(fā)布了 Intel 平臺上的 DB2 UDB for Linux 推出了ASE11.9.2。這一版本引入了新的鎖機制來保證系統(tǒng)的并發(fā)性和性能：數(shù)據(jù)頁鎖和數(shù)據(jù)行鎖。20002000Oracle 8i R3 (8.1.7)IBM發(fā)布了 DB2 XML Extender，成為在數(shù)據(jù)庫提供內(nèi)置 XML 支持的廠商 ASE12提供了對Java和XML的支持時間表時間表OracleI

14、BMSybase其他其他20012001Oracle 9i R1 (9.0.1), RAC (RAC是OPS的換代產(chǎn)品)發(fā)布了 DB2 UDB for OS/390 ASE1320022002Oracle 9i R2 (9.2.0)IBM 宣布計劃收購 Rational Software Corp，從而使得 IBM 軟件能夠支持從設(shè)計、開發(fā)、部署到管理和維護的完整過程 2003-2003-20042004Oracle 10g R1 (10.1.0, g 代表 Grid 網(wǎng)格)DB2 UDB V8ASE1420052005Oracle 10g R22006-2006-20072007Oracle

15、 11g R1DB2 UDB V9ASE152002008 8Oracle Exadata V12002009 9Oracle Exadata V2PureScale （OLTP）、IASA（DW）20102010Oracle Exadata X2-2Oracle引領(lǐng)數(shù)據(jù)庫發(fā)展概覽引領(lǐng)數(shù)據(jù)庫發(fā)展概覽第一款商用的關(guān)系型數(shù)據(jù)庫，歷史最悠久數(shù)據(jù)庫第一款商用的關(guān)系型數(shù)據(jù)庫，歷史最悠久數(shù)據(jù)庫最早支持最早支持SQL數(shù)據(jù)庫數(shù)據(jù)庫最早跨平臺數(shù)據(jù)庫最早跨平臺數(shù)據(jù)庫第一個引入行級鎖管理第一個引入行級鎖管理第一個引入對象概念第一個引入對象概念第一個引入多媒體等多種數(shù)據(jù)格式第一個引入多媒體等多種數(shù)據(jù)格式第一個引入第一

16、個引入JAVA第一個引入第一個引入XML第一個引入數(shù)據(jù)分區(qū)第一個引入數(shù)據(jù)分區(qū)第一個引入并行技術(shù)第一個引入并行技術(shù)第一個引入自動化管理第一個引入自動化管理第一個引入網(wǎng)格第一個引入網(wǎng)格技術(shù)技術(shù)第一個混合數(shù)據(jù)庫架構(gòu)（第一個混合數(shù)據(jù)庫架構(gòu)（Share Nothing和和Share Disk）第一個數(shù)據(jù)庫第一個數(shù)據(jù)庫PaaS云平臺云平臺Oracle是當前是當前TPC-C、TPC-H的的世界紀錄保持世界紀錄保持者者IDC：Oracle DB 11g 至少領(lǐng)先其他數(shù)據(jù)庫至少領(lǐng)先其他數(shù)據(jù)庫2年年 Exadata一體機一體機 審計審計保管庫保管庫 數(shù)據(jù)庫保管庫數(shù)據(jù)庫保管庫 網(wǎng)格計算網(wǎng)格計算 自我管理的數(shù)據(jù)庫自我

17、管理的數(shù)據(jù)庫 XML數(shù)據(jù)庫數(shù)據(jù)庫 Oracle數(shù)據(jù)衛(wèi)士數(shù)據(jù)衛(wèi)士 真正應(yīng)用集群真正應(yīng)用集群 閃回查詢閃回查詢 虛擬專用數(shù)據(jù)庫虛擬專用數(shù)據(jù)庫 內(nèi)置的內(nèi)置的Java虛擬機虛擬機 分區(qū)支持分區(qū)支持 內(nèi)置的消息內(nèi)置的消息 對象關(guān)系型支持對象關(guān)系型支持 多媒體支持多媒體支持 數(shù)據(jù)倉庫優(yōu)化數(shù)據(jù)倉庫優(yōu)化 并行操作并行操作 分布式分布式SQL和事務(wù)支持和事務(wù)支持 集群和大規(guī)模并行處理支持集群和大規(guī)模并行處理支持 多版本讀一致性多版本讀一致性 客戶客戶/服務(wù)器支持服務(wù)器支持 跨平臺可移植跨平臺可移植 商業(yè)化商業(yè)化SQL實現(xiàn)實現(xiàn)1977Oracle 2Oracle 9iOracle 5Oracle 6Oracle

18、7Oracle 8Oracle 8iOracle 10gOracle 11gTeredata, 3.6%Oracle48.0%IBM, 20.7%Microsoft, 17.6%SAP/Sybase, 3.5%Others, 6.3% RDBMS Total Market Share 2011Vendor20102011Share of2010Share of2011Growth2011Oracle9990.50 11787.00 48.2%48.8%18.0%IBM4300.40 4870.40 20.7%20.2%13.3%Microsoft3641.20 4098.90 17.6%17.

19、0%12.6%Sap/Sybase744.40 1101.10 3.6%4.6%47.9%Teradata754.70 882.30 3.6%3.7%16.9%Other Vendors1315.30 1389.70 6.3%5.8%5.7%Grand Total20746.60 24129.50 100.0%100.0%16.3%Source: Gartner(March 2012)Teredata, 3.4%Oracle48.0%IBM, 21.7%Microsoft, 17.4%Sybase, 3.5%Others, 6.0% RDBMS Total Market Share 20090

20、%10%20%30%40%50%60%70%80%90%2006200720082009Marketshare (%)OracleOthers82.6%RDBMS Vendor on Linux 數(shù)據(jù)庫技術(shù)原理與數(shù)據(jù)庫技術(shù)原理與Oracle發(fā)展歷程發(fā)展歷程 電信企業(yè)在數(shù)據(jù)管理面臨的主要問題與應(yīng)對電信企業(yè)在數(shù)據(jù)管理面臨的主要問題與應(yīng)對 當前業(yè)界主流數(shù)據(jù)庫的體系架構(gòu)當前業(yè)界主流數(shù)據(jù)庫的體系架構(gòu) 數(shù)據(jù)庫技術(shù)發(fā)展趨勢和方向數(shù)據(jù)庫技術(shù)發(fā)展趨勢和方向 數(shù)據(jù)庫規(guī)劃和安裝部署數(shù)據(jù)庫規(guī)劃和安裝部署電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn)電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn) 管理管理超超大大數(shù)據(jù)數(shù)據(jù)容容量量(VLDB) 提供多服

21、務(wù)器高擴展和高可用保護提供多服務(wù)器高擴展和高可用保護 提供極限的數(shù)據(jù)響應(yīng)時間提供極限的數(shù)據(jù)響應(yīng)時間 自動自動監(jiān)控數(shù)據(jù)庫運行、自動發(fā)現(xiàn)監(jiān)控數(shù)據(jù)庫運行、自動發(fā)現(xiàn)問題問題 實現(xiàn)數(shù)據(jù)生命周期管理實現(xiàn)數(shù)據(jù)生命周期管理 系統(tǒng)變更和系統(tǒng)測試管理系統(tǒng)變更和系統(tǒng)測試管理 有效防止人為錯誤有效防止人為錯誤 有效防止自然災(zāi)難，提供最大可用性保護的有效防止自然災(zāi)難，提供最大可用性保護的系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)Oracle大容量大容量1000 Columns8Exabyte(254) 1 EB = 1024 PB 1 PB = 1024 TB 1 TB = 1024 GB 1 GB = 1024 MB數(shù)萬個并發(fā)用戶支持數(shù)萬個并

22、發(fā)用戶支持記錄數(shù)量大記錄數(shù)量大記錄內(nèi)容復(fù)雜記錄內(nèi)容復(fù)雜Oracle 10g/11g 8 EBOracle 9i 512 PB21數(shù)據(jù)分區(qū)功能數(shù)據(jù)分區(qū)功能 - 根據(jù)范圍分區(qū)- 哈希分區(qū)- 混合分區(qū)（范圍-哈希，范圍-列表）- 列表分區(qū)- 間隔分區(qū) - 系統(tǒng)分區(qū) - 組合分區(qū)增強功能 - 基于虛擬列的分區(qū) - 引用分區(qū) 數(shù)據(jù)分區(qū)技術(shù)大大提高訪問速度數(shù)據(jù)分區(qū)技術(shù)大大提高訪問速度 “有的放矢、有的放矢、并行處理并行處理” 分區(qū)可以顯著提高訪問分區(qū)可以顯著提高訪問大表時的大表時的性能性能 分區(qū)的存在對應(yīng)用系統(tǒng)分區(qū)的存在對應(yīng)用系統(tǒng)是透明的是透明的分區(qū)忽略技術(shù)分區(qū)忽略技術(shù)系統(tǒng)核心自動根據(jù)分區(qū)情況優(yōu)化系統(tǒng)核心

23、自動根據(jù)分區(qū)情況優(yōu)化數(shù)據(jù)訪問，忽略無關(guān)的數(shù)據(jù)分區(qū)數(shù)據(jù)訪問，忽略無關(guān)的數(shù)據(jù)分區(qū)January銷售情況表PartitionFebruary銷售情況表PartitionMarch銷售情況表Partition客戶計費表select sum(amount)From 銷售情況表 Where 日期between 20-JAN-2004and 5-FEB-200423Oracle 自動存儲管理自動存儲管理-ASM存儲擴展和虛擬化存儲擴展和虛擬化大幅度簡化數(shù)據(jù)庫存儲管理大幅度簡化數(shù)據(jù)庫存儲管理消除對專業(yè)存儲管理產(chǎn)品的需求消除對專業(yè)存儲管理產(chǎn)品的需求實現(xiàn)真正的按需增加容量實現(xiàn)真正的按需增加容量提供最佳的提供最佳的

24、 I/O 吞吐率吞吐率卷管理系統(tǒng)卷管理系統(tǒng)文件管理系統(tǒng)文件管理系統(tǒng)可以有：可以有： 鏡像（基于文件作不同的鏡像） 條帶化（對文件可指定不同的條帶大?。?動態(tài)平衡（可控）ASM是數(shù)據(jù)庫自帶功能，完全免費ASM的新概念 ASM并沒有阻礙已經(jīng)存在的數(shù)據(jù)庫功能。新的文件可以被創(chuàng)建作為ASM文件，同時已經(jīng)存在的由舊的方法管理的文件可以被遷移到ASM中。圖中描述了Oracle Database中各種存儲部件的關(guān)系。圖的左邊和中部顯示的是以前發(fā)布的版本中的存儲關(guān)系，右邊顯示了ASM引入的新概念，并且這些新概念只是針對文件的存儲。Database files可被作為ASM文件存儲。在ASM中的存儲層次上，頂層

25、是ASM 磁盤組，每個ASM file都只能包含在一個disk group中。然而，一個disk group可能包含的files是屬于幾個Databases的，并且一個Database可以使用多個disk groups存儲data。如圖所示，一個disk group是有多個ASM disks組成的，每個ASM disk只能屬于一個disk group。一個ASM files總是被分配到同一個disk group的所有ASM disks中。ASM disks被分配成每1MB為一個分配單元（AU）。一個AU是ASM分配的最小的連續(xù)邏輯空間。ASM不允許物理 blocks 被分開存儲在不同的AUs中

26、。3）ASM的一般結(jié)構(gòu) 消除消除IO熱點熱點(快速重新同步快速重新同步)Node 2Node 3Node 1Storage cell 2Storage cell1Storage cell 3數(shù)據(jù)自動分布，提供最高性能當新硬件添加時均衡仍然得以保持當舊硬件移除時均衡仍然得以保持當硬件出故障時均衡仍然得以保持消除消除IO熱點熱點數(shù)據(jù)自動分布，提供最高性能當新硬件添加時均衡仍然得以保持當舊硬件移除時均衡仍然得以保持當硬件出故障時均衡仍然得以保持Storage cell 4Storage cell2Storage cell 3Storage cell1Add new storage cell電信企業(yè)在

27、數(shù)據(jù)管理所面臨的挑戰(zhàn)電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn) 管理管理超超大大數(shù)據(jù)數(shù)據(jù)容容量量(VLDB) 提供多服務(wù)器高擴展和高可用保護提供多服務(wù)器高擴展和高可用保護 提供極限的數(shù)據(jù)響應(yīng)時間提供極限的數(shù)據(jù)響應(yīng)時間 自動自動監(jiān)控數(shù)據(jù)庫運行、自動發(fā)現(xiàn)監(jiān)控數(shù)據(jù)庫運行、自動發(fā)現(xiàn)問題問題 實現(xiàn)數(shù)據(jù)生命周期管理實現(xiàn)數(shù)據(jù)生命周期管理 系統(tǒng)變更和系統(tǒng)測試管理系統(tǒng)變更和系統(tǒng)測試管理 有效防止人為錯誤有效防止人為錯誤 有效防止自然災(zāi)難，提供最大可用性保護的有效防止自然災(zāi)難，提供最大可用性保護的系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)高可用性傳統(tǒng)解決方法高可用性傳統(tǒng)解決方法雙機熱備雙機熱備高可用性高可用性O(shè)racle的解決之道的解決之道RACCo

28、mputerCComputerDComputerAComputerB所有節(jié)點訪問同一個數(shù)據(jù)庫所有節(jié)點訪問同一個數(shù)據(jù)庫Oracle Real Application ClusterOracle Real Application Cluster 在在SMPSMP集群體系結(jié)構(gòu)集群體系結(jié)構(gòu)中，實現(xiàn)一個共中，實現(xiàn)一個共享數(shù)據(jù)庫，享數(shù)據(jù)庫， 支持并行處理，支持并行處理， 均分負均分負載，保證故障時數(shù)據(jù)庫的不間斷運行載，保證故障時數(shù)據(jù)庫的不間斷運行 多多個節(jié)點同時工作個節(jié)點同時工作 節(jié)點均分負載節(jié)點均分負載動態(tài)的負載均衡動態(tài)的負載均衡數(shù)據(jù)庫啟動時，向監(jiān)聽進程注冊數(shù)據(jù)庫啟動時，向監(jiān)聽進程注冊節(jié)點向監(jiān)聽進程報告

29、節(jié)點向監(jiān)聽進程報告 CPU 的使用情況的使用情況當建立連接時，監(jiān)聽進程選擇最空閑的節(jié)點處理請求當建立連接時，監(jiān)聽進程選擇最空閑的節(jié)點處理請求NodeDispatchersNodeDispatchersListenerListenerCPU LoadCPU Load資源自動化適配資源自動化適配 作業(yè)執(zhí)行會依據(jù)資源需求和系統(tǒng)繁忙程度，自動進行資源調(diào)配和協(xié)調(diào)，實現(xiàn)跨節(jié)點的任務(wù)分配和作業(yè)合并。執(zhí)行執(zhí)行 協(xié)調(diào)程序協(xié)調(diào)程序并行并行 執(zhí)行執(zhí)行 服務(wù)器服務(wù)器共享磁盤共享磁盤節(jié)點節(jié)點 4節(jié)點節(jié)點 1節(jié)點節(jié)點 2節(jié)點節(jié)點 3作業(yè)自動化并行處理作業(yè)自動化并行處理任務(wù)分解任務(wù)分解R1RnRAC1RACn節(jié)點是否可運行

30、節(jié)點是否可運行?R1完成計算完成計算Rn運行完成運行完成 1 1 2 2 3 3 4 4實現(xiàn)數(shù)據(jù)量增長實現(xiàn)數(shù)據(jù)量增長實現(xiàn)用戶數(shù)量增長實現(xiàn)用戶數(shù)量增長實現(xiàn)處理能力增長實現(xiàn)處理能力增長緩存融合緩存融合Oracle RAC -高可擴展性的完美體現(xiàn)高可擴展性的完美體現(xiàn)用戶用戶緩存融合緩存融合: 共享內(nèi)存體系結(jié)構(gòu)的出眾性能共享內(nèi)存體系結(jié)構(gòu)的出眾性能電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn)電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn) 管理管理超超大大數(shù)據(jù)數(shù)據(jù)容容量量(VLDB) 提供多服務(wù)器高擴展和高可用保護提供多服務(wù)器高擴展和高可用保護 提供極限的數(shù)據(jù)響應(yīng)時間提供極限的數(shù)據(jù)響應(yīng)時間 自動自動監(jiān)控數(shù)據(jù)庫運行、自動發(fā)現(xiàn)監(jiān)控數(shù)據(jù)庫運

31、行、自動發(fā)現(xiàn)問題問題 實現(xiàn)數(shù)據(jù)生命周期管理實現(xiàn)數(shù)據(jù)生命周期管理 系統(tǒng)變更和系統(tǒng)測試管理系統(tǒng)變更和系統(tǒng)測試管理 有效防止人為錯誤有效防止人為錯誤 有效防止自然災(zāi)難，提供最大可用性保護的有效防止自然災(zāi)難，提供最大可用性保護的系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)34事務(wù)查找開銷事務(wù)查找開銷磁盤磁盤數(shù)據(jù)庫數(shù)據(jù)庫Disk-OptimizedRDBMS EngineAPI、ODBC JDBC等等應(yīng)用應(yīng)用磁盤磁盤閃盤閃盤硬件設(shè)備改進硬件設(shè)備改進MDBData PageProcess or Shared Memory內(nèi)存數(shù)內(nèi)存數(shù)據(jù)庫據(jù)庫數(shù)據(jù)庫技術(shù)改進數(shù)據(jù)庫技術(shù)改進事務(wù)查找開銷事務(wù)查找開銷磁盤磁盤數(shù)據(jù)庫數(shù)據(jù)庫Disk-Optimi

32、zedRDBMS Engine應(yīng)用應(yīng)用磁盤磁盤/閃盤閃盤內(nèi)存內(nèi)存數(shù)據(jù)數(shù)據(jù)庫庫常用提升數(shù)據(jù)檢索速度的技術(shù)常用提升數(shù)據(jù)檢索速度的技術(shù)內(nèi)存數(shù)據(jù)庫內(nèi)存數(shù)據(jù)庫高伸縮性高伸縮性/高可用性高可用性即時響應(yīng)即時響應(yīng)/高可用性高可用性緊密集成緊密集成基于磁盤的集群式數(shù)據(jù)庫基于磁盤的集群式數(shù)據(jù)庫高可用性服務(wù)高可用性服務(wù)集群管理器集群管理器內(nèi)存數(shù)據(jù)庫內(nèi)存數(shù)據(jù)庫36數(shù)據(jù)庫引擎數(shù)據(jù)庫引擎Run-Time DatabaseMDB內(nèi)存復(fù)制開銷內(nèi)存復(fù)制開銷 事務(wù)查找開銷事務(wù)查找開銷內(nèi)存管理開銷內(nèi)存管理開銷 磁盤數(shù)據(jù)庫磁盤數(shù)據(jù)庫Data PageDisk-OptimizedRDBMS Engine應(yīng)用程序應(yīng)用程序Process

33、 or Shared Memory內(nèi)存數(shù)據(jù)庫內(nèi)存數(shù)據(jù)庫IPC 連接開銷連接開銷I/O開銷開銷API、ODBC JDBC等等API、ODBC JDBC等等應(yīng)用應(yīng)用應(yīng)用應(yīng)用對比：對比：1.內(nèi)存數(shù)據(jù)庫無與磁盤間內(nèi)存數(shù)據(jù)庫無與磁盤間交互產(chǎn)生的交互產(chǎn)生的I/0開銷開銷2.內(nèi)存數(shù)據(jù)庫無磁盤數(shù)據(jù)內(nèi)存數(shù)據(jù)庫無磁盤數(shù)據(jù)庫必需事務(wù)查找、內(nèi)存庫必需事務(wù)查找、內(nèi)存管理和復(fù)制產(chǎn)生的開銷管理和復(fù)制產(chǎn)生的開銷內(nèi)存數(shù)據(jù)庫與磁盤數(shù)據(jù)庫的比較內(nèi)存數(shù)據(jù)庫與磁盤數(shù)據(jù)庫的比較數(shù)據(jù)庫特性數(shù)據(jù)庫特性O(shè)racle DatabaseOracle TimesTen In-Memory Database目標應(yīng)用關(guān)鍵業(yè)務(wù)應(yīng)用關(guān)鍵業(yè)務(wù)應(yīng)用關(guān)鍵業(yè)務(wù)應(yīng)用

34、關(guān)鍵業(yè)務(wù)應(yīng)用數(shù)據(jù)模型關(guān)系型關(guān)系型 - SQL關(guān)系型關(guān)系型 - SQL優(yōu)化磁盤為中心磁盤為中心內(nèi)存為中心內(nèi)存為中心典型部署方式數(shù)據(jù)庫層數(shù)據(jù)庫層應(yīng)用層應(yīng)用層架構(gòu)客戶機客戶機/服務(wù)器服務(wù)器嵌入式（直接數(shù)據(jù)訪問嵌入式（直接數(shù)據(jù)訪問）響應(yīng)時間毫秒到秒級毫秒到秒級微秒到毫秒級微秒到毫秒級數(shù)據(jù)容量TB到到PB級級GB級級可擴展性Cluster (RAC) & SMPSMP電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn)電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn) 管理管理超超大大數(shù)據(jù)數(shù)據(jù)容容量量(VLDB) 提供多服務(wù)器高擴展和高可用保護提供多服務(wù)器高擴展和高可用保護 提供極限的數(shù)據(jù)響應(yīng)時間提供極限的數(shù)據(jù)響應(yīng)時間 自動自動監(jiān)控數(shù)據(jù)庫運行、

35、自動發(fā)現(xiàn)監(jiān)控數(shù)據(jù)庫運行、自動發(fā)現(xiàn)問題問題 實現(xiàn)數(shù)據(jù)生命周期管理實現(xiàn)數(shù)據(jù)生命周期管理 系統(tǒng)變更和系統(tǒng)測試管理系統(tǒng)變更和系統(tǒng)測試管理 有效防止人為錯誤有效防止人為錯誤 有效防止自然災(zāi)難，提供最大可用性保護的有效防止自然災(zāi)難，提供最大可用性保護的系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)40存儲存儲備份備份內(nèi)存內(nèi)存應(yīng)用應(yīng)用/SQL模式模式 RAC恢復(fù)恢復(fù)復(fù)制復(fù)制自動調(diào)優(yōu)自動調(diào)優(yōu)顧問顧問方法方法電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn)電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn) 管理管理超超大大數(shù)據(jù)數(shù)據(jù)容容量量(VLDB) 提供多服務(wù)器高擴展和高可用保護提供多服務(wù)器高擴展和高可用保護 提供極限的數(shù)據(jù)響應(yīng)時間提供極限的數(shù)據(jù)響應(yīng)時間 自動自動監(jiān)控數(shù)據(jù)庫運

36、行、自動發(fā)現(xiàn)監(jiān)控數(shù)據(jù)庫運行、自動發(fā)現(xiàn)問題問題 實現(xiàn)數(shù)據(jù)生命周期管理實現(xiàn)數(shù)據(jù)生命周期管理 系統(tǒng)變更和系統(tǒng)測試管理系統(tǒng)變更和系統(tǒng)測試管理 有效防止人為錯誤有效防止人為錯誤 有效防止自然災(zāi)難，提供最大可用性保護的有效防止自然災(zāi)難，提供最大可用性保護的系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)數(shù)據(jù)歸檔數(shù)據(jù)歸檔原來位于原來位于 數(shù)據(jù)塊緩數(shù)據(jù)塊緩Undo dataDML操作操作存區(qū)里的數(shù)據(jù)存區(qū)里的數(shù)據(jù)后臺進程收集原來的內(nèi)存數(shù)據(jù)并把它們寫入到后臺進程收集原來的內(nèi)存數(shù)據(jù)并把它們寫入到閃回數(shù)據(jù)歸檔里閃回數(shù)據(jù)歸檔里閃回數(shù)據(jù)歸檔閃回數(shù)據(jù)歸檔歷史表里歷史表里的數(shù)據(jù)的數(shù)據(jù)數(shù)據(jù)歸檔數(shù)據(jù)歸檔11:0011:10 employees employee

37、ssalary = 4,400 employeessalary = 5,200salary = 4,840Tx3Tx1Tx2TimeFlashback數(shù)據(jù)生命周期管理：數(shù)據(jù)生命周期管理：Oracle ILM Assign Data Partitions to Storage TiersAll OrdersQ1OrdersQ2OrdersQ3OrdersQ4OrdersPreviousOrdersActiveHigh PerformanceStorage TierLess ActiveLow CostStorage TierHistoricalOnline ArchiveStorage Tier

38、Long-term HistoricalOffline ArchiveTapeHistoricalOrders12341. 定義數(shù)據(jù)類型定義數(shù)據(jù)類型2. 為不同數(shù)據(jù)建立相為不同數(shù)據(jù)建立相應(yīng)存儲級別應(yīng)存儲級別3. 建立數(shù)據(jù)訪問和遷建立數(shù)據(jù)訪問和遷移策略移策略4. 定義和執(zhí)行策略定義和執(zhí)行策略46數(shù)據(jù)生命周期管理：數(shù)據(jù)生命周期管理：Oracle ILM Cost Savings by Storage Tier電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn)電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn) 管理管理超超大大數(shù)據(jù)數(shù)據(jù)容容量量(VLDB) 提供多服務(wù)器高擴展和高可用保護提供多服務(wù)器高擴展和高可用保護 提供極限的數(shù)據(jù)響應(yīng)時間

39、提供極限的數(shù)據(jù)響應(yīng)時間 自動自動監(jiān)控數(shù)據(jù)庫運行、自動發(fā)現(xiàn)監(jiān)控數(shù)據(jù)庫運行、自動發(fā)現(xiàn)問題問題 實現(xiàn)數(shù)據(jù)生命周期管理實現(xiàn)數(shù)據(jù)生命周期管理 系統(tǒng)變更和系統(tǒng)測試管理系統(tǒng)變更和系統(tǒng)測試管理 有效防止人為錯誤有效防止人為錯誤 有效防止自然災(zāi)難，提供最大可用性保護的有效防止自然災(zāi)難，提供最大可用性保護的系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)系統(tǒng)系統(tǒng)數(shù)據(jù)的自動收集及清單報告數(shù)據(jù)的自動收集及清單報告系統(tǒng)整體配置系統(tǒng)整體配置主機配置清單主機配置清單OSOS配置清單配置清單系統(tǒng)系統(tǒng)比較和歷史變更跟蹤比較和歷史變更跟蹤*配置變更跟蹤配置變更跟蹤配置對比配置對比數(shù)據(jù)庫重演數(shù)據(jù)庫重演 -系統(tǒng)架構(gòu)系統(tǒng)架構(gòu): 捕獲捕獲數(shù)據(jù)庫堆棧數(shù)據(jù)庫堆棧產(chǎn)品庫產(chǎn)品

40、庫數(shù)據(jù)庫備份數(shù)據(jù)庫備份捕獲文件所在的目錄捕獲文件所在的目錄記錄基礎(chǔ)架構(gòu)記錄基礎(chǔ)架構(gòu)影子進程影子進程影子進程影子進程影子進程影子進程影子進程影子進程影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件后臺進程后臺進程后臺進程后臺進程數(shù)據(jù)庫重演數(shù)據(jù)庫重演 -系統(tǒng)架構(gòu)系統(tǒng)架構(gòu): 重演重演數(shù)據(jù)庫堆棧數(shù)據(jù)庫堆棧測試測試數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)庫備份備份捕獲目錄捕獲目錄影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件影子進程捕獲的文件進程捕

41、獲文件進程捕獲文件重演重演客戶端客戶端重演重演客戶端客戶端影子進程影子進程影子進程影子進程影子進程影子進程影子進程影子進程后臺進程后臺進程后臺進程后臺進程在測試在測試系統(tǒng)系統(tǒng)上應(yīng)用上應(yīng)用變化變化重演重演系統(tǒng)系統(tǒng)1.數(shù)據(jù)庫參數(shù)更改數(shù)據(jù)庫參數(shù)更改2.操作系統(tǒng)升級操作系統(tǒng)升級3.應(yīng)用補丁應(yīng)用補丁4.對象更改對象更改5.數(shù)據(jù)庫升級數(shù)據(jù)庫升級電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn)電信企業(yè)在數(shù)據(jù)管理所面臨的挑戰(zhàn) 管理管理超超大大數(shù)據(jù)數(shù)據(jù)容容量量(VLDB) 提供多服務(wù)器高擴展和高可用保護提供多服務(wù)器高擴展和高可用保護 提供極限的數(shù)據(jù)響應(yīng)時間提供極限的數(shù)據(jù)響應(yīng)時間 自動自動監(jiān)控數(shù)據(jù)庫運行、自動發(fā)現(xiàn)監(jiān)控數(shù)據(jù)庫運行、自

42、動發(fā)現(xiàn)問題問題 實現(xiàn)數(shù)據(jù)生命周期管理實現(xiàn)數(shù)據(jù)生命周期管理 系統(tǒng)變更和系統(tǒng)測試管理系統(tǒng)變更和系統(tǒng)測試管理 有效防止人為錯誤有效防止人為錯誤 有效防止自然災(zāi)難，提供最大可用性保護的有效防止自然災(zāi)難，提供最大可用性保護的系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)人為錯誤造成的問題人為錯誤造成的問題 可能是最大的宕機原因可能是最大的宕機原因 需要快速的定位并且解決需要快速的定位并且解決 局部的破壞- 需要外部的檢測和恢復(fù)- 例子 錯誤的刪掉了叫Smith的人 擴散的破壞- 需要很大的恢復(fù)操作才能避免長時間宕機- 例如 批處理刪掉了這個月的訂單 使用傳統(tǒng)的恢復(fù)進行分析和糾正是很慢的使用傳統(tǒng)的恢復(fù)進行分析和糾正是很慢的 重新載入數(shù)

43、據(jù)庫到某個時間點并且抽取數(shù)據(jù) Oracle 數(shù)據(jù)庫在人為錯誤的恢復(fù)方面是有突破性的數(shù)據(jù)庫在人為錯誤的恢復(fù)方面是有突破性的人為錯人為錯誤誤其它原因其它原因Oracle的解決之道的解決之道Flashback 各種級別的閃回恢復(fù)技術(shù)各種級別的閃回恢復(fù)技術(shù) 閃回數(shù)據(jù)庫閃回數(shù)據(jù)庫 將將整個數(shù)據(jù)庫恢復(fù)到過去某整個數(shù)據(jù)庫恢復(fù)到過去某個個時間；時間； 閃回表閃回表 恢復(fù)被刪除的表；恢復(fù)被刪除的表； 閃回行閃回行 恢復(fù)表中各行至過去某個時恢復(fù)表中各行至過去某個時間；間； 查詢表中的行在過去某個時查詢表中的行在過去某個時間的數(shù)據(jù)。間的數(shù)據(jù)。 訂單訂單數(shù)據(jù)庫數(shù)據(jù)庫客戶客戶Oracle 數(shù)據(jù)庫的閃回技術(shù)數(shù)據(jù)庫的閃回技

44、術(shù) 令令“時光倒流時光倒流” ，及，及時挽回人為錯誤時挽回人為錯誤 如同數(shù)據(jù)庫的如同數(shù)據(jù)庫的 “倒回倒回”按鈕按鈕 數(shù)據(jù)恢復(fù)的新戰(zhàn)略 高效高效 只恢復(fù)更改的數(shù)據(jù) 快捷快捷 在幾分鐘、而非幾小時之內(nèi)即完成恢復(fù) 簡單簡單 只須一個命令即可進行恢復(fù)操作 200;DB主機確定表主機確定表的存儲分區(qū)的存儲分區(qū)發(fā)起發(fā)起I/Os請請求求79 存儲層：存儲層：1）數(shù)據(jù)量不斷增加，帶來的）數(shù)據(jù)量不斷增加，帶來的IO瓶頸；瓶頸；2）隨著數(shù)據(jù)長時間運行帶來）隨著數(shù)據(jù)長時間運行帶來的數(shù)據(jù)分布不均勻，存在的數(shù)據(jù)分布不均勻，存在IO熱點熱點網(wǎng)絡(luò)層：網(wǎng)絡(luò)層：傳輸帶寬不足，無法快速傳輸大量數(shù)據(jù)到服務(wù)器傳輸帶寬不足，無法快速傳

45、輸大量數(shù)據(jù)到服務(wù)器服務(wù)器層：服務(wù)器層：接收過多數(shù)據(jù)進行處理，內(nèi)存優(yōu)勢無法發(fā)揮接收過多數(shù)據(jù)進行處理，內(nèi)存優(yōu)勢無法發(fā)揮任何部件配置不均衡會導致任何部件配置不均衡會導致系統(tǒng)瓶頸系統(tǒng)瓶頸數(shù)據(jù)庫配置需要考慮下面所數(shù)據(jù)庫配置需要考慮下面所有部件配置有部件配置: CPU: 數(shù)量和速度數(shù)量和速度 HBA (Host Bus Adapter):數(shù)量和數(shù)量和速度速度 Switch speed Controller:數(shù)量和速度數(shù)量和速度 Disk:數(shù)量和速度數(shù)量和速度FC-Switch1FC-Switch2DiskArray 1DiskArray 2DiskArray 3DiskArray 4DiskArray 5

46、DiskArray 6DiskArray 7DiskArray 8HBA1HBA2HBA1HBA2HBA1HBA2HBA1HBA2每臺機器有每臺機器有2 個個2 Gb HBA卡卡所有所有 8個個 HBA卡能處理數(shù)據(jù)：卡能處理數(shù)據(jù)：8 * 200MB/s = 1600 MB/s每個交換機口能夠支持每個交換機口能夠支持2Gbit 的吞吐能力的吞吐能力，每個交換機能夠支持總共，每個交換機能夠支持總共800MB/s的數(shù)的數(shù)據(jù)處理能力，兩臺一共支持據(jù)處理能力，兩臺一共支持1600 MB/s每個磁盤組每個磁盤組DA有一個有一個2Gbit的的控控制器。所有制器。所有8個磁盤控制器能處理個磁盤控制器能處理數(shù)據(jù)

47、：數(shù)據(jù)：8 * 200MB/s = 1600 MB/s每臺機器有每臺機器有2 個個CPU。所有所有4個服務(wù)器一共能同時處理數(shù)據(jù)個服務(wù)器一共能同時處理數(shù)據(jù)：2 * 200MB/s * 4 = 1600 MB/s每塊磁盤的數(shù)據(jù)處理能力為每塊磁盤的數(shù)據(jù)處理能力為20MB/s，所以一個磁盤組至少需，所以一個磁盤組至少需要要10快磁盤來達到快磁盤來達到200MB/s的數(shù)的數(shù)據(jù)處理能力據(jù)處理能力均衡化配置方法論均衡化配置方法論分區(qū)分區(qū)和和HA規(guī)劃規(guī)劃網(wǎng)絡(luò)互聯(lián)配置規(guī)劃網(wǎng)絡(luò)互聯(lián)配置規(guī)劃數(shù)據(jù)庫存儲規(guī)劃數(shù)據(jù)庫存儲規(guī)劃傳統(tǒng)數(shù)據(jù)庫架構(gòu)解決思路：傳統(tǒng)數(shù)據(jù)庫架構(gòu)解決思路：1. 加寬通道、增加通道數(shù)量加寬通道、增加通道數(shù)量

48、2. 減少需要傳送到服務(wù)器處理的數(shù)據(jù)量減少需要傳送到服務(wù)器處理的數(shù)據(jù)量3.增加系統(tǒng)并行處理增加系統(tǒng)并行處理Oracle數(shù)據(jù)庫云數(shù)據(jù)庫云發(fā)展趨勢發(fā)展趨勢1：架構(gòu)兼容性架構(gòu)兼容性兼?zhèn)浼鎮(zhèn)銼hared Nothing 、Shared Disk、分片式數(shù)據(jù)庫、讀寫分離數(shù)據(jù)庫架構(gòu)、分片式數(shù)據(jù)庫、讀寫分離數(shù)據(jù)庫架構(gòu)Exadata CellInfiniBand 交換網(wǎng)絡(luò)交換網(wǎng)絡(luò)數(shù)據(jù)庫服務(wù)池數(shù)據(jù)庫服務(wù)池A數(shù)據(jù)庫服務(wù)池數(shù)據(jù)庫服務(wù)池BExadata CellExadata Cell智能存儲層智能存儲層(Shared Nothing)存儲資源池存儲資源池數(shù)據(jù)庫處理層數(shù)據(jù)庫處理層(Shared Disk)數(shù)據(jù)庫資源池

49、數(shù)據(jù)庫資源池超高速并發(fā)網(wǎng)絡(luò)層超高速并發(fā)網(wǎng)絡(luò)層880Gb/s/機架機架.n Exadata提供一種混合式的數(shù)據(jù)庫架構(gòu)提供一種混合式的數(shù)據(jù)庫架構(gòu),能夠有效解決兩者的沖突能夠有效解決兩者的沖突,吸取兩種架構(gòu)吸取兩種架構(gòu)長處長處; 既可以滿足既可以滿足OLTP的高并發(fā)、高可用特點；又可以滿足的高并發(fā)、高可用特點；又可以滿足OLAP的大數(shù)據(jù)量處的大數(shù)據(jù)量處理要求；理要求；具備良好的普適性架構(gòu)具備良好的普適性架構(gòu):Shared Nothing and Shared Disk84SunFireSunFireSunFireOracle 數(shù)據(jù)庫網(wǎng)格Oracle數(shù)據(jù)庫云發(fā)展趨勢數(shù)據(jù)庫云發(fā)展趨勢2：存儲智能化預(yù)處理

50、：存儲智能化預(yù)處理Smart Scan 處理技術(shù)處理技術(shù)問題：昨天的銷售業(yè)績?nèi)绾?？Exadata 智能存儲層SUMSelect sum(sales) whereDate=24-Sept Smart Scan 在在TB 級數(shù)據(jù)級數(shù)據(jù)中掃描匹配中掃描匹配請求的數(shù)據(jù)請求的數(shù)據(jù)構(gòu)建并發(fā)構(gòu)建并發(fā)Smart Scan請請求求僅僅返回滿足僅僅返回滿足條件的數(shù)據(jù)條件的數(shù)據(jù)智能掃描智能掃描SmartScanROW使用使用“where”謂詞篩選行謂詞篩選行COLUMN列篩選列篩選JOIN聯(lián)接篩選聯(lián)接篩選增量備份篩選增量備份篩選：虛擬化資源池虛擬化資源池“大分小大分小”和和“小合大小合大”Data Warehous

51、eData Mart/VGOPESOP/Data MiningFreeData WarehouseData Mart/VGOPESOP/Data MiningFreeRAC One Node Dcpu_count=1RAC One Node Ccpu_count=1RAC One Node Bcpu_count=2RAC One Node Acpu_count=48 core server虛擬化資源池虛擬化資源池Database Server PoolsOSS 服務(wù)器池服務(wù)器池BSS 服務(wù)器資源池服務(wù)器資源池MSS 服務(wù)器池服務(wù)器池空閑資源池空閑資源池 通過業(yè)務(wù)策略動態(tài)管理數(shù)據(jù)庫服務(wù)資源 可以

52、通過制定最大資源、最小資源、重要程度策略等，動態(tài)管理服務(wù)可用性和服務(wù)質(zhì)量 統(tǒng)一管理跨大規(guī)模、多主機的復(fù)雜數(shù)據(jù)庫環(huán)境，易于實現(xiàn)“大分小”和“下合大”兩種資源管理需求87：快速和線性擴展能力：快速和線性擴展能力Scale Up and Scale Out Total Compute Cores 1408 20 IBM Power 595s TB of Disk 2640 13 Rack EMC Symmetrix InfiniBand Ports 864 4300 FC Ports8 Rack ExadataComparable To水平擴展水平擴展垂直擴展垂直擴展僅通過增加僅通過增加Cables

53、 擴展擴展Exadata Racks可抵御任何單元的故障可抵御任何單元的故障跨存儲單元的數(shù)據(jù)鏡像跨存儲單元的數(shù)據(jù)鏡像：高可靠：高可靠全雙工設(shè)計全雙工設(shè)計避免數(shù)據(jù)庫、網(wǎng)絡(luò)、磁盤、避免數(shù)據(jù)庫、網(wǎng)絡(luò)、磁盤、Cell和電源的單點故障和電源的單點故障lASM鏡像用于保護磁盤故障，可支持熱插拔lASM failure groups 用于保護存儲Cell故障l雙路網(wǎng)絡(luò)交換lRAC TAF用于保護數(shù)據(jù)庫服務(wù)器故障，做到應(yīng)用零中斷l(xiāng)雙路電源模塊Exadata CellExadata CellHotHotHotHotHotHotColdColdColdColdColdColdASM Disk GroupASMFa

54、ilure GroupASM Failure Group全雙工系統(tǒng)架全雙工系統(tǒng)架構(gòu)構(gòu),完全消除單完全消除單點故障點故障InfiniBand 交換網(wǎng)絡(luò)（雙路）交換網(wǎng)絡(luò)（雙路）RAC TAF： 平衡且優(yōu)化配置平衡且優(yōu)化配置客戶化系統(tǒng)無法達到最佳性能客戶化系統(tǒng)無法達到最佳性能-組件不平衡, 錯誤配置，瓶頸Exadata 端到端優(yōu)化端到端優(yōu)化-從磁盤到數(shù)據(jù)庫傳輸是兩倍的GB/sec- 磁盤，閃存，控制器，總線，HBA, 網(wǎng)絡(luò)，CPU等 -數(shù)據(jù)庫從固件，驅(qū)動，操作系統(tǒng)，網(wǎng)絡(luò)的優(yōu)化 -多年的調(diào)優(yōu)經(jīng)驗-沒有瓶頸將將IT 智慧轉(zhuǎn)化成業(yè)務(wù)需求智慧轉(zhuǎn)化成業(yè)務(wù)需求-而不要設(shè)計，調(diào)優(yōu)，維護，硬件配置端到端優(yōu)化端到端優(yōu)

55、化數(shù)據(jù)庫數(shù)據(jù)庫最新最新技術(shù)發(fā)展方向技術(shù)發(fā)展方向Exadata集眾多優(yōu)勢技術(shù)于一身集眾多優(yōu)勢技術(shù)于一身- Shared Nothing或或Shared Disk架構(gòu)架構(gòu)- Shared Nothing與與Shared Disk混合架構(gòu)混合架構(gòu)- 縱向構(gòu)建獨立數(shù)據(jù)庫單元縱向構(gòu)建獨立數(shù)據(jù)庫單元- 數(shù)據(jù)庫虛擬化、資源池數(shù)據(jù)庫虛擬化、資源池- 按照均衡化配置手工配置按照均衡化配置手工配置- 一體機、零配置、高擴展能力、快速部署一體機、零配置、高擴展能力、快速部署- 主機和存儲交換機互聯(lián)主機和存儲交換機互聯(lián)- 通過通過Infiniband高速主機和存儲互聯(lián)高速主機和存儲互聯(lián)- 傳統(tǒng)磁盤傳統(tǒng)磁盤IO- Smart Scan IO+Flash閃存閃存IO，提升，提升IO性能性能- 行壓縮或列壓縮行壓縮或列壓縮- 混合壓縮混合壓縮91