Oracle In Memory技術(shù)最佳實踐

1、Oracle In Memory 技術(shù)最佳實踐技術(shù)創(chuàng)新，變革未來In Memory基礎(chǔ)架構(gòu)12In Memory功能優(yōu)勢3In Memory最佳實踐4In Memory最新特性目錄CONTENTS太多In Memory？DB CacheDefaultKeepRecycleCacheResult CacheMemoptimizeMemoptimize for readMemoptimize for writeTimesten In-Memory DatabaseOracle Database InMemory行與列格式同時存在同時可用且事務一致分析報表使用列格式在線處理使用行格式In Memor

2、y架構(gòu)Normal Buffer CacheNew In-MemoryFormatSALESSALESRow FormatColumn FormatSALES日記用于使列存儲在事務上保持 一致在行存儲中處理DML操作列存儲中的對應條目標記為過時修改記錄的拷貝存儲在交易日志 中In Memory架構(gòu) SALESColumnFormatMemoryJOURNALIn Memory基礎(chǔ)架構(gòu)12In Memory功能優(yōu)勢3In Memory最佳實踐4In Memory最新特性目錄CONTENTS內(nèi)存訪問速度僅訪問必要的列矢量指令I(lǐng)n Memory對性能提升數(shù)據(jù)掃描In Memory聚集快速掃描填充的內(nèi)

3、存 過程中創(chuàng)建報告大綱立即生成報告連接將星形查詢轉(zhuǎn)換為10倍更快的列掃描在大表中搜索與小表 匹配的值HASH JOINTable ATable BVector RegisterLoad multiple region valuesVector Compare all values an 1 cycleCPUCACACA CA分析查詢包含復雜的表達式最初針對每一行進行評估表達式預先計算并緩存在內(nèi)存中用戶通過虛擬列定義自動檢測到表達式所有內(nèi)存優(yōu)化均適用復雜查詢速度提高3-5倍Example: Compute total sales price Net = Price + Price * TaxIn

4、-Memory Column StoreSalesTaxPricePrice + Price * TaxIn Memory：內(nèi)存表達式熱圖跟蹤數(shù)據(jù)訪問頻率可以將策略定義為將數(shù)據(jù)帶入IM列存儲隨著數(shù)據(jù)冷卻增加壓縮級別從IM列存儲中逐出冷數(shù)據(jù)In Memory：內(nèi)存數(shù)據(jù)自動填充策略Sales_Q3Sales_Q2Sales_Q4In-Memory Column StoreSales _Q1In Memory：快速啟動IM列格式持久存儲內(nèi)存中的列存儲內(nèi)容在填充時存儲為secure file lob格式當重新啟動數(shù)據(jù)庫時，填充過程會更 快，因為填充過程會直接從存儲中讀 取列格式列存儲的恢復速度更快（2

5、-5倍），因 為無需重新格式化數(shù)據(jù)DBFILE1IndexTableTableTableIndexDBFILE2SALES TABLESPACEFAST START TABLESPACEFast Start DataIn-Memory Column StoreBuffer Cache實時分析，不影響生產(chǎn)數(shù)據(jù)庫高效利用備用數(shù)據(jù)庫資源可以從生產(chǎn)數(shù)據(jù)庫中填充不同的數(shù)據(jù)使用新的DISTRIBUTE BY SERVICE確定填充表的位置增加總的列容量In Memory：Active Data Guard支持1 MonthIn-MemoryProductionStandby1 YearIn-MemoryI

6、n Memory優(yōu)勢極速性能與BUFFER CACHE訪問相比性能提高7到128倍與磁盤命中相比性能提高62到3259倍混合場景提速5到9倍（通過刪除多余索引實現(xiàn)）數(shù)據(jù)掃描、連接、聚集全面提速易用性無需數(shù)據(jù)遷移無需應用修改設(shè)置部署簡單全面基于CBOIn Memory基礎(chǔ)架構(gòu)12In Memory功能優(yōu)勢3In Memory最佳實踐4In Memory最新特性目錄CONTENTS星型模式和預先計算的KPI改善儀表板的性能基礎(chǔ)層的全部或子集用于第三范式的時間敏感分析Staging/ETL/Temp不是最佳場景寫一次，讀一次In-Memory使用場景直接對OLTP數(shù)據(jù)啟用實時報告加快ETL過程的數(shù)據(jù)

7、提取部分無需單獨的ODSODSETLIn-Memory Column StoreSALESOLTP SystemReportingData WarehouseReportingIn-Memory Column StoreStaging LayerPerformance LayerSTAR SCHEMAPre-Cal KPIsFoundation Layer 3rd Normal FormIn Memory使用建議OLAP或報表系統(tǒng)：最佳使用場景開啟內(nèi)存壓縮模式配合分區(qū)效果更優(yōu)考慮開啟InMemory自動建議混合系統(tǒng)：有限制使用業(yè)務或數(shù)據(jù)庫評估In Memory候選表考慮使用索引建議去掉部分OL

8、AP相關(guān)的索引純OLTP系統(tǒng)：不建議架構(gòu)決定對OLTP性能無提升無論是單機還是RAC架構(gòu)，事務頻繁提交都會帶領(lǐng)額外開銷In Memory部署實踐內(nèi)存參數(shù)調(diào)整In-Memory默認沒有打開SGA_TARGET = 源SGA_TARGET + INMEMORY_SIZE（單實例）SGA_TARGET = (源SGA_TARGET + INMEMORY_SIZE) * 1.1 (RAC)PGA_TARGET = PARALLEL_MAX_SERVERS * 2GB如果無法避免寫臨時段：_smm_auto_max_io_size =1024不支持類型IOTHash clusterOut of line

9、 LOBs內(nèi)存使用占用Compression Advisor & In-Memory Advisor監(jiān)控InMemory操作內(nèi)存InMemory區(qū)域v$inmemory_area對象InMemory屬性v$im_segmentsSQL SELECT * FROM V$INMEMORY_AREA WHERE CON_ID = 3;POOLALLOC_BYTESUSED_BYTESPOPULATE_STATUSCON_ID1MB POOL145752064109051904DONE364KB POOL461373442686976DONE3SQL select segment_name, inme

10、mory_size, bytes, bytes_not_populated,populate_status from v$im_segments;SEGMENT_NAMEINMEMORY_SIZEBYTES BYTES_NOT_POPULATED POPULATE_STATUS T_INMEMORY1114767367898234880 COMPLETED監(jiān)控InMemory操作內(nèi)存InMemory區(qū)域v$inmemory_area對象InMemory屬性v$im_segments執(zhí)行計劃InMemoryINMEMORY FULLSQL select /*+ full(t) */ count(

11、*) from t_inmemory t;COUNT(*)5307536執(zhí)行計劃 Plan hash value: 2112900194| Id| Operation| Name| Rows| Cost (%CPU)| Time|0 | SELECT STATEMENT|1 |SORT AGGREGATE|2 |TABLE ACCESS INMEMORY FULL| T_INMEMORY |1 |1022(6)| 00:00:01 |1 |5307K|1022(6)| 00:00:01 |監(jiān)控InMemory操作內(nèi)存InMemory區(qū)域v$inmemory_area對象InMemory屬性v$

12、im_segments執(zhí)行計劃InMemoryINMEMORY FULL統(tǒng)計信息物理讀邏輯讀統(tǒng)計信息62recursive calls0db block gets18consistent gets5physical reads0redo size561bytes sent via SQL*Net to client410bytes received via SQL*Net from client2SQL*Net roundtrips to/from client0sorts (memory)sorts (disk)rows processed監(jiān)控InMemory操作內(nèi)存InMemory區(qū)域v$

13、inmemory_area對象InMemory屬性v$im_segments執(zhí)行計劃InMemoryINMEMORY FULL統(tǒng)計信息物理讀邏輯讀IM scan rowsSQL select name, value, t.con_id from v$statname n, v$sesstat twhere n.statistic# = t.statistic#and n.con_id = t.con_idand name = IM scan rowsand sid in (select sid from v$mystat);NAMEIM scan rowsVALUECON_ID53075363

14、In Memory與RACIn-Memory是share nothing架 構(gòu)In-Memory的表會打散到RAC所有節(jié)點的內(nèi)存中數(shù)據(jù)打散方式包括ROWID RANGE、 PARTITION和AUTO三種In-Memory的Duplicate功能僅在Exadata環(huán)境中可用一個會話僅訪問當前實例僅能 訪問InMemory表的部分數(shù)據(jù)In Memory與RACRAC環(huán)境如何高效使用InMemoryPARALLEL_FORCE_LOCAL設(shè)置為FALSEPARALLEL_DEGREE_POLICY設(shè)置為AUTO參數(shù)可以會話級設(shè)置可以在提示中使用語句級并行提示PARALLEL來代替不希望數(shù)據(jù)庫自動確

15、定并行度，通過PARALLEL(N)提示需要確保N/nodes = 2合理規(guī)劃表分區(qū)并按照PARTITION方式分布In Memory規(guī)劃業(yè)務訪問SERVICE對應的節(jié)點，按照SERVICE分布In MemoryIn-Memory與高可用RACASM RMANData Guard & GoldenGateInMemory不會更改存儲格式，日志記錄，備份，恢復等。所有經(jīng)過驗證的可用性技術(shù)都可以透 明地工作防止所有故障節(jié)點，站點，損壞，人為錯誤等額外考量成本In-Memory是選件非免費功能In-Memory使用的內(nèi)存為額外增加部分可用性對OLTP環(huán)境性能提升通過刪除索引實現(xiàn)對于網(wǎng)絡(luò)交互，登錄，解

16、析，PL/SQL，復雜函數(shù)，數(shù)據(jù)處理，ETL沒有加速能力需要關(guān)注由于空間，連接方式，RAC架構(gòu)以及BUG導致的In-Memory查詢不可用問題可擴展性通過增加內(nèi)存來支持數(shù)據(jù)增長In-Memory RAC架構(gòu)需要全面開啟并行，且對心跳帶寬要求較高，查詢效率較單實例下降In Memory基礎(chǔ)架構(gòu)12In Memory功能優(yōu)勢3In Memory最佳實踐4In Memory最新特性目錄CONTENTSIn-Memory 的自動化管理增強列式存儲特性 可以通過單一參數(shù)控制:inmemory_automatic_level = HIGH 不再需要通過 INMEMORY 標記表機器學習算法將會自動加載或驅(qū)

17、除表，無需用戶參與允許自動壓縮較少訪問的列式內(nèi)存數(shù)據(jù)In-Memory Column StoreHot DataIntermediate DataCool DataHot DataAuto Populate Hot TablesAuto Evict Cold TablesAuto Compress Cold Columns自動化的In-Memory管理較大的不常訪問的列可從內(nèi)存列 存儲中排除比如圖片、文檔等12c(18c/19c): 如果查詢包含任 何被排除的列，則無法進行In- Memory 訪問20c:混合In-Memory掃描掃描過濾使用in-memory列存從Buffer Cache獲

18、取被排除的列超過10倍性能提升混合In-Memory掃描ID5678In-Memory Column StoreSALES tableExcludes Invoice ColumnItemCameraLaptopPhoneLED TVPrice$200$2000$500$3000Row Store (Buffer Cache)SALES table1. Scan and filter by Price using column storeI DItemPriceInvoice5Camera$2006Laptop$20007Phone$5008LED TV$30002. Fetch invoic

19、esfrom row storeSELECT Invoice FROM Sales WHERE Price 1000新的深度矢量化框架允許SIMD矢量化 用于各種查詢運算符In-Memory向量連接Example:Join Sales and ItemsSALESIn-Memory中向量連接使用此框架來 加速復雜連接在單個SIMD向量指令中匹配SALES和ITEMS表之 間的多行In-Memory連接處理速度提高5-10倍ITEMSVector RegisterVector Register18c:In-Memory支持外部表外部表支持分區(qū)In-Memory外部表功能增強In-memory E

20、xternal TablesRDBMSIn-memory Database TablesExternal DataDB TABLESIn-Memory支持外部表Object StorageFilesHadoop外部表允許透明訪問數(shù)據(jù)庫外部的數(shù) 據(jù)外部表的In-Memory功能為數(shù)據(jù)庫外 部的數(shù)據(jù)建立in-memory列緩存以便 實現(xiàn)外部數(shù)據(jù)的超快速分析支持所有In-Memory優(yōu)化功能向量處理, JSON表達式透明地擴展到外部數(shù)據(jù)百倍速度提升18c:In-Memory支持外部表外部表支持分區(qū)19c:混合分區(qū)表In-Memory外部表功能增強Q2_2017 Q3_2017 Q4_2017 Q1_

21、2018 Q2_2018 Q3_2018 Q4_2018OBJECT STORAGESQLHOT DATACOLD DATAORDERSQ4_2016 Q1_2017UPDATESTABLE PARTITIONED BY QUARTER混合分區(qū)表進一步擴展了Oracle分區(qū)技術(shù)，混合指的是數(shù)據(jù)的 分布，一些分區(qū)可以位于數(shù)據(jù)庫中，另一些可以是位于數(shù)據(jù)庫 外部的文件（比如操作系統(tǒng)文件或HDFS文件）。19c中將內(nèi)部 分區(qū)（internal partitions）與外部分區(qū)（external partitions）特性結(jié)合起來，形成一個更通用的分區(qū)，稱為混 合分區(qū)表。混合分區(qū)表Q2_2017 Q3_

22、2017 Q4_2017 Q1_2018 Q2_2018 Q3_2018 Q4_2018OBJECT STORAGESQLHOT DATACOLD DATAORDERSQ4_2016 Q1_2017UPDATESTABLE PARTITIONED BY QUARTERCREATE TABLE orders ( order_id number, order_date DATE, ) EXTERNAL PARTITION ATTRIBUTES ( TYPE oracle_loader DEFAULT DIRECTORY data_dir ACCESS PARAMETERS (.) REJECT L

23、IMIT unlimited)PARTITION BY RANGE(order_date)( partition q1_2015 values less than (2015-04-01) EXTERNAL LOCATION (order_q1_2015.csv),partition q2_2015 values less than (2015-07-01), partition q3_2015 values less than (2015-10-01), partition q4_2015 values less than (2016-01-01);混合分區(qū)表18c:In-Memory支持外部表外部表支持分區(qū)19c:混合分區(qū)表20c:In-Memory支持分區(qū)外部表In-Memory支持混合外部表In-Memory支持表級和分區(qū)