深入內(nèi)存數(shù)據(jù)庫(kù)課件

深入內(nèi)存數(shù)據(jù)庫(kù)TimesTenAlexWang2023/6/621、概述與傳統(tǒng)數(shù)據(jù)庫(kù)的比較

TimesTen為什么快性能指標(biāo)應(yīng)用場(chǎng)景2023/6/63什么是內(nèi)存數(shù)據(jù)庫(kù)？?jī)?nèi)存數(shù)據(jù)庫(kù)將數(shù)據(jù)和元數(shù)據(jù)存放在內(nèi)存中，可以獲得極高的響應(yīng)速度并實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)緩存數(shù)據(jù)庫(kù)與應(yīng)用程序共享一個(gè)地址空間完善的事務(wù)管理，針對(duì)物理內(nèi)存的優(yōu)化調(diào)度算法和并發(fā)事務(wù)處理關(guān)系型數(shù)據(jù)庫(kù)，支持SQL92數(shù)據(jù)可靠性、完善的數(shù)據(jù)恢復(fù)機(jī)制2023/6/64與傳統(tǒng)數(shù)據(jù)庫(kù)比較(1)傳統(tǒng)數(shù)據(jù)庫(kù)的目的是處理永久、穩(wěn)定的數(shù)據(jù)。強(qiáng)調(diào)維護(hù)數(shù)據(jù)的完整性、一致性，但很難顧及數(shù)據(jù)及其處理的定時(shí)限制，不能滿足實(shí)時(shí)應(yīng)用的需要傳統(tǒng)數(shù)據(jù)庫(kù)由于磁盤(pán)IO、緩存管理、排隊(duì)等待及鎖的延遲等使得事務(wù)實(shí)際平均執(zhí)行時(shí)間與估算的最壞情況執(zhí)行時(shí)間相差很大；內(nèi)存數(shù)據(jù)庫(kù)由于沒(méi)有磁盤(pán)IO和緩存管理，能搞準(zhǔn)確估算事務(wù)響應(yīng)時(shí)間內(nèi)存數(shù)據(jù)庫(kù)處理的數(shù)據(jù)通常是“短暫”的，即有一定的時(shí)效。所以，實(shí)際應(yīng)用中內(nèi)存數(shù)據(jù)庫(kù)主要處理實(shí)時(shí)性強(qiáng)的業(yè)務(wù)邏輯處理數(shù)據(jù)。而傳統(tǒng)數(shù)據(jù)庫(kù)旨在處理永久、穩(wěn)定的數(shù)據(jù)，其性能目標(biāo)是高的系統(tǒng)吞吐量和低的代價(jià)傳統(tǒng)數(shù)據(jù)庫(kù)是IO密集型應(yīng)用，內(nèi)存數(shù)據(jù)庫(kù)為CPU密集型應(yīng)用2023/6/65與傳統(tǒng)數(shù)據(jù)庫(kù)比較(2)CharacteristicOracleDatabase10gOracleTimesTenDatamodelRelational:SQLRelational:SQLTargetapplicationsMission-criticalMission-criticalOptimizationDisk-centric(IO)Memory-centric(CPU)TypicaldeploymentDatabasetierApplicationtierArchitectureClient/serverDirectdataaccessResponsetimesMillisecondsMicrosecondsDatacapacityTensofterabytesTensofgigabytesScalabilityUnlimitedSMP/clusterGoodSMP2023/6/66TimesTen為什么快？(1)2023/6/67TimesTen為什么快？(2)2023/6/68TimesTen為什么快？(3)最小化磁盤(pán)IO沒(méi)有緩存管理的消耗針對(duì)物理內(nèi)存的優(yōu)化調(diào)度算法直接訪問(wèn)，沒(méi)有IPC消耗風(fēng)險(xiǎn)：共享地址空間2023/6/69TimesTen性能指標(biāo)2023/6/610使用場(chǎng)景(1)：常用數(shù)據(jù)緩存緩存經(jīng)常被訪問(wèn)的數(shù)據(jù)，提高應(yīng)用的處理能力及反應(yīng)速度，減少網(wǎng)絡(luò)和后臺(tái)數(shù)據(jù)庫(kù)的負(fù)載2023/6/611使用場(chǎng)景(2)：熱點(diǎn)數(shù)據(jù)緩存緩存當(dāng)前正使用的“熱點(diǎn)數(shù)據(jù)”或重要客戶的數(shù)據(jù)，已提高反應(yīng)速度優(yōu)化服務(wù)，提高用戶的忠誠(chéng)度.針對(duì)Table，換出的數(shù)據(jù)不能再換入！2023/6/612使用場(chǎng)景(3)：實(shí)時(shí)交易內(nèi)存數(shù)據(jù)庫(kù)是可對(duì)消息隊(duì)列和事務(wù)進(jìn)行處理的實(shí)時(shí)數(shù)據(jù)庫(kù)，并可把處理結(jié)果“push”到后臺(tái)數(shù)據(jù)庫(kù)巨大的性能差異！2023/6/6132、TimesTen的組成

TimesTen的組成日志和檢查點(diǎn)鎖事務(wù)訪問(wèn)方式

XLA2023/6/614TimesTen的組成2023/6/615日志和檢查點(diǎn)日志分為緩存和文件兩部分雙重檢查點(diǎn)文件Blocking/Non-Blocking增量生成Checkpoint文件自動(dòng)刪除日志數(shù)據(jù)從檢查點(diǎn)和日志中恢復(fù)LogBuffer的事務(wù)可能丟失?。。?023/6/616鎖處理并發(fā)性訪問(wèn)的機(jī)制，序列化多個(gè)應(yīng)用對(duì)資源的同時(shí)訪問(wèn)。TimesTen有三種鎖機(jī)制：DataStore級(jí)鎖其它進(jìn)程不能同時(shí)訪問(wèn)該DataStore，即DataStore級(jí)的鎖都是排他的。只有在當(dāng)前DataStore上沒(méi)有活動(dòng)的事務(wù)時(shí)，才能獲取DataStore級(jí)的鎖。一旦獲得DataStore級(jí)鎖，其它事務(wù)將被阻塞直到該鎖定被釋放。初始化、數(shù)據(jù)批量導(dǎo)入產(chǎn)生DataStore級(jí)鎖。表級(jí)鎖當(dāng)事務(wù)要對(duì)一個(gè)表的大部分記錄進(jìn)行查詢、修改或者刪除時(shí)，就會(huì)獲得表級(jí)鎖。也可通過(guò)命令ttOptSetFlag()來(lái)手工動(dòng)態(tài)設(shè)置。行級(jí)鎖行級(jí)鎖的并發(fā)性是最好的。它只鎖定要操作的行，所以不同的應(yīng)用可以同時(shí)操作同一個(gè)表中不同的行。2023/6/617事務(wù)(1)Datastore可被多進(jìn)程/多線程所共享：ACID

完整的事務(wù)支持。不支持嵌套事務(wù)/XA交易獨(dú)立性

默認(rèn)ReadCommitted事務(wù)級(jí)別 不支持MVCC 降低為串行事務(wù)級(jí)別隔離級(jí)別與并發(fā)性是互為矛盾的

隔離程度越高，數(shù)據(jù)庫(kù)的并發(fā)性越差；隔離程度越低，數(shù)據(jù)庫(kù)的并發(fā)性越好提高效率，違反D！2023/6/618事務(wù)(2)TimesTen支持兩級(jí)事務(wù)隔離：ReadcommittedisolationSerializableisolationIsolationLevel

DirtyRead

NonRepeatableRead

ReaduncommittedPossiblePossibleReadcommittedNotpossiblePossibleRepeatablereadNotpossibleNotpossibleSerializableNotpossibleNotpossible2023/6/619查詢優(yōu)化(1)基于Cost的優(yōu)化器，優(yōu)化器根據(jù)下面的因素計(jì)算Cost：TableandcolumnstatisticsMetadatainformationIndexchoicesScanmethodsJoinalgorithmchoice一定要用綁定變量！2023/6/620查詢優(yōu)化(2)Hash索引只能出現(xiàn)在主鍵上，只能用于等值匹配查詢，但占用空間較大；建Hash索引時(shí)必須定義Pages值（Rows/256）,以避免Hash碰撞。TimesTen的兩種索引:T-tree索引適宜做范圍、排序等查詢（orderby、groupby、distinct），當(dāng)然它也可做等值查詢，占用空間較?。蝗頀呙钑r(shí)候，如果被掃描的表具有T-tree索引（不管這個(gè)索引的列是否被用到），則性能會(huì)有較大的提升。2023/6/621查詢優(yōu)化(3)

統(tǒng)計(jì)內(nèi)置命令ttOptEstimateStats和ttOptUpdateStats用于對(duì)數(shù)據(jù)庫(kù)進(jìn)行統(tǒng)計(jì)，以準(zhǔn)確的計(jì)算執(zhí)行路徑的Cost，選擇最優(yōu)的執(zhí)行計(jì)劃。

臨時(shí)索引系統(tǒng)有時(shí)會(huì)創(chuàng)建臨時(shí)索引加快查詢速度，但如果臨時(shí)索引創(chuàng)建地過(guò)于頻繁，就要考慮手工建相應(yīng)的索引，這可以通過(guò)系統(tǒng)表MONITOR的列CMD_TEMP_INDEXES來(lái)監(jiān)測(cè)。2023/6/622查詢優(yōu)化(4)最常用的掃描方式:基于T-Tree索引的掃描方式基于Hash索引的掃描方式，Hash索引只能夠建立在主鍵上，因此，查詢必然是主鍵查詢基于Rowid的查找，這是最快的查詢方式全表掃描，如果表上有一個(gè)T-Tree索引，掃描速度會(huì)明顯加快2023/6/623訪問(wèn)方式Datastore可被多進(jìn)程/多線程所共享：直接連接應(yīng)用以共享模式訪問(wèn)DataStore，DataStore被預(yù)先裝載到共享內(nèi)存段，應(yīng)用則映射該共享內(nèi)存段到自己的運(yùn)行地址空間上C/S連接應(yīng)用必須和TimesTen部署在不同的機(jī)子上，或者32位的應(yīng)用程序必須連接64位的DataStore，且32位的應(yīng)用不能在64位的機(jī)子上重新編譯，此時(shí)就只能選擇C/S連接方式。

ODBC驅(qū)動(dòng)管理器驅(qū)動(dòng)管理器是獨(dú)立于具體的數(shù)據(jù)源的，即在應(yīng)用和數(shù)據(jù)源之間增加了一個(gè)抽象層。2023/6/624MicroLoggingDatastore可被多進(jìn)程/多線程所共享：共享進(jìn)程空間會(huì)使嵌入式應(yīng)用受進(jìn)程故障的影響MicroLogging確保內(nèi)存數(shù)據(jù)庫(kù)不受應(yīng)用進(jìn)程故障的影響異常退出進(jìn)程的未決事務(wù)被回滾 如有必要，數(shù)據(jù)庫(kù)進(jìn)行Revorvery安全且高性能2023/6/625XLA跟蹤實(shí)時(shí)數(shù)據(jù)變化監(jiān)視交易變化發(fā)送數(shù)據(jù)變化到外部應(yīng)用實(shí)現(xiàn)實(shí)時(shí)事件通知與處理TransactionLogAPI(XLA)：2023/6/6263、高可用性

Replication

CacheConnect2023/6/627Replication(1)多路，點(diǎn)對(duì)點(diǎn)Active/standby或active/active表級(jí)或data-store級(jí)復(fù)制同步與異步數(shù)據(jù)傳送故障自動(dòng)恢復(fù)沖突檢測(cè)與解除2023/6/628Replication(2)2023/6/629Replication(3)同步或異步數(shù)據(jù)復(fù)制：

異步復(fù)制

異步傳送交易數(shù)據(jù)非?？斓膽?yīng)用響應(yīng)時(shí)間適合于需要高性能、低延遲的應(yīng)用場(chǎng)景

同步復(fù)制

同步傳送交易數(shù)據(jù)在返回控制權(quán)給應(yīng)用之前，提交的交易能確保被傳送到遠(yuǎn)端節(jié)點(diǎn)同步復(fù)制可以由應(yīng)用系統(tǒng)在交易層面來(lái)進(jìn)行控制“開(kāi)啟”或“關(guān)閉”2023/6/630Replication(4)同步復(fù)制

網(wǎng)絡(luò)IO快于磁盤(pán)IO2023/6/631Replication(5)異步復(fù)制

2023/6/632Replication(6)Return-receipt異步復(fù)制

2023/6/633Replication(7)2023/6/634Replication(8)createreplicationocs_a_a_replication

elementadatastore

mastermydataon"cx_pdscp1" subscribermydataon"cx_pdscp2"

returntwosafe

storemydataon"cx_pdscp1" returnservicesoff whenreplicationstopped durablecommiton elementbdatastore mastermydataon"cx_pdscp2" subscribermydataon"cx_pdscp1" returntwosafe storemydataon"cx_pdscp2" returnservicesoff whenreplicationstopped durablecommiton;

Replication名稱組成數(shù)據(jù)庫(kù)實(shí)例復(fù)制方式策略：當(dāng)Agent停止，復(fù)制關(guān)閉；固化事務(wù)提交。2023/6/635CacheConnect(1)緩存Oracle數(shù)據(jù)庫(kù)的數(shù)據(jù)只讀或可更新的緩存雙向更新異步寫(xiě)在一個(gè)Oracle數(shù)據(jù)庫(kù)上可以建立多個(gè)緩存實(shí)例DateAging和PassThrough2023/6/636CacheConnect(2)CacheGroup有如下幾種類(lèi)型：SystemManaged類(lèi)型：

ReadOnly：TimesTen中的數(shù)據(jù)只讀，數(shù)據(jù)只在Oracle中更新，然后通過(guò)Autorefresh機(jī)制刷新到TimesTen中SWT：即當(dāng)應(yīng)用提交事務(wù)時(shí)，首先在Oracle提交，然后在TimesTen中提交，在此期間，應(yīng)用一直被阻塞AWT：即事務(wù)先在TimesTen中提交，然后以異步的模式在Oracle中提交。應(yīng)用不需要等待在Oracle數(shù)據(jù)庫(kù)那邊的提交。UserManaged類(lèi)型：提供了一個(gè)完全開(kāi)放的參數(shù)選擇模式，讓用戶自己去細(xì)粒度定義參數(shù)。2023/6/637CacheConnect(3)DataAging的概念：

Aging就是當(dāng)TimesTen中的數(shù)據(jù)符合某些條件的時(shí)候，會(huì)被自動(dòng)清除出TimesTen，當(dāng)系統(tǒng)的內(nèi)存不是很充足的時(shí)候，Aging可以保證有充足的空余空間去放入新的數(shù)據(jù)，目前Aging的算法有兩種：一種是基于時(shí)間的，一種是基于LRU（最近最少使用）

特別說(shuō)明：Aging可以針對(duì)表，也可以針對(duì)CacheGroup。針對(duì)表的時(shí)候，交換出去的數(shù)據(jù)將不能再被交換進(jìn)來(lái)（TimesTen7.0.3版本）DataAging：2023/6/638CacheConnect(4)PassTrough：Level0：所有的SQL只是在TimesTen執(zhí)行Level1：SQL（除了Insert、Delete、Update及DDL之外）將被PassThrough到Oracle中執(zhí)行，如果該SQL在TimesTen執(zhí)行時(shí)產(chǎn)生語(yǔ)法錯(cuò)誤。如果Insert、Delete及Update操作的目標(biāo)表在TimesTen不存在，則將被將被PassThrough到Oracle中執(zhí)行。Level2：同1，加上如果Insert、Update及Delete針對(duì)的是ReadOnlyCacheGroup，且符合1的描述，也將被PassThrough到Oracle中執(zhí)行。Level3：所有的SQL（除了Commit、Rollback、Savepoint及TimesTen獨(dú)有的設(shè)置其優(yōu)化器參數(shù)的內(nèi)置存儲(chǔ)過(guò)程）都被PassThrough到Oracle2023/6/639CacheConnect(5)PassTrough：2023/6/640CacheConnect(6)使用CREATEREADONLYCACHEGROUP

語(yǔ)句建立在Oracle端修改的數(shù)據(jù)自動(dòng)同步到TimesTen中可以選擇全量和遞增兩種方式同步數(shù)據(jù)ReadonlyCacheGroup：2023/6/641CacheConnect(7)如果應(yīng)用試圖修改一個(gè)ReadonlyCacheGroup的內(nèi)容，將會(huì)得到TimesTen錯(cuò)誤碼8225，“Tableisreadonly”如果PassTrough設(shè)置為2或者3，DML語(yǔ)句將透?jìng)鞯絆racle執(zhí)行，并把執(zhí)行的結(jié)果自動(dòng)刷新回TimesTenReadonlyCacheGroup的限制：2023/6/642CacheConnect(8)使用CREATESYNCHRONOUSWRITETHROUGHCACHEGROUP語(yǔ)句建立初始數(shù)據(jù)在CacheGroup建立后手動(dòng)加載事務(wù)先在Oracle提交，如果提交失敗，TT必須回滾SWTCacheGroup：2023/6/643CacheConnect(9)SWT的內(nèi)容可以通過(guò)命令手動(dòng)加載、卸載和刷新建立SWT時(shí)不能指定WHERE條件TRUNCATETABLE不能反映在TimesTen中SWTCacheGroup的限制：2023/6/644CacheConnect(10)使用CREATEASYNCHRONOUSWRITETHROUGHCACHEGROUP語(yǔ)句建立數(shù)據(jù)更新異步傳遞到Oracle應(yīng)用可以在Oracle數(shù)據(jù)庫(kù)宕機(jī)時(shí)繼續(xù)進(jìn)行AWTCacheGroup：2023/6/645CacheConnect(11)TimesTen和Oracle即使連接失敗，事務(wù)信息也不會(huì)丟失事務(wù)在TimesTen和Oracle中提交的順序是一致的如果事務(wù)在TimesTen中成功，但在Oracle中提交失敗，將會(huì)在*.awterr文件中報(bào)告不能夠手動(dòng)刷新數(shù)據(jù)建立CacheGroup不能指定WHERE條件在建立或刪除CacheGroup時(shí)，必須停止ReplicationAgent在Oracle中直接作的更新，有可能被TimesTen的修改覆蓋AWTCacheGroup的限制：2023/6/6464、常見(jiàn)問(wèn)題日志不能自動(dòng)刪除數(shù)據(jù)恢復(fù)時(shí)間漫長(zhǎng)關(guān)鍵的連接屬性其它……2023/6/647日志不能自動(dòng)刪除現(xiàn)象：TimesTen的日志無(wú)法自動(dòng)刪除，導(dǎo)致在磁盤(pán)上有大量的日志累積!!!日志刪除的條件，要求日志中的事務(wù)