第九章 數(shù)據(jù)庫恢復(fù)技術(shù)2009

1、An Introduction to Database System數(shù)據(jù)庫系統(tǒng)概論數(shù)據(jù)庫系統(tǒng)概論An Introduction to Database System第九章第九章 數(shù)據(jù)庫恢復(fù)技術(shù)數(shù)據(jù)庫恢復(fù)技術(shù)An Introduction to Database System8.1 事務(wù)的基本概念事務(wù)的基本概念一、事務(wù)定義二、事務(wù)的特性An Introduction to Database System一、事務(wù)一、事務(wù)(Transaction)v 定義 一個數(shù)據(jù)庫操作序列 一個不可分割的工作單位 恢復(fù)和并發(fā)控制的基本單位v 事務(wù)和程序比較 在關(guān)系數(shù)據(jù)庫中，一個事務(wù)可以是一條或多條SQL語句,也可

2、以包含一個或多個程序。 一個程序通常包含多個事務(wù)An Introduction to Database System定義事務(wù)定義事務(wù)v 顯式定義方式 BEGIN TRANSACTION BEGIN TRANSACTION SQL 語句1 SQL 語句1 SQL 語句2 SQL 語句2 。 。 COMMIT ROLLBACKv 隱式方式當用戶沒有顯式地定義事務(wù)時，DBMS按缺省規(guī)定自動劃分事務(wù)An Introduction to Database System二、事務(wù)的特性二、事務(wù)的特性(ACID特性特性)事務(wù)的ACID特性：v 原子性（Atomicity）v 一致性（Consistency）v

3、 隔離性（Isolation）v 持續(xù)性（Durability ）An Introduction to Database System8.2 數(shù)據(jù)庫恢復(fù)概述數(shù)據(jù)庫恢復(fù)概述v故障是不可避免的 系統(tǒng)故障：計算機軟、硬件故障 人為故障：操作員的失誤、惡意的破壞等。v數(shù)據(jù)庫的恢復(fù)把數(shù)據(jù)庫從錯誤狀態(tài)恢復(fù)到某一已知的正確狀態(tài)(亦稱為一致狀態(tài)或完整狀態(tài))An Introduction to Database System 8.3 故障的種類故障的種類v事務(wù)內(nèi)部的故障v系統(tǒng)故障v介質(zhì)故障v計算機病毒An Introduction to Database System一、事務(wù)內(nèi)部的故障一、事務(wù)內(nèi)部的故障v事務(wù)內(nèi)

4、部的故障n 有的是可以通過事務(wù)程序本身發(fā)現(xiàn)的n 有的是非預(yù)期的An Introduction to Database System事務(wù)內(nèi)部的故障（續(xù)）事務(wù)內(nèi)部的故障（續(xù)）v 事務(wù)內(nèi)部更多的故障是非預(yù)期的，是不能由應(yīng)用程序處理的。n 運算溢出n 并發(fā)事務(wù)發(fā)生死鎖而被選中撤銷該事務(wù)n 違反了某些完整性限制等 以后，事務(wù)故障僅指這類非預(yù)期的故障v 事務(wù)故障的恢復(fù)：撤消事務(wù)（UNDO）An Introduction to Database System二、系統(tǒng)故障二、系統(tǒng)故障v系統(tǒng)故障稱為軟故障，是指造成系統(tǒng)停止運轉(zhuǎn)的任何事件，使得系統(tǒng)要重新啟動。 整個系統(tǒng)的正常運行突然被破壞 所有正在運行的事務(wù)都非

5、正常終止 不破壞數(shù)據(jù)庫 內(nèi)存中數(shù)據(jù)庫緩沖區(qū)的信息全部丟失An Introduction to Database System系統(tǒng)故障的常見原因系統(tǒng)故障的常見原因v特定類型的硬件錯誤（如CPU故障）v操作系統(tǒng)故障vDBMS代碼錯誤v系統(tǒng)斷電An Introduction to Database System系統(tǒng)故障的恢復(fù)系統(tǒng)故障的恢復(fù)v發(fā)生系統(tǒng)故障時，事務(wù)未提交 恢復(fù)策略：強行撤消（恢復(fù)策略：強行撤消（UNDO）所有未完成事務(wù)）所有未完成事務(wù)v發(fā)生系統(tǒng)故障時，事務(wù)已提交，但緩沖區(qū)中的信息尚未完全寫回到磁盤上。 恢復(fù)策略：重做（恢復(fù)策略：重做（REDO）所有已提交的事務(wù)）所有已提交的事務(wù)An In

6、troduction to Database System三、介質(zhì)故障三、介質(zhì)故障v介質(zhì)故障稱為硬故障，指外存故障 磁盤損壞 磁頭碰撞 操作系統(tǒng)的某種潛在錯誤 瞬時強磁場干擾An Introduction to Database System介質(zhì)故障的恢復(fù)介質(zhì)故障的恢復(fù)v裝入數(shù)據(jù)庫發(fā)生介質(zhì)故障前某個時刻的數(shù)據(jù)副本v重做自此時始的所有成功事務(wù)，將這些事務(wù)已提交的結(jié)果重新記入數(shù)據(jù)庫An Introduction to Database System四、計算機病毒四、計算機病毒v計算機病毒 一種人為的故障或破壞，是一些惡作劇者研制的一種計算機程序 可以繁殖和傳播v危害 破壞、盜竊系統(tǒng)中的數(shù)據(jù) 破壞系

7、統(tǒng)文件An Introduction to Database System故障小結(jié)故障小結(jié)v各類故障，對數(shù)據(jù)庫的影響有兩種可能性n一是數(shù)據(jù)庫本身被破壞n二是數(shù)據(jù)庫沒有被破壞，但數(shù)據(jù)可能不正確，這是由于事務(wù)的運行被非正常終止造成的。An Introduction to Database System8.4 恢復(fù)的實現(xiàn)技術(shù)恢復(fù)的實現(xiàn)技術(shù)v 恢復(fù)操作的基本原理：冗余v 恢復(fù)機制涉及的關(guān)鍵問題 如何建立冗余數(shù)據(jù)n數(shù)據(jù)轉(zhuǎn)儲（backup）n登錄日志文件（logging） 如何利用這些冗余數(shù)據(jù)實施數(shù)據(jù)庫恢復(fù)An Introduction to Database System8.4.1 數(shù)據(jù)轉(zhuǎn)儲數(shù)據(jù)轉(zhuǎn)儲一、

8、什么是數(shù)據(jù)轉(zhuǎn)儲二、轉(zhuǎn)儲方法1靜態(tài)轉(zhuǎn)儲與動態(tài)轉(zhuǎn)儲2海量轉(zhuǎn)儲與增量轉(zhuǎn)儲An Introduction to Database System3轉(zhuǎn)儲方法小結(jié)轉(zhuǎn)儲方法小結(jié)v轉(zhuǎn)儲方法分類 轉(zhuǎn)儲狀態(tài)轉(zhuǎn)儲狀態(tài)動態(tài)轉(zhuǎn)儲動態(tài)轉(zhuǎn)儲靜態(tài)轉(zhuǎn)儲靜態(tài)轉(zhuǎn)儲轉(zhuǎn)儲轉(zhuǎn)儲方式方式海量轉(zhuǎn)儲海量轉(zhuǎn)儲動態(tài)海量轉(zhuǎn)儲動態(tài)海量轉(zhuǎn)儲靜態(tài)海量轉(zhuǎn)儲靜態(tài)海量轉(zhuǎn)儲增量轉(zhuǎn)儲增量轉(zhuǎn)儲動態(tài)增量轉(zhuǎn)儲動態(tài)增量轉(zhuǎn)儲靜態(tài)增量轉(zhuǎn)儲靜態(tài)增量轉(zhuǎn)儲An Introduction to Database System8.4.2 登記日志文件登記日志文件一、日志文件的格式和內(nèi)容二、日志文件的作用三、登記日志文件An Introduction to Database System一

9、、日志文件的格式和內(nèi)容一、日志文件的格式和內(nèi)容v什么是日志文件日志文件(log)是用來記錄事務(wù)對數(shù)據(jù)庫的更新操作的文件v日志文件的格式n以記錄為單位的日志文件n以數(shù)據(jù)塊為單位的日志文件An Introduction to Database System日志文件的格式和內(nèi)容（續(xù)）日志文件的格式和內(nèi)容（續(xù)）v以記錄為單位的日志文件內(nèi)容 各個事務(wù)的開始標記(BEGIN TRANSACTION) 各個事務(wù)的結(jié)束標記(COMMIT或ROLLBACK) 各個事務(wù)的所有更新操作 以上均作為日志文件中的一個日志記錄 (log record)An Introduction to Database System日

10、志文件的格式和內(nèi)容（續(xù)）日志文件的格式和內(nèi)容（續(xù)）v以記錄為單位的日志文件，每條日志記錄的內(nèi)容 事務(wù)標識（標明是哪個事務(wù)） 操作類型（插入、刪除或修改） 操作對象（記錄內(nèi)部標識） 更新前數(shù)據(jù)的舊值（對插入操作而言，此項為空值） 更新后數(shù)據(jù)的新值（對刪除操作而言, 此項為空值）An Introduction to Database System日志文件的格式和內(nèi)容（續(xù)）日志文件的格式和內(nèi)容（續(xù)）v以數(shù)據(jù)塊為單位的日志文件，每條日志記錄的內(nèi)容 事務(wù)標識（標明是那個事務(wù)） 被更新的數(shù)據(jù)塊An Introduction to Database System二、日志文件的作用二、日志文件的作用v進行事務(wù)

11、故障恢復(fù)v進行系統(tǒng)故障恢復(fù)v協(xié)助后備副本進行介質(zhì)故障恢復(fù)An Introduction to Database System利用靜態(tài)轉(zhuǎn)儲副本和日志文件進行利用靜態(tài)轉(zhuǎn)儲副本和日志文件進行恢復(fù)恢復(fù) 靜態(tài)靜態(tài)轉(zhuǎn)儲轉(zhuǎn)儲 運行事務(wù)運行事務(wù) 正常運行正常運行 Ta Ta Tb Tb Tf Tf 重裝后備副本重裝后備副本 利用日志文件恢復(fù)利用日志文件恢復(fù) 繼續(xù)運行繼續(xù)運行恢復(fù)恢復(fù) 登記日志文件登記日志文件An Introduction to Database System利用靜態(tài)轉(zhuǎn)儲副本和日志文件進行恢復(fù)利用靜態(tài)轉(zhuǎn)儲副本和日志文件進行恢復(fù)（續(xù)）（續(xù)）上圖中：v 系統(tǒng)在Ta時刻停止運行事務(wù)，進行數(shù)據(jù)庫轉(zhuǎn)儲v

12、在Tb時刻轉(zhuǎn)儲完畢，得到Tb時刻的數(shù)據(jù)庫一致性副本v 系統(tǒng)運行到Tf時刻發(fā)生故障v 為恢復(fù)數(shù)據(jù)庫，首先由DBA重裝數(shù)據(jù)庫后備副本，將數(shù)據(jù)庫恢復(fù)至Tb時刻的狀態(tài)v 重新運行自TbTf時刻的所有更新事務(wù)，把數(shù)據(jù)庫恢復(fù)到故障發(fā)生前的一致狀態(tài)An Introduction to Database System三、登記日志文件三、登記日志文件v 基本原則 登記的次序嚴格按并行事務(wù)執(zhí)行的時間次序 必須先寫日志文件，后寫數(shù)據(jù)庫寫日志文件操作：把表示這個修改的日志記錄 寫到日志文件寫數(shù)據(jù)庫操作：把對數(shù)據(jù)的修改寫到數(shù)據(jù)庫中An Introduction to Database System8.5 恢復(fù)策略恢復(fù)策

13、略8.5.1 事務(wù)故障的恢復(fù)事務(wù)故障的恢復(fù)8.5.2 系統(tǒng)故障的恢復(fù)系統(tǒng)故障的恢復(fù)8.5.3 介質(zhì)故障的恢復(fù)介質(zhì)故障的恢復(fù)An Introduction to Database System8.5.1 事務(wù)故障的恢復(fù)事務(wù)故障的恢復(fù)v 事務(wù)故障：事務(wù)在運行至正常終止點前被終止v 恢復(fù)方法 由恢復(fù)子系統(tǒng)應(yīng)利用日志文件撤消（UNDO）此事務(wù)已對數(shù)據(jù)庫進行的修改v 事務(wù)故障的恢復(fù)由系統(tǒng)自動完成，對用戶是透明的，不需要用戶干預(yù)An Introduction to Database System事務(wù)故障的恢復(fù)步驟事務(wù)故障的恢復(fù)步驟1. 反向掃描文件日志（即從最后向前掃描日志文件），查找該事務(wù)的更新操作。2

14、. 對該事務(wù)的更新操作執(zhí)行逆操作。即將日志記錄中“更新前的值” 寫入數(shù)據(jù)庫。 插入操作， “更新前的值”為空，則相當于做刪除操作 刪除操作，“更新后的值”為空，則相當于做插入操作 若是修改操作，則相當于用修改前值代替修改后值 An Introduction to Database System事務(wù)故障的恢復(fù)步驟事務(wù)故障的恢復(fù)步驟3. 繼續(xù)反向掃描日志文件，查找該事務(wù)的其他更新操作，并做同樣處理。4. 如此處理下去，直至讀到此事務(wù)的開始標記，事務(wù)故障恢復(fù)就完成了。An Introduction to Database System8.5 恢復(fù)策略恢復(fù)策略8.5.1 事務(wù)故障的恢復(fù)事務(wù)故障的恢復(fù)8

15、.5.2 系統(tǒng)故障的恢復(fù)系統(tǒng)故障的恢復(fù)8.5.3 介質(zhì)故障的恢復(fù)介質(zhì)故障的恢復(fù)An Introduction to Database System8.5.2 系統(tǒng)故障的恢復(fù)系統(tǒng)故障的恢復(fù)v 系統(tǒng)故障造成數(shù)據(jù)庫不一致狀態(tài)的原因 未完成事務(wù)對數(shù)據(jù)庫的更新已寫入數(shù)據(jù)庫 已提交事務(wù)對數(shù)據(jù)庫的更新還留在緩沖區(qū)沒來得及寫入數(shù)據(jù)庫v 恢復(fù)方法 1. Undo 故障發(fā)生時未完成的事務(wù) 2. Redo 已完成的事務(wù)v 系統(tǒng)故障的恢復(fù)由系統(tǒng)在重新啟動時自動完成，不需要用戶干預(yù)An Introduction to Database System系統(tǒng)故障的恢復(fù)系統(tǒng)故障的恢復(fù)步驟步驟1. 正向掃描日志文件（即從頭掃描日

16、志文件） 重做(REDO) 隊列: 在故障發(fā)生前已經(jīng)提交的事務(wù)這些事務(wù)既有BEGIN TRANSACTION記錄，也有COMMIT記錄 撤銷 (Undo)隊列:故障發(fā)生時尚未完成的事務(wù) 這些事務(wù)只有BEGIN TRANSACTION記錄，無相應(yīng)的COMMIT記錄An Introduction to Database System系統(tǒng)故障的恢復(fù)步驟系統(tǒng)故障的恢復(fù)步驟2. 對撤銷(Undo)隊列事務(wù)進行撤銷(UNDO)處理n反向掃描日志文件，對每個UNDO事務(wù)的更新操作執(zhí)行逆操作n即將日志記錄中“更新前的值”寫入數(shù)據(jù)庫 3. 對重做(Redo)隊列事務(wù)進行重做(REDO)處理n正向掃描日志文件，對

17、每個REDO事務(wù)重新執(zhí)行登記的操作n即將日志記錄中“更新后的值”寫入數(shù)據(jù)庫 An Introduction to Database System8.5 恢復(fù)策略恢復(fù)策略8.5.1 事務(wù)故障的恢復(fù)事務(wù)故障的恢復(fù)8.5.2 系統(tǒng)故障的恢復(fù)系統(tǒng)故障的恢復(fù)8.5.3 介質(zhì)故障的恢復(fù)介質(zhì)故障的恢復(fù)An Introduction to Database System8.5.3 介質(zhì)故障的恢復(fù)介質(zhì)故障的恢復(fù)1.重裝數(shù)據(jù)庫2.重做已完成的事務(wù)An Introduction to Database System介質(zhì)故障的恢復(fù)（續(xù)）介質(zhì)故障的恢復(fù)（續(xù)）v 恢復(fù)步驟1. 裝入最新的后備數(shù)據(jù)庫副本(離故障發(fā)生時刻最近

18、的轉(zhuǎn)儲副本) ，使數(shù)據(jù)庫恢復(fù)到最近一次轉(zhuǎn)儲時的一致性狀態(tài)。n對于靜態(tài)轉(zhuǎn)儲的數(shù)據(jù)庫副本，裝入后數(shù)據(jù)庫即處于一致性狀態(tài)n對于動態(tài)轉(zhuǎn)儲的數(shù)據(jù)庫副本，還須同時裝入轉(zhuǎn)儲時刻的日志文件副本，利用與恢復(fù)系統(tǒng)故障的方法（即REDO+UNDO），才能將數(shù)據(jù)庫恢復(fù)到一致性狀態(tài)。An Introduction to Database System介質(zhì)故障的恢復(fù)（續(xù)）介質(zhì)故障的恢復(fù)（續(xù)）2. 裝入有關(guān)的日志文件副本(轉(zhuǎn)儲結(jié)束時刻的日志文件副本) ，重做已完成的事務(wù)。 首先掃描日志文件，找出故障發(fā)生時已提交的事務(wù)的標識，將其記入重做隊列。 然后正向掃描日志文件，對重做隊列中的所有事務(wù)進行重做處理。即將日志記錄中“更新后

19、的值”寫入數(shù)據(jù)庫。An Introduction to Database System介質(zhì)故障的恢復(fù)（續(xù)）介質(zhì)故障的恢復(fù)（續(xù)）介質(zhì)故障的恢復(fù)需要DBA介入v DBA的工作 重裝最近轉(zhuǎn)儲的數(shù)據(jù)庫副本和有關(guān)的各日志文件副本 執(zhí)行系統(tǒng)提供的恢復(fù)命令v 具體的恢復(fù)操作仍由DBMS完成An Introduction to Database System8.6 具有檢查點的恢復(fù)技術(shù)具有檢查點的恢復(fù)技術(shù)一、問題的提出二、檢查點技術(shù)三、利用檢查點的恢復(fù)策略An Introduction to Database System一、問題的提出一、問題的提出v兩個問題 搜索整個日志將耗費大量的時間 REDO處理：重新

20、執(zhí)行，浪費了大量時間An Introduction to Database System解決方案解決方案v具有檢查點（checkpoint）的恢復(fù)技術(shù) 在日志文件中增加檢查點記錄（checkpoint） 增加重新開始文件 恢復(fù)子系統(tǒng)在登錄日志文件期間動態(tài)地維護日志An Introduction to Database System二、檢查點技術(shù)二、檢查點技術(shù)v檢查點記錄的內(nèi)容 1. 建立檢查點時刻所有正在執(zhí)行的事務(wù)清單 2. 這些事務(wù)最近一個日志記錄的地址v重新開始文件的內(nèi)容 記錄各個檢查點記錄在日志文件中的地址An Introduction to Database System檢查點技術(shù)（續(xù)

21、）檢查點技術(shù)（續(xù)）具有檢查點的日志文件和重新開始文件 An Introduction to Database System動態(tài)維護日志文件的方法動態(tài)維護日志文件的方法v 動態(tài)維護日志文件的方法周期性地執(zhí)行如下操作：建立檢查點，保存數(shù)據(jù)庫狀態(tài)。具體步驟是：n1.將當前日志緩沖區(qū)中的所有日志記錄寫入磁盤的日志文件上n2.在日志文件中寫入一個檢查點記錄n3.將當前數(shù)據(jù)緩沖區(qū)的所有數(shù)據(jù)記錄寫入磁盤的數(shù)據(jù)庫中n4.把檢查點記錄在日志文件中的地址寫入一個重新開始文件An Introduction to Database System建立檢查點建立檢查點v恢復(fù)子系統(tǒng)可以定期或不定期地建立檢查點,保存數(shù)據(jù)庫狀

22、態(tài) n定期按照預(yù)定的一個時間間隔，如每隔一小時建立一個檢查點 n不定期按照某種規(guī)則，如日志文件已寫滿一半建立一個檢查點An Introduction to Database System三、利用檢查點的恢復(fù)策略三、利用檢查點的恢復(fù)策略v使用檢查點方法可以改善恢復(fù)效率n當事務(wù)T在一個檢查點之前提交 T對數(shù)據(jù)庫所做的修改已寫入數(shù)據(jù)庫n寫入時間是在這個檢查點建立之前或在這個檢查點建立之時 n在進行恢復(fù)處理時，沒有必要對事務(wù)T執(zhí)行REDO操作An Introduction to Database System利用檢查點的恢復(fù)策略（續(xù)）利用檢查點的恢復(fù)策略（續(xù)）Tc (檢查點檢查點)Tf(系統(tǒng)故障系統(tǒng)故

23、障) REDOUNDOUNDO REDOT2T3T4T5不要不要REDOT1系統(tǒng)出現(xiàn)故障時，恢復(fù)子系統(tǒng)將根據(jù)事務(wù)的不同狀態(tài)采取不同的恢復(fù)策略 An Introduction to Database System利用檢查點的恢復(fù)策略（續(xù)）利用檢查點的恢復(fù)策略（續(xù)）nT1：在檢查點之前提交nT2：在檢查點之前開始執(zhí)行，在檢查點之后故障點之前提交nT3：在檢查點之前開始執(zhí)行，在故障點時還未完成nT4：在檢查點之后開始執(zhí)行，在故障點之前提交nT5：在檢查點之后開始執(zhí)行，在故障點時還未完成恢復(fù)策略：nT3和T5在故障發(fā)生時還未完成，所以予以撤銷nT2和T4在檢查點之后才提交，它們對數(shù)據(jù)庫所做的修改在故障

24、發(fā)生時可能還在緩沖區(qū)中，尚未寫入數(shù)據(jù)庫，所以要REDOnT1在檢查點之前已提交，所以不必執(zhí)行REDO操作An Introduction to Database System利用檢查點的恢復(fù)步驟利用檢查點的恢復(fù)步驟 1.從重新開始文件中找到最后一個檢查點記錄在日志文件中的地址，由該地址在日志文件中找到最后一個檢查點記錄An Introduction to Database System利用檢查點的恢復(fù)策略（續(xù)）利用檢查點的恢復(fù)策略（續(xù)）2.由該檢查點記錄得到檢查點建立時刻所有正在執(zhí)行的事務(wù)清單ACTIVE-LIST 建立兩個事務(wù)隊列 UNDO-LIST REDO-LIST 把ACTIVE-LIST暫時放入UNDO-LIST隊列，REDO隊列暫為空。An Introduction to Database System利用檢查點的恢復(fù)策略（續(xù)）利用檢查點的恢復(fù)策略（續(xù)）3.從檢查點開始正向掃描日