事務(wù)管理-數(shù)據(jù)庫恢復(fù)PPT幻燈片

1、浙江工商大學(xué)信息學(xué)院計算機系,數(shù)據(jù)庫系統(tǒng)概論 An Introduction to Database System 第九章 事務(wù)管理,數(shù)據(jù)庫恢復(fù),數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)是由DBMS統(tǒng)一管理和控制的，為了適應(yīng)數(shù)據(jù)共享的環(huán)境，DBMS必須提供數(shù)據(jù)保護能力，以保證數(shù)據(jù)庫中數(shù)據(jù)的安全可靠和正確有效。 數(shù)據(jù)保護 安全性 完整性 并發(fā)控制 數(shù)據(jù)庫恢復(fù),1 事務(wù)的基本概念,一、什么是事務(wù) 二、如何定義事務(wù) 三、事務(wù)的特性,一、什么是事務(wù),事務(wù)(Transaction)是用戶定義的一個數(shù)據(jù)庫操作序列，這些操作要么全做，要么全不做，是一個不可分割的工作單位 事務(wù)和程序是兩個概念 在關(guān)系數(shù)據(jù)庫中，一個事務(wù)可以是一條S

2、QL語句，一組SQL語句或整個程序 一個應(yīng)用程序通常包含多個事務(wù) 事務(wù)是恢復(fù)和并發(fā)控制的基本單位,二、如何定義事務(wù),顯式定義方式 BEGIN TRANSACTION BEGIN TRANSACTION SQL 語句1 SQL 語句1 SQL 語句2 SQL 語句2 。 。 COMMIT ROLLBACK 隱式方式 當用戶沒有顯式地定義事務(wù)時， DBMS按缺省規(guī)定自動劃分事務(wù),事務(wù)結(jié)束,COMMIT 事務(wù)正常結(jié)束 提交事務(wù)的所有操作（讀+更新） 事務(wù)中所有對數(shù)據(jù)庫的更新永久生效 ROLLBACK 事務(wù)異常終止 事務(wù)運行的過程中發(fā)生了故障，不能繼續(xù)執(zhí)行 回滾事務(wù)的所有更新操作 事務(wù)滾回到開始時的狀

3、態(tài),三、事務(wù)的特性(ACID特性),事務(wù)的ACID特性： 原子性（Atomicity） 一致性（Consistency） 隔離性（Isolation） 持續(xù)性（Durability ）,1. 原子性,事務(wù)是數(shù)據(jù)庫的邏輯工作單位 事務(wù)中包括的諸操作要么都做，要么都不做,2. 一致性,事務(wù)執(zhí)行的結(jié)果必須是使數(shù)據(jù)庫從一個一致性狀態(tài)變到另一個一致性狀態(tài) 一致性狀態(tài)： 數(shù)據(jù)庫中只包含成功事務(wù)提交的結(jié)果 不一致狀態(tài)： 數(shù)據(jù)庫中包含失敗事務(wù)的結(jié)果,一致性與原子性,銀行轉(zhuǎn)帳：從帳號A中取出一萬元，存入帳號B。 定義一個事務(wù)，該事務(wù)包括兩個操作 這兩個操作要么全做，要么全不做 全做或者全不做，數(shù)據(jù)庫都處于一致性

4、狀態(tài)。 如果只做一個操作，數(shù)據(jù)庫就處于不一致性狀態(tài)。,3. 隔離性,對并發(fā)執(zhí)行而言 一個事務(wù)的執(zhí)行不能被其他事務(wù)干擾 一個事務(wù)內(nèi)部的操作及使用的數(shù)據(jù)對其他并發(fā)事務(wù)是隔離的 并發(fā)執(zhí)行的各個事務(wù)之間不能互相干擾,T1的修改被T2覆蓋了！,4. 持續(xù)性,持續(xù)性也稱永久性（Permanence） 一個事務(wù)一旦提交，它對數(shù)據(jù)庫中數(shù)據(jù)的改變就應(yīng)該是永久性的。 接下來的其他操作或故障不應(yīng)該對其執(zhí)行結(jié)果有任何影響。,事務(wù)的特性,保證事務(wù)ACID特性是事務(wù)處理的任務(wù) 破壞事務(wù)ACID特性的因素 多個事務(wù)并行運行時，不同事務(wù)的操作交叉執(zhí)行 事務(wù)在運行過程中被強行停止,數(shù)據(jù)庫恢復(fù)概述,故障是不可避免的 計算機硬件故

5、障 系統(tǒng)軟件和應(yīng)用軟件的錯誤 操作員的失誤 惡意的破壞 故障的影響 運行事務(wù)非正常中斷 破壞數(shù)據(jù)庫,數(shù)據(jù)庫恢復(fù)概述,數(shù)據(jù)庫管理系統(tǒng)對故障的對策 DBMS提供恢復(fù)子系統(tǒng) 保證故障發(fā)生后，能把數(shù)據(jù)庫中的數(shù)據(jù)從錯誤狀態(tài)恢復(fù)到某種邏輯一致的狀態(tài) 保證事務(wù)ACID 恢復(fù)技術(shù)是衡量系統(tǒng)優(yōu)劣的重要指標,一、事務(wù)故障,什么是事務(wù)故障 某個事務(wù)在運行過程中由于種種原因未運行至正常終止點就夭折了 事務(wù)故障的常見原因 輸入數(shù)據(jù)有誤 運算溢出 違反了某些完整性限制 某些應(yīng)用程序出錯 并行事務(wù)發(fā)生死鎖 。,事務(wù)故障的恢復(fù),發(fā)生事務(wù)故障時，夭折的事務(wù)可能已把對數(shù)據(jù)庫的部分修改寫回磁盤 事務(wù)故障的恢復(fù)：撤消事務(wù)（UNDO）

6、 強行回滾（ROLLBACK）該事務(wù) 清除該事務(wù)對數(shù)據(jù)庫的所有修改，使得這個事務(wù)象根本沒有啟動過一樣,二、系統(tǒng)故障,什么是系統(tǒng)故障 整個系統(tǒng)的正常運行突然被破壞 所有正在運行的事務(wù)都非正常終止 內(nèi)存中數(shù)據(jù)庫緩沖區(qū)的信息全部丟失 外部存儲設(shè)備上的數(shù)據(jù)未受影響,系統(tǒng)故障的恢復(fù),清除尚未完成的事務(wù)對數(shù)據(jù)庫的所有修改 系統(tǒng)重新啟動時，恢復(fù)程序要強行撤消（UNDO）所有未完成事務(wù) 將緩沖區(qū)中已完成事務(wù)提交的結(jié)果寫入數(shù)據(jù)庫 系統(tǒng)重新啟動時，恢復(fù)程序需要重做（REDO）所有已提交的事務(wù),三、介質(zhì)故障,硬件故障使存儲在外存中的數(shù)據(jù)部分丟失或全部丟失 介質(zhì)故障比前兩類故障的可能性小得多，但破壞性大得多,介質(zhì)故障

7、的常見原因,硬件故障 磁盤損壞 磁頭碰撞 操作系統(tǒng)的某種潛在錯誤 瞬時強磁場干擾,介質(zhì)故障的恢復(fù),裝入數(shù)據(jù)庫發(fā)生介質(zhì)故障前某個時刻的數(shù)據(jù)副本 重做自此時始的所有成功事務(wù)，將這些事務(wù)已提交的結(jié)果重新記入數(shù)據(jù)庫,恢復(fù)操作的基本原理,恢復(fù)操作的基本原理：冗余 利用存儲在系統(tǒng)其它地方的冗余數(shù)據(jù)來重建數(shù)據(jù)庫中已被破壞或不正確的那部分數(shù)據(jù) 恢復(fù)的實現(xiàn)技術(shù)：復(fù)雜 一個大型數(shù)據(jù)庫產(chǎn)品，恢復(fù)子系統(tǒng)的代碼要占全部代碼的10%以上,2 恢復(fù)的實現(xiàn)技術(shù),恢復(fù)機制涉及的關(guān)鍵問題 1. 如何建立冗余數(shù)據(jù) 數(shù)據(jù)轉(zhuǎn)儲（backup） 登錄日志文件（logging） 2. 如何利用這些冗余數(shù)據(jù)實施數(shù)據(jù)庫恢復(fù),3 數(shù)據(jù)轉(zhuǎn)儲,一、

8、什么是轉(zhuǎn)儲 二、轉(zhuǎn)儲的用途 三、轉(zhuǎn)儲方法,一、什么是轉(zhuǎn)儲,轉(zhuǎn)儲是指DBA將整個數(shù)據(jù)庫復(fù)制到磁帶或另一個磁盤上保存起來的過程。 這些備用的數(shù)據(jù)文本稱為后備副本或后援副本。,轉(zhuǎn)儲,故障發(fā)生點 轉(zhuǎn)儲 運行事務(wù) 正常運行 Ta Tb Tf 重裝后備副本 重新運行事務(wù) 恢復(fù) ,三、轉(zhuǎn)儲方法,1靜態(tài)轉(zhuǎn)儲與動態(tài)轉(zhuǎn)儲 2海量轉(zhuǎn)儲與增量轉(zhuǎn)儲 3轉(zhuǎn)儲方法小結(jié),1靜態(tài)轉(zhuǎn)儲,在系統(tǒng)中無運行事務(wù)時進行轉(zhuǎn)儲 轉(zhuǎn)儲開始時數(shù)據(jù)庫處于一致性狀態(tài) 轉(zhuǎn)儲期間不允許對數(shù)據(jù)庫的任何存取、修改活動 優(yōu)點：實現(xiàn)簡單 缺點：降低了數(shù)據(jù)庫的可用性 轉(zhuǎn)儲必須等用戶事務(wù)結(jié)束 新的事務(wù)必須等轉(zhuǎn)儲結(jié)束,動態(tài)轉(zhuǎn)儲,轉(zhuǎn)儲操作與用戶事務(wù)并發(fā)進行 轉(zhuǎn)儲期間允

9、許對數(shù)據(jù)庫進行存取或修改 優(yōu)點 不用等待正在運行的用戶事務(wù)結(jié)束 不會影響新事務(wù)的運行 動態(tài)轉(zhuǎn)儲的缺點 不能保證副本中的數(shù)據(jù)正確有效,動態(tài)轉(zhuǎn)儲,利用動態(tài)轉(zhuǎn)儲得到的副本進行故障恢復(fù) 需要把動態(tài)轉(zhuǎn)儲期間各事務(wù)對數(shù)據(jù)庫的修改活動登記下來，建立日志文件 后備副本加上日志文件才能把數(shù)據(jù)庫恢復(fù)到某一時刻的正確狀態(tài),利用動態(tài)轉(zhuǎn)儲副本進行恢復(fù),Ta Tb Tf 動態(tài)轉(zhuǎn)儲 運行事務(wù) 故障發(fā)生點 正常運行 登記日志文件 登記新日志文件 轉(zhuǎn)儲日志文件 重裝后備副本，然后利用轉(zhuǎn)儲的日志文件恢復(fù) 恢復(fù)到一 致性狀態(tài),2海量轉(zhuǎn)儲與增量轉(zhuǎn)儲,海量轉(zhuǎn)儲: 每次轉(zhuǎn)儲全部數(shù)據(jù)庫 增量轉(zhuǎn)儲: 只轉(zhuǎn)儲上次轉(zhuǎn)儲后更新過的數(shù)據(jù) 海量轉(zhuǎn)儲與

10、增量轉(zhuǎn)儲比較 從恢復(fù)角度看，使用海量轉(zhuǎn)儲得到的后備副本進行恢復(fù)往往更方便 但如果數(shù)據(jù)庫很大，事務(wù)處理又十分頻繁，則增量轉(zhuǎn)儲方式更實用更有效,3轉(zhuǎn)儲方法小結(jié),轉(zhuǎn)儲方法分類,轉(zhuǎn)儲策略,應(yīng)定期進行數(shù)據(jù)轉(zhuǎn)儲，制作后備副本。 但轉(zhuǎn)儲又是十分耗費時間和資源的，不能頻繁進行。 DBA應(yīng)該根據(jù)數(shù)據(jù)庫使用情況確定適當?shù)霓D(zhuǎn)儲周期和轉(zhuǎn)儲方法。 例： 每天晚上進行動態(tài)增量轉(zhuǎn)儲 每周進行一次動態(tài)海量轉(zhuǎn)儲 每月進行一次靜態(tài)海量轉(zhuǎn)儲,登記日志文件,一、日志文件的內(nèi)容 二、日志文件的用途 三、登記日志文件的原則,一、日志文件的內(nèi)容,1. 什么是日志文件 日志文件(log)是用來記錄事務(wù)對數(shù)據(jù)庫的 更新操作的文件 2. 日志文

11、件的格式 以記錄為單位的日志文件 以數(shù)據(jù)塊為單位的日志文件,基于記錄的日志文件,3. 日志文件內(nèi)容 各個事務(wù)的開始標記(BEGIN TRANSACTION) 各個事務(wù)的結(jié)束標記(COMMIT或ROLLBACK) 各個事務(wù)的所有更新操作 與事務(wù)有關(guān)的內(nèi)部更新操作 日志文件中的一個日志記錄 (log record),基于記錄的日志文件,每條日志記錄的內(nèi)容 事務(wù)標識 操作類型（插入、刪除或修改） 操作對象（記錄ID、Block NO.） 更新前數(shù)據(jù)的舊值（對插入操作而言，此項為空值） 更新后數(shù)據(jù)的新值（對刪除操作而言, 此項為空值）,基于數(shù)據(jù)塊的日志文件,每條日志記錄的內(nèi)容 事務(wù)標識（標明是那個事務(wù)

12、） 操作對象（記錄ID、Block NO.） 更新前數(shù)據(jù)所在的整個數(shù)據(jù)塊的值（對插入操作而言，此項為空值） 更新后整個數(shù)據(jù)塊的值（對刪除操作而言, 此項為空值）,二、日志文件的用途,1用途 進行事務(wù)故障恢復(fù) 進行系統(tǒng)故障恢復(fù) 協(xié)助后備副本進行介質(zhì)故障恢復(fù),日志文件的用途,2與靜態(tài)轉(zhuǎn)儲后備副本配合進行介質(zhì)故障恢復(fù) 靜態(tài)轉(zhuǎn)儲的數(shù)據(jù)已是一致性的數(shù)據(jù) 如果靜態(tài)轉(zhuǎn)儲完成后，仍能定期轉(zhuǎn)儲日志文件，則在出現(xiàn)介質(zhì)故障重裝數(shù)據(jù)副本后，可以利用這些日志文件副本對已完成的事務(wù)進行重做處理 這樣不必重新運行那些已完成的事務(wù)程序就可把數(shù)據(jù)庫恢復(fù)到故障前某一時刻的正確狀態(tài),日志文件的用途,故障發(fā)生點 靜態(tài)轉(zhuǎn)儲 運行事務(wù)

13、正常運行 Ta Tb Tf 登記日志文件 重裝后備副本 利用日志文件恢復(fù)事務(wù) 繼續(xù)運行 介質(zhì)故障恢復(fù) 登記日志文件 ,日志文件的用途,3介質(zhì)故障恢復(fù)：LOG FILE + 動態(tài)轉(zhuǎn)儲后備副本 動態(tài)轉(zhuǎn)儲數(shù)據(jù)庫：同時轉(zhuǎn)儲同一時點的日志文件 后備副本與該日志文件結(jié)合起來才能將數(shù)據(jù)庫恢復(fù)到一致性狀態(tài)。 利用這些日志文件副本進一步恢復(fù)事務(wù)，避免重新運行事務(wù)程序。,三、登記日志文件的原則,為保證數(shù)據(jù)庫是可恢復(fù)的，登記日志文件時必須遵循兩條原則 登記的次序嚴格按并行事務(wù)執(zhí)行的時間次序 必須先寫日志文件，后寫數(shù)據(jù)庫 寫日志文件操作：把表示這個修改的日志記錄 寫到日志文件 寫數(shù)據(jù)庫操作：把對數(shù)據(jù)的修改寫到數(shù)據(jù)庫中

14、,登記日志文件的原則,為什么要先寫日志文件 寫數(shù)據(jù)庫和寫日志文件是兩個不同的操作 在這兩個操作之間可能發(fā)生故障 如果先寫了數(shù)據(jù)庫修改，而在日志文件中沒有登記下這個修改，則以后就無法恢復(fù)這個修改了 如果先寫日志，但沒有修改數(shù)據(jù)庫，按日志文件恢復(fù)時只不過是多執(zhí)行一次不必要的UNDO操作，并不會影響數(shù)據(jù)庫的正確性,事務(wù)故障的恢復(fù),事務(wù)故障：事務(wù)在運行至正常終止點前被中止 恢復(fù)方法 由恢復(fù)子系統(tǒng)應(yīng)利用日志文件撤消（UNDO）此事務(wù)已對數(shù)據(jù)庫進行的修改 事務(wù)故障的恢復(fù)由系統(tǒng)自動完成，不需要用戶干預(yù),事務(wù)故障的恢復(fù)步驟,1. 反向掃描文件日志（即從最后向前掃描日志文件），查找該事務(wù)的更新操作。 2. 對該

15、事務(wù)的更新操作執(zhí)行逆操作。即將日志記錄中“更新前的值”（Befor Image, BI）寫入數(shù)據(jù)庫。 插入操作， “更新前的值”為空，則相當于做刪除操作 刪除操作，“更新后的值”為空，則相當于做插入操作 若是修改操作，則用BI 代替 AI（After Image）,事務(wù)故障的恢復(fù)步驟,3. 繼續(xù)反向掃描日志文件，查找該事務(wù)的其他更新操作，并做同樣處理。 4. 如此處理下去，直至讀到此事務(wù)的開始標記，事務(wù)故障恢復(fù)就完成了。,系統(tǒng)故障的恢復(fù),系統(tǒng)故障造成數(shù)據(jù)庫不一致狀態(tài)的原因 一些未完成事務(wù)對數(shù)據(jù)庫的更新已寫入數(shù)據(jù)庫 一些已提交事務(wù)對數(shù)據(jù)庫的更新還留在緩沖區(qū)沒來得及寫入數(shù)據(jù)庫 恢復(fù)方法 1. Un

16、do 故障發(fā)生時未完成的事務(wù) 2. Redo 已完成的事務(wù) 系統(tǒng)故障的恢復(fù)由系統(tǒng)在重新啟動時自動完成，不需要用戶干預(yù),系統(tǒng)故障的恢復(fù)步驟,1.正向掃描日志文件（即從頭掃描日志文件） Redo隊列: 在故障發(fā)生前已經(jīng)提交的事務(wù) T1, T3, T8. Undo隊列:故障發(fā)生時尚未完成的事務(wù) T2, T4, T5, T6, T7, T9 .,系統(tǒng)故障的恢復(fù)步驟,2. 對Undo隊列事務(wù)進行UNDO處理 反向掃描日志文件，對每個UNDO事務(wù)的更 新操作執(zhí)行逆操作 T2, T4, T5, T6, T7, T9 3. 對Redo隊列事務(wù)進行REDO處理 正向掃描日志文件，對每個REDO事務(wù)重新 執(zhí)行登記

17、的操作 T1, T3, T8.,介質(zhì)故障的恢復(fù),1. 重裝數(shù)據(jù)庫， 使數(shù)據(jù)庫恢復(fù)到一致性狀態(tài) 2. 重做已完成的事務(wù),介質(zhì)故障的恢復(fù),恢復(fù)步驟 1. 裝入最新的后備數(shù)據(jù)庫副本，使數(shù)據(jù)庫恢復(fù)到最近一次轉(zhuǎn)儲時的一致性狀態(tài)。 對于靜態(tài)轉(zhuǎn)儲的數(shù)據(jù)庫副本，裝入后數(shù)據(jù)庫即處于一致性狀態(tài) 對于動態(tài)轉(zhuǎn)儲的數(shù)據(jù)庫副本，還須同時裝入轉(zhuǎn)儲時刻的日志文件副本，利用與恢復(fù)系統(tǒng)故障相同的方法（即REDO+UNDO），才能將數(shù)據(jù)庫恢復(fù)到一致性狀態(tài)。,利用靜態(tài)轉(zhuǎn)儲副本將數(shù)據(jù)庫恢復(fù)到一致性狀態(tài),故障發(fā)生點 靜態(tài)轉(zhuǎn)儲 運行事務(wù) 正常運行 Ta Tb Tf 登記日志文件 重裝后備副本 恢復(fù) ,利用動態(tài)轉(zhuǎn)儲副本將數(shù)據(jù)庫恢復(fù)到一致性狀

18、態(tài),Ta Tb Tf 動態(tài)轉(zhuǎn)儲 運行事務(wù) 故障發(fā)生點 正常運行 登記日志文件 登記新日志文件 轉(zhuǎn)儲日志文件 重裝后備副本，然后利用轉(zhuǎn)儲的日志文件恢復(fù) 恢復(fù)到一 致性狀態(tài),介質(zhì)故障的恢復(fù),2. 裝入有關(guān)的日志文件副本，重做已完成的事務(wù)。 首先掃描日志文件，找出故障發(fā)生時已提交的事務(wù)的標識，將其記入重做隊列。 然后正向掃描日志文件，對重做隊列中的所有事務(wù)進行重做處理。即將日志記錄中“更新后的值”寫入數(shù)據(jù)庫。,介質(zhì)故障的恢復(fù),介質(zhì)故障的恢復(fù)需要DBA介入 DBA的工作 重裝最近轉(zhuǎn)儲的數(shù)據(jù)庫副本和有關(guān)的各日志文件副本 執(zhí)行系統(tǒng)提供的恢復(fù)命令 具體的恢復(fù)操作仍由DBMS完成,具有檢查點的恢復(fù)技術(shù),一、問

19、題的提出 二、檢查點技術(shù) 三、利用檢查點的恢復(fù)策略,一、問題的提出,兩個問題 搜索整個日志將耗費大量的時間 REDO處理：重新執(zhí)行，浪費了大量時間,解決方案,具有檢查點（checkpoint）的恢復(fù)技術(shù) 在日志文件中增加檢查點記錄（checkpoint） 增加重新開始文件 恢復(fù)子系統(tǒng)在登錄日志文件期間動態(tài)地維護日志,二、檢查點技術(shù),檢查點記錄的內(nèi)容 1. 建立檢查點時刻所有正在執(zhí)行的事務(wù)清單 2. 這些事務(wù)最近一個日志記錄的地址 重新開始文件的內(nèi)容 記錄各個檢查點記錄在日志文件中的地址,在檢查點 維護日志文件,1.將當前日志緩沖區(qū)中的所有日志記錄寫入磁盤的日志文件上。 2.在日志文件中寫入一個檢查點記錄。 3. 將當前數(shù)據(jù)緩沖區(qū)的所有數(shù)據(jù)記錄寫入磁盤的數(shù)據(jù)庫中。 4. 把檢查點記錄在日志文件中的地址寫入一個重新開始文件。,建立檢查點,定期 按照預(yù)定的一個時間間隔 不定期 按照某種規(guī)則，如日志文件已寫滿一半建立一個檢查點,三、利用檢查點的恢復(fù)策略,當事務(wù)T在一個檢查點之前提交 T對數(shù)據(jù)庫所做的修改已寫入數(shù)據(jù)庫 在進行恢復(fù)處理時，沒有必要對事務(wù)T執(zhí)行REDO操作,利用檢查點的恢復(fù)策略,利