數(shù)據(jù)庫系統(tǒng)概論-第九章 關(guān)系查詢處理和查詢優(yōu)化ppt課件

1、中國(guó)人民大學(xué)信息學(xué)院中國(guó)人民大學(xué)信息學(xué)院 數(shù)據(jù)庫系統(tǒng)概論數(shù)據(jù)庫系統(tǒng)概論An Introduction to An Introduction to Database SystemDatabase System第九章第九章 關(guān)系查詢處理和查詢優(yōu)關(guān)系查詢處理和查詢優(yōu)化化第九章第九章 關(guān)系系統(tǒng)及其查詢優(yōu)化關(guān)系系統(tǒng)及其查詢優(yōu)化9.1 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理 9.2 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化 9.3 代數(shù)優(yōu)化代數(shù)優(yōu)化9.4 物理優(yōu)化物理優(yōu)化 9.5 小小 結(jié)結(jié) 關(guān)系系統(tǒng)及其查詢優(yōu)化續(xù)）關(guān)系系統(tǒng)及其查詢優(yōu)化續(xù)）v本章目的：本章目的： vRDBMS的查詢處理步

2、驟的查詢處理步驟 v查詢優(yōu)化的概念查詢優(yōu)化的概念 v基本方法和技術(shù)基本方法和技術(shù) v查詢優(yōu)化分類查詢優(yōu)化分類 ：v代數(shù)優(yōu)化代數(shù)優(yōu)化v物理優(yōu)化物理優(yōu)化9.1 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理v9.1.1 查詢處理步驟查詢處理步驟v9.1.2 實(shí)現(xiàn)查詢操作的算法示例實(shí)現(xiàn)查詢操作的算法示例 9.1.1 查詢處理步驟查詢處理步驟vRDBMS查詢處理階段查詢處理階段 ： v1. 查詢分析查詢分析v2. 查詢檢查查詢檢查v3. 查詢優(yōu)化查詢優(yōu)化 v4. 查詢執(zhí)行查詢執(zhí)行 查詢處理步驟續(xù)）查詢處理步驟續(xù)）查詢處理步驟1. 查詢分析查詢分析v對(duì)查詢語句進(jìn)行掃描、詞法分析和語法分析 v從查詢語句

3、中識(shí)別出語言符號(hào) v進(jìn)行語法檢查和語法分析 2. 查詢檢查查詢檢查 v 根據(jù)數(shù)據(jù)字典對(duì)合法的查詢語句進(jìn)行語義檢查 v 根據(jù)數(shù)據(jù)字典中的用戶權(quán)限和完整性約束定義對(duì)用戶的存取權(quán)限進(jìn)行檢查 v 檢查通過后把SQL查詢語句轉(zhuǎn)換成等價(jià)的關(guān)系代數(shù)表達(dá)式 v RDBMS一般都用查詢樹(語法分析樹)來表示擴(kuò)展的關(guān)系代數(shù)表達(dá)式 v 把數(shù)據(jù)庫對(duì)象的外部名稱轉(zhuǎn)換為內(nèi)部表示 3. 查詢優(yōu)化查詢優(yōu)化v查詢優(yōu)化：選擇一個(gè)高效執(zhí)行的查詢處理策略 v查詢優(yōu)化分類 ：v代數(shù)優(yōu)化：指關(guān)系代數(shù)表達(dá)式的優(yōu)化v物理優(yōu)化：指存取路徑和底層操作算法的選擇v查詢優(yōu)化方法選擇的依據(jù)：v基于規(guī)則(rule based)v基于代價(jià)(cost ba

4、sed)v基于語義(semantic based)4. 查詢執(zhí)行查詢執(zhí)行 v依據(jù)優(yōu)化器得到的執(zhí)行策略生成查詢計(jì)劃v代碼生成器(code generator)生成執(zhí)行查詢計(jì)劃的代碼 9.1 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理v9.1.1 查詢處理步驟查詢處理步驟v9.1.2 實(shí)現(xiàn)查詢操作的算法示例實(shí)現(xiàn)查詢操作的算法示例 9.1.2 實(shí)現(xiàn)查詢操作的算法示例實(shí)現(xiàn)查詢操作的算法示例 v一、 選擇操作的實(shí)現(xiàn) v二、 連接操作的實(shí)現(xiàn) 一、一、 選擇操作的實(shí)現(xiàn)選擇操作的實(shí)現(xiàn) v例1Select * from student where ；v思索的幾種情況：v C1：無條件；v C2：Sno20

5、1915121；v C3：Sage20；v C4：SdeptCS AND Sage20； 選擇操作的實(shí)現(xiàn)續(xù)）選擇操作的實(shí)現(xiàn)續(xù)）v選擇操作典型實(shí)現(xiàn)方法：選擇操作典型實(shí)現(xiàn)方法：v1. 簡(jiǎn)單的全表掃描方法簡(jiǎn)單的全表掃描方法 v對(duì)查詢的基本表順序掃描，逐一檢查每個(gè)元組是對(duì)查詢的基本表順序掃描，逐一檢查每個(gè)元組是否滿足選擇條件，把滿足條件的元組作為結(jié)果輸否滿足選擇條件，把滿足條件的元組作為結(jié)果輸出出 v適合小表，不適合大表適合小表，不適合大表v2. 索引索引(或散列或散列)掃描方法掃描方法 v適合選擇條件中的屬性上有索引適合選擇條件中的屬性上有索引(例如例如B+樹索引樹索引或或Hash索引索引) v通過

6、索引先找到滿足條件的元組主碼或元組指針，通過索引先找到滿足條件的元組主碼或元組指針，再通過元組指針直接在查詢的基本表中找到元組再通過元組指針直接在查詢的基本表中找到元組 選擇操作的實(shí)現(xiàn)續(xù)）選擇操作的實(shí)現(xiàn)續(xù)）v 例1-C2 以C2為例，Sno201915121，并且Sno上有索引(或Sno是散列碼)v 使用索引(或散列)得到Sno為201915121 元組的指針v 通過元組指針在student表中檢索到該學(xué)生v 例1-C3 以C3為例，Sage20，并且Sage 上有B+樹索引v 使用B+樹索引找到Sage20的索引項(xiàng)，以此為入口點(diǎn)在B+樹的順序集上得到Sage20的所有元組指針v 通過這些元組

7、指針到student表中檢索到所有年齡大于20的學(xué)生。 選擇操作的實(shí)現(xiàn)續(xù)）選擇操作的實(shí)現(xiàn)續(xù)）v例1-C4 以C4為例，SdeptCS AND Sage20，如果Sdept和Sage上都有索引：v算法一：分別用上面兩種方法分別找到SdeptCS的一組元組指針和Sage20的另一組元組指針v求這2組指針的交集v到student表中檢索v得到計(jì)算機(jī)系年齡大于20的學(xué)生v算法二：找到SdeptCS的一組元組指針，v通過這些元組指針到student表中檢索v對(duì)得到的元組檢查另一些選擇條件(如Sage20)是否滿足v把滿足條件的元組作為結(jié)果輸出。 二、二、 連接操作的實(shí)現(xiàn)連接操作的實(shí)現(xiàn) v連接操作是查詢處

8、理中最耗時(shí)的操作之一 v本節(jié)只討論等值連接(或自然連接)最常用的實(shí)現(xiàn)算法 v例2 SELECT * FROM Student，SC v WHERE Student.Sno=SC.Sno； 連接操作的實(shí)現(xiàn)續(xù)）連接操作的實(shí)現(xiàn)續(xù)）v1. 嵌套循環(huán)方法(nested loop) v2. 排序-合并方法(sort-merge join 或merge join)v3. 索引連接(index join)方法 v4. Hash Join方法 連接操作的實(shí)現(xiàn)續(xù)）連接操作的實(shí)現(xiàn)續(xù)）v嵌套循環(huán)方法嵌套循環(huán)方法(nested loop)v對(duì)外層循環(huán)對(duì)外層循環(huán)(Student)的每一個(gè)元組的每一個(gè)元組(s)，檢索內(nèi)層循

9、環(huán)，檢索內(nèi)層循環(huán)(SC)中的每一個(gè)元組中的每一個(gè)元組(sc)v檢查這兩個(gè)元組在連接屬性檢查這兩個(gè)元組在連接屬性(sno)上是否相等上是否相等v如果滿足連接條件，則串接后作為結(jié)果輸出，直到外層如果滿足連接條件，則串接后作為結(jié)果輸出，直到外層循環(huán)表中的元組處理完為止循環(huán)表中的元組處理完為止 連接操作的實(shí)現(xiàn)續(xù)）連接操作的實(shí)現(xiàn)續(xù)）2. 排序排序-合并方法合并方法(sort-merge join 或或merge join) 適合連接的諸表已經(jīng)排好序的情況適合連接的諸表已經(jīng)排好序的情況 排序合并連接方法的步驟：排序合并連接方法的步驟：如果連接的表沒有排好序，先對(duì)如果連接的表沒有排好序，先對(duì)Student表

10、和表和SC表按連接屬表按連接屬性性Sno排序排序 取取Student表中第一個(gè)表中第一個(gè)Sno，依次掃描，依次掃描SC表中具有相同表中具有相同Sno的元組的元組 連接操作的實(shí)現(xiàn)續(xù)）連接操作的實(shí)現(xiàn)續(xù)）201915121201915122201915123201915124.201915121 1 92201915121 2 85201915121 3 88201915122 2 90201915122 3 80.排序-合并連接方法示意圖連接操作的實(shí)現(xiàn)續(xù)）連接操作的實(shí)現(xiàn)續(xù)） 排序合并連接方法的步驟續(xù)）： 當(dāng)掃描到Sno不相同的第一個(gè)SC元組時(shí)，返回Student表掃描它的下一個(gè)元組，再掃描SC表中

11、具有相同Sno的元組，把它們連接起來 重復(fù)上述步驟直到Student 表掃描完連接操作的實(shí)現(xiàn)續(xù)）連接操作的實(shí)現(xiàn)續(xù)）v Student表和SC表都只要掃描一遍v 如果2個(gè)表原來無序，執(zhí)行時(shí)間要加上對(duì)兩個(gè)表的排序時(shí)間v 對(duì)于2個(gè)大表，先排序后使用sort-merge join方法執(zhí)行連接，總的時(shí)間一般仍會(huì)大大減少 連接操作的實(shí)現(xiàn)續(xù)）連接操作的實(shí)現(xiàn)續(xù)）3. 索引連接索引連接(index join)方法方法步驟：步驟： 在在SC表上建立屬性表上建立屬性Sno的索引，如果原來沒有該索引的索引，如果原來沒有該索引 對(duì)對(duì)Student中每一個(gè)元組，由中每一個(gè)元組，由Sno值通過值通過SC的索引查找相的索引查

12、找相應(yīng)的應(yīng)的SC元組元組 把這些把這些SC元組和元組和Student元組連接起來元組連接起來 循環(huán)執(zhí)行循環(huán)執(zhí)行，直到，直到Student表中的元組處理完為止表中的元組處理完為止 連接操作的實(shí)現(xiàn)續(xù)）連接操作的實(shí)現(xiàn)續(xù)）4. Hash Join方法方法 把連接屬性作為把連接屬性作為hash碼，用同一個(gè)碼，用同一個(gè)hash函數(shù)把函數(shù)把R和和S中的元組中的元組散列到同一個(gè)散列到同一個(gè)hash文件中文件中步驟：步驟：劃分階段劃分階段(partitioning phase)：對(duì)包含較少元組的表對(duì)包含較少元組的表(比如比如R)進(jìn)行一遍處理進(jìn)行一遍處理把它的元組按把它的元組按hash函數(shù)分散到函數(shù)分散到hash

13、表的桶中表的桶中試探階段試探階段(probing phase)：也稱為連接階段：也稱為連接階段(join phase) 對(duì)另一個(gè)表對(duì)另一個(gè)表(S)進(jìn)行一遍處理進(jìn)行一遍處理把把S的元組散列到適當(dāng)?shù)牡脑M散列到適當(dāng)?shù)膆ash桶中桶中把元組與桶中所有來自把元組與桶中所有來自R并與之相匹配的元組連接起來并與之相匹配的元組連接起來 連接操作的實(shí)現(xiàn)續(xù)）連接操作的實(shí)現(xiàn)續(xù)）v上面hash join算法前提：假設(shè)兩個(gè)表中較小的表在第一階段后可以完全放入內(nèi)存的hash桶中 v以上的算法思想可以推廣到更加一般的多個(gè)表的連接算法上 第九章第九章 關(guān)系系統(tǒng)及其查詢優(yōu)化關(guān)系系統(tǒng)及其查詢優(yōu)化9.1 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理

14、關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理 9.2 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化 9.3 代代 數(shù)數(shù) 優(yōu)優(yōu) 化化 9.4 物物 理理 優(yōu)優(yōu) 化化 9.5 小小 結(jié)結(jié) 9.2 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化v查詢優(yōu)化在關(guān)系數(shù)據(jù)庫系統(tǒng)中有著非常重要的地位 v關(guān)系查詢優(yōu)化是影響RDBMS性能的關(guān)鍵因素 v由于關(guān)系表達(dá)式的語義級(jí)別很高，使關(guān)系系統(tǒng)可以從關(guān)系表達(dá)式中分析查詢語義，提供了執(zhí)行查詢優(yōu)化的可能性 9.2 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化v9.2.1 查詢優(yōu)化概述查詢優(yōu)化概述v9.2.2 一個(gè)實(shí)例一個(gè)實(shí)例 9.2.1 查詢優(yōu)化概述查詢優(yōu)化概述v關(guān)系系統(tǒng)的查詢優(yōu)

15、化v非關(guān)系系統(tǒng)查詢優(yōu)化概述續(xù)）查詢優(yōu)化概述續(xù)）v 查詢優(yōu)化的優(yōu)點(diǎn)不僅在于用戶不必考慮如何最好地表達(dá)查詢以獲得較好的效率，而且在于系統(tǒng)可以比用戶程序的“優(yōu)化做得更好 v (1) 優(yōu)化器可以從數(shù)據(jù)字典中獲取許多統(tǒng)計(jì)信息，而用戶程序則難以獲得這些信息v (2)如果數(shù)據(jù)庫的物理統(tǒng)計(jì)信息改變了，系統(tǒng)可以自動(dòng)對(duì)查詢重新優(yōu)化以選擇相適應(yīng)的執(zhí)行計(jì)劃。在非關(guān)系系統(tǒng)中必須重寫程序，而重寫程序在實(shí)際應(yīng)用中往往是不太可能的。查詢優(yōu)化概述續(xù)）查詢優(yōu)化概述續(xù)） (3)優(yōu)化器可以考慮數(shù)百種不同的執(zhí)行計(jì)劃，程序員一般只能考慮有限的幾種可能性。 (4)優(yōu)化器中包括了很多復(fù)雜的優(yōu)化技術(shù)，這些優(yōu)化技術(shù)往往只有最好的程序員才能掌握。

16、系統(tǒng)的自動(dòng)優(yōu)化相當(dāng)于使得所有人都擁有這些優(yōu)化技術(shù)查詢優(yōu)化概述續(xù)）查詢優(yōu)化概述續(xù)）v RDBMS通過某種代價(jià)模型計(jì)算出各種查詢執(zhí)行策略的執(zhí)行代價(jià)，然后選取代價(jià)最小的執(zhí)行方案v 集中式數(shù)據(jù)庫v 執(zhí)行開銷主要包括：v 磁盤存取塊數(shù)(I/O代價(jià))v 處理機(jī)時(shí)間(CPU代價(jià))v 查詢的內(nèi)存開銷 v I/O代價(jià)是最主要的 v 分布式數(shù)據(jù)庫v 總代價(jià)=I/O代價(jià)+CPU代價(jià)+內(nèi)存代價(jià)通信代價(jià) 查詢優(yōu)化概述續(xù)）查詢優(yōu)化概述續(xù)）v查詢優(yōu)化的總目標(biāo)：v選擇有效的策略v求得給定關(guān)系表達(dá)式的值v使得查詢代價(jià)最小(實(shí)際上是較小) 9.2 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化v9.2.1 查詢優(yōu)化概述查詢優(yōu)化

17、概述v9.2.2 一個(gè)實(shí)例一個(gè)實(shí)例 9.2.2 一個(gè)實(shí)例一個(gè)實(shí)例例3 求選修了2號(hào)課程的學(xué)生姓名。用SQL表達(dá)： SELECT Student.Sname FROM Student，SC WHERE Student.Sno=SC.Sno AND SC.Cno=2； 假定學(xué)生-課程數(shù)據(jù)庫中有1000個(gè)學(xué)生記錄，10000個(gè)選課記錄其中選修2號(hào)課程的選課記錄為50個(gè) 一個(gè)實(shí)例續(xù)）一個(gè)實(shí)例續(xù)）v系統(tǒng)可以用多種等價(jià)的關(guān)系代數(shù)表達(dá)式來完成這一查詢vQ1=Sname(Student.Sno=SC.SnoSc.Cno=2 (StudentSC)vQ2=Sname(Sc.Cno=2 (Student SC)v

18、Q3=Sname(Student Sc.Cno=2(SC)v一個(gè)實(shí)例續(xù)）一個(gè)實(shí)例續(xù)）v 一、第一種情況一、第一種情況v Q1=Sname(Student.Sno=SC.SnoSc.Cno=2 StudentSC)v 1. 計(jì)算廣義笛卡爾積計(jì)算廣義笛卡爾積 v 把把Student和和SC的每個(gè)元組連接起來的做法：的每個(gè)元組連接起來的做法：v 在內(nèi)存中盡可能多地裝入某個(gè)表在內(nèi)存中盡可能多地裝入某個(gè)表(如如Student表表)的若干塊，留出一塊存的若干塊，留出一塊存放另一個(gè)表放另一個(gè)表(如如SC表表)的元組。的元組。v 把把SC中的每個(gè)元組和中的每個(gè)元組和Student中每個(gè)元組連接，連接后的元組裝

19、滿一中每個(gè)元組連接，連接后的元組裝滿一塊后就寫到中間文件上塊后就寫到中間文件上v 從從SC中讀入一塊和內(nèi)存中的中讀入一塊和內(nèi)存中的Student元組連接，直到元組連接，直到SC表處理完。表處理完。v 再讀入若干塊再讀入若干塊Student元組，讀入一塊元組，讀入一塊SC元組元組v 重復(fù)上述處理過程，直到把重復(fù)上述處理過程，直到把Student表處理完表處理完一個(gè)實(shí)例續(xù)）一個(gè)實(shí)例續(xù)）v 設(shè)一個(gè)塊能裝10個(gè)Student元組或100個(gè)SC元組，在內(nèi)存中存放5塊Student元組和1塊SC元組，則讀取總塊數(shù)為 v v v =100+20100=2100塊v 其中，讀Student表100塊。讀SC表

20、20遍，每遍100塊。若每秒讀寫20塊，則總計(jì)要花105s v 連接后的元組數(shù)為103104=107。設(shè)每塊能裝10個(gè)元組，則寫出這些塊要用106/20=5104s 101000510100010010000一個(gè)實(shí)例續(xù)）一個(gè)實(shí)例續(xù)）2. 作選擇操作 依次讀入連接后的元組，按照選擇條件選取滿足要求的記錄 假定內(nèi)存處理時(shí)間忽略。讀取中間文件花費(fèi)的時(shí)間(同寫中間文件一樣)需5104s 滿足條件的元組假設(shè)僅50個(gè)，均可放在內(nèi)存 一個(gè)實(shí)例續(xù)）一個(gè)實(shí)例續(xù)）3. 作投影操作 把第2步的結(jié)果在Sname上作投影輸出，得到最終結(jié)果 第一種情況下執(zhí)行查詢的總時(shí)間105+25104105s所有內(nèi)存處理時(shí)間均忽略不計(jì)

21、 一個(gè)實(shí)例續(xù)）一個(gè)實(shí)例續(xù)）v二、二、 第二種情況第二種情況 v Q2=Sname(Sc.Cno=2 (Student SC)v1. 計(jì)算自然連接計(jì)算自然連接 v執(zhí)行自然連接，讀取執(zhí)行自然連接，讀取Student和和SC表的策略不變，表的策略不變，總的讀取塊數(shù)仍為總的讀取塊數(shù)仍為2100塊花費(fèi)塊花費(fèi)105 s v自然連接的結(jié)果比第一種情況大大減少，為自然連接的結(jié)果比第一種情況大大減少，為104個(gè)個(gè) v寫出這些元組時(shí)間為寫出這些元組時(shí)間為104/10/20=50s，為第一種情況，為第一種情況的千分之一的千分之一 v2. 讀取中間文件塊，執(zhí)行選擇運(yùn)算，花費(fèi)時(shí)間也為讀取中間文件塊，執(zhí)行選擇運(yùn)算，花費(fèi)時(shí)

22、間也為50s。v3. 把第把第2步結(jié)果投影輸出。步結(jié)果投影輸出。v 第二種情況總的執(zhí)行時(shí)間第二種情況總的執(zhí)行時(shí)間105+50+50205s 一個(gè)實(shí)例續(xù)）一個(gè)實(shí)例續(xù)）v三、三、 第三種情況第三種情況v Q3=Sname(Student Sc.Cno=2(SC)v1. 先對(duì)先對(duì)SC表作選擇運(yùn)算，只需讀一遍表作選擇運(yùn)算，只需讀一遍SC表，存表，存取取100塊花費(fèi)時(shí)間為塊花費(fèi)時(shí)間為5s，因?yàn)闈M足條件的元組僅，因?yàn)闈M足條件的元組僅50個(gè)，不必使用中間文件。個(gè)，不必使用中間文件。v2. 讀取讀取Student表，把讀入的表，把讀入的Student元組和內(nèi)存元組和內(nèi)存中的中的SC元組作連接。也只需讀一遍元組

23、作連接。也只需讀一遍Student表共表共100塊，花費(fèi)時(shí)間為塊，花費(fèi)時(shí)間為5s。v3. 把連接結(jié)果投影輸出把連接結(jié)果投影輸出 v 第三種情況總的執(zhí)行時(shí)間第三種情況總的執(zhí)行時(shí)間5+510s 一個(gè)實(shí)例續(xù)）一個(gè)實(shí)例續(xù)）v 假如SC表的Cno字段上有索引v 第一步就不必讀取所有的SC元組而只需讀取Cno=2的那些元組(50個(gè))v 存取的索引塊和SC中滿足條件的數(shù)據(jù)塊大約總共34塊v 若Student表在Sno上也有索引v 第二步也不必讀取所有的Student元組v 因?yàn)闈M足條件的SC記錄僅50個(gè)，涉及最多50個(gè)Student記錄v 讀取Student表的塊數(shù)也可大大減少 v 總的存取時(shí)間將進(jìn)一步減少

24、到數(shù)秒 一個(gè)實(shí)例續(xù)）一個(gè)實(shí)例續(xù)）v把代數(shù)表達(dá)式Q1變換為Q2、 Q3，v即有選擇和連接操作時(shí)，先做選擇操作，這樣參加連接的元組就可以大大減少，這是代數(shù)優(yōu)化v在Q3中vSC表的選擇操作算法有全表掃描和索引掃描2種方法，經(jīng)過初步估算，索引掃描方法較優(yōu) v對(duì)于Student和SC表的連接，利用Student表上的索引，采用index join代價(jià)也較小，這就是物理優(yōu)化 第九章第九章 關(guān)系系統(tǒng)及其查詢優(yōu)化關(guān)系系統(tǒng)及其查詢優(yōu)化9.1 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理 9.2 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化 9.3 代數(shù)優(yōu)化代數(shù)優(yōu)化 9.4 物理優(yōu)化物理優(yōu)化 9.5 小小

25、 結(jié)結(jié) 9.3 代代 數(shù)數(shù) 優(yōu)優(yōu) 化化v9.3.1 關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則 v9.3.2 查詢樹的啟發(fā)式優(yōu)化查詢樹的啟發(fā)式優(yōu)化 9.3.1 關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則 v代數(shù)優(yōu)化策略：通過對(duì)關(guān)系代數(shù)表達(dá)式的等價(jià)變換來提高查詢效率 v關(guān)系代數(shù)表達(dá)式的等價(jià)：指用相同的關(guān)系代替兩個(gè)表達(dá)式中相應(yīng)的關(guān)系所得到的結(jié)果是相同的v兩個(gè)關(guān)系表達(dá)式E1和E2是等價(jià)的，可記為E1E2 關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）v 常用的等價(jià)變換規(guī)則：常用的等價(jià)變換規(guī)則：v 1. 銜接、笛卡爾積交換律銜接、笛卡爾積交換律v 設(shè)設(shè)E1和和E2是關(guān)

26、系代數(shù)表達(dá)式，是關(guān)系代數(shù)表達(dá)式，F(xiàn)是連接運(yùn)算的條件，則是連接運(yùn)算的條件，則有有v E1 E2E2 E1v E1 E2E2 E1v E1 E2E2 E1v 2. 銜接、笛卡爾積的結(jié)合律銜接、笛卡爾積的結(jié)合律v 設(shè)設(shè)E1，E2，E3是關(guān)系代數(shù)表達(dá)式，是關(guān)系代數(shù)表達(dá)式，F(xiàn)1和和F2是連接運(yùn)算是連接運(yùn)算的條件，則有的條件，則有v (E1 E2) E3E1 (E2 E3)v (E1 E2) E3E1 (E2 E3)v (E1 E2) E3E1 (E2 E3) 關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）3. 投影的串接定律 ( (E) (E)這里，E是關(guān)系代數(shù)表達(dá)式，Ai(i=1，2，n

27、)，Bj(j=1，2，m)是屬性名且A1，A2，An構(gòu)成B1，B2，Bm的子集。4. 選擇的串接定律 ( (E) (E)這里，E是關(guān)系代數(shù)表達(dá)式，F(xiàn)1、F2是選擇條件。 選擇的串接律說明選擇條件可以合并。這樣一次就可檢查全部條件。nAAA,21mBBB,21nAAA,211F2F21FF 關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）5. 選擇與投影操作的交換律 F( (E) (F(E)選擇條件F只涉及屬性A1，An。若F中有不屬于A1，An的屬性B1，Bm則有更一般的規(guī)則： (F(E) (F( (E)nAAA,21nAAA,21nAAA,21nAAA,21mnBBBAAA,21

28、21關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）6. 選擇與笛卡爾積的交換律如果F中涉及的屬性都是E1中的屬性，那么 (E1E2) (E1)E2如果F=F1F2，并且F1只涉及E1中的屬性，F(xiàn)2只涉及E2中的屬性，則由上面的等價(jià)變換規(guī)則1，4，6可推出： (E1E2) (E1) (E2)若F1只涉及E1中的屬性，F(xiàn)2涉及E1和E2兩者的屬性，則仍有 (E1E2) ( (E1)E2)它使部分選擇在笛卡爾積前先做。 1F2F2F1FFFFF關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）7. 選擇與并的分配律設(shè)E=E1E2，E1，E2有相同的屬性名，那么 F(E1E2)

29、F(E1)F(E2)8. 選擇與差運(yùn)算的分配律若E1與E2有相同的屬性名，那么 F(E1-E2)F(E1)-F(E2)9. 選擇對(duì)自然連接的分配律 F(E1 E2)F(E1) F(E2) F只涉及E1與E2的公共屬性 關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則續(xù)）10. 投影與笛卡爾積的分配律設(shè)E1和E2是兩個(gè)關(guān)系表達(dá)式，A1，An是E1的屬性，B1，Bm是E2的屬性，那么 (E1E2) (E1) (E2)11. 投影與并的分配律設(shè)E1和E2有相同的屬性名，那么 (E1E2) (E1) (E2)mnBBBAAA,2121nAAA,21mBBB,21nAAA,21nAAA,21nA

30、AA,219.3 代代 數(shù)數(shù) 優(yōu)優(yōu) 化化v9.3.1 關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則關(guān)系代數(shù)表達(dá)式等價(jià)變換規(guī)則 v9.3.2 查詢樹的啟發(fā)式優(yōu)化查詢樹的啟發(fā)式優(yōu)化 9.3.2 查詢樹的啟發(fā)式優(yōu)化查詢樹的啟發(fā)式優(yōu)化 v典型的啟發(fā)式規(guī)則：典型的啟發(fā)式規(guī)則：v1. 選擇運(yùn)算應(yīng)盡可能先做。在優(yōu)化策略中這是最重選擇運(yùn)算應(yīng)盡可能先做。在優(yōu)化策略中這是最重要、最基本的一條要、最基本的一條v2. 把投影運(yùn)算和選擇運(yùn)算同時(shí)進(jìn)行把投影運(yùn)算和選擇運(yùn)算同時(shí)進(jìn)行v如有若干投影和選擇運(yùn)算，并且它們都對(duì)同一個(gè)關(guān)如有若干投影和選擇運(yùn)算，并且它們都對(duì)同一個(gè)關(guān)系操作，則可以在掃描此關(guān)系的同時(shí)完成所有的這系操作，則可以在掃描此關(guān)系的同

31、時(shí)完成所有的這些運(yùn)算以避免重復(fù)掃描關(guān)系些運(yùn)算以避免重復(fù)掃描關(guān)系查詢樹的啟發(fā)式優(yōu)化續(xù)）查詢樹的啟發(fā)式優(yōu)化續(xù)）3. 把投影同其前或其后的雙目運(yùn)算結(jié)合起來4. 把某些選擇同在它前面要執(zhí)行的笛卡爾積結(jié)合起來成為一個(gè)連接運(yùn)算5. 找出公共子表達(dá)式如果這種重復(fù)出現(xiàn)的子表達(dá)式的結(jié)果不是很大的關(guān)系并且從外存中讀入這個(gè)關(guān)系比計(jì)算該子表達(dá)式的時(shí)間少得多，則先計(jì)算一次公共子表達(dá)式并把結(jié)果寫入中間文件是合算的當(dāng)查詢的是視圖時(shí)，定義視圖的表達(dá)式就是公共子表達(dá)式的情況查詢樹的啟發(fā)式優(yōu)化續(xù)）查詢樹的啟發(fā)式優(yōu)化續(xù)）v 遵循這些啟發(fā)式規(guī)則，應(yīng)用9.3.1的等價(jià)變換公式來優(yōu)化關(guān)系表達(dá)式的算法。v算法：關(guān)系表達(dá)式的優(yōu)化v輸入：一個(gè)

32、關(guān)系表達(dá)式的查詢樹v輸出：優(yōu)化的查詢樹v方法：v(1) 利用等價(jià)變換規(guī)則4把形如F1F2Fn(E)變換為F1(F2(Fn(E)。v(2) 對(duì)每一個(gè)選擇，利用等價(jià)變換規(guī)則49盡可能把它移到樹的葉端。查詢樹的啟發(fā)式優(yōu)化續(xù)）查詢樹的啟發(fā)式優(yōu)化續(xù)）(3) 對(duì)每一個(gè)投影利用等價(jià)變換規(guī)則3，5，10，11中的一般形式盡可能把它移向樹的葉端。留意： 等價(jià)變換規(guī)則3使一些投影消失規(guī)則5把一個(gè)投影分裂為兩個(gè)，其中一個(gè)有可能被移向樹的葉端 (4) 利用等價(jià)變換規(guī)則35把選擇和投影的串接合并成單個(gè)選擇、單個(gè)投影或一個(gè)選擇后跟一個(gè)投影。使多個(gè)選擇或投影能同時(shí)執(zhí)行，或在一次掃描中全部完成 查詢樹的啟發(fā)式優(yōu)化續(xù)）查詢樹的

33、啟發(fā)式優(yōu)化續(xù)） (5) 把上述得到的語法樹的內(nèi)節(jié)點(diǎn)分組。每一雙目運(yùn)算(， ，-)和它所有的直接祖先為一組(這些直接祖先是(，運(yùn)算)。如果其后代直到葉子全是單目運(yùn)算，則也將它們并入該組但當(dāng)雙目運(yùn)算是笛卡爾積()，而且后面不是與它組成等值連接的選擇時(shí)，則不能把選擇與這個(gè)雙目運(yùn)算組成同一組，把這些單目運(yùn)算單獨(dú)分為一組 查詢樹的啟發(fā)式優(yōu)化續(xù)）查詢樹的啟發(fā)式優(yōu)化續(xù)）例4 下面給出例3中 SQL語句的代數(shù)優(yōu)化示例。 (1) 把SQL語句轉(zhuǎn)換成查詢樹，如下圖所示查詢樹查詢樹的啟發(fā)式優(yōu)化續(xù)）查詢樹的啟發(fā)式優(yōu)化續(xù)）為了使用關(guān)系代數(shù)表達(dá)式的優(yōu)化法，假設(shè)內(nèi)部表示是關(guān)系代數(shù)語法樹，則上面的查詢樹如下圖所示。 關(guān)系代數(shù)

34、語法樹 查詢樹的啟發(fā)式優(yōu)化續(xù)）查詢樹的啟發(fā)式優(yōu)化續(xù)）(2) 對(duì)查詢樹進(jìn)行優(yōu)化利用規(guī)則4、6把選擇SC.Cno=2移到葉端，查詢樹便轉(zhuǎn)換成下圖所示的優(yōu)化的查詢樹。這就是9.2.2節(jié)中Q3的查詢樹表示優(yōu)化后的查詢樹 第九章第九章 關(guān)系系統(tǒng)及其查詢優(yōu)化關(guān)系系統(tǒng)及其查詢優(yōu)化9.1 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢處理 9.2 關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化關(guān)系數(shù)據(jù)庫系統(tǒng)的查詢優(yōu)化 9.3 代數(shù)優(yōu)化代數(shù)優(yōu)化 9.4 物理優(yōu)化物理優(yōu)化 9.5 小小 結(jié)結(jié) 9.4 物理優(yōu)化物理優(yōu)化v代數(shù)優(yōu)化改變查詢語句中操作的次序和組合，不涉及底層的存取路徑v對(duì)于一個(gè)查詢語句有許多存取方案，它們的執(zhí)行效率不同， 僅僅

35、進(jìn)行代數(shù)優(yōu)化是不夠的 v物理優(yōu)化就是要選擇高效合理的操作算法或存取路徑，求得優(yōu)化的查詢計(jì)劃 物理優(yōu)化續(xù)）物理優(yōu)化續(xù)）v選擇的方法：選擇的方法： v基于規(guī)則的啟發(fā)式優(yōu)化基于規(guī)則的啟發(fā)式優(yōu)化v基于代價(jià)估算的優(yōu)化基于代價(jià)估算的優(yōu)化v兩者結(jié)合的優(yōu)化方法兩者結(jié)合的優(yōu)化方法9.4 物理優(yōu)化物理優(yōu)化v9.4.1 基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化v9.4.2 基于代價(jià)的優(yōu)化基于代價(jià)的優(yōu)化 9.4.1 基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化v一、 選擇操作的啟發(fā)式規(guī)則 v二、 連接操作的啟發(fā)式規(guī)則 基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化基于啟發(fā)式規(guī)則的存取路徑

36、選擇優(yōu)化(續(xù)續(xù))v一、一、 選擇操作的啟發(fā)式規(guī)則選擇操作的啟發(fā)式規(guī)則:v1. 對(duì)于小關(guān)系，使用全表順序掃描，即使選對(duì)于小關(guān)系，使用全表順序掃描，即使選擇列上有索引擇列上有索引 v對(duì)于大關(guān)系，啟發(fā)式規(guī)則有：對(duì)于大關(guān)系，啟發(fā)式規(guī)則有：v2. 對(duì)于選擇條件是主碼值的查詢對(duì)于選擇條件是主碼值的查詢v查詢結(jié)果最多是一個(gè)元組，可以選擇主碼索引查詢結(jié)果最多是一個(gè)元組，可以選擇主碼索引v一般的一般的RDBMS會(huì)自動(dòng)建立主碼索引。會(huì)自動(dòng)建立主碼索引。v基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化(續(xù)續(xù))3. 對(duì)于選擇條件是非主屬性值的查詢，并且選擇列上有索引要估算查詢結(jié)果的元組數(shù)目如果比例較

37、小(10%)可以使用索引掃描方法否則還是使用全表順序掃描基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化(續(xù)續(xù))4. 對(duì)于選擇條件是屬性上的非等值查詢或者范圍查詢，并且選擇列上有索引要估算查詢結(jié)果的元組數(shù)目如果比例較小(10%)可以使用索引掃描方法否則還是使用全表順序掃描 基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化(續(xù)續(xù))5. 對(duì)于用AND連接的合取選擇條件如果有涉及這些屬性的組合索引優(yōu)先采用組合索引掃描方法如果某些屬性上有一般的索引則可以用例1-C4中介紹的索引掃描方法否則使用全表順序掃描。6. 對(duì)于用OR連接的析取選擇條件，一般使用全表順序掃描基于啟發(fā)

38、式規(guī)則的存取路徑選擇優(yōu)化基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化(續(xù)續(xù))v 二、二、 連接操作的啟發(fā)式規(guī)則：連接操作的啟發(fā)式規(guī)則：v1. 如果如果2個(gè)表都已經(jīng)按照連接屬性排序個(gè)表都已經(jīng)按照連接屬性排序v 選用排序選用排序-合并方法合并方法v2. 如果一個(gè)表在連接屬性上有索引如果一個(gè)表在連接屬性上有索引v 選用索引連接方法選用索引連接方法v3. 如果上面如果上面2個(gè)規(guī)則都不適用，其中一個(gè)表較小個(gè)規(guī)則都不適用，其中一個(gè)表較小v 選用選用Hash join方法方法v基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化(續(xù)續(xù))4. 可以選用嵌套循環(huán)方法，并選擇其中較小的表，確切地講是占用的塊數(shù)(b

39、)較少的表，作為外表(外循環(huán)的表) 。 理由：設(shè)連接表R與S分別占用的塊數(shù)為Br與Bs連接操作使用的內(nèi)存緩沖區(qū)塊數(shù)為K分配K-1塊給外表如果R為外表，則嵌套循環(huán)法存取的塊數(shù)為Br+( Br/K-1)Bs顯然應(yīng)該選塊數(shù)小的表作為外表 9.4 物理優(yōu)化續(xù)）物理優(yōu)化續(xù)）v9.4.1 基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化基于啟發(fā)式規(guī)則的存取路徑選擇優(yōu)化v9.4.2 基于代價(jià)的優(yōu)化基于代價(jià)的優(yōu)化 9.4.2 基于代價(jià)的優(yōu)化基于代價(jià)的優(yōu)化 v啟發(fā)式規(guī)則優(yōu)化是定性的選擇，適合解釋執(zhí)行的系統(tǒng)v解釋執(zhí)行的系統(tǒng)，優(yōu)化開銷包含在查詢總開銷之中 v編譯執(zhí)行的系統(tǒng)中查詢優(yōu)化和查詢執(zhí)行是分開的v可以采用精細(xì)復(fù)雜一些的基于代價(jià)

40、的優(yōu)化方法 基于代價(jià)的優(yōu)化續(xù)）基于代價(jià)的優(yōu)化續(xù)）v一、 統(tǒng)計(jì)信息 v二、 代價(jià)估算示例 基于代價(jià)的優(yōu)化續(xù)）基于代價(jià)的優(yōu)化續(xù)）一、一、 統(tǒng)計(jì)信息統(tǒng)計(jì)信息基于代價(jià)的優(yōu)化方法要計(jì)算各種操作算基于代價(jià)的優(yōu)化方法要計(jì)算各種操作算法的執(zhí)行代價(jià)，與數(shù)據(jù)庫的狀態(tài)密切法的執(zhí)行代價(jià)，與數(shù)據(jù)庫的狀態(tài)密切相關(guān)相關(guān) 數(shù)據(jù)字典中存儲(chǔ)的優(yōu)化器需要的統(tǒng)計(jì)信數(shù)據(jù)字典中存儲(chǔ)的優(yōu)化器需要的統(tǒng)計(jì)信息：息： 1. 對(duì)每個(gè)基本表對(duì)每個(gè)基本表該表的元組總數(shù)該表的元組總數(shù)(N)元組長(zhǎng)度元組長(zhǎng)度(l)占用的塊數(shù)占用的塊數(shù)(B)占用的溢出塊數(shù)占用的溢出塊數(shù)(BO)基于代價(jià)的優(yōu)化續(xù)）基于代價(jià)的優(yōu)化續(xù)）2. 對(duì)基表的每個(gè)列該列不同值的個(gè)數(shù)(m)選擇

41、率(f)如果不同值的分布是均勻的，f1/m如果不同值的分布不均勻，則每個(gè)值的選擇率具有該值的元組數(shù)/N該列最大值該列最小值該列上是否已經(jīng)建立了索引索引類型(B+樹索引、Hash索引、聚集索引)基于代價(jià)的優(yōu)化續(xù)）基于代價(jià)的優(yōu)化續(xù)）3. 對(duì)索引(如B+樹索引)索引的層數(shù)(L)不同索引值的個(gè)數(shù)索引的選擇基數(shù)S(有S個(gè)元組具有某個(gè)索引值)索引的葉結(jié)點(diǎn)數(shù)(Y) 基于代價(jià)的優(yōu)化續(xù)）基于代價(jià)的優(yōu)化續(xù)）二、二、 代價(jià)估算示例代價(jià)估算示例 全表掃描算法的代價(jià)估算公式全表掃描算法的代價(jià)估算公式如果基本表大小為如果基本表大小為B塊，全表掃描算法的代價(jià)塊，全表掃描算法的代價(jià) costB如果選擇條件是碼值，那么平均搜索代價(jià)如果選擇條件是碼值，那么平