DAT239SQLServer2005數(shù)據(jù)倉庫方面的新功能

DAT239

SQLServer2005數(shù)據(jù)倉庫方面的新功能肖維TechnicalLeadSQLServerEngineAccessMethod微軟有限公司自我介紹AccessMethod負(fù)責(zé)的技術(shù)范圍數(shù)據(jù)的訪問(BTREE)數(shù)據(jù)的檢查(DBCCCHECK)數(shù)據(jù)的修理(DBCCREPAIR)圖像和文件的存儲(chǔ)(TEXT/IMAGE/VARCHAR)數(shù)據(jù)的可靠性：事務(wù)管理數(shù)據(jù)文件空間管理(FILESPACE)臨時(shí)數(shù)據(jù)庫(TEMPDB)索引管理(INDEX)數(shù)據(jù)導(dǎo)入(BULKINSERT)今天的內(nèi)容SQLServer?2005在建造數(shù)據(jù)倉庫方面的新功能深入介紹索引視圖，表分區(qū)背景知識最好有關(guān)系數(shù)據(jù)庫的基本知識不需要有數(shù)據(jù)倉庫方面的專門知識內(nèi)容講座范圍性能增強(qiáng)Performance表分區(qū)Partitioning數(shù)據(jù)易于得到Availability增強(qiáng)的ＴＳＱＬ查詢功能講座范圍

數(shù)據(jù)倉庫的各種任務(wù)今天內(nèi)容包含：數(shù)據(jù)導(dǎo)入數(shù)據(jù)清理和轉(zhuǎn)變transformation報(bào)表產(chǎn)生Creatingreports填充(Feeding)cubes構(gòu)造

Datamarts不會(huì)講到:從不同源頭取得數(shù)據(jù)用工具實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)變內(nèi)容講座范圍性能增強(qiáng)Performance表分區(qū)Partitioning數(shù)據(jù)易于得到Availability增強(qiáng)的ＴＳＱＬ查詢功能數(shù)據(jù)倉庫的性能增強(qiáng)64-bit分區(qū)視圖(DistributedPartitionedViews)索引視圖(IndexedViews)包含其他列的索引(INCLUDEColumns)INSERT使用OPENROWSET表分區(qū)(Partitioning)按照時(shí)間分區(qū)分區(qū)視圖DPV多個(gè)SQLServer實(shí)例上的分區(qū)視圖SQLServer2000和2005都有在SQLServer2005上，有更多的并行操作…Sales_

200501Sales_

200502Sales_

200512DistributedPartitionedViewV_Sales_

All}索引視圖性能增強(qiáng)視圖展開的緩存：縮短編譯時(shí)間許多情況下，索引視圖維護(hù)時(shí)間減少如何檢測對你的應(yīng)用有幫助？更多視圖上可以建索引SUM和COUNT_BIG–沒有GROUPBY某些自定義函數(shù)scalarUDFs-T-SQL,deterministic,沒有數(shù)據(jù)庫訪問索引視圖索引視圖的使用有所進(jìn)步，比如索引視圖有計(jì)算列C=A+B，查詢有A+B索引視圖有“Abetween10and20”，查詢有“Abetween15and18”索引視圖有“A>=BandC=10”查詢有“C=10andB<=A”包含其他列的索引比如:CREATETABLEt1(aINT,bINTPRIMARYKEY,cCHAR(2000))CREATEINDEXi2ONt1(a,c)CREATEINDEXi1ONt1(a)INCLUDE(c)失敗成功aaaaaaaaaa,ca,ca,ca,ca,ca,ca,ca,c包含列鍵

列…包含其他列的索引INSERT使用OPENROWSETSQLServer2000有這個(gè)功能SQLServer2005增強(qiáng)：允許直接從文件導(dǎo)入支持大數(shù)據(jù)優(yōu)化BULKoptimization長遠(yuǎn)方向使用OPENROWSET的INSERT會(huì)取代

BULKINSERTINSERT使用OPENROWSET

比如–過濾數(shù)據(jù):

INSERTINTOt1 WITH(IGNORE_CONSTRAINTS,

IGNORE_TRIGGERS) SELECTc1,c2FROM OPENROWSET(BULK,‘c:\data.txt’)

ASmytable(c1,c2,c3) WHEREc3>10INSERTwithOPENROWSET

SQLServer2005Improvements比如轉(zhuǎn)換數(shù)據(jù)：根據(jù)keytable表的值轉(zhuǎn)換

c3INSERTINTOt1WITH….

SELECTc1,c2,keys.d1FROM OPENROWSET(BULK,‘c:\data.txt’)

ASmytable(c1,c2,c3) INNERJOINUser1.keytableASkeys ON(c3=keys.key)內(nèi)容講座范圍性能增強(qiáng)Performance表分區(qū)Partitioning數(shù)據(jù)易于得到Availability增強(qiáng)的ＴＳＱＬ查詢功能表和索引的分區(qū)

好處管理大數(shù)據(jù)更方便性能更好數(shù)據(jù)更加容易得到主要應(yīng)用情形:移動(dòng)窗口移動(dòng)窗口應(yīng)用實(shí)例

很大的數(shù)據(jù)量每小時(shí)／天／周／月／年產(chǎn)生新的分區(qū)，刪除最舊的分區(qū)新的分區(qū)–可能先需要數(shù)據(jù)導(dǎo)入,清洗,轉(zhuǎn)換。新的分區(qū)–也可能直接由應(yīng)用程序填入數(shù)據(jù)。舊的分區(qū)–可能需要備份,長期存儲(chǔ),復(fù)原(backup,archive,restore)分區(qū)

#123452002-01-012003-01-012004-01-012005-01-01

2001及之前2002數(shù)據(jù)2003數(shù)據(jù)2004數(shù)據(jù)2005及

之后[空][空][空]2006-01-012005數(shù)據(jù)2006及

之后62005中間表2002導(dǎo)出表分裂最新的分區(qū)，為以后的時(shí)間加一個(gè)邊界點(diǎn)在同樣的文件組里創(chuàng)建一個(gè)中間表導(dǎo)入數(shù)據(jù)到中間表，建索引把中間表合并到第二新的分區(qū)數(shù)據(jù)導(dǎo)入使用移動(dòng)窗口的推薦經(jīng)驗(yàn)

始終保持空的分區(qū)在最早和最晚的時(shí)間段（兩端）保證分區(qū)的合并，分裂操作可以瞬間完成增加新數(shù)據(jù):首先分裂最新的分區(qū),然后把中間表合并到第二新(分區(qū)#５)的分區(qū)刪除舊數(shù)據(jù):首先把數(shù)據(jù)從第二舊的分區(qū)(分區(qū)#2)導(dǎo)出,然后把最舊的兩個(gè)分區(qū)合并內(nèi)容講座范圍性能增強(qiáng)Performance表分區(qū)Partitioning數(shù)據(jù)易于得到Availability增強(qiáng)的ＴＳＱＬ查詢功能怎樣讓數(shù)據(jù)容易得到分塊管理只讀和離線的文件組快照隔離數(shù)據(jù)庫快照在線操作分塊管理的原則

更加細(xì)微的操作數(shù)據(jù)管理工作影響最少量的數(shù)據(jù)數(shù)據(jù)頁（8KB）數(shù)據(jù)文件文件組分區(qū)不參加操作的數(shù)據(jù)依然可以得到性能不受影響分塊管理

數(shù)據(jù)可取得與否決定于什么？

早期的SQLServer整個(gè)數(shù)據(jù)庫是否在線SQLServer2005數(shù)據(jù)庫在線,但是并非所有的文件組都在線DatabasePrimaryFilegroupFilegroupAFilegroupB文件組

A依然不可用，因?yàn)槲募笔?shù)據(jù)庫可用管理員找到文件，啟動(dòng)恢復(fù)文件組

文件組現(xiàn)在可用了！比如

Server啟動(dòng)DatabasePrimaryFilegroup可用了！FilegroupBFilegroupAPrimary備份LogFilegroupAFilegroupB比如

災(zāi)難后的分塊復(fù)原根據(jù)優(yōu)先次序在線復(fù)原文件組快照1時(shí)間數(shù)據(jù)庫改變許多用戶許多用戶快照2一個(gè)事務(wù)４個(gè)語句數(shù)據(jù)庫快照可提交-讀-快照隔離快照隔離兩種“快照”的比較索引的創(chuàng)建和維護(hù)CREATE,ALTER,DROP在線復(fù)原onlinerestore分塊復(fù)原．復(fù)原文件組不影響數(shù)據(jù)庫的操作?；貪L恢復(fù)過程不影響數(shù)據(jù)庫的操作SQLServer2000–回滾恢復(fù)過程中數(shù)據(jù)庫不可用SQLServer2005–數(shù)據(jù)庫可用，回滾同時(shí)進(jìn)行在線操作內(nèi)容講座范圍性能增強(qiáng)Performance表分區(qū)Partitioning數(shù)據(jù)易于得到Availability增強(qiáng)的ＴＳＱＬ查詢功能強(qiáng)大的ＴＳＱＬ查詢功能ROW_NUMBER，RANK，NTILE(n)用于排名PIVOT/UNPIVOT行列互換，分析數(shù)據(jù)ＯＬＡＰ調(diào)用函數(shù)APPLY抽取最前TOP(n)遞歸查詢抽樣查詢TABLESAMPLE總結(jié)

SQLServer2005關(guān)系數(shù)據(jù)倉庫高性能表分區(qū)數(shù)據(jù)高可用性易于管理強(qiáng)大的ＴＳＱＬ查詢功能目標(biāo):幫助用戶更加方便地建造數(shù)據(jù)倉庫我常去的網(wǎng)上社區(qū)microsoft.public.sqlserver.server.sqlserver歡迎訪問我的BLOGhttp:///weix/中文SQLServer主頁:/china/sql/techne