實(shí)戰(zhàn)巧用磁盤管理工具給oracle提速

今天，數(shù)據(jù)庫的使用已經(jīng)深入到了各個(gè)行業(yè)的方方面面，隨著大型數(shù)據(jù)庫應(yīng)用的增加，動(dòng)輒涉及到TB級數(shù)據(jù)量的存儲與讀取，數(shù)據(jù)庫的讀寫效率日益成為整體系統(tǒng)的瓶頸所在越來越多的系統(tǒng)管理員已經(jīng)意識到提高數(shù)據(jù)庫的讀寫速度走出海量數(shù)據(jù)和訪問量壓力的瓶頸，是提高整體系統(tǒng)的運(yùn)行效率的關(guān)鍵。在這里，筆者將向大家介紹使用磁盤管理工具給Oracle提速的一些方法。當(dāng)我們希望給Oracle提速的時(shí)候，我們首先必須了解在oracle運(yùn)行過程中，瓶頸來自于哪些方面，我們通過哪些方面去給Oracle提速。瓶頸來自于哪里一、操作系統(tǒng)的單寫鎖首先我們知道Unix系統(tǒng)是一個(gè)多用戶的操作系統(tǒng)為了保持文件的一致性操作系統(tǒng)一般會在某個(gè)用戶對數(shù)據(jù)庫進(jìn)行讀寫操作的時(shí)候，為該文件加一個(gè)單寫鎖（singlewritelock），這樣可以避免其它人繼續(xù)操作這個(gè)文件，可以保證數(shù)據(jù)文件的可靠性。但是加鎖和解鎖的過程如此復(fù)雜，在獲得文件一致性和安全性的同時(shí)，犧牲掉了大量的系統(tǒng)性能，有什么辦法可以既保證數(shù)據(jù)庫系統(tǒng)的文件一致性，又不致于浪費(fèi)掉大量的系統(tǒng)性能呢？二、寫緩存和磁盤讀寫我們知道，在數(shù)據(jù)庫的數(shù)據(jù)在讀寫的時(shí)候，首先都需要經(jīng)過緩存，緩存命中率對于數(shù)據(jù)庫的讀寫效率起著至關(guān)重要的作用。那么我們?nèi)绾翁岣呔彺娴拿新誓?？一般?shù)據(jù)庫在讀寫的時(shí)候都會保存一份cach，然而文件系統(tǒng)在讀寫系統(tǒng)文件的時(shí)候也會生成一份cache這樣緩存中就會留有冗余的數(shù)據(jù)，影響緩存使用的利用率。我們怎樣消除緩存中這部分冗余的數(shù)據(jù)呢？三、提高磁盤讀寫效率在Oracle9i版本以后Oracle本身都自帶有磁盤管理組件（Oraclediskmanager來管高I/O過本文將為大家介紹另外一種磁盤管理工具，能夠進(jìn)一步優(yōu)化磁盤數(shù)據(jù)結(jié)構(gòu)，提高數(shù)據(jù)吞吐量。大家有興趣，可對兩種系統(tǒng)優(yōu)化工具進(jìn)行一下對比測試。優(yōu)化磁盤文件系統(tǒng)和數(shù)據(jù)分布由于數(shù)據(jù)庫的讀寫與磁盤文件系統(tǒng)、數(shù)據(jù)分布等等規(guī)則密切相關(guān)，我們可以使用一些磁盤管理工具來優(yōu)化磁盤的文件系統(tǒng)和數(shù)據(jù)分布規(guī)則。對于Unix系統(tǒng)的單寫鎖問題造成數(shù)據(jù)庫讀寫效率低下的情況，我們知道，為了提高讀寫速度，Unix操作系統(tǒng)在提供單寫鎖功能的同時(shí)，還提供異步讀寫（asynchronousI/O和（directI/O的API，允許應(yīng)用程序不加鎖的寫入文件。因此，一些磁盤管理工具軟件可以利用這個(gè)特點(diǎn)，讓數(shù)據(jù)庫文件跳過這些單寫鎖按照裸設(shè)備的讀寫方式寫這些文件從而提高數(shù)據(jù)庫的讀寫性能。同時(shí)，大多數(shù)磁盤管理工具都能夠自動(dòng)監(jiān)控?cái)?shù)據(jù)讀寫存取的頻度，選擇將一些讀寫頻繁的數(shù)據(jù)文件直接加載到內(nèi)存中，這樣，磁盤管理工具軟件能保證讀出和寫入這些文件，整個(gè)過程對于Oracle是完全透明的。筆者在這里將以2個(gè)2000行的相同的數(shù)據(jù)庫更新來進(jìn)行測試，以Vetitasstoragefoundation為例，來測試VeritasStorageFoundation對Oracle數(shù)據(jù)庫的提速效果。QuickI/O系統(tǒng)優(yōu)化實(shí)例介紹VeritasStorageFoundation本身是一個(gè)管理軟件的套件其中的QuickI/O與cacheI/O功能組件能夠分別解決單寫鎖和緩命率題利用QukI/O這個(gè)特性來讀寫文件，需要將VxFS文件系統(tǒng)的文件轉(zhuǎn)換成QuickIO后storagefoundatin才能減少這些文件的讀寫的鎖控制和cache的控制。下面我們來看一下QuickIO的用法：1.確定目前數(shù)據(jù)庫的數(shù)據(jù)文件的位置；2.確定是否該目錄屬于VxFS文件系統(tǒng)，QickIO是建立在VxFS文件系統(tǒng)上的，如果不屬于VxFS文件系統(tǒng)將無法使用QickIO。3.同時(shí)，我們還需要確定是否QuickIO正在使用，可以通過如下命令行：#dbed_checkconfig-S$ORACLE_SID-H$ORACLE_HOME來確定，輸入命令行之后，從屏幕輸出中我們可以看到有關(guān)QuickIO的信息：ExaminingQuickI/Osettings.10filesarenotconfiguredtouseQuickI/O.同時(shí)必須要注意，使用該命令的時(shí)候，$ORACLE_SID所屬的實(shí)例必須是啟動(dòng)的狀態(tài)。4.獲得QIO所能夠轉(zhuǎn)換的數(shù)據(jù)庫文件的列表，生成mkqio.dat文件。在這里，我們輸入：#qio_getdbfiles_ora，屏幕輸出如下：這里需要注意的是：該命令會自動(dòng)跳過temporarytablespace的文件，這是因?yàn)閛racle的臨時(shí)文件支持把數(shù)據(jù)寫到未分配的存儲區(qū)域，但是quickIO不支持，所以如果將這種文件轉(zhuǎn)換成QuickIO文件，可能會引起oracle的寫失敗。5.這時(shí)必須停止oracle數(shù)據(jù)庫，否則在數(shù)據(jù)庫文件轉(zhuǎn)換成QuickIO文件時(shí)會失敗。6.停止oracle數(shù)據(jù)庫后，我們可以將VxFS類型的數(shù)據(jù)庫文件轉(zhuǎn)換為Quick文件，命令行如下：#qio_convertdbfiles_ora這時(shí)候，我們重啟oracle數(shù)據(jù)庫，這時(shí)會發(fā)現(xiàn)數(shù)據(jù)庫的讀寫速度就會加快。一般來說，數(shù)據(jù)庫讀寫加快的比例和具體用戶的需求有關(guān)以筆者所做的兩個(gè)2000行的數(shù)據(jù)更新進(jìn)行測試的結(jié)果速度提高了10％Veritas官方的說法認(rèn)為這個(gè)提高的比例大概在5％－20％左右，不過具體應(yīng)用過程中，能做到10%的速度提高還是很不錯(cuò)的，有興趣的朋友可以自己試一試。利用CacheQIO提高oracle讀寫使用cacheQIO的關(guān)鍵在于統(tǒng)計(jì)出來哪些數(shù)據(jù)庫文件被頻繁使用因?yàn)閮?nèi)存的總數(shù)是有限的將有限的資源利用到最需要的地方，正是我們這些數(shù)據(jù)庫管理員所追求的。下面我們說明一下cacheQIO的用法：1.第一步必須清空QIO的統(tǒng)計(jì)信息，命令行如下：#qiostat-r/oracle/oradata/glob_ora/*.dbf#qiostat/oracle/oradata/glob_ora/*.dbf這時(shí)，輸出結(jié)果如下，我們可以看見QIO的信息已經(jīng)完全清空。2.下面，我們可以進(jìn)入數(shù)據(jù)庫做幾個(gè)常見的讀寫操作，來判斷哪些文件被讀寫過了，并且判斷讀寫的頻次。我們通過以下命令行來查詢哪些文件被讀寫過了：#qiostat/oracle/oradata/glob_ora/*.dbf這時(shí)，在輸出結(jié)果中，我們留意這一行：說明該文件被讀寫的次數(shù)比較多。3.將該文件系統(tǒng)轉(zhuǎn)為CacheQIO文件系統(tǒng)#vxtunefs-oqio_cache_enable=1/oracle注：關(guān)閉就是將該值設(shè)置為04.重復(fù)上面的1－3步驟來測試哪些數(shù)據(jù)被讀寫過了。這時(shí)，我們可以發(fā)現(xiàn)，第二步的數(shù)據(jù)庫讀寫操作對文件的讀寫幾乎為0，那就是因?yàn)榇疟P管理工具已經(jīng)將你的讀寫記錄到了內(nèi)存中一個(gè)專屬的地方，由磁盤管理工具來負(fù)責(zé)對文件的讀寫。需要注意的是，這一步驟對普通用戶是屏蔽的，提高了數(shù)據(jù)庫用戶的數(shù)據(jù)文件讀寫速的，這個(gè)時(shí)候數(shù)據(jù)庫的讀寫可靠性將由磁盤管理工具軟件storagefoundation來維護(hù)。優(yōu)化數(shù)據(jù)結(jié)構(gòu)提高讀寫速度在Oracle9i之后，oracle使用oracle磁盤管理組件（OracleDiskManager）來管理數(shù)據(jù)文件，提高oracle數(shù)據(jù)庫的輸入輸出數(shù)據(jù)吞吐量。Oracle磁盤管理的原理是通過直接將用戶數(shù)據(jù)拷貝到裸設(shè)備上，從而減少內(nèi)核對數(shù)據(jù)文件加鎖和減少多余cache，所以它基本應(yīng)用在裸設(shè)備上，由oracle來管理和控制對于裸設(shè)備的讀寫。我們?nèi)匀灰訴eritas的磁盤管理工具軟件StorageFoundation為例來說明磁盤管理工具軟件對數(shù)據(jù)文件的優(yōu)化VeritasStorageFoundation的組件ODM和Oracle自帶的系統(tǒng)優(yōu)化是同樣的原理，唯一不同的是，它可以將數(shù)據(jù)寫在VeritasVxFS文件系統(tǒng)的基礎(chǔ)上，至于該軟件與Oracle自帶的優(yōu)化功能孰優(yōu)孰劣，讀者可以自己測試一下，根據(jù)筆者的經(jīng)驗(yàn)，由于VeritasStorageFoundation本身是專業(yè)的磁盤管理工具軟件，在針對Oracle數(shù)據(jù)庫的系統(tǒng)優(yōu)化上，還是有非常明顯的效果。但是VeritasStorageFoundation的ODM組件與QuickIO還是有不。他們別于用QuickO需要轉(zhuǎn)換數(shù)據(jù)庫文件，然而ODM的使用對于用戶來說是透明的。另外oracle9i之前的用戶只能使用QuickIO功能，并不支持ODM，同時(shí)QuckIO和ODM不能同時(shí)使用。下面我們來說明一下ODM的用法：1.確認(rèn)ODM的序列號已經(jīng)安裝；#/opt/VRTS/bin/vxlictest-n"VERITASStorageFoundationforOracle"-f"ODM"2.確定ODM軟件包已經(jīng)安裝（以solaris為例）：#pkginfo|grepVRTSodm3.確認(rèn)odm的庫文件存在：#l/opt/VRTSodm/lib/sparcv9/libodm.so（64位操作系統(tǒng)）#l/opt/VRTSodm/lib/libodm.so（32位操作系統(tǒng)）4.確認(rèn)QuickIO沒有被使用$dbed_checkconfig-S$ORACLE_SID-H$ORACLE_HOME5.停止oracle數(shù)據(jù)庫。如果QuickIO不存在，可以忽律步驟6－7；6.將quickIO數(shù)據(jù)文件轉(zhuǎn)換為ODM文件格式：#/opt/VRTS/bin/qio_getdbfiles-Toraa得出QuickIO的數(shù)據(jù)庫文件#/opt/VRTS/bin/qio_convertdbfiles-Torau將剛才得出的數(shù)據(jù)庫文件轉(zhuǎn)換為非QuickIO的文件7.查看ODM是否在當(dāng)前數(shù)據(jù)庫已經(jīng)被使用：$grepODM/oracle/admin/ORCL/bdump/alert_ORCL.log如果該命令得出“OracleinstancerunningwithODM:Veritas#.#ODMLibraryVersion#.#則說明ODM已經(jīng)是啟動(dòng)的了；否則就是沒有啟動(dòng)。8.將原來的odm庫文件用Veritas的替換：#mv/oracle/lib/libodm9.so/oracle/lib/libodm9.so.old將原有的庫文件備份；#ln-s/opt/VRTSodm/lib/sparcv9/libodm.so/oracle/lib/libodm9.so用Veritas的庫文件替換9.因?yàn)镺DM功能無法與QIO功能一起使用，所以使用ODM之前，必須關(guān)閉cachequickIO功能；#vxtunefs-oqio_cache_enable=0$ORACLE_BASE/oradata重新啟動(dòng)oracle數(shù)據(jù)庫10.驗(yàn)證ODM已經(jīng)啟動(dòng)$grep