優(yōu)化方案 文檔

優(yōu)化方案文檔優(yōu)化方案：ETL的過(guò)程原理和數(shù)據(jù)倉(cāng)庫(kù)建設(shè)（賽迪網(wǎng)技術(shù)社區(qū)ETL的過(guò)程原理和數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方法歸納總結(jié)了以下優(yōu)化的方案，詳細(xì)內(nèi)容請(qǐng)讀者參考下文：引言數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中的ETL(Extract,Transform,Load)是數(shù)據(jù)抽取、轉(zhuǎn)換和裝載到模型的過(guò)程，SQL語(yǔ)句編寫(xiě)的存SQL語(yǔ)句的效率將直接影響到數(shù)據(jù)倉(cāng)庫(kù)后臺(tái)的性能。IT領(lǐng)域熱門(mén)話(huà)題的原因。優(yōu)化的思路分析ETL過(guò)程的主要特點(diǎn)是：面對(duì)海量的數(shù)據(jù)進(jìn)行抽??；分時(shí)段對(duì)大批量數(shù)據(jù)進(jìn)行刪ETL過(guò)程需要在每天的零點(diǎn)開(kāi)始到點(diǎn)之前完成。所以，針對(duì)ETL過(guò)程的優(yōu)化主要是結(jié)合數(shù)據(jù)倉(cāng)庫(kù)自身的特SQL入手來(lái)進(jìn)行。優(yōu)化的實(shí)例分析目前數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中的后臺(tái)數(shù)據(jù)庫(kù)大部分采OracleSQLOracle的語(yǔ)法來(lái)Oracle9i環(huán)境中通過(guò)，但其優(yōu)化的方法和原理同樣適合除Oracle其他數(shù)據(jù)庫(kù)。索引的正確使用ETL過(guò)程中的索引需要遵循以下使用原則：當(dāng)插入的數(shù)據(jù)為數(shù)據(jù)表中的記錄數(shù)量以上時(shí),首先需要?jiǎng)h除該表的索引來(lái)提高引。避免在索引列上使用函數(shù)或計(jì)算，在WHERE優(yōu)化器將不使用索引而使用全表掃描。舉例:低效：SELECT*ROMDEPTWHERESAL*12>25000;高效：SELECT*FROMDEPTWHERESAL>25000/12;NOT和”!=”NOT和”!=”時(shí)，就會(huì)停止使用索引轉(zhuǎn)而執(zhí)行全表掃描。索引列上用>=替代>高效：SELECT*FROMEMPWHEREDEPTNO>=4低效：SELECT*FROMEMPWHEREDEPTNO>3兩者的區(qū)別在于，前者DBMSDEPT等于4的記錄而后者將首先定位到DEPTNO=3的記錄并且向前掃描到第一個(gè)DEPT大于3的記錄。Oracle9i以上版本新的功能：基于函數(shù)的索引(Function-BasedIndex)CREATEINDEXEMP_IONEMP(UPPER(ENAME));SELECT*FROMEMPWHEREUPPER(ENAME)=‘BLACKSNAIL’;游標(biāo)的正確使用ETL過(guò)程中的使用又必不可少，而且使用ID的一致性，所以采用游標(biāo)的是數(shù)據(jù)按照普通的方式將無(wú)法處理大數(shù)據(jù)量的維表數(shù)據(jù)維護(hù)（一般是指1萬(wàn)條記錄以上的維表，以下是處理這種情況的有效方式：天的維表數(shù)據(jù)維護(hù)只針對(duì)更新日期為最新時(shí)間的數(shù)據(jù)來(lái)進(jìn)行，大大減少需要維護(hù)的數(shù)據(jù)記錄數(shù)。INSERTUPDATE維表時(shí)都加上一INSERTINTODIM_CUSTOMERSELECT*FROMODS_CUSTOMERWHEREODS_CUSTOMER.CODENOTEXISTS(DIM_CUSTOMER.CODE)使用顯式的游標(biāo)(CURSORs)隱式的游標(biāo)將會(huì)執(zhí)行兩次操作，第一次檢索記TOOMANYROWS這個(gè)SQL優(yōu)化3.3.1WHERE子句中的連接順序ORACLEWHERE條件之前，那些可以過(guò)濾掉最大數(shù)量記錄的條件必須寫(xiě)在WHERE子句的末尾。低效：SELECT*FROMEMPEWHERESAL>50000ANDJOB=‘MANAGER’AND25<(SELECTCOUNT(*)FROMEMPWHEREMGR=E.EMPNO);高效：SELECT*FROMEMPEWHERE25<(SELECTCOUNT(*)FROMEMPWHEREMGR=E.EMPNO)ANDSAL>50000ANDJOB=‘MANAGER’;3.3.2TRUNCATEDELETEDELETE刪除表中的記錄時(shí)，有回滾段(rollbacksegments)用來(lái)存放可以被恢復(fù)的信息，而當(dāng)運(yùn)用TRUNCATE時(shí)，回滾段不再存放任何可被恢復(fù)的信息，所以執(zhí)行時(shí)間也會(huì)很TRUNCATE只在刪除全表時(shí)TRUNCATEDDL3.3.3COMMITETLCOMMIT不像業(yè)務(wù)系統(tǒng)為保證數(shù)據(jù)的完整和一致性而需要某個(gè)操作過(guò)程全部完成才能進(jìn)行，只要有可能就在程序中對(duì)每個(gè)DELETE、INSERT和UPDATE操作盡量多使COMMIT,COMMIT釋放的資源而大大提高。3.3.4EXISTSINETL過(guò)程寫(xiě)數(shù)據(jù)到模型時(shí)經(jīng)常需要關(guān)聯(lián)10個(gè)左右的EXISTSIN將提高查詢(xún)的效率。3.3.5NOTEXISTSNOTIN子查詢(xún)中，NOTIN序和合并，無(wú)論在哪種情況下，NOT