利用數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)智能查詢

1、利用數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)智能查詢地質(zhì)大隊(duì)王瑞2010年9月利用數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)智能查詢王瑞（大慶油田第八采油廠地質(zhì)大隊(duì)）摘要：油田開(kāi)發(fā)的數(shù)據(jù)來(lái)源多且不規(guī)范，在一些互不聯(lián)系的系統(tǒng)分析、設(shè)計(jì)人員在分散獨(dú)立的開(kāi)發(fā)應(yīng)用系統(tǒng)時(shí)，由于數(shù)據(jù)庫(kù)的不統(tǒng)一性，使得不同的應(yīng)用部分之間的信息共享專門難進(jìn)行。如此就阻礙了數(shù)據(jù)的共享應(yīng)用。因此要對(duì)數(shù)據(jù)源進(jìn)行整合，規(guī)范盡量向PCEDM模型靠近，使各系統(tǒng)之間能夠快速共享數(shù)據(jù)，方便查詢。主題詞：數(shù)據(jù)倉(cāng)儲(chǔ) 信息域 數(shù)據(jù)泵出問(wèn)題在提出隨著油田信息化的不斷深入，數(shù)據(jù)資源的累積越來(lái)越多，由于數(shù)據(jù)庫(kù)的分散和不統(tǒng)一，使得一些互不聯(lián)系的數(shù)據(jù)庫(kù)訪問(wèn)查詢時(shí)，系統(tǒng)查詢速度特不緩慢，如此就阻礙了數(shù)據(jù)的共

2、享應(yīng)用，阻礙了信息化進(jìn)程的開(kāi)展。而數(shù)據(jù)倉(cāng)儲(chǔ)概念在提出和應(yīng)用，將油田各個(gè)專業(yè)的數(shù)據(jù)庫(kù)集中到一個(gè)平臺(tái)上共享應(yīng)用。再結(jié)合油田正在應(yīng)用在PCEDM數(shù)據(jù)模型和往常在用的數(shù)據(jù)庫(kù)邏輯結(jié)構(gòu)的特點(diǎn)，進(jìn)行數(shù)據(jù)查詢智能開(kāi)發(fā)，使得油田各專業(yè)崗位業(yè)務(wù)人員能夠依照不同的業(yè)務(wù)需要，在不了解數(shù)據(jù)庫(kù)結(jié)構(gòu)的情況下通過(guò)簡(jiǎn)單的鼠標(biāo)拖動(dòng)快速進(jìn)行數(shù)據(jù)庫(kù)查詢、統(tǒng)計(jì)。什么是數(shù)據(jù)倉(cāng)儲(chǔ)數(shù)據(jù)倉(cāng)儲(chǔ)是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，數(shù)據(jù)倉(cāng)儲(chǔ)技術(shù)定義了能夠使該數(shù)據(jù)更容易訪問(wèn)的策略。2.1 數(shù)據(jù)倉(cāng)儲(chǔ)在特點(diǎn)1)數(shù)據(jù)倉(cāng)儲(chǔ)是面向主題的；2)數(shù)據(jù)倉(cāng)儲(chǔ)是集成的，數(shù)據(jù)倉(cāng)儲(chǔ)的數(shù)據(jù)有來(lái)自于分散的操作型數(shù)據(jù)，將所需數(shù)據(jù)從原來(lái)的數(shù)據(jù)中抽取出；3)

3、數(shù)據(jù)倉(cāng)儲(chǔ)是可更新的，數(shù)據(jù)倉(cāng)儲(chǔ)要緊是為決策分析提供數(shù)據(jù)，所涉及的操作要緊是數(shù)據(jù)的查詢； 4)數(shù)據(jù)倉(cāng)儲(chǔ)是隨時(shí)刻而變化的，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)比較適合處理格式化的數(shù)據(jù)；2.2 數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)方式數(shù)據(jù)倉(cāng)儲(chǔ)是一個(gè)過(guò)程而不是一個(gè)項(xiàng)目。 數(shù)據(jù)倉(cāng)儲(chǔ)系統(tǒng)是一個(gè)信息提供平臺(tái)，他從業(yè)務(wù)處理系統(tǒng)獲得數(shù)據(jù)，要緊以星型模型和雪花模型進(jìn)行數(shù)據(jù)組織，并為用戶提供各種手段從數(shù)據(jù)中獵取信息和知識(shí)。 從功能結(jié)構(gòu)化分，數(shù)據(jù)倉(cāng)儲(chǔ)系統(tǒng)至少應(yīng)該包含數(shù)據(jù)獵?。―ata Acquisition）、數(shù)據(jù)存儲(chǔ)（Data Storage）、數(shù)據(jù)訪問(wèn)（Data Access）三個(gè)關(guān)鍵部分。 企業(yè)數(shù)據(jù)倉(cāng)儲(chǔ)的建設(shè)，是以現(xiàn)有業(yè)務(wù)系統(tǒng)和大量業(yè)務(wù)數(shù)據(jù)的積存為基礎(chǔ)

4、。數(shù)據(jù)倉(cāng)儲(chǔ)不是靜態(tài)的概念，只有把信息及時(shí)交給需要這些信息的使用者，供他們做出改善其業(yè)務(wù)經(jīng)營(yíng)的決策，信息才能發(fā)揮作用，信息才有意義。而把信息加以整理歸納和重組，并及時(shí)提供給相應(yīng)的治理決策人員，是數(shù)據(jù)倉(cāng)儲(chǔ)的全然任務(wù)。因此，數(shù)據(jù)倉(cāng)儲(chǔ)建設(shè)是一個(gè)工程，是一個(gè)過(guò)程。 2.3 數(shù)據(jù)倉(cāng)儲(chǔ)與數(shù)據(jù)庫(kù)的區(qū)不數(shù)據(jù)倉(cāng)儲(chǔ)的出現(xiàn)，并不是要取代數(shù)據(jù)庫(kù)。目前，大部分?jǐn)?shù)據(jù)倉(cāng)儲(chǔ)依舊用關(guān)系數(shù)據(jù)庫(kù)治理系統(tǒng)來(lái)治理的。能夠講，數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)儲(chǔ)相輔相成、各有千秋。 數(shù)據(jù)庫(kù)是面向事務(wù)的設(shè)計(jì)，數(shù)據(jù)倉(cāng)儲(chǔ)是面向主題設(shè)計(jì)的。 數(shù)據(jù)庫(kù)一般存儲(chǔ)在線交易數(shù)據(jù)，數(shù)據(jù)倉(cāng)儲(chǔ)存儲(chǔ)的一般是歷史數(shù)據(jù)。 數(shù)據(jù)庫(kù)設(shè)計(jì)是盡量幸免冗余，一般采納符合范式的規(guī)則來(lái)設(shè)計(jì)，數(shù)據(jù)倉(cāng)儲(chǔ)在

5、設(shè)計(jì)是有意引入冗余，采納反范式的方式來(lái)設(shè)計(jì)。 數(shù)據(jù)庫(kù)是為捕獲數(shù)據(jù)而設(shè)計(jì)，數(shù)據(jù)倉(cāng)儲(chǔ)是為分析數(shù)據(jù)而設(shè)計(jì)，它的兩個(gè)差不多的元素是維表和事實(shí)表。實(shí)現(xiàn)數(shù)據(jù)倉(cāng)儲(chǔ)之間關(guān)聯(lián)3.1 石油信息共享數(shù)據(jù)源油田開(kāi)發(fā)的數(shù)據(jù)來(lái)源多且不規(guī)范，同時(shí)各路的數(shù)據(jù)填寫標(biāo)準(zhǔn)也不近相同，要對(duì)數(shù)據(jù)源進(jìn)行整合，規(guī)范盡量向PCEDM模型靠近。3.2 建立信息域1) 結(jié)合用戶專業(yè)需求創(chuàng)建用戶信息域，將表中的各數(shù)據(jù)項(xiàng)按用戶適應(yīng)進(jìn)行數(shù)據(jù)組合和數(shù)據(jù)關(guān)聯(lián)。業(yè)務(wù)人員基于信息域構(gòu)建查詢和報(bào)表就不需要明白得數(shù)據(jù)庫(kù)的結(jié)構(gòu)和表關(guān)聯(lián)；2) 能按用戶適應(yīng)，對(duì)數(shù)據(jù)庫(kù)信息進(jìn)行分類治理;3) 預(yù)建表關(guān)聯(lián)（以后做查詢、報(bào)表不必再建）依照PCEDM數(shù)據(jù)結(jié)構(gòu)和油田開(kāi)發(fā)業(yè)務(wù)特點(diǎn)

6、，建立了以well_id為主鍵的所有單井各類數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系，并通過(guò)實(shí)體與well_id之間的隸屬關(guān)，建立了各單井表與所有含礦、隊(duì)、站、油田、區(qū)塊等實(shí)體的表之間的關(guān)聯(lián)關(guān)系。為油田開(kāi)發(fā)技術(shù)人員創(chuàng)建一個(gè)簡(jiǎn)單直觀的數(shù)據(jù)應(yīng)用界面，用戶只需要拖動(dòng)數(shù)據(jù)項(xiàng)不需要關(guān)懷數(shù)據(jù)數(shù)據(jù)庫(kù)內(nèi)部結(jié)構(gòu)；4) 將復(fù)雜統(tǒng)計(jì)表達(dá)式作為單個(gè)對(duì)象，象使用字段一樣方便查詢和做報(bào)表;5) 實(shí)現(xiàn)單點(diǎn)更新，修改一處，更新全部.6）代碼轉(zhuǎn)換PCEDM數(shù)據(jù)庫(kù)在創(chuàng)建過(guò)程中大量用到隨機(jī)碼做主鍵同時(shí)也用到了專門多代碼項(xiàng)這些用戶專門難看明白，對(duì)所有代碼進(jìn)行轉(zhuǎn)換，在系統(tǒng)中為最終用戶展示的完全是轉(zhuǎn)換后的信息。4 利用數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)智能查詢及實(shí)例4.1 定時(shí)

7、數(shù)據(jù)泵出依照源數(shù)據(jù)更新時(shí)刻，定時(shí)將更新的數(shù)據(jù)泵到數(shù)據(jù)倉(cāng)儲(chǔ)中。4.2 數(shù)據(jù)注釋按照油田的技術(shù)術(shù)語(yǔ)對(duì)關(guān)于200多個(gè)數(shù)據(jù)表中的幾千個(gè)英文數(shù)據(jù)項(xiàng)都轉(zhuǎn)譯為漢字名稱。創(chuàng)建油田開(kāi)發(fā)語(yǔ)義層結(jié)合用戶專業(yè)需求創(chuàng)建用戶信息域，將表中的各數(shù)據(jù)項(xiàng)按用戶適應(yīng)進(jìn)行數(shù)據(jù)組合和數(shù)據(jù)關(guān)聯(lián)。業(yè)務(wù)人員基于信息域構(gòu)建查詢和報(bào)表就不需要明白得數(shù)據(jù)庫(kù)的結(jié)構(gòu)和表關(guān)聯(lián)。4.3智能查詢智能查詢是指依照實(shí)際業(yè)務(wù)需要，定義查詢對(duì)象并從數(shù)據(jù)庫(kù)中檢索出需要的數(shù)據(jù)的過(guò)程同時(shí)在查詢過(guò)程中完成對(duì)數(shù)據(jù)的清洗過(guò)濾轉(zhuǎn)換等，得到用戶最終需要的數(shù)據(jù)1）可基于數(shù)據(jù)源、信息域、SQL語(yǔ)句、已生成的查詢、文件、Excel和數(shù)據(jù)庫(kù)存儲(chǔ)多種方式進(jìn)行查詢，無(wú)需編程；2）一個(gè)查詢能

8、同時(shí)跨多個(gè)數(shù)據(jù)源如Oracle、SQL、DB2、Informix、Progress、Sybase等RDBMS；（此功能一般來(lái)講適合與IT或信息部有數(shù)據(jù)庫(kù)使用權(quán)限的人員使用，業(yè)務(wù)人員通常是差不多信息域（或業(yè)務(wù)視圖）做查詢）3）在查詢內(nèi)支持腳本編寫；4）可視化編輯查詢條件，條件編輯過(guò)程使用自然語(yǔ)言；5）查詢數(shù)據(jù)結(jié)果包括查找、過(guò)濾器、輸入?yún)?shù)、升降排序等；6）查詢結(jié)果的數(shù)據(jù)格式設(shè)置；7）查詢結(jié)果界面可靈活設(shè)計(jì)其界面美工，用戶可完全DIY8）設(shè)置查詢參數(shù)功能，不同參數(shù)刷新不同數(shù)據(jù)，同時(shí)參數(shù)界面能夠自定義設(shè)計(jì)，能滿足所有查詢參數(shù)界面的設(shè)計(jì)；9）具有強(qiáng)大的示警功能，能基于預(yù)定條件發(fā)出預(yù)警e-mail、wi

9、ndows message、啟動(dòng)其它系統(tǒng)等示警功能，10）設(shè)有獨(dú)立打印機(jī)，查詢結(jié)果導(dǎo)出打印時(shí)可不能變形；11）查詢結(jié)果可輸出為Microsoft Excel、Pdf、Html和Txt 等常用格式；12）能在Web界面中調(diào)用其它ActiveX 控件，例如WinFax、Windows Media Player等等，大大加強(qiáng)了展示和系統(tǒng)功能，已遠(yuǎn)超于一般查詢的功能范圍。13）減少查詢交互，關(guān)于5000行數(shù)據(jù)的查詢，將一次從服務(wù)器返回全部數(shù)據(jù)，減少前后端交互，近一步提升性能。4.4構(gòu)建智能查詢的方式基于智能查詢構(gòu)造器建立查詢基于智能查詢構(gòu)造器建立查詢是最常用的查詢方式，操作方法簡(jiǎn)單，只要通過(guò)簡(jiǎn)單的鼠標(biāo)拖拉方式即可完成各種簡(jiǎn)單或復(fù)雜的查詢。結(jié)論建立數(shù)據(jù)倉(cāng)儲(chǔ)是為了填補(bǔ)現(xiàn)有數(shù)據(jù)存儲(chǔ)形式差不多不能滿足信息分析的需要。數(shù)據(jù)倉(cāng)儲(chǔ)給組織帶來(lái)了巨大的變化。數(shù)據(jù)倉(cāng)儲(chǔ)的建立也給我們帶來(lái)了一些新的工作流程，通過(guò)構(gòu)造一種體系化的數(shù)據(jù)存貯環(huán)境，將分析決策所需的大量數(shù)據(jù)從傳統(tǒng)的操作環(huán)境中分離出來(lái)，使分散的、不一致的操作數(shù)據(jù)轉(zhuǎn)換成集成的、統(tǒng)一的信息。通過(guò)數(shù)據(jù)倉(cāng)儲(chǔ)