利用數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)智能查詢

1、利用數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)實(shí)現(xiàn)數(shù)據(jù)智能能查詢地質(zhì)大隊(duì)王瑞2010年9月月利用數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)實(shí)現(xiàn)數(shù)據(jù)智能能查詢王瑞（大慶油田第八八采油廠地質(zhì)大大隊(duì)）摘要：油田開(kāi)發(fā)發(fā)的數(shù)據(jù)來(lái)源源多且不規(guī)范范，在一些互互不聯(lián)系的系系統(tǒng)分析、設(shè)設(shè)計(jì)人員在分分散獨(dú)立的開(kāi)開(kāi)發(fā)應(yīng)用系統(tǒng)統(tǒng)時(shí)，由于數(shù)數(shù)據(jù)庫(kù)的不統(tǒng)統(tǒng)一性，使得得不同的應(yīng)用用部分之間的的信息共享很很難進(jìn)行。這這樣就影響了了數(shù)據(jù)的共享享應(yīng)用。因此此要對(duì)數(shù)據(jù)源源進(jìn)行整合，規(guī)規(guī)范盡量向PPCEDM模模型靠近，使使各系統(tǒng)之間間能夠快速共共享數(shù)據(jù)，方方便查詢。主題詞：數(shù)據(jù)倉(cāng)倉(cāng)儲(chǔ) 信息域域 數(shù)據(jù)泵出出問(wèn)題在提出隨著油田信息化化的不斷深入入，數(shù)據(jù)資源源的累積越來(lái)來(lái)越多，由于于數(shù)據(jù)庫(kù)的分分散和不

2、統(tǒng)一一，使得一些些互不聯(lián)系的的數(shù)據(jù)庫(kù)訪問(wèn)問(wèn)查詢時(shí)，系系統(tǒng)查詢速度度非常緩慢，這樣就影響了數(shù)據(jù)的共享應(yīng)用，影響了信息化進(jìn)程的開(kāi)展。而數(shù)據(jù)倉(cāng)儲(chǔ)概念在提出和應(yīng)用，將油田各個(gè)專業(yè)的數(shù)據(jù)庫(kù)集中到一個(gè)平臺(tái)上共享應(yīng)用。再結(jié)合油田正在應(yīng)用在PCEDM數(shù)據(jù)模型和以前在用的數(shù)據(jù)庫(kù)邏輯結(jié)構(gòu)的特點(diǎn)，進(jìn)行數(shù)據(jù)查詢智能開(kāi)發(fā)，使得油田各專業(yè)崗位業(yè)務(wù)人員可以根據(jù)不同的業(yè)務(wù)需要，在不了解數(shù)據(jù)庫(kù)結(jié)構(gòu)的情況下通過(guò)簡(jiǎn)單的鼠標(biāo)拖動(dòng)快速進(jìn)行數(shù)據(jù)庫(kù)查詢、統(tǒng)計(jì)。什么是數(shù)據(jù)倉(cāng)儲(chǔ)儲(chǔ)數(shù)據(jù)倉(cāng)儲(chǔ)是一個(gè)個(gè)面向主題的的、集成的、相相對(duì)穩(wěn)定的、反反映歷史變化化的數(shù)據(jù)集合合，數(shù)據(jù)倉(cāng)儲(chǔ)儲(chǔ)技術(shù)定義了了可以使該數(shù)數(shù)據(jù)更容易訪訪問(wèn)的策略。2.1 數(shù)據(jù)倉(cāng)倉(cāng)儲(chǔ)在特點(diǎn)1)

3、數(shù)據(jù)倉(cāng)儲(chǔ)是是面向主題的的；2)數(shù)據(jù)倉(cāng)儲(chǔ)是是集成的，數(shù)數(shù)據(jù)倉(cāng)儲(chǔ)的數(shù)據(jù)有有來(lái)自于分散散的操作型數(shù)數(shù)據(jù)，將所需需數(shù)據(jù)從原來(lái)來(lái)的數(shù)據(jù)中抽抽取出；3)數(shù)據(jù)倉(cāng)儲(chǔ)是是可更新的，數(shù)據(jù)倉(cāng)儲(chǔ)主要是為為決策分析提提供數(shù)據(jù)，所所涉及的操作作主要是數(shù)據(jù)據(jù)的查詢； 4)數(shù)據(jù)倉(cāng)儲(chǔ)是是隨時(shí)間而變變化的，傳統(tǒng)統(tǒng)的關(guān)系數(shù)據(jù)據(jù)庫(kù)系統(tǒng)比較較適合處理格格式化的數(shù)據(jù)據(jù)；2.2 數(shù)據(jù)倉(cāng)倉(cāng)儲(chǔ)實(shí)現(xiàn)方式式數(shù)據(jù)倉(cāng)儲(chǔ)是一個(gè)個(gè)過(guò)程而不是是一個(gè)項(xiàng)目。 數(shù)據(jù)倉(cāng)儲(chǔ)系統(tǒng)是是一個(gè)信息提提供平臺(tái)，他他從業(yè)務(wù)處理理系統(tǒng)獲得數(shù)數(shù)據(jù)，主要以以星型模型和和雪花模型進(jìn)進(jìn)行數(shù)據(jù)組織織，并為用戶戶提供各種手手段從數(shù)據(jù)中中獲取信息和和知識(shí)。 從功能結(jié)構(gòu)化分分，數(shù)據(jù)倉(cāng)儲(chǔ)儲(chǔ)系統(tǒng)至少

4、應(yīng)應(yīng)該包含數(shù)據(jù)據(jù)獲?。―aata Accquisiition）、數(shù)數(shù)據(jù)存儲(chǔ)（Datta Stoorage）、數(shù)數(shù)據(jù)訪問(wèn)（DData AAccesss）三個(gè)關(guān)鍵鍵部分。 企業(yè)數(shù)據(jù)倉(cāng)儲(chǔ)的的建設(shè)，是以以現(xiàn)有業(yè)務(wù)系系統(tǒng)和大量業(yè)業(yè)務(wù)數(shù)據(jù)的積積累為基礎(chǔ)。數(shù)數(shù)據(jù)倉(cāng)儲(chǔ)不是是靜態(tài)的概念念，只有把信信息及時(shí)交給給需要這些信信息的使用者者，供他們做做出改善其業(yè)業(yè)務(wù)經(jīng)營(yíng)的決決策，信息才才能發(fā)揮作用用，信息才有有意義。而把把信息加以整整理歸納和重重組，并及時(shí)時(shí)提供給相應(yīng)應(yīng)的管理決策策人員，是數(shù)數(shù)據(jù)倉(cāng)儲(chǔ)的根根本任務(wù)。因因此，數(shù)據(jù)倉(cāng)倉(cāng)儲(chǔ)建設(shè)是一一個(gè)工程，是是一個(gè)過(guò)程。 2.3 數(shù)據(jù)倉(cāng)倉(cāng)儲(chǔ)與數(shù)據(jù)庫(kù)庫(kù)的區(qū)別數(shù)據(jù)倉(cāng)儲(chǔ)的出現(xiàn)現(xiàn)，并

5、不是要要取代數(shù)據(jù)庫(kù)庫(kù)。目前，大大部分?jǐn)?shù)據(jù)倉(cāng)倉(cāng)儲(chǔ)還是用關(guān)關(guān)系數(shù)據(jù)庫(kù)管管理系統(tǒng)來(lái)管管理的?？梢砸哉f(shuō)，數(shù)據(jù)庫(kù)庫(kù)、數(shù)據(jù)倉(cāng)儲(chǔ)儲(chǔ)相輔相成、各各有千秋。 數(shù)據(jù)庫(kù)是面向事事務(wù)的設(shè)計(jì)，數(shù)數(shù)據(jù)倉(cāng)儲(chǔ)是面面向主題設(shè)計(jì)計(jì)的。 數(shù)據(jù)庫(kù)一般存儲(chǔ)儲(chǔ)在線交易數(shù)數(shù)據(jù)，數(shù)據(jù)倉(cāng)倉(cāng)儲(chǔ)存儲(chǔ)的一一般是歷史數(shù)數(shù)據(jù)。 數(shù)據(jù)庫(kù)設(shè)計(jì)是盡盡量避免冗余余，一般采用用符合范式的的規(guī)則來(lái)設(shè)計(jì)計(jì)，數(shù)據(jù)倉(cāng)儲(chǔ)儲(chǔ)在設(shè)計(jì)是有有意引入冗余余，采用反范范式的方式來(lái)來(lái)設(shè)計(jì)。 數(shù)數(shù)據(jù)庫(kù)是為捕捕獲數(shù)據(jù)而設(shè)設(shè)計(jì)，數(shù)據(jù)倉(cāng)倉(cāng)儲(chǔ)是為分析析數(shù)據(jù)而設(shè)計(jì)計(jì)，它的兩個(gè)個(gè)基本的元素素是維表和事事實(shí)表。實(shí)現(xiàn)數(shù)據(jù)倉(cāng)儲(chǔ)之之間關(guān)聯(lián)3.1 石油信信息共享數(shù)據(jù)據(jù)源油田開(kāi)發(fā)的數(shù)據(jù)據(jù)來(lái)源多且不不規(guī)范，并且且

6、各路的數(shù)據(jù)據(jù)填寫(xiě)標(biāo)準(zhǔn)也也不近相同，要要對(duì)數(shù)據(jù)源進(jìn)進(jìn)行整合，規(guī)規(guī)范盡量向PPCEDM模模型靠近。3.2 建立信信息域1) 結(jié)合用戶戶專業(yè)需求創(chuàng)創(chuàng)建用戶信息息域，將表中中的各數(shù)據(jù)項(xiàng)項(xiàng)按用戶習(xí)慣慣進(jìn)行數(shù)據(jù)組組合和數(shù)據(jù)關(guān)關(guān)聯(lián)。業(yè)務(wù)人人員基于信息息域構(gòu)建查詢?cè)兒蛨?bào)表就不不需要懂得數(shù)數(shù)據(jù)庫(kù)的結(jié)構(gòu)構(gòu)和表關(guān)聯(lián)；2) 能按用戶戶習(xí)慣，對(duì)數(shù)數(shù)據(jù)庫(kù)信息進(jìn)進(jìn)行分類管理理;3) 預(yù)建表關(guān)關(guān)聯(lián)（以后做做查詢、報(bào)表表不必再建）根根據(jù)PCEDDM數(shù)據(jù)結(jié)構(gòu)構(gòu)和油田開(kāi)發(fā)發(fā)業(yè)務(wù)特點(diǎn)，建建立了以weell_idd為主鍵的所所有單井各類類數(shù)據(jù)表之間間的關(guān)聯(lián)關(guān)系系，并通過(guò)實(shí)實(shí)體與welll_id之之間的隸屬關(guān)關(guān)，建立了各各單井表與所所有

7、含礦、隊(duì)隊(duì)、站、油田田、區(qū)塊等實(shí)實(shí)體的表之間間的關(guān)聯(lián)關(guān)系系。為油田開(kāi)開(kāi)發(fā)技術(shù)人員員創(chuàng)建一個(gè)簡(jiǎn)簡(jiǎn)單直觀的數(shù)數(shù)據(jù)應(yīng)用界面面，用戶只需需要拖動(dòng)數(shù)據(jù)據(jù)項(xiàng)不需要關(guān)關(guān)心數(shù)據(jù)數(shù)據(jù)據(jù)庫(kù)內(nèi)部結(jié)構(gòu)構(gòu)；4) 將復(fù)雜統(tǒng)統(tǒng)計(jì)表達(dá)式作作為單個(gè)對(duì)象象，象使用字字段一樣方便便查詢和做報(bào)報(bào)表;5) 實(shí)現(xiàn)單點(diǎn)點(diǎn)更新，修改改一處，更新新全部.6）代碼轉(zhuǎn)換PCEDM數(shù)據(jù)據(jù)庫(kù)在創(chuàng)建過(guò)過(guò)程中大量用用到隨機(jī)碼做做主鍵同時(shí)也也用到了很多多代碼項(xiàng)這些些用戶很難看看懂，對(duì)所有有代碼進(jìn)行轉(zhuǎn)轉(zhuǎn)換，在系統(tǒng)統(tǒng)中為最終用用戶展示的完完全是轉(zhuǎn)換后后的信息。4 利用數(shù)據(jù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)智智能查詢及實(shí)實(shí)例4.1 定時(shí)數(shù)數(shù)據(jù)泵出根據(jù)源數(shù)據(jù)更新新時(shí)間，定時(shí)時(shí)將更新的數(shù)數(shù)

8、據(jù)泵到數(shù)據(jù)據(jù)倉(cāng)儲(chǔ)中。4.2 數(shù)據(jù)注注釋按照油田的技術(shù)術(shù)術(shù)語(yǔ)對(duì)對(duì)于于200多個(gè)個(gè)數(shù)據(jù)表中的的幾千個(gè)英文文數(shù)據(jù)項(xiàng)都轉(zhuǎn)轉(zhuǎn)譯為漢字名名稱。創(chuàng)建油田開(kāi)發(fā)語(yǔ)語(yǔ)義層結(jié)合用戶專業(yè)需需求創(chuàng)建用戶戶信息域，將將表中的各數(shù)數(shù)據(jù)項(xiàng)按用戶戶習(xí)慣進(jìn)行數(shù)數(shù)據(jù)組合和數(shù)數(shù)據(jù)關(guān)聯(lián)。業(yè)業(yè)務(wù)人員基于于信息域構(gòu)建建查詢和報(bào)表表就不需要懂懂得數(shù)據(jù)庫(kù)的的結(jié)構(gòu)和表關(guān)關(guān)聯(lián)。4.3智能查詢?cè)冎悄懿樵兪侵父鶕?jù)實(shí)際業(yè)務(wù)務(wù)需要，定義義查詢對(duì)象并并從數(shù)據(jù)庫(kù)中中檢索出需要要的數(shù)據(jù)的過(guò)過(guò)程同時(shí)在在查詢過(guò)程中中完成對(duì)數(shù)據(jù)據(jù)的清洗過(guò)濾濾轉(zhuǎn)換等，得得到用戶最終終需要的數(shù)據(jù)據(jù)1）可基于數(shù)據(jù)據(jù)源、信息域域、SQL語(yǔ)語(yǔ)句、已生成成的查詢、文文件、Exccel和數(shù)據(jù)據(jù)

9、庫(kù)存儲(chǔ)多種種方式進(jìn)行查查詢，無(wú)需編編程；2）一個(gè)查詢能能同時(shí)跨多個(gè)個(gè)數(shù)據(jù)源如OOraclee、SQL、DDB2、Innformiix、Proogresss、Sybaase等RDDBMS；（此此功能一般來(lái)來(lái)說(shuō)適合與IIT或信息部部有數(shù)據(jù)庫(kù)使使用權(quán)限的人人員使用，業(yè)業(yè)務(wù)人員通常常是基本信息息域（或業(yè)務(wù)務(wù)視圖）做查查詢）3）在查詢內(nèi)支支持腳本編寫(xiě)寫(xiě)；4）可視化編輯輯查詢條件，條條件編輯過(guò)程程使用自然語(yǔ)語(yǔ)言；5）查詢數(shù)據(jù)結(jié)結(jié)果包括查找找、過(guò)濾器、輸輸入?yún)?shù)、升升降排序等；6）查詢結(jié)果的的數(shù)據(jù)格式設(shè)設(shè)置；7）查詢結(jié)果界界面可靈活設(shè)設(shè)計(jì)其界面美美工，用戶可可完全DIYY8）設(shè)置查詢參參數(shù)功能，不不同參數(shù)刷

10、新新不同數(shù)據(jù)，同同時(shí)參數(shù)界面面可以自定義義設(shè)計(jì)，能滿滿足所有查詢?cè)儏?shù)界面的的設(shè)計(jì)；9）具有強(qiáng)大的的示警功能，能能基于預(yù)定條條件發(fā)出預(yù)警警e-maiil、winndows messaage、啟動(dòng)動(dòng)其它系統(tǒng)等等示警功能，10）設(shè)有獨(dú)立立打印機(jī)，查查詢結(jié)果導(dǎo)出出打印時(shí)不會(huì)會(huì)變形；11）查詢結(jié)果果可輸出為MMicrossoft EExcel、PPdf、Httml和Txxt 等常用用格式；12）能在Weeb界面中調(diào)調(diào)用其它AcctiveXX 控件，例例如WinFFax、Wiindowss Mediia Plaayer等等等，大大加強(qiáng)強(qiáng)了展示和系系統(tǒng)功能，已已遠(yuǎn)超于一般般查詢的功能能范圍。13）減少查詢

11、詢交互，對(duì)于于50000行數(shù)據(jù)的查查詢，將一次次從服務(wù)器返返回全部數(shù)據(jù)據(jù)，減少前后后端交互，近近一步提升性性能。4.4構(gòu)建智能能查詢的方式式基于智能查詢構(gòu)構(gòu)造器建立查查詢基于智能查詢構(gòu)構(gòu)造器建立查查詢是最常用用的查詢方式式，操作方法法簡(jiǎn)單，只要要通過(guò)簡(jiǎn)單的的鼠標(biāo)拖拉方方式即可完成成各種簡(jiǎn)單或或復(fù)雜的查詢?cè)儭＝Y(jié)論建立數(shù)據(jù)倉(cāng)儲(chǔ)是是為了填補(bǔ)現(xiàn)現(xiàn)有數(shù)據(jù)存儲(chǔ)儲(chǔ)形式已經(jīng)不不能滿足信息息分析的需要要。數(shù)據(jù)倉(cāng)儲(chǔ)儲(chǔ)給組織帶來(lái)來(lái)了巨大的變變化。數(shù)據(jù)倉(cāng)倉(cāng)儲(chǔ)的建立也也給我們帶來(lái)了一一些新的工作作流程，通過(guò)構(gòu)造造一種體系化化的數(shù)據(jù)存貯貯環(huán)境，將分分析決策所需需的大量數(shù)據(jù)據(jù)從傳統(tǒng)的操操作環(huán)境中分分離出來(lái)，使使分散的、不不一致的操作作數(shù)據(jù)轉(zhuǎn)換成成集成的、統(tǒng)統(tǒng)一的信息。