數(shù)據(jù)資源池技術(shù)方案

1、技術(shù)方案1 .項目概況1.1 研究目的意義隨著信息技術(shù)的飛速發(fā)展，國內(nèi)外各大石油公司的競爭已經(jīng)表現(xiàn)在信息技術(shù)應(yīng)用的競爭，都在設(shè)法借助信息技術(shù)的力量，尋找新的增長點，從石油天然氣行業(yè)的上、中、下游陸續(xù)建立了各類信息系統(tǒng)，歷經(jīng)數(shù)十年，投資數(shù)十億美金不等。另一方面，國內(nèi)大多數(shù)油氣田，現(xiàn)有的信息系統(tǒng)多為自主開發(fā)和部分引進系統(tǒng)。已經(jīng)完成的各類專業(yè)應(yīng)用軟件、專業(yè)數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫等分別建立在不同的平臺上，數(shù)據(jù)源各異，信息標準不一、相互獨立，信息來源渠道分散并分別集中在不同的層次，相互間難以實現(xiàn)不同層次信息交換；這些系統(tǒng)不僅各自獨立，分散，甚至存在某些數(shù)據(jù)重復(fù)建設(shè)的情況，數(shù)據(jù)冗余嚴重，同一份數(shù)據(jù)重復(fù)出現(xiàn)在

2、多個應(yīng)用系統(tǒng)中，存在數(shù)據(jù)不一致的風險。采油采氣數(shù)據(jù)資源池（基于云平臺的數(shù)據(jù)中心）通過將油田各應(yīng)用系統(tǒng)有機集成和業(yè)務(wù)重組，最終構(gòu)建一個統(tǒng)一的、標準的、集成的、能夠包容各業(yè)務(wù)流程的數(shù)據(jù)中心體系架構(gòu)和數(shù)據(jù)交換和共享平臺，支持分散的、松藕合的分布式應(yīng)用集成。大大地避免油田在信息系統(tǒng)方面重復(fù)建設(shè)，重復(fù)投資，為油田節(jié)省大量的資金。然而，各大油田對數(shù)據(jù)融合平臺建設(shè)目標和建設(shè)內(nèi)容的理解各不相同。所采用的技術(shù)也是五花八門，這樣實現(xiàn)的數(shù)據(jù)資源池往往運行效率不高、對原有系統(tǒng)改動大（有的甚至直接放棄原系統(tǒng)）、難于推廣，這勢必會嚴重影響數(shù)據(jù)中心的全局應(yīng)用。本系統(tǒng)試圖通過分析影響數(shù)據(jù)中心建設(shè)的若干關(guān)鍵技術(shù)因素及解決方案，

3、得到一個具有普遍意義的、先進、高效的數(shù)據(jù)融合平臺架構(gòu)。1.2 國內(nèi)外技術(shù)現(xiàn)狀及發(fā)展趨勢現(xiàn)在國內(nèi)對數(shù)據(jù)資源池的技術(shù)研究還停留在科研階段，但隨著油田信息化建設(shè)的深入進行，大量的信息系統(tǒng)被開發(fā)并投入運行，由此而產(chǎn)生出了大量的同構(gòu)異數(shù)據(jù)庫、異構(gòu)異平臺的不同數(shù)據(jù)源，在這些數(shù)據(jù)源中有些是結(jié)構(gòu)化的、有些則是文檔、曲線數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)，還包括OAERR紙制文檔等一大批數(shù)據(jù)源。如不能有效整合和管理這些數(shù)據(jù)，將很容易造成數(shù)據(jù)遺失和管理混亂。然而，如何有效整合如此龐大、復(fù)雜的數(shù)據(jù)源呢？是將所有數(shù)據(jù)集中到一個大庫中統(tǒng)一管理？還是采用分布式技術(shù)建立統(tǒng)一訪問平臺？如何在各數(shù)據(jù)源的基礎(chǔ)上實現(xiàn)綜合、分析、挖掘？這些問題都將

4、成為油田數(shù)據(jù)中心建設(shè)所面臨的難題。2 .研究內(nèi)容、達到的技術(shù)性能或技術(shù)(經(jīng)濟)指標2.1 研究內(nèi)容如何為用戶提供統(tǒng)一的登錄及安全可靠的數(shù)據(jù)訪問平臺油田數(shù)據(jù)中心建設(shè)用戶提供統(tǒng)一的登錄及安全訪問的目的是為了解決以下幾大問題：(1)各系統(tǒng)之間互不兼容，數(shù)據(jù)信息不能共享。(2)用戶使用不同系統(tǒng)時，需要在不同系統(tǒng)中不停登錄切換，效率低下。(3)管理人員需要記憶一大堆的用戶名和密碼。(4)不同系統(tǒng)需要很多不同專業(yè)的人員更新維護，維護成本很高。針對上述問題，目前行業(yè)內(nèi)提出了很多解決方案，但是在實施中選擇域郵箱認證的解決方案以解決面臨的諸多難點問題。如何有效管理不同數(shù)據(jù)源(即元數(shù)據(jù))元數(shù)據(jù)的定義一般泛稱為：D

5、ataaboutdata(管理數(shù)據(jù)的數(shù)據(jù))。元數(shù)據(jù)的具體定義和應(yīng)用隨學科不同和應(yīng)用領(lǐng)域不同而異。在石油領(lǐng)域，元數(shù)據(jù)是描述一個具體的油田數(shù)據(jù)庫數(shù)據(jù)資源對象(數(shù)據(jù)集或數(shù)據(jù))，并能對這個對象進行管理，且有助于它的發(fā)現(xiàn)與獲取的數(shù)據(jù)。從元數(shù)據(jù)的定義可以看出，所謂元數(shù)據(jù)就是要定義一種管理數(shù)據(jù)的格式或數(shù)據(jù)字典，此同時數(shù)據(jù)之間的關(guān)聯(lián)也應(yīng)定義在元數(shù)據(jù)中。然而在具體實施中卻存在著一系列難點問題需要解決，例如：(1)在石油領(lǐng)域里需要定義怎樣的數(shù)據(jù)格式？(2)元數(shù)據(jù)的規(guī)模有多大？(3)如何將元數(shù)據(jù)的定義與數(shù)據(jù)源進行抽取、過濾、轉(zhuǎn)換、映射關(guān)聯(lián)在一起，從而實現(xiàn)元數(shù)據(jù)定義的自動化？(4)如何為元數(shù)據(jù)管理提供完整易用的操作界

6、面(甚至是圖形化的界面)？如何充分利用企業(yè)現(xiàn)有硬、軟件資源及網(wǎng)絡(luò)資源企業(yè)現(xiàn)有服務(wù)器、網(wǎng)絡(luò)資源往往得不到充分的利用，如何高效的組織企業(yè)現(xiàn)有硬、軟件環(huán)境為生產(chǎn)應(yīng)用服務(wù)，這也是數(shù)據(jù)中心建設(shè)中急需解決的一大問題。實施中可能遇到的難點問題包括：(1)如何評估企業(yè)現(xiàn)有硬件、網(wǎng)絡(luò)資源的使用效率？(2)如何根據(jù)數(shù)據(jù)中心運行需求來優(yōu)化配置企業(yè)現(xiàn)有資源？(3)網(wǎng)絡(luò)及硬件設(shè)備管理規(guī)范。2.2 技術(shù)性能或技術(shù)（經(jīng)濟）指標1）可靠性需求系統(tǒng)要保證數(shù)據(jù)的一致性，對人工輸入的數(shù)據(jù)以及來自不同接口的數(shù)據(jù)進行合法性檢查，確保流程的通暢性，并且能夠?qū)﹀e誤數(shù)據(jù)進行自動糾錯處理，或提醒人工干預(yù)。系統(tǒng)運行中的可靠性依賴于主機系統(tǒng)、網(wǎng)絡(luò)

7、系統(tǒng)、數(shù)據(jù)庫系統(tǒng)和應(yīng)用系統(tǒng)的可靠性。因此，新系統(tǒng)中所采用的設(shè)備及主要技術(shù)必須是成熟的、可靠的，并加以全面的監(jiān)視和控制，而且充分考慮異常時的應(yīng)變與容錯能力。在應(yīng)用軟件開發(fā)中要充分利用數(shù)據(jù)庫的安全機制和錯誤恢復(fù)機制，保證數(shù)據(jù)的準確性和完整性。保證系統(tǒng)具有極高的運行質(zhì)量，能夠一天24小時連續(xù)不間斷工作。在出現(xiàn)故障的時候，必須能夠及時提供應(yīng)急措施，以確保整個業(yè)務(wù)系統(tǒng)的不中斷。2）可擴展性需求系統(tǒng)必須保證軟件穩(wěn)定性，保證主機系統(tǒng)，網(wǎng)絡(luò)系統(tǒng)在將來能夠順利擴容，且不影響正常的生產(chǎn)運行。開放性與標準化是一個系統(tǒng)賴以生存發(fā)展的基礎(chǔ)。只有遵循開放性和標準化的系統(tǒng)才具有生命力，才能保護用戶的投資，才能體現(xiàn)良好的擴展

8、性和互操作能力。在設(shè)計中不僅應(yīng)考慮目前業(yè)務(wù)的需求，更應(yīng)充分考慮未來業(yè)務(wù)量及業(yè)務(wù)種類增長的需求，同時也要考慮與行政管理體制的配合和協(xié)調(diào)。系統(tǒng)規(guī)模具有可調(diào)性，可以逐漸增大；新的軟件模塊即插即用，新功能、新業(yè)務(wù)的增加能夠在不影響系統(tǒng)運行的情況下實現(xiàn)。系統(tǒng)要具備逐步升級能力的結(jié)構(gòu)，采用模塊化設(shè)計，在整個系統(tǒng)正常運行的情況下，能夠隨時增加或取消客戶端?？蓜討B(tài)增加服務(wù)器，增加處理能力，能夠?qū)崿F(xiàn)負載平衡。系統(tǒng)在模塊間可使用SOA架構(gòu)來進行整合，減少各個模塊間耦合度，利于系統(tǒng)擴展。3）可管理性需求系統(tǒng)必須能被配置、部署、監(jiān)控和優(yōu)化以確保其在預(yù)定地環(huán)境中工作良好?？晒芾硇孕枨笾笧橥瓿蓸I(yè)務(wù)需求和系統(tǒng)正常運行本身要

9、求而必須具有的功能，這些功能往往是用戶不能提出的。聯(lián)機幫助、數(shù)據(jù)管理、用戶管理、軟件發(fā)布管理、在線升級等要可被管理。系統(tǒng)應(yīng)該包括數(shù)據(jù)備份、數(shù)據(jù)恢復(fù)、日志管理、垃圾數(shù)據(jù)清除等基本功能，哪怕這些功能的核心只是一條語句或命令。用戶管理功能是另一項必不可少的功能，它定義哪些用戶可以以什么樣的功能使用系統(tǒng)。好的用戶管理功能不僅可以有效控制用戶對系統(tǒng)的使用，使系統(tǒng)處于一個安全、負載合理的運行狀況，還能提高系統(tǒng)的應(yīng)用適應(yīng)性。3 .技術(shù)解決方案3.1 技術(shù)解決方案（主要闡述研發(fā)的重點、難點，解決的技術(shù)路線，技術(shù)方案的可行性、先進性、經(jīng)濟性等）數(shù)據(jù)管理與整合的數(shù)據(jù)資源平臺建設(shè)：1）目前分散在各部門的數(shù)據(jù)庫系統(tǒng)（

10、包括自動化、A1、A2等）在物理位置上保持現(xiàn)狀，但在邏輯上和管理上統(tǒng)一納入分布式數(shù)據(jù)庫系統(tǒng)管理范疇。它們的數(shù)據(jù)源采集流程及數(shù)據(jù)質(zhì)量保障不變，對數(shù)據(jù)源和錄入數(shù)據(jù)進行數(shù)據(jù)統(tǒng)一管理。2）建立在分布式數(shù)據(jù)管理系統(tǒng)基礎(chǔ)之上，提供索引編目、整合管理、權(quán)限管理、數(shù)據(jù)集成、數(shù)據(jù)同步等服務(wù)。3）提供統(tǒng)一的登陸和管理操作界面。通過關(guān)鍵技術(shù)因素分析，明確了所要解決的主要目標問題，在此基礎(chǔ)上進一步提出數(shù)據(jù)融合平臺系統(tǒng)設(shè)計思想和關(guān)鍵技術(shù)路線。1）數(shù)據(jù)資源池平臺建設(shè)是一個龐大的系統(tǒng)工程，需要分階段、分步驟實施。從上述關(guān)鍵技術(shù)因素分析中我們可以提煉出系統(tǒng)建設(shè)的三個主要層次，即：首先要完成數(shù)據(jù)中心所需數(shù)據(jù)的分析、整理工作，從

11、而制定出統(tǒng)一的數(shù)據(jù)標準和元數(shù)據(jù)規(guī)范；其次是已數(shù)據(jù)標準為基礎(chǔ)建立數(shù)據(jù)交換與共享平臺；最后建立項目數(shù)據(jù)庫和數(shù)據(jù)挖掘、知識管理環(huán)境。本項目集中完成第一點提到的內(nèi)容即完成數(shù)據(jù)中心所需數(shù)據(jù)的分析、整理。2）數(shù)據(jù)資源池平臺需要建立在一個高效率、高穩(wěn)定、高可擴展性以及高安全的運行環(huán)境中，因此作為目前技術(shù)主流的J2EE符合此類大型系統(tǒng)的設(shè)計需要，它具有可靠、穩(wěn)定、跨平臺的諸多優(yōu)勢。另一方面，數(shù)據(jù)融合平臺需要一套完整的而有機結(jié)合的技術(shù)解決方案，要解決包括異構(gòu)、異平臺乃至非結(jié)構(gòu)化數(shù)據(jù)的有機融合、符合個性化和安全要求的信息門戶與數(shù)據(jù)交換平臺的有機整合、知識管理、數(shù)據(jù)挖掘環(huán)境與數(shù)據(jù)交換平臺的有機整合。3）針對數(shù)據(jù)集中

12、還是分布的問題，我們提出的云數(shù)據(jù)存儲體系架構(gòu)有效結(jié)合了集中式和分布式優(yōu)點，既能夠保證原有系統(tǒng)不會因為數(shù)據(jù)集中而影響使用，又能夠通過ETL（數(shù)據(jù)提取、轉(zhuǎn)換和加載）從云數(shù)據(jù)存儲中導出項目數(shù)據(jù)到項目數(shù)據(jù)庫中。有效滿足了用戶對數(shù)據(jù)的各類需求。下面我們給出數(shù)據(jù)資源池總體技術(shù)架構(gòu)，本架構(gòu)全面覆蓋了三大技術(shù)因素，并有機融合了目前國際領(lǐng)先、成熟的技術(shù)包括聯(lián)邦技術(shù)、元數(shù)據(jù)管理、RAC數(shù)據(jù)集群以及數(shù)據(jù)分析技術(shù)等。1、聯(lián)邦技術(shù)聯(lián)邦是指對跨越多個數(shù)據(jù)資源的數(shù)據(jù)關(guān)聯(lián)查詢的技術(shù)。通過實現(xiàn)該技術(shù)從而支持不同數(shù)據(jù)庫表之間（甚至文本文件間）數(shù)據(jù)的關(guān)聯(lián)查詢。整合不同數(shù)據(jù)（分布式和大型機，結(jié)構(gòu)化和非結(jié)構(gòu)化，公共和私有），在處理使其

13、如同是在單個數(shù)據(jù)源中。聯(lián)邦技術(shù)能夠統(tǒng)一地訪問以任何格式（結(jié)構(gòu)化的和非結(jié)構(gòu)化的）存儲的任何數(shù)字信息。通過采用數(shù)據(jù)聯(lián)邦，可在不影響現(xiàn)有應(yīng)用的前提下，將各類系統(tǒng)的數(shù)據(jù)源通過聯(lián)邦的方式映射到一個邏輯的數(shù)據(jù)庫中。聯(lián)邦的特性：透明性。所有信息源看起來就像是一個信息源。 異構(gòu)性。從不同數(shù)據(jù)源整合數(shù)據(jù)。 可擴展性和工具化?？梢栽L問任何數(shù)據(jù)源。 可以通過標準的分析、報告和開發(fā)工具來無縫利用的高級功能。查詢接口提供了基于標準的完整功能一一包括對后端數(shù)據(jù)源中缺少能力的補償。 避免需要對現(xiàn)有數(shù)據(jù)源和應(yīng)用程序進行更改的自主性。其性能可以滿足實際應(yīng)用程序和可能應(yīng)用程序的需要，包括高級查詢優(yōu)化技術(shù)、本地數(shù)據(jù)訪問以及透明緩存

14、支持。2、元數(shù)據(jù)管理首先，油田各類數(shù)據(jù)庫可以利用元數(shù)據(jù)技術(shù)規(guī)范化其現(xiàn)有的數(shù)據(jù)資源。每個專業(yè)領(lǐng)域建立自己的元數(shù)據(jù)標準，各專業(yè)子庫按照這種標準的格式向外發(fā)布數(shù)據(jù)。這樣，用戶可以通過元數(shù)據(jù)標準提高數(shù)據(jù)查詢和使用的效率和準確性。其次，這些元數(shù)據(jù)將記錄有關(guān)于數(shù)據(jù)的所有上下文資料，數(shù)據(jù)管理者可以通過這些元數(shù)據(jù)對數(shù)據(jù)資源進行有效的管理，數(shù)據(jù)的使用者可以根據(jù)這些元數(shù)據(jù)了解數(shù)據(jù)資源的背景資料等信息。最后，元數(shù)據(jù)的使用能夠進一步的消除各個數(shù)據(jù)資源之間的語義的獨立性和異構(gòu)性，能夠達到一定限度的數(shù)據(jù)整合和交換。油田元數(shù)據(jù)網(wǎng)格服務(wù)包括三個主要過程：用戶通過元數(shù)據(jù)網(wǎng)格服務(wù)到元數(shù)據(jù)庫中檢索元數(shù)據(jù)；用戶根據(jù)元數(shù)據(jù)到網(wǎng)格應(yīng)用數(shù)

15、據(jù)庫中查詢獲取數(shù)據(jù)；網(wǎng)格應(yīng)用數(shù)據(jù)庫中新增數(shù)據(jù)庫、表、字段、某些特殊記錄時，向元數(shù)據(jù)網(wǎng)格數(shù)據(jù)庫發(fā)布與之相關(guān)的信息、資料。3、OracleRACOracleRAC是OracleRealApplicationCluster的簡寫，官方中文文檔一般翻譯為真正應(yīng)用集群”，是Oracle9i新版數(shù)據(jù)庫中采用的一項新技術(shù)，也是Oracle數(shù)據(jù)庫支持網(wǎng)格計算環(huán)高性能、高可伸縮境的核心技術(shù)。它的出現(xiàn)解決了傳統(tǒng)數(shù)據(jù)庫應(yīng)用中面臨的一個重要問題:性與低價格之間的矛盾它一般有兩臺或者兩臺以上同構(gòu)計算機及共享存儲設(shè)備構(gòu)成，可提供強大的數(shù)據(jù)庫處理能力，現(xiàn)在是Oracle11gGrid應(yīng)用的重要組成部分。在OracleRAC

16、環(huán)境下，Oracle集成提供了集群軟件和存儲管理軟件，為用戶降低了應(yīng)用成本。當應(yīng)用系統(tǒng)規(guī)模需要擴充時，用戶可以按需擴展系統(tǒng)，以保證系統(tǒng)的性能。3.2進度安排和階段成果1）系統(tǒng)環(huán)境搭建階段ID任考名麻開均更間押物間»3W“口力"上|埼姆iIip-I'|，-*“1而統(tǒng)惠越城工作2013/W282nl州城門o3d2等91里網(wǎng).艮曷匚平修掰if和JNijtL加1期10酬M1W11病W3防統(tǒng)開發(fā)環(huán)舊搭球2O13/11/L劉川2d4用蛆壯梁懵曜源就/1州】1F*西】川】1壽此階段為系統(tǒng)環(huán)境搭建，服務(wù)器采購，開發(fā)環(huán)境搭建測試，系統(tǒng)架構(gòu)開發(fā)過程。該階段完成數(shù)據(jù)資源池系統(tǒng)環(huán)境搭建，建

17、立基于Oracle的RAC數(shù)據(jù)庫集群平臺，建立好系統(tǒng)的開發(fā)環(huán)境并選擇好開發(fā)所用框架。2）系統(tǒng)第一階段開發(fā)工作ID任身其序Mb炯nn_i4bumHL9ITUMkkLIL4ISLIITL4ja12jj2zr21M3151rua睪春瞰摩摩仃卓i才咨工配臺12013/mil2015/11/12加2星蛻用戶胃網(wǎng)1»歲肝態(tài)XfUflUU押】知】力53立箱制翦卡懵口92013/11/1S2O1J/11/Z2ed<8捧/看理橫供201即11/2gJOlJ/UySXd0鼓趙同學人工惘血2015/11/2720131/LZ/6Sd此階段為第一階段的開發(fā)工作分解，主要是數(shù)據(jù)業(yè)務(wù)接口管理、數(shù)據(jù)信息管理

18、、元數(shù)據(jù)管理，初步的數(shù)據(jù)信息同步工作。具體結(jié)束時間在12月6號左右完成。該階段初步實現(xiàn)數(shù)據(jù)資源池對元數(shù)據(jù)的管理模塊，可以進行數(shù)據(jù)的同步，并對一些簡單的數(shù)據(jù)可以進行集中處理。3）后續(xù)階段開發(fā)工作IP住宿名摩開始酎癖QLI-Wqj5*L/3JLi'IVUMJ7J!JLE卜U2fJJ<1>?mli'l%V21incark«lij>>jp'jr1i.'xvnmsk-zs1履空fl臺1瞰亮信*If取工情12&I4/V12014,加沁2EHSgtHMUIRJH信總強臺工作IZO14/M273O14W25%3敝身借愿民生工忤1微嘖黑先問毋J卻14/7,56s*耳巧五瑞在找工作1計劃工；作可的與加用期F