基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺(tái)架構(gòu)的研究及應(yīng)用開(kāi)題報(bào)告-宋尊鋒

1、基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺(tái)基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺(tái)架構(gòu)的研究及應(yīng)用開(kāi)題報(bào)告架構(gòu)的研究及應(yīng)用開(kāi)題報(bào)告石油工程碩士一班 宋尊鋒2015年1月7日1 1一、課題研究的目的與意義一、課題研究的目的與意義 油田開(kāi)發(fā)指標(biāo)分析和預(yù)測(cè)是油田開(kāi)發(fā)規(guī)劃、開(kāi)發(fā)方案設(shè)計(jì)與決策管理的重要依據(jù)。利用油田各應(yīng)用系統(tǒng)所提供的數(shù)據(jù)對(duì)油田開(kāi)發(fā)進(jìn)行分析決策已經(jīng)成為實(shí)現(xiàn)油氣田生產(chǎn)經(jīng)營(yíng)管理目標(biāo)的重要行為之一，信息化的管理方式已經(jīng)深入到生產(chǎn)與管理的各個(gè)層次。隨著油田信息化建設(shè)模式由數(shù)字化向智能化轉(zhuǎn)變，為解決單項(xiàng)需求和部門(mén)應(yīng)用，越來(lái)越多各自獨(dú)立的子系統(tǒng)建成并投入使用，存在的問(wèn)題也逐漸暴露出來(lái)：一、課題研究的目的與意義一、課題研究的目

2、的與意義1、大量重復(fù)功能及兼容性問(wèn)題造成資源浪費(fèi)、管理復(fù)雜低效、信息傳遞沖突不暢。2、各系統(tǒng)內(nèi)的數(shù)據(jù)彼此獨(dú)立，互不關(guān)聯(lián)，形成信息孤島，數(shù)據(jù)共享困難。3、生產(chǎn)數(shù)據(jù)量和數(shù)據(jù)類(lèi)型復(fù)雜度不斷增大，實(shí)時(shí)數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)不斷增多，傳統(tǒng)數(shù)據(jù)庫(kù)或數(shù)據(jù)存儲(chǔ)方式已不能滿(mǎn)足今后發(fā)展需求。4、面對(duì)日趨復(fù)雜的海量生產(chǎn)數(shù)據(jù)，傳統(tǒng)分析方式已經(jīng)顯得力不從心，制約了油田生產(chǎn)的分析決策水平。一、課題研究的目的與意義一、課題研究的目的與意義 針對(duì)上述問(wèn)題，我們需要建立一個(gè)基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺(tái)，將油田現(xiàn)有生產(chǎn)、經(jīng)營(yíng)等各類(lèi)信息系統(tǒng)進(jìn)行統(tǒng)一整合。通過(guò)整合，改變現(xiàn)有單一專(zhuān)業(yè)縱向生產(chǎn)管理和研究模式，使管理人員、研究人員和技術(shù)人員能

3、夠輕松獲取和共享來(lái)自油田不同專(zhuān)業(yè)的數(shù)據(jù)。在豐富的數(shù)據(jù)基礎(chǔ)上，通過(guò)數(shù)據(jù)挖掘技術(shù)，不僅可以開(kāi)展油田研究、進(jìn)行生產(chǎn)分析、還可以實(shí)時(shí)獲取現(xiàn)場(chǎng)生產(chǎn)數(shù)據(jù)、監(jiān)控生產(chǎn)運(yùn)行狀態(tài)，更好的管理和經(jīng)營(yíng)油田。二二、國(guó)內(nèi)外現(xiàn)狀研究、國(guó)內(nèi)外現(xiàn)狀研究 目前無(wú)論國(guó)內(nèi)還是國(guó)外在傳統(tǒng)的油田數(shù)據(jù)挖掘領(lǐng)域都取得一定應(yīng)用成果，主要通過(guò)模糊邏輯理論、神經(jīng)網(wǎng)絡(luò)系統(tǒng)等數(shù)據(jù)挖掘算法，基于MESH網(wǎng)絡(luò)、移動(dòng)網(wǎng)絡(luò)平臺(tái)，利用小型機(jī)或大規(guī)模服務(wù)器完成相關(guān)油田各應(yīng)用系統(tǒng)軟件的開(kāi)發(fā)及應(yīng)用。實(shí)現(xiàn)油水井動(dòng)態(tài)分析、油水井檢測(cè)與診斷、油田自動(dòng)監(jiān)控等功能，為技術(shù)人員和管理人員提供可靠的管理決策意見(jiàn)。二二、國(guó)內(nèi)外現(xiàn)狀研究、國(guó)內(nèi)外現(xiàn)狀研究 由于國(guó)外云計(jì)算應(yīng)用起步較早，對(duì)

4、基于大數(shù)據(jù)的分布式存儲(chǔ)和計(jì)算應(yīng)用較為廣泛，傳統(tǒng)的IT公司也都轉(zhuǎn)型到云計(jì)算領(lǐng)域，比如IBM、HP，他們都有自己的大數(shù)據(jù)挖掘平臺(tái)。比如2011年IBM公司就推出了IBM InfoSphere BigInsights 大數(shù)據(jù)分析平臺(tái)。 國(guó)內(nèi)油田目前基于大數(shù)據(jù)的數(shù)據(jù)挖掘方式正處在起步階段，但隨著中石油兩地三中心的云計(jì)算模式的不斷推廣應(yīng)用，各油田都在建立自己的數(shù)據(jù)中心，搭建私有云平臺(tái)，大數(shù)據(jù)必勢(shì)不可擋。三、三、課題研究目標(biāo)、研究?jī)?nèi)容課題研究目標(biāo)、研究?jī)?nèi)容研究目標(biāo)研究目標(biāo) 結(jié)合目前油田生產(chǎn)各業(yè)務(wù)系統(tǒng)、各類(lèi)數(shù)據(jù)庫(kù)建設(shè)情況，以及油田生產(chǎn)應(yīng)用需求，構(gòu)建基于大數(shù)據(jù)的油田生產(chǎn)數(shù)據(jù)挖掘平臺(tái)及體系架構(gòu)。三、三、課題研究

5、目標(biāo)、研究?jī)?nèi)容課題研究目標(biāo)、研究?jī)?nèi)容研究?jī)?nèi)容研究?jī)?nèi)容 基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺(tái)主要包括應(yīng)用系統(tǒng)整合、大數(shù)據(jù)挖掘平臺(tái)及數(shù)據(jù)展示應(yīng)用 3層架構(gòu)，主要研究?jī)?nèi)容也圍繞這三個(gè)層次展開(kāi)。油田生產(chǎn)各業(yè)務(wù)部門(mén)自建應(yīng)用系統(tǒng)大數(shù)據(jù)數(shù)據(jù)挖掘HDFS、HBASE分布式數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)展示應(yīng)用應(yīng)用系統(tǒng)整合用戶(hù)權(quán)限數(shù)據(jù)庫(kù)軟件協(xié)議數(shù)據(jù)接口數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)抓取數(shù)據(jù)識(shí)別數(shù)據(jù)整合，構(gòu)建樣本數(shù)據(jù)集數(shù)據(jù)匯總模型數(shù)據(jù)分析數(shù)據(jù)元數(shù)據(jù)挖掘算法建模工具知識(shí)庫(kù)動(dòng)態(tài)分析產(chǎn)量預(yù)測(cè)實(shí)時(shí)監(jiān)控效益評(píng)價(jià)可視化展示，人機(jī)交互基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺(tái)系統(tǒng)架構(gòu)圖基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺(tái)系統(tǒng)架構(gòu)圖油田生產(chǎn)各業(yè)務(wù)部門(mén)自建應(yīng)用系統(tǒng)

6、大數(shù)據(jù)數(shù)據(jù)挖掘HDFS、HBASE分布式數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)數(shù)據(jù)挖掘平臺(tái)展示應(yīng)用應(yīng)用系統(tǒng)整合用戶(hù)權(quán)限數(shù)據(jù)庫(kù)軟件協(xié)議數(shù)據(jù)接口數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)抓取數(shù)據(jù)識(shí)別數(shù)據(jù)整合，構(gòu)建樣本數(shù)據(jù)集數(shù)據(jù)匯總模型數(shù)據(jù)分析數(shù)據(jù)元數(shù)據(jù)挖掘算法建模工具知識(shí)庫(kù)動(dòng)態(tài)分析產(chǎn)量預(yù)測(cè)實(shí)時(shí)監(jiān)控效益評(píng)價(jià)可視化展示，人機(jī)交互（1）應(yīng)用系統(tǒng)整合研究 應(yīng)用系統(tǒng)整合主要對(duì)油田現(xiàn)有應(yīng)用系統(tǒng)用戶(hù)權(quán)限、數(shù)據(jù)庫(kù)、軟件協(xié)議和數(shù)據(jù)接口等進(jìn)行調(diào)研，通過(guò)數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、屏幕圖像識(shí)別等技術(shù)將分布在各獨(dú)立數(shù)據(jù)庫(kù)或系統(tǒng)中的數(shù)據(jù)整合，并轉(zhuǎn)換成適合數(shù)據(jù)挖掘或建模的形式，構(gòu)建樣本數(shù)據(jù)集。二、課題研究目標(biāo)、研究?jī)?nèi)容二、課題研究目標(biāo)、研究?jī)?nèi)容大數(shù)據(jù)數(shù)據(jù)挖掘HDFS、

7、HBASE分布式數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)匯總模型數(shù)據(jù)分析數(shù)據(jù)元數(shù)據(jù)挖掘算法建模工具知識(shí)庫(kù)（2）大數(shù)據(jù)挖掘研究 通過(guò)分布式存儲(chǔ)技術(shù)（HDFS、HBASE），實(shí)現(xiàn)匯總數(shù)據(jù)、模型數(shù)據(jù)、分析數(shù)據(jù)以及元數(shù)據(jù)等各類(lèi)數(shù)據(jù)的存儲(chǔ)，相當(dāng)于數(shù)據(jù)倉(cāng)庫(kù)?；诖髷?shù)據(jù)建模算法和工具，挖掘數(shù)據(jù)中隱藏的模式或關(guān)系，采用數(shù)據(jù)建模軟件（如 SPSSModeler、Hadoop 等）建立分類(lèi)或預(yù)測(cè)模型（規(guī)則、公式或方程式），從而生成預(yù)測(cè)結(jié)果，確定評(píng)估方法并利用測(cè)試樣本，結(jié)合專(zhuān)家經(jīng)驗(yàn)不斷提升模型精度，輔助油田生產(chǎn)決策。二、課題研究目標(biāo)、研究?jī)?nèi)容二、課題研究目標(biāo)、研究?jī)?nèi)容數(shù)據(jù)展示應(yīng)用動(dòng)態(tài)分析產(chǎn)量預(yù)測(cè)實(shí)時(shí)監(jiān)控效益評(píng)價(jià)可視化展

8、示，人機(jī)交互二、課題研究目標(biāo)、研究?jī)?nèi)容二、課題研究目標(biāo)、研究?jī)?nèi)容（3）數(shù)據(jù)展示應(yīng)用研究 將建立的數(shù)據(jù)模型針對(duì)油田生產(chǎn)需求封裝成可運(yùn)行軟件，包括建模算法的實(shí)現(xiàn)、數(shù)據(jù)的可視化和界面設(shè)計(jì)等，最終展示給用戶(hù)使用，實(shí)現(xiàn)人機(jī)交互。三、課題擬采取的研究方法、技術(shù)路線(xiàn)三、課題擬采取的研究方法、技術(shù)路線(xiàn)研究方法研究方法 （1）調(diào)研與學(xué)習(xí)，通過(guò)與油田公司信息中心、信息技術(shù)公司的數(shù)據(jù)專(zhuān)家進(jìn)行大數(shù)據(jù)、數(shù)據(jù)挖掘技術(shù)、已有數(shù)據(jù)挖掘系統(tǒng)進(jìn)行技術(shù)上的學(xué)習(xí)與交流同時(shí)對(duì)采油廠(chǎng)地質(zhì)、工程等相關(guān)業(yè)務(wù)口專(zhuān)家進(jìn)行業(yè)務(wù)方面的調(diào)研，完成需求分析。（2）通過(guò)現(xiàn)場(chǎng)應(yīng)用，結(jié)合生產(chǎn)實(shí)際，利用信息中心便利的實(shí)驗(yàn)條件和軟件開(kāi)發(fā)資源，建立一個(gè)適應(yīng)持續(xù)數(shù)據(jù)

9、增長(zhǎng)需求的數(shù)據(jù)挖掘體系架構(gòu)。三、課題擬采取的研究方法、技術(shù)路線(xiàn)三、課題擬采取的研究方法、技術(shù)路線(xiàn)技術(shù)路線(xiàn)技術(shù)路線(xiàn) 數(shù)據(jù)挖掘數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)抓取技術(shù)研究各獨(dú)立信息系統(tǒng)數(shù)據(jù)庫(kù)、模塊等調(diào)研應(yīng)用系統(tǒng)整合分布式存儲(chǔ)與技術(shù)研究大數(shù)據(jù)挖掘大數(shù)據(jù)數(shù)據(jù)挖掘平臺(tái)研究基于大數(shù)據(jù)的油田生產(chǎn)數(shù)據(jù)挖掘平臺(tái)軟件封裝數(shù)據(jù)展示應(yīng)用建模算法數(shù)據(jù)可視化四、課題預(yù)期創(chuàng)新點(diǎn)四、課題預(yù)期創(chuàng)新點(diǎn)（1）基于最新的分布式存儲(chǔ)、分布式計(jì)算技術(shù)，實(shí)現(xiàn)最高性?xún)r(jià)比，可以應(yīng)對(duì)數(shù)據(jù)量的持續(xù)增加（2）將各類(lèi)油田生產(chǎn)相關(guān)數(shù)據(jù)統(tǒng)一到大數(shù)據(jù)挖掘平臺(tái)來(lái)進(jìn)行數(shù)據(jù)挖掘，在算法庫(kù)不斷完善的前提下可以實(shí)現(xiàn)對(duì)油田海量數(shù)據(jù)整體進(jìn)行數(shù)據(jù)挖掘，從而發(fā)現(xiàn)其中隱藏的有效信息，解決原有信息孤島問(wèn)題五、進(jìn)度安排五、進(jìn)度安排（1）2015.11-2015.12：進(jìn)行國(guó)內(nèi)外文獻(xiàn)調(diào)研，