大數(shù)據(jù)技術(shù)在油氣勘探的應(yīng)用方案

2023/1/11Inspurgroup大數(shù)據(jù)技術(shù)在油氣勘探的應(yīng)用方案浪潮集團(tuán)行業(yè)應(yīng)用技術(shù)總監(jiān)鄭貴德2023/1/11Inspurgroup國際數(shù)據(jù)公司（IDC）的研究結(jié)果表明，整個人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍石油行業(yè)銷售ERP系統(tǒng)管理8600萬噸/年的成品油銷售業(yè)務(wù)，年處理3450萬張單據(jù)，勘探與生產(chǎn)方面有24萬口油氣水井;煉油與化工方面有1119套煉化裝置……業(yè)內(nèi)人士指出，“石油工業(yè)是信息工業(yè)”，很少有其他工業(yè)領(lǐng)域像石油工業(yè)這樣更依賴于數(shù)據(jù)社會趨勢行業(yè)趨勢大數(shù)據(jù)時(shí)代2023/1/11Inspurgroup數(shù)據(jù)量大：以地震波反射方式來收集海量數(shù)據(jù)為例，每次采集的二維數(shù)據(jù)可達(dá)1~2TB，三維數(shù)據(jù)可高達(dá)幾百TB甚至PB級，四維數(shù)據(jù)將更加龐大石油物理勘探的地震波法所得到的數(shù)據(jù)量非常龐大,是現(xiàn)今三大大型計(jì)算領(lǐng)域之一計(jì)算量大：以疊前時(shí)間偏移為例，一個地震道的輸出需要至少1000萬道甚至更多（偏移孔徑?jīng)Q定）的輸入道，每一個點(diǎn)要做兩次均方根運(yùn)算以及兩次加法運(yùn)算，振幅補(bǔ)償兩次乘法運(yùn)算。以1毫秒采樣，6秒數(shù)據(jù)為例，實(shí)現(xiàn)一道偏移需要1000000x6000×2×(平方+加法+乘法)次數(shù)學(xué)運(yùn)算，計(jì)算量和需要處理的數(shù)據(jù)量都極其巨大！油氣勘探大數(shù)據(jù)2023/1/11Inspurgroup解決性能主要途徑小型機(jī)集群系統(tǒng)偏移算法遺傳算法有限元法波動方程算法……..并行計(jì)算傳統(tǒng)計(jì)算模式擴(kuò)展能力局限投入成本高并行計(jì)算效率提高難空間占用大關(guān)注問題發(fā)展趨勢?

大數(shù)據(jù)技術(shù)2023/1/11Inspurgroup油氣勘探分布并行計(jì)算解決方案2023/1/11Inspurgroup油氣勘探分布并行計(jì)算網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)NameNodeDataNodeMasterNodeRegionNode2023/1/11Inspurgroup并行分布技術(shù)架構(gòu)優(yōu)勢高性能：自動實(shí)現(xiàn)大規(guī)模數(shù)據(jù)分布并行計(jì)算，高效實(shí)現(xiàn)大規(guī)模數(shù)據(jù)讀取高可擴(kuò)：在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)完成計(jì)算任務(wù)，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中高效性：能夠在節(jié)點(diǎn)之間動態(tài)地移動數(shù)據(jù)，以保證各個節(jié)點(diǎn)的動態(tài)平衡，處理速度非?？旄呷蒎e性：自動保存數(shù)據(jù)的多份副本，并且能夠自動將失敗的任務(wù)重新分配經(jīng)濟(jì)性：系統(tǒng)軟件開源，應(yīng)用軟件開發(fā)簡化。通過X86系列組成的集群系統(tǒng)，和小型機(jī)相比成本優(yōu)勢明顯2023/1/11Inspurgroup基于大數(shù)據(jù)一體機(jī)的油氣勘探技術(shù)架構(gòu)示意2023/1/11Inspurgroup大數(shù)據(jù)一體機(jī)物理示意可根據(jù)負(fù)載需求擴(kuò)展節(jié)點(diǎn)，理論上數(shù)據(jù)節(jié)點(diǎn)數(shù)量可擴(kuò)至4000個，存儲容量可相應(yīng)增長，至少滿足PB級大數(shù)據(jù)分布存儲在Hadoop技術(shù)框架的基礎(chǔ)上提供并行處理及IO優(yōu)化可實(shí)現(xiàn)戶外計(jì)算應(yīng)用單節(jié)點(diǎn)可支持配置：8路CPU,128G內(nèi)存，32TB硬盤浪潮大數(shù)據(jù)應(yīng)用-卡口與智能交通監(jiān)控卡口1監(jiān)控卡口2監(jiān)控卡口3監(jiān)控卡口41億/天車行軌跡2300萬車輛信息9000千萬人口3000萬駕駛員卡口信息：牌號：魯F123****車型：解放j6p顏色：藍(lán)色位置：濟(jì)南經(jīng)十山大路口方向：自西向東時(shí)間：2013.2.58:45:30全省17地市交通卡口每天采集行車記錄數(shù)將近1億條云計(jì)算數(shù)據(jù)中心根據(jù)牌號比對車輛行駛信息查找嫌疑車輛監(jiān)控卡口...大數(shù)據(jù)的分析計(jì)算車牌號車型顏色距離...卡口信息卡口信息卡口信息卡口信息卡口信息數(shù)據(jù)調(diào)取數(shù)據(jù)調(diào)取計(jì)算結(jié)果浪潮大數(shù)據(jù)應(yīng)用-推薦服務(wù)浪潮大數(shù)據(jù)應(yīng)用-淘寶天貓雙11數(shù)據(jù)分析稅務(wù)云平臺，350.4億元天貓商城

241.9億元淘寶集市108.5億元阿里官方公布，淘寶和天貓銷售額350.19億2013年全國雙十一數(shù)據(jù)C2C模式暫不收稅，稅務(wù)云平臺僅采集天貓商城交易明細(xì)數(shù)據(jù)。電商大數(shù)據(jù)采集云平臺雙十一運(yùn)行情況浪潮大數(shù)據(jù)應(yīng)用-電商平臺稅務(wù)局端數(shù)據(jù)比對納稅人稅號納稅人名稱網(wǎng)店不含稅銷售額（元）申報(bào)額（元）差異率330…26458杭州向上電子商務(wù)有限公司￥239,257,654￥108,374100%330…61404杭州手拉手電子商務(wù)有限公司￥91,847,718￥0100%330…90156杭州共海服飾有限公司￥5,372,567￥9,089100%330…87203杭州秋果服飾有限公司￥5,251,854￥690100%330…45893杭州簡正電子商務(wù)有限公司￥4,467,420￥58,25299%330…41333杭州蘭帕達(dá)體育用品有限公司￥4,418,967￥111,47497%330…4745X杭州維歐艾服飾有限公司￥23,915,545￥7,251,25670%330…52053