石油地震勘探及其大數(shù)據(jù)快速存儲(chǔ)技術(shù)研究介紹-IndicoIHEP課件

報(bào)告人：韓昭核探測(cè)器與核電子學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室（科大部）2013年5月3日1石油地震勘探及其大數(shù)據(jù)快速存儲(chǔ)技術(shù)研究介紹

2石油地震勘探簡(jiǎn)介石油地震勘探是指利用儀器檢測(cè)、記錄人工激發(fā)地震的反射波、折射波的傳播時(shí)間、振幅、波形等，對(duì)地層界面、巖土性質(zhì)、地質(zhì)構(gòu)造進(jìn)行成像分析。人造地震是現(xiàn)在最重要的一種油氣勘探方法。3石油地震勘探簡(jiǎn)介地震石油勘探的特點(diǎn)與發(fā)展趨勢(shì)：1、在地震數(shù)據(jù)處理中，利用檢波器采集的數(shù)據(jù)對(duì)地質(zhì)結(jié)構(gòu)成像分析。地震數(shù)據(jù)有很大的噪聲，檢波器排布越密集，可以得到越準(zhǔn)確的地質(zhì)結(jié)構(gòu)。2、為了勘探更深處的油氣，探測(cè)設(shè)備覆蓋的范圍越來越廣。3、因?yàn)樯鲜鲈?，現(xiàn)在地震勘探使用的地震儀器，達(dá)到了萬道量級(jí)，有些勘探公司已經(jīng)做到了十萬道，并且提出了百萬道的目標(biāo)。4石油地震勘探中要解決的問題對(duì)如此大規(guī)模的地震勘探設(shè)備，在前端的數(shù)據(jù)采集傳輸，后端的數(shù)據(jù)存取都要面臨很多問題1、數(shù)據(jù)采集傳輸中的問題（1）大量節(jié)點(diǎn)的管理（2）數(shù)據(jù)可靠傳輸（3）供電（4）低功耗（5）節(jié)點(diǎn)同步5石油地震勘探中要解決的問題2、數(shù)據(jù)存取處理中的問題（1）近年來處理器的能力隨著半導(dǎo)體工藝的發(fā)展進(jìn)步很快，比如，主流PC的CPU主頻已經(jīng)達(dá)到3GHz以上，服務(wù)器CPU大都達(dá)到十核以上。然而提供數(shù)據(jù)存儲(chǔ)的仍然是傳統(tǒng)的磁介質(zhì)硬盤，它的性能卻提高很有限。很多文獻(xiàn)資料表明IO速度已經(jīng)成為制約數(shù)據(jù)處理過程的一個(gè)瓶頸。（2）地震數(shù)據(jù)采集中，原始數(shù)據(jù)是記錄在磁帶中的，進(jìn)行數(shù)據(jù)處理時(shí)，會(huì)將磁帶中的數(shù)據(jù)按一定的格式存儲(chǔ)在硬盤中。現(xiàn)階段由于檢波器數(shù)目的增大地球物理勘探所產(chǎn)生的數(shù)據(jù)量越來越大，大都達(dá)到了TB甚至PB的量級(jí)，這對(duì)于后端的大數(shù)據(jù)處理產(chǎn)生了巨大的壓力。在一些地震數(shù)據(jù)處理的過程中數(shù)據(jù)分發(fā)所用的時(shí)間已經(jīng)和數(shù)據(jù)處理所花費(fèi)的時(shí)間基本相當(dāng)。（3）地震數(shù)據(jù)處理的過程中，需要對(duì)各種不同的數(shù)據(jù)組合進(jìn)行讀取分析，大部分情況下，這些數(shù)據(jù)都離散的分散在文件中，并不是連續(xù)的，這些離散的數(shù)據(jù)會(huì)導(dǎo)致數(shù)據(jù)獲取的速度大大降低。（4）本人主要工作是解決這一部分的問題。6離散數(shù)據(jù)存取速度慢的原因事實(shí)上，硬盤讀出數(shù)據(jù)的速度并不慢，但受到機(jī)械運(yùn)動(dòng)因素的影響，尋道時(shí)間非常慢。對(duì)于8KB數(shù)據(jù)，數(shù)據(jù)讀取時(shí)間約為0.05ms平均尋道時(shí)間約為9ms平均尋道時(shí)間>>數(shù)據(jù)讀取時(shí)間對(duì)于機(jī)械式硬盤，最影響速度的是隨機(jī)訪問。然而地震的數(shù)據(jù)需要不同的組合，絕大部分是隨機(jī)的小數(shù)據(jù)訪問模式。解決辦法，多硬盤有效并行工作7磁盤陣列磁盤陣列（RedundantArraysofInexpensiveDisksRAID），利用數(shù)組方式來作磁盤組，在一定程度上實(shí)現(xiàn)了數(shù)據(jù)的分布存儲(chǔ)，可以達(dá)到并行，增加IO的作用。8傳統(tǒng)的地震數(shù)據(jù)存取方式以POSIX為代表的基于文件系統(tǒng)的存儲(chǔ)是現(xiàn)在大多數(shù)實(shí)驗(yàn)中大數(shù)據(jù)的存儲(chǔ)模式。地震數(shù)據(jù)按照一定格式存儲(chǔ)在文件中，典型的訪問函數(shù)為open文件，seek到特定的位置，read一定長(zhǎng)度的內(nèi)容。POSIX標(biāo)準(zhǔn)是以一種流（stream）的串行的方式來訪問數(shù)據(jù)存儲(chǔ)區(qū)的。9磁盤陣列存在的問題磁盤陣列并沒有拋棄傳統(tǒng)的串行的文件系統(tǒng)存儲(chǔ)方式，每個(gè)硬盤并不知道自己的數(shù)據(jù)，這些需要上層的串行命令，并靠RAID控制器分發(fā)實(shí)現(xiàn)。而這一過程是串行的，在硬盤數(shù)量不斷增加的情況下，會(huì)成為阻礙性能的瓶頸。其次，RAID是一種通用的存儲(chǔ)設(shè)備，并不理解數(shù)據(jù)的含義，只是固定長(zhǎng)度的切割，這也會(huì)造成性能的下降。因?yàn)榇疟P陣列并沒有實(shí)現(xiàn)硬盤與硬盤之間的完全獨(dú)立，因此很難實(shí)現(xiàn)太大規(guī)模的并行。10Google提出的key-value存儲(chǔ)模式完全拋棄了POSIX的訪問模式，把每一個(gè)數(shù)據(jù)（value）打上一個(gè)key標(biāo)簽，然后作分布式的存儲(chǔ)。需要訪問數(shù)據(jù)的時(shí)候以key為關(guān)鍵字進(jìn)行檢索，可以同時(shí)有很多的客戶端同時(shí)響應(yīng)，從而實(shí)現(xiàn)并發(fā)訪問。11Key-value面臨的最大問題因?yàn)榕c傳統(tǒng)的以文件系統(tǒng)為基礎(chǔ)的數(shù)據(jù)存儲(chǔ)方式差異太大，提出的主要應(yīng)用對(duì)象是針對(duì)數(shù)據(jù)庫(kù)的應(yīng)用。很多已經(jīng)成熟的軟件應(yīng)用無法直接使用key-value模式，即使重新移植風(fēng)險(xiǎn)也太大。這是因?yàn)閗ey-value模式與傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式，底層操作差別太大，需要對(duì)原本成熟的應(yīng)用程序進(jìn)行大量修改。12我們提出的iSmartDisk方案基于key-value的思想，提出了iSmartDisk的分布式存儲(chǔ)模式，把實(shí)驗(yàn)數(shù)據(jù)分布的存儲(chǔ)在用internet連接起來的具有CPU控制的硬盤上，訪問時(shí)，利用Key-value的方式，向各個(gè)節(jié)點(diǎn)分發(fā)需要的數(shù)據(jù)的標(biāo)簽。所有節(jié)點(diǎn)并行的查找，提供自己的數(shù)據(jù)。在提供快速IO并發(fā)訪問的同時(shí)，對(duì)現(xiàn)有的大型應(yīng)用程序保持兼容。13iSmartDisk初步測(cè)試結(jié)果系統(tǒng)測(cè)試結(jié)果，IO性能同節(jié)點(diǎn)數(shù)呈線性增長(zhǎng)關(guān)系。在同傳統(tǒng)的建立在RAID的基礎(chǔ)上的文件系統(tǒng)的IO速度相比，在同樣的硬盤數(shù)目下，IO速度提高了8倍！現(xiàn)有RAID速度測(cè)試平臺(tái)：地空學(xué)院曙光服務(wù)器存儲(chǔ)設(shè)備：服務(wù)器26個(gè)計(jì)算節(jié)點(diǎn)上的硬盤測(cè)試方法：將數(shù)據(jù)文件按照相應(yīng)的算法分布存儲(chǔ)在計(jì)算節(jié)點(diǎn)的硬盤上，然后根據(jù)需要讀取數(shù)據(jù)14iSmartDisk的特點(diǎn)iSmartDisk提出了把key-value分布式數(shù)據(jù)庫(kù)的存儲(chǔ)思想用于大型實(shí)驗(yàn)數(shù)據(jù)的新存儲(chǔ)概念。實(shí)現(xiàn)了每個(gè)硬盤的完全獨(dú)立，所有的節(jié)點(diǎn)都是并行處理，正因如此，可以支持大量的并行。在key-value的基礎(chǔ)上還提出了通過算法實(shí)現(xiàn)無元數(shù)據(jù)（meta-data）的存儲(chǔ)模式，進(jìn)一步加快隨機(jī)IO速度。利用虛擬文件的技術(shù)，在利用iSmartDisk的快速IO能力的同時(shí)保持了應(yīng)用程序級(jí)的兼容。