海洋數(shù)據(jù)庫建設(shè)規(guī)范_第1頁
海洋數(shù)據(jù)庫建設(shè)規(guī)范_第2頁
海洋數(shù)據(jù)庫建設(shè)規(guī)范_第3頁
海洋數(shù)據(jù)庫建設(shè)規(guī)范_第4頁
海洋數(shù)據(jù)庫建設(shè)規(guī)范_第5頁
已閱讀5頁,還剩12頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、地球科學(xué)數(shù)據(jù)共享材料八海洋科學(xué)數(shù)據(jù)庫建設(shè)規(guī)范(討論稿)中科院青島海洋科學(xué)研究所地球科學(xué)數(shù)據(jù)共享政策與規(guī)范研究組2004年5月目 錄1前 言22海洋科學(xué)數(shù)據(jù)庫建設(shè)總體要求221 海洋科學(xué)數(shù)據(jù)庫總體框架構(gòu)建222 具體的數(shù)據(jù)庫的建庫規(guī)范2221 術(shù)語定義2222 具體數(shù)據(jù)庫的建庫流程3223 具體數(shù)據(jù)庫建設(shè)目標(biāo)3224 數(shù)據(jù)庫文檔3海洋數(shù)據(jù)庫建設(shè)規(guī)范實(shí)例:中國(guó)近海和西北太平洋溫鹽聲密數(shù)據(jù)庫建設(shè)規(guī)范.41前 言.42中國(guó)近海和西北太平洋溫鹽聲密數(shù)據(jù)庫建設(shè)規(guī)范.521適應(yīng)范圍522引用標(biāo)準(zhǔn)523技術(shù)術(shù)語定義/解釋524 編碼、屬性表命名規(guī)則725 元數(shù)據(jù)標(biāo)準(zhǔn)826 文檔格式827 數(shù)據(jù)庫建設(shè)流程828

2、 數(shù)據(jù)質(zhì)量控制1029 數(shù)據(jù)庫匯交(集成)(匯交至的方法和途徑等)131. 前言海洋科學(xué)是一門綜合性的學(xué)科,涵蓋物理海洋學(xué)、海洋地質(zhì)學(xué)、海洋生物學(xué)、海洋化學(xué)等多個(gè)學(xué)科,研究工作中所涉及、積累的數(shù)據(jù)也是多種多樣各不相同,如物理海洋方面水文數(shù)據(jù)是記錄著某一經(jīng)緯度、某一時(shí)間、某一航次、某一深度的海水溫度、鹽度和密度信息;海洋地質(zhì)方面基礎(chǔ)地質(zhì)數(shù)據(jù)記錄著某一區(qū)域海底深度及海底地貌等信息;而海洋生物方面又可能是某一物種或某一標(biāo)本的屬性等,因此各方面的數(shù)據(jù)庫建設(shè)也各不相同,建設(shè)規(guī)范也就各不相同。根據(jù)這種情況作為海洋科學(xué)數(shù)據(jù)庫的建庫單位,一方面我們對(duì)整體的數(shù)據(jù)庫建設(shè)有建設(shè)規(guī)范(總體要求);另一方面,要求每一個(gè)

3、具體的數(shù)據(jù)庫要通過建庫的工作確定各自的規(guī)范和標(biāo)準(zhǔn),這個(gè)規(guī)范、標(biāo)準(zhǔn)是代表海洋所水平的,基本也就是代表科學(xué)院水平的,而且要求進(jìn)行必要的鑒定工作成為國(guó)家水平的。2. 海洋科學(xué)數(shù)據(jù)庫建設(shè)總體要求21 海洋科學(xué)數(shù)據(jù)庫總體框架構(gòu)建海洋科學(xué)數(shù)據(jù)庫可以粗略地分成海洋水文子庫、海洋地質(zhì)子庫和海洋生物子庫三個(gè)部分,每個(gè)部分又包含了自成系統(tǒng)的多個(gè)具體的數(shù)據(jù)庫。確定海洋科學(xué)數(shù)據(jù)庫的整體框架,(從總結(jié)中摘錄),使海洋科學(xué)數(shù)據(jù)庫建和服務(wù)設(shè)成為日常性的工作。22 具體的數(shù)據(jù)庫的建庫規(guī)范 221 術(shù)語定義源數(shù)據(jù)集:具體數(shù)據(jù)庫建庫的數(shù)據(jù)來源,不拘于數(shù)據(jù)格式的、不斷增長(zhǎng)的數(shù)據(jù)集合。標(biāo)準(zhǔn)數(shù)據(jù)集:產(chǎn)生于源數(shù)據(jù)集,經(jīng)過數(shù)據(jù)格式的統(tǒng)一,

4、經(jīng)過數(shù)據(jù)排重和質(zhì)量控制后產(chǎn)生的數(shù)據(jù)集合,最直接的入庫數(shù)據(jù)。排重:在數(shù)據(jù)集中排除重復(fù)數(shù)據(jù)的過程。質(zhì)量控制:在經(jīng)過排重的數(shù)據(jù)集中排除非法數(shù)據(jù)的過程。專業(yè)性檢索方法:指專業(yè)科學(xué)研究所習(xí)慣的數(shù)據(jù)庫的檢索途徑,包括檢索關(guān)鍵字。專業(yè)性檢索結(jié)果:指專業(yè)科學(xué)研究所習(xí)慣的數(shù)據(jù)庫的檢索結(jié)果,包括可視結(jié)果和標(biāo)準(zhǔn)的數(shù)據(jù)文件(能夠直接用于專業(yè)研究的標(biāo)準(zhǔn)數(shù)據(jù)文件)。222 具體數(shù)據(jù)庫的建庫流程具體數(shù)據(jù)庫標(biāo)準(zhǔn)數(shù)據(jù)集源數(shù)據(jù)集 專業(yè)性檢索方法 統(tǒng)一數(shù)據(jù)格式 數(shù)據(jù)庫管理系統(tǒng) 排重和質(zhì)量控制 專業(yè)性檢索結(jié)果223 具體數(shù)據(jù)庫建設(shè)目標(biāo)n 建成三個(gè)數(shù)據(jù)實(shí)體 源數(shù)據(jù)集 標(biāo)準(zhǔn)數(shù)據(jù)集 數(shù)據(jù)庫n 形成五個(gè)數(shù)據(jù)處理標(biāo)準(zhǔn)(專家鑒定) 數(shù)據(jù)格式標(biāo)準(zhǔn)

5、 數(shù)據(jù)排重方法 數(shù)據(jù)質(zhì)量控制方法 專業(yè)性數(shù)據(jù)檢索方法 專業(yè)性數(shù)據(jù)檢索結(jié)果n 數(shù)據(jù)庫的元數(shù)據(jù)建設(shè)n 建立B/S結(jié)構(gòu)的數(shù)據(jù)庫檢索手段224 數(shù)據(jù)庫文檔海洋數(shù)據(jù)庫建設(shè)規(guī)范實(shí)例:中國(guó)近海和西北太平洋溫鹽聲密數(shù)據(jù)庫建設(shè)規(guī)范1前 言海洋信息是海洋科研、教學(xué)、工程設(shè)計(jì)、規(guī)劃管理、環(huán)境測(cè)報(bào)及評(píng)價(jià)、海洋經(jīng)濟(jì)可持續(xù)發(fā)展和軍事海洋環(huán)境條件保證等的主要依據(jù),因此海洋科學(xué)數(shù)據(jù)的收集、處理和數(shù)據(jù)庫建設(shè)具有重大的社會(huì)科學(xué)意義和緊迫的國(guó)家需求。眾所周知,物理海洋學(xué)是海洋科學(xué)研究和應(yīng)用的基礎(chǔ),以海水溫度、鹽度、密度等參數(shù)為核心的海洋水文數(shù)據(jù)則是氣候和海洋環(huán)境生態(tài)研究、環(huán)境預(yù)報(bào)和評(píng)價(jià)、工程設(shè)計(jì)、減災(zāi)防災(zāi)及軍事海洋環(huán)境條件保證等的

6、主要背景信息。我國(guó)渤、黃、東、南海是世界大洋的一部分,其變化相互聯(lián)系,并深受世界大洋的影響。要研究和預(yù)測(cè)中國(guó)近海和鄰近大洋的海洋環(huán)境變化,必須進(jìn)行大范圍的長(zhǎng)期、同步海洋觀測(cè)。進(jìn)行這樣的海洋調(diào)查需要巨大投資,任何一個(gè)單位、部門、甚至國(guó)家都不可能單靠自己的調(diào)查力量或依據(jù)未經(jīng)系統(tǒng)整理的數(shù)據(jù)去開展大規(guī)模海洋研究工作。因此,海洋水文數(shù)據(jù)庫建設(shè)不但有重要的使用價(jià)值,還具有昂貴的產(chǎn)出價(jià)值和顯著的社會(huì)共有性,同時(shí)必須依據(jù)科學(xué)合理的建設(shè)規(guī)范來進(jìn)行。國(guó)際海洋水文信息是海洋水文數(shù)據(jù)庫的主要數(shù)據(jù)源。國(guó)際海洋水文數(shù)據(jù)種類繁多,時(shí)間序列長(zhǎng),空間分布廣,信息量巨大,且積累速度快。這些數(shù)據(jù)分別來自全球幾十個(gè)國(guó)家和地區(qū);使用的

7、觀測(cè)儀器千差萬別;資料的整理方法各不相同;導(dǎo)出參數(shù)的計(jì)算方法和公式各異;由實(shí)測(cè)層數(shù)據(jù)內(nèi)插標(biāo)準(zhǔn)層的方法也各有長(zhǎng)短;甚至采用的數(shù)據(jù)處理標(biāo)準(zhǔn)和編碼,以及記錄的資料的格式也仍在統(tǒng)一過程中。因此,規(guī)范化的建庫方法和標(biāo)準(zhǔn)化的建設(shè)流程,以及先進(jìn)的排重技術(shù)和嚴(yán)謹(jǐn)?shù)馁|(zhì)控方法都是保證建設(shè)合理、適用的海洋信息管理系統(tǒng)的前提條件。本規(guī)范是在總結(jié)海洋數(shù)據(jù)庫體系中有代表性的“中國(guó)近海和西北太平洋溫鹽聲密數(shù)據(jù)庫”的多年建庫經(jīng)驗(yàn)的基礎(chǔ)上逐步發(fā)展完善起來的。本規(guī)范的創(chuàng)新及特色之處包括:通用的ODSF1數(shù)據(jù)輸入/輸出格式、統(tǒng)一的數(shù)據(jù)排重程序、標(biāo)準(zhǔn)的數(shù)據(jù)質(zhì)控方法、規(guī)范的數(shù)據(jù)庫建設(shè)流程和全套國(guó)內(nèi)外通用代碼。它不僅指導(dǎo)了該數(shù)據(jù)庫的建設(shè)

8、,同時(shí)對(duì)海洋科學(xué)其他數(shù)據(jù)庫的建設(shè)有借鑒作用。2中國(guó)近海和西北太平洋溫鹽聲密數(shù)據(jù)庫建設(shè)規(guī)范21適應(yīng)范圍本規(guī)范適用于海洋物理(含溫、鹽、密、聲、流、浪、潮)、海洋氣象和化學(xué)數(shù)據(jù)庫建設(shè)中的相關(guān)數(shù)據(jù)處理工作及相關(guān)數(shù)據(jù)庫建設(shè)。22引用標(biāo)準(zhǔn)國(guó)家標(biāo)準(zhǔn):(1)GB12763.191 海洋調(diào)查規(guī)范海洋調(diào)查規(guī)范總則 (2)GB12763.791 海洋調(diào)查規(guī)范海洋調(diào)查資料處理(3)GB12763.391 海洋調(diào)查規(guī)范海洋氣象觀測(cè)(4)GB12763.491 海洋調(diào)查規(guī)范海洋化學(xué)要素觀測(cè)(5)GB12763.591 海洋調(diào)查規(guī)范海洋聲、光要素調(diào)查(6)GB12763.291 海洋調(diào)查規(guī)范海洋水文觀測(cè)(7)GB1276

9、3.691 海洋調(diào)查規(guī)范海洋生物調(diào)查(8)GB31003102-82 量和單位(9)GB/T17839-1999 警戒潮位核定方法(10)GB/T 1.11993 標(biāo)準(zhǔn)化工作導(dǎo)則(11)GB123271998 海道測(cè)量規(guī)范(12)GB17501-1998 海洋工程地形測(cè)量規(guī)范(13)GB/T14158-93 區(qū)域水文地質(zhì)工程、地質(zhì)環(huán)境、地質(zhì)綜合勘察規(guī)范(比例尺1:50000)(14)GB/T 177981999 地球空間數(shù)據(jù)交換格式 (15)GB 1240990 地理格網(wǎng) (16)GB/T GB2808-81 全數(shù)字式日期表示法 23技術(shù)術(shù)語定義/解釋2.3.1主子表結(jié)構(gòu)和數(shù)據(jù)分組(1)主子表

10、結(jié)構(gòu):通過關(guān)聯(lián)字段使主、子表對(duì)應(yīng),以解決數(shù)據(jù)記錄表頭和觀測(cè)層數(shù)據(jù)存、取的速度問題;主子表結(jié)構(gòu)是數(shù)據(jù)記錄“一對(duì)多”關(guān)系的具體體現(xiàn)。(2)數(shù)據(jù)分組:根據(jù)數(shù)據(jù)的某些特征將數(shù)據(jù)存儲(chǔ)在不同的數(shù)據(jù)庫對(duì)象中;檢索時(shí),只需要根據(jù)數(shù)據(jù)特征來定位數(shù)據(jù),并快速得到查詢結(jié)果。2.3.2數(shù)據(jù)查詢(1)網(wǎng)格數(shù)據(jù)查詢:在顯示網(wǎng)格數(shù)據(jù)信息時(shí),直接讀取和調(diào)用數(shù)據(jù)統(tǒng)計(jì)信息的過程。數(shù)據(jù)統(tǒng)計(jì)信息是在進(jìn)行數(shù)據(jù)維護(hù)時(shí)生成的,并存儲(chǔ)到單獨(dú)的數(shù)據(jù)庫對(duì)象中。(2)鼠標(biāo)點(diǎn)擊查詢:鼠標(biāo)點(diǎn)擊事件發(fā)生時(shí),系統(tǒng)先通過中間數(shù)據(jù)定位查找結(jié)果,然后再將查詢結(jié)果反饋給應(yīng)用程序的全過程。中間數(shù)據(jù)是在數(shù)據(jù)維護(hù)過程中生成的,將基本數(shù)據(jù)中的某些信息進(jìn)行提煉,并存儲(chǔ)到單

11、獨(dú)的數(shù)據(jù)庫對(duì)象中。2.3.3 數(shù)據(jù)定位確定數(shù)據(jù)所在位置(測(cè)站)的技術(shù)和過程,包括:(1)“極值”定位:依照網(wǎng)格數(shù)據(jù)的統(tǒng)計(jì)結(jié)果、根據(jù)統(tǒng)計(jì)網(wǎng)格編號(hào)和經(jīng)、緯度值,查詢檢索到該網(wǎng)格中的極值存在于特定測(cè)站的技術(shù)和過程。(2)“站次ID”定位:通過給定的經(jīng)、緯度和站次ID,檢索和查閱該測(cè)站全部信息的過程。(3)“航跡圖”定位:使用航次信息繪制的航跡或斷面圖去診斷和定位“有疑問”資料的技術(shù)和過程。(4)模糊定位:由于鼠標(biāo)點(diǎn)擊定位時(shí),“點(diǎn)擊點(diǎn)”與“真實(shí)數(shù)據(jù)點(diǎn)”之間存在位置上的差異,“模糊定位”是幫助用戶查找到距“點(diǎn)擊點(diǎn)”處最近的數(shù)據(jù)點(diǎn)的技術(shù)。2.3.4數(shù)據(jù)格式參數(shù)化把數(shù)據(jù)格式以“自定義參數(shù)的形式”設(shè)計(jì)在程序中

12、,統(tǒng)計(jì)調(diào)用時(shí),通過函數(shù)名稱進(jìn)行調(diào)度的技術(shù)。2.3.5相關(guān)參數(shù)“函數(shù)化”將數(shù)據(jù)類型、觀測(cè)參數(shù)、航次信息等先以函數(shù)的形式存放在數(shù)據(jù)表中,然后在程序運(yùn)行中通過函數(shù)進(jìn)行轉(zhuǎn)換以便達(dá)到只改變列表,不改動(dòng)程序,就能容易達(dá)到預(yù)期的變更目的之技術(shù)。2.3.6數(shù)據(jù)庫對(duì)象命名將參數(shù)直接寫在數(shù)據(jù)表中,通過數(shù)據(jù)表的名稱來判斷和定位數(shù)據(jù),并縮小檢索范圍,以解決參數(shù)快速準(zhǔn)確存取的技術(shù)。2.3.7 元數(shù)據(jù)(metadata)描述某類數(shù)據(jù)的屬性、特征、時(shí)、空變化范圍及其質(zhì)量、精度等相關(guān)信息的集合。2.3.8 編碼將信息分類的結(jié)果用一種易于被計(jì)算機(jī)和人識(shí)別的符號(hào)體系表示出來的過程,是人們統(tǒng)一認(rèn)識(shí)、統(tǒng)一觀點(diǎn)、相互交換信息的一種技術(shù)

13、手段。編碼的直接產(chǎn)物是代碼。2.3.9 空間數(shù)據(jù)結(jié)構(gòu)指空間數(shù)據(jù)在計(jì)算機(jī)內(nèi)的組織和編碼形式;它是一種適合于計(jì)算機(jī)存儲(chǔ)、管理和處理空間數(shù)據(jù)的邏輯結(jié)構(gòu),是實(shí)體的空間排列和相互關(guān)系的抽象描述。2.3.10 圖文資料掃描數(shù)字化通過掃描把以紙介質(zhì)為載體的圖文資料由模擬信息轉(zhuǎn)變?yōu)閿?shù)字信息,并按一定的質(zhì)量要求對(duì)電子文件進(jìn)行加工和制作,然后存儲(chǔ)在磁帶、磁盤或光盤等介質(zhì)上的過程。2.3.11源數(shù)據(jù)集本系統(tǒng)所使用的數(shù)據(jù)來源之集合。2.3.12基礎(chǔ)(存檔)數(shù)據(jù)集指來自于源數(shù)據(jù)集的數(shù)據(jù),經(jīng)過格式轉(zhuǎn)換、代碼統(tǒng)一、重復(fù)排除和質(zhì)量控制后形成的實(shí)測(cè)層數(shù)據(jù)集合(相對(duì)“標(biāo)準(zhǔn)數(shù)據(jù)集”而言)。值得一提的是:對(duì)于在標(biāo)準(zhǔn)層上發(fā)現(xiàn)的資料質(zhì)量

14、問題,必須到實(shí)測(cè)層存檔數(shù)據(jù)集中尋找出錯(cuò)原因,再加以改正,然后重新計(jì)算標(biāo)準(zhǔn)層后入庫。2.3.13標(biāo)準(zhǔn)數(shù)據(jù)集根據(jù)實(shí)測(cè)層數(shù)據(jù)計(jì)算出的準(zhǔn)備入庫之標(biāo)準(zhǔn)層數(shù)據(jù)集合。標(biāo)準(zhǔn)層定義見下表序號(hào)系統(tǒng)名稱標(biāo)準(zhǔn)層的層次1營(yíng)養(yǎng)鹽數(shù)據(jù)子系統(tǒng)0,5,10,15,20,25,30,50,75,100,125,150,200,250,300,400,500,600,700,800,900,1000,1100,1200,1300,1400,1500,1750,2000,2500,3000,3500,4000,4500,5000,5500,6000,6500,7000,7500,8000,8500,90002深層流數(shù)據(jù)子系統(tǒng)3海峽通

15、道數(shù)據(jù)子系統(tǒng)4溫鹽密聲數(shù)據(jù)子系統(tǒng)5ARGO數(shù)據(jù)子系統(tǒng)6統(tǒng)計(jì)產(chǎn)品信息子系統(tǒng)2.3.14排重排除數(shù)據(jù)集中重復(fù)數(shù)據(jù)的過程和技術(shù)。2.3.15質(zhì)量控制剔除數(shù)據(jù)集或數(shù)據(jù)庫中隨機(jī)錯(cuò)誤和“人為虛構(gòu)”測(cè)站資料與數(shù)據(jù)的過程及技術(shù)之總稱。24 編碼、屬性表命名規(guī)則2.4.1 編碼規(guī)則本數(shù)據(jù)庫中使用了包括網(wǎng)格編號(hào)、國(guó)家編碼、資料源代碼、資料類型、參數(shù)編碼等在內(nèi)的諸多編碼,其編碼規(guī)則均采用由美國(guó)國(guó)家海洋數(shù)據(jù)中心編制的世界海洋數(shù)據(jù)庫(WOD)編碼規(guī)則。為了方便數(shù)據(jù)循環(huán)調(diào)用和統(tǒng)計(jì),字段編碼采用代碼制,即根據(jù)數(shù)據(jù)參數(shù)的特點(diǎn),事先制訂字段參數(shù)-代碼表,然后依據(jù)參數(shù)-代碼表進(jìn)行數(shù)據(jù)庫設(shè)計(jì)2.4.2 數(shù)據(jù)庫命名規(guī)則數(shù)據(jù)庫名稱為9

16、位編:如ODMS_4002XXXX _ XX XX子系統(tǒng)編碼子系統(tǒng)版本系統(tǒng)名稱2.4.3 數(shù)據(jù)表命名規(guī)則X _ XXXX X XXXXX 數(shù)據(jù)表參數(shù)2數(shù)據(jù)表參數(shù)1數(shù)據(jù)表類型數(shù)據(jù)表名稱為12位編:如T_2.4.4 字段命名規(guī)則為了方便數(shù)據(jù)循環(huán)調(diào)用和統(tǒng)計(jì),字段編碼采用代碼制,即根據(jù)數(shù)據(jù)參數(shù)的特點(diǎn),事先制訂字段參數(shù)-代碼表,然后依據(jù)參數(shù)-代碼表進(jìn)行數(shù)據(jù)庫設(shè)計(jì)25 元數(shù)據(jù)標(biāo)準(zhǔn)采用的元數(shù)據(jù)標(biāo)準(zhǔn)為WDCD海洋學(xué)資料元數(shù)據(jù)標(biāo)準(zhǔn)(見附件1)。26 文檔格式本系統(tǒng)吸收國(guó)際各種數(shù)據(jù)格式的優(yōu)點(diǎn),自行研發(fā)和采用了“海洋資料共享格式(ODSF)”,并改進(jìn)為ODSF1,作為輸入、輸出格式(見附錄2)。27 數(shù)據(jù)庫建設(shè)流程

17、溫-鹽-密-聲庫的建設(shè)流程如下圖所示。在做好數(shù)據(jù)收集提取、格式轉(zhuǎn)換、編碼統(tǒng)一、質(zhì)量控制和排重工作的基礎(chǔ)上,根據(jù)需求分析的結(jié)果,并靈活運(yùn)用建庫理論,通過數(shù)據(jù)管理子系統(tǒng),將經(jīng)過校驗(yàn)的數(shù)據(jù)導(dǎo)入庫內(nèi),建成數(shù)據(jù)庫實(shí)體。資料收集/預(yù)處理解壓/可視化代碼統(tǒng)一格式轉(zhuǎn)換合并 排重 排序生成重復(fù)文件1首次排重后的實(shí)測(cè)層數(shù)據(jù)文件 擇優(yōu) 人/機(jī)結(jié)合質(zhì)控/審核質(zhì)控模塊三質(zhì)控模塊二質(zhì)控模塊一質(zhì)控模塊四生成實(shí)測(cè)層數(shù)據(jù)存檔文件計(jì)算標(biāo)準(zhǔn)層 程 糾錯(cuò)后重新計(jì)算標(biāo)準(zhǔn)層 序數(shù) 據(jù) 校 驗(yàn) 糾 錯(cuò) 入庫統(tǒng)計(jì)排重 生成重復(fù)數(shù)據(jù)文件2 庫內(nèi)分析診斷模塊極值定位 可使用程序糾錯(cuò) 可人工糾錯(cuò)資料 經(jīng)重 二新 不可糾錯(cuò)的測(cè)站資料ODV V5.8

18、繪圖軟件之接口模 塊提取元數(shù)據(jù) 次導(dǎo) 診入 斷數(shù) 鹽密模檢驗(yàn)航跡圖診斷剖面分析同步類比糾錯(cuò)處理實(shí) 體 庫數(shù)據(jù)庫系列產(chǎn)品生成元數(shù)據(jù)庫 處據(jù) 溫、鹽超異常信息庫溫鹽密聲數(shù)據(jù)庫 理庫 后內(nèi)28 數(shù)據(jù)質(zhì)量控制281 質(zhì)量監(jiān)控體系質(zhì)量監(jiān)控體系包括數(shù)據(jù)入庫前的質(zhì)量控制流程和排重流程,以及數(shù)據(jù)入庫后的庫內(nèi)分析診斷模塊。282 數(shù)據(jù)質(zhì)量監(jiān)控1、數(shù)據(jù)質(zhì)量控制流程圖 合并對(duì)不同源南森站實(shí)測(cè)資料經(jīng)格式轉(zhuǎn)換、排重、統(tǒng)一代碼及標(biāo)準(zhǔn)后進(jìn)行合并 分 區(qū) 根據(jù)本海區(qū)特點(diǎn),將全區(qū)分成35個(gè)獨(dú)立的質(zhì)控分區(qū) 內(nèi)插 標(biāo)準(zhǔn)層用內(nèi)插方法分別計(jì)算出各分區(qū)數(shù)據(jù)文件不同季度、不同層次上溫、鹽和溶解氧參數(shù)的標(biāo)準(zhǔn)層值 取得第一代 質(zhì)控參數(shù)對(duì)內(nèi)插的

19、標(biāo)準(zhǔn)層資料進(jìn)行人/機(jī)結(jié)合的審核、質(zhì)控、統(tǒng)計(jì)出各分區(qū)、各層、各季的均值/頻數(shù)和極大/極小值(質(zhì)控參數(shù)) 第一次 質(zhì)控用新產(chǎn)生的質(zhì)控參數(shù)對(duì)分區(qū)內(nèi)WOD98等六類資料(CTD/STD/SD2/XBT/MBT/SBT/IBT)進(jìn)行首次質(zhì)控和梯度檢驗(yàn)。 人/機(jī)結(jié) 合糾錯(cuò)對(duì)質(zhì)控出的問題,進(jìn)行人/機(jī)結(jié)合審核,找出引起標(biāo)準(zhǔn)層上的資料有誤的實(shí)測(cè)層資料的原因,并加以改正(質(zhì)控參數(shù)中增加梯度值) 第二次 內(nèi)插用各分區(qū)已改正的實(shí)測(cè)層資料重新計(jì)算標(biāo)準(zhǔn)層,產(chǎn)生第二代質(zhì)控參數(shù) 第二次 質(zhì)控用第二代質(zhì)控參數(shù)對(duì)JMA資料進(jìn)行質(zhì)控,并配合梯度檢驗(yàn) 第二次 糾錯(cuò)對(duì)二次質(zhì)控出的問題進(jìn)行人/機(jī)結(jié)合審核、篩選把關(guān),再次判斷引起實(shí)測(cè)層資料

20、出錯(cuò)的原因,并改正之 第三次 內(nèi)插對(duì)修改后的實(shí)測(cè)層數(shù)據(jù)文件重新計(jì)算標(biāo)準(zhǔn)層,得到各分區(qū)不同季節(jié)、不同層次的第三代溫、鹽和溶解氧質(zhì)控參數(shù) 注:WOD01資料由此開始質(zhì)控! 第三次 質(zhì)控用第三代質(zhì)控參數(shù)對(duì)WOD01等來源的十類資料(OSD/CTD/MBT/ XBT/MRB/DRB/PFL/UOR/APB/SURF)進(jìn)行質(zhì)控,并結(jié)合梯度檢驗(yàn)在各分區(qū)實(shí)測(cè)層數(shù)據(jù)文件中,人/機(jī)結(jié)合,改正質(zhì)控出的實(shí)測(cè)層上的質(zhì)量問題 第三次 糾錯(cuò) 第四次 插值使用改正后的實(shí)測(cè)層數(shù)據(jù)文件,重新計(jì)算標(biāo)準(zhǔn)層,獲得下一代質(zhì)控參數(shù) 開始新一輪 質(zhì)控過程利用上一輪質(zhì)控參數(shù),對(duì)新收集到Argo等其它來源的資料進(jìn)行下一輪質(zhì)控;不斷循環(huán)往復(fù),逐

21、步改進(jìn)完善各分區(qū)不同季節(jié)/月份,不同層次上的質(zhì)控參數(shù)2、排重工作流程圖(以O(shè)SD類型資料為例)解壓、合并后的OSD資料總文件年度造假Y程序塊 拷 貝 對(duì) 第一次排重 用經(jīng)緯度和時(shí)間的第一組參數(shù)分離出完全重復(fù)的資料 確 應(yīng) 認(rèn) 的 重 復(fù) 可能完全重復(fù)數(shù)據(jù)文件 重 不重復(fù)月份造假M(fèi)程序塊 復(fù) 站可能不重復(fù)數(shù)據(jù)文件 確 至 人工 審核重復(fù) 認(rèn) REP 否 調(diào) 用 日子造假D程序塊 左 是從兩個(gè)或多個(gè)站中優(yōu)選出一個(gè)站 邊 確 各 認(rèn) 程 序 擇 劣 合 并H程序塊生成*.comb1文件小時(shí)造假 模 確 塊 選 優(yōu) 認(rèn) 第二次排重 使用經(jīng)、緯度和時(shí)間組合的第二組參數(shù) 排 除 可能重復(fù)數(shù)據(jù)文件 部 經(jīng)度

22、造假 LO程序塊重 分 可能不重復(fù)數(shù)據(jù)文件 造 人工 審核 重復(fù) 確 假 否 認(rèn) 資 料 是從兩個(gè)或多個(gè)站中優(yōu)選出一個(gè)站 緯度造假 LA程序塊 合 并生成*.comb2文件 確 認(rèn) 第三次排重 使用經(jīng)、緯度和時(shí)間組合的第三組參數(shù)可能重復(fù)文件 肯定不重復(fù)文件 并 重復(fù) 入 拷貝對(duì)應(yīng)重復(fù)站 人工 審核 重 至REP 否 復(fù) 數(shù) 是從兩個(gè)或多個(gè)站中優(yōu)選出一個(gè)站 據(jù) 拷貝至重復(fù)站REP 集 生成統(tǒng)一的重復(fù)數(shù)據(jù)文件REP,供IOCAS和OCL檢驗(yàn)時(shí)使用生成*.comb3最終文件,供質(zhì)控使用 合 并3、庫內(nèi)分析診斷模塊(1)極值定位利用本系統(tǒng)“通過給定站位和站次ID,可以查閱、檢索,并顯示該站完整信息”的

23、功能,并“根據(jù)網(wǎng)格數(shù)據(jù)的統(tǒng)計(jì)結(jié)果,可進(jìn)行極值(極大或極小值)定位” 的功能模塊,能夠確認(rèn)從0.1*0.1到10*10任意方區(qū)內(nèi)的極值是否合理,從而達(dá)到診斷資料真實(shí)性的的目的;因?yàn)椤板e(cuò)情”通常是與觀測(cè)參數(shù)特定空間范圍和特殊時(shí)段的“極值”(極大/小值)緊密相關(guān)。(2)同步觀測(cè)資料類比將數(shù)據(jù)類型、觀測(cè)參數(shù)、航次/斷面信息先以函數(shù)的形式存放在數(shù)據(jù)表中,然后在程序中通過函數(shù)進(jìn)行轉(zhuǎn)換,使相關(guān)參數(shù)“函數(shù)化”;這樣只改列表,而不動(dòng)程序,就可容易地達(dá)到預(yù)想的變更目的。有質(zhì)量問題的資料(造假)入庫后,通過相關(guān)參數(shù)“函數(shù)化”處理和系統(tǒng)強(qiáng)大的統(tǒng)計(jì)檢索功能,可以把與該資料(造假)同屬一個(gè)航次/斷面的有關(guān)資料和其它航次/

24、斷面的同步或準(zhǔn)同步測(cè)量資料調(diào)度到同一平面上類比,從而確認(rèn)該(造假)資料的真實(shí)性。實(shí)踐證明,相當(dāng)數(shù)量人為制造的資料與真實(shí)資料在同一時(shí)空環(huán)境下類比就會(huì)暴露“偽”的原形。(3)鹽-密模定量分析表征水團(tuán)特性的溫鹽曲線在特定海區(qū)具有定常的形態(tài)(Svordrup等 1942),因此使用溫-鹽或鹽-密雙變量頻率分布所形成的模式,可以檢驗(yàn)現(xiàn)有觀測(cè)資料的質(zhì)量。美國(guó)國(guó)家海洋資料中心Douglas Hamilton 博士于1976年率先研制了55網(wǎng)格的鹽-密模,并用于定性質(zhì)控(Environmental Models for Quality Control, 1976, Douglas Hamilton)。借鑒美國(guó)

25、的經(jīng)驗(yàn),使用了數(shù)據(jù)子系統(tǒng)的溫、鹽資料計(jì)算出條件密度,再用鹽度和密度值及其它相關(guān)參數(shù)制成不同海區(qū)、季節(jié)/月份、以及不同層次上的鹽-密模型;之后再用鹽-密模型檢驗(yàn)入庫資料的質(zhì)量,剔除可能會(huì)嚴(yán)重影響統(tǒng)計(jì)結(jié)果的非真實(shí)資料。(4)航次/斷面分析診斷如果某一航次/斷面中的“一個(gè)或多個(gè)”測(cè)站出現(xiàn)“有疑問”的資料,系統(tǒng)會(huì)根據(jù)具體需要和該航次綜合信息繪制出航次/斷面圖,以確診“疑問”之所在,并幫助糾正元數(shù)據(jù),同時(shí)提供糾錯(cuò)辦法與可能的“訂正量”,即訂正值的大小。29 數(shù)據(jù)庫匯交(集成)(匯交至的方法和途徑等)(1)由研發(fā)單位向中科院科學(xué)數(shù)據(jù)庫中心匯交本數(shù)據(jù)管理系統(tǒng);(2)所有的數(shù)據(jù)庫建設(shè)成果及相關(guān)文檔(項(xiàng)目設(shè)計(jì)書

26、、總體方案、建庫合同、協(xié)議等)均按科學(xué)數(shù)據(jù)庫有關(guān)要求存檔保管;(3)匯交數(shù)據(jù)文件的存儲(chǔ)介質(zhì)為光盤;(4)提交成果之前,應(yīng)進(jìn)行全面查、殺毒,以確保數(shù)據(jù)的安全。附錄1 WDCD海洋學(xué)資料元數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)集名稱:中國(guó)近海和西北太平洋溫鹽聲密數(shù)據(jù)庫數(shù)據(jù)集編碼:待定數(shù)據(jù)集內(nèi)容關(guān)鍵詞:海洋信息、格式、質(zhì)控、排重、管理系統(tǒng)、標(biāo)準(zhǔn)數(shù)據(jù)集內(nèi)容:海洋學(xué)各分支學(xué)科的現(xiàn)場(chǎng)觀測(cè)資料數(shù)據(jù)集開始時(shí)間:1876年6月數(shù)據(jù)集結(jié)束時(shí)間:2004年4月數(shù)據(jù)空間范圍(最低經(jīng)度,最高經(jīng)度):100E140E數(shù)據(jù)空間范圍(最低緯度,最高緯度):10S50N數(shù)據(jù)空間范圍(最低高度,最高高度):海面海底數(shù)據(jù)質(zhì)量說明:數(shù)據(jù)質(zhì)量可靠,誤碼率小于萬

27、分之六數(shù)據(jù)存儲(chǔ)介質(zhì):CD-ROM、DVD、活動(dòng)硬盤數(shù)據(jù)存儲(chǔ)格式:入庫數(shù)據(jù)均以數(shù)據(jù)表的形式存儲(chǔ)數(shù)據(jù)量:12.6GB數(shù)據(jù)來源:全球海洋科學(xué)團(tuán)體數(shù)據(jù)集使用的語種:中文、英文系統(tǒng)、數(shù)據(jù)集、數(shù)據(jù)庫等作者信息:科學(xué)顧問:胡敦欣系統(tǒng)總設(shè)計(jì):許崇金、王 凡、代 亮、孫豐山、陳獻(xiàn)輝、孫東麗、陳永利等管理子系統(tǒng)設(shè)計(jì):代 亮、許崇金、王凡、孫豐山、孫東麗、陳永利、陳獻(xiàn)輝溫-鹽數(shù)據(jù)庫設(shè)計(jì):王凡、許崇金、代亮、孫豐山、孫東麗、陳永利、陳獻(xiàn)輝數(shù)據(jù)集存放地點(diǎn):中國(guó)科學(xué)院海洋研究所數(shù)據(jù)集索取方式:函索/面商皆可。數(shù)據(jù)更新周期:每半年至一年更新一次附錄2 “海洋資料共享格式(ODSF)”本數(shù)據(jù)庫吸收國(guó)際各種數(shù)據(jù)格式的優(yōu)點(diǎn),自行研發(fā)和采用了“海洋資料共享格式(ODSF)”,并改進(jìn)為ODSF1,作為輸入、輸出格式。格式例樣1: 1 2 3 4 5 6 67890 CC cruise Latitde Longitde YYYY MM DD Time Station # 第一個(gè)記錄:英文表頭說明 49 PR19 26.830 121.255 1990 11 15 12.2

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論