海洋數(shù)據(jù)庫建設(shè)規(guī)范_第1頁
海洋數(shù)據(jù)庫建設(shè)規(guī)范_第2頁
海洋數(shù)據(jù)庫建設(shè)規(guī)范_第3頁
海洋數(shù)據(jù)庫建設(shè)規(guī)范_第4頁
海洋數(shù)據(jù)庫建設(shè)規(guī)范_第5頁
已閱讀5頁,還剩12頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、地球科學(xué)數(shù)據(jù)共享材料八海洋科學(xué)數(shù)據(jù)庫建設(shè)規(guī)范(討論稿)中科院青島海洋科學(xué)研究所地球科學(xué)數(shù)據(jù)共享政策與規(guī)范研究組2004年5月目 錄1前 言22海洋科學(xué)數(shù)據(jù)庫建設(shè)總體要求221 海洋科學(xué)數(shù)據(jù)庫總體框架構(gòu)建222 具體的數(shù)據(jù)庫的建庫規(guī)范2221 術(shù)語定義2222 具體數(shù)據(jù)庫的建庫流程3223 具體數(shù)據(jù)庫建設(shè)目標3224 數(shù)據(jù)庫文檔3海洋數(shù)據(jù)庫建設(shè)規(guī)范實例:中國近海和西北太平洋溫鹽聲密數(shù)據(jù)庫建設(shè)規(guī)范.41前 言.42中國近海和西北太平洋溫鹽聲密數(shù)據(jù)庫建設(shè)規(guī)范.521適應(yīng)范圍522引用標準523技術(shù)術(shù)語定義/解釋524 編碼、屬性表命名規(guī)則725 元數(shù)據(jù)標準826 文檔格式827 數(shù)據(jù)庫建設(shè)流程828

2、 數(shù)據(jù)質(zhì)量控制1029 數(shù)據(jù)庫匯交(集成)(匯交至的方法和途徑等)131. 前言海洋科學(xué)是一門綜合性的學(xué)科,涵蓋物理海洋學(xué)、海洋地質(zhì)學(xué)、海洋生物學(xué)、海洋化學(xué)等多個學(xué)科,研究工作中所涉及、積累的數(shù)據(jù)也是多種多樣各不相同,如物理海洋方面水文數(shù)據(jù)是記錄著某一經(jīng)緯度、某一時間、某一航次、某一深度的海水溫度、鹽度和密度信息;海洋地質(zhì)方面基礎(chǔ)地質(zhì)數(shù)據(jù)記錄著某一區(qū)域海底深度及海底地貌等信息;而海洋生物方面又可能是某一物種或某一標本的屬性等,因此各方面的數(shù)據(jù)庫建設(shè)也各不相同,建設(shè)規(guī)范也就各不相同。根據(jù)這種情況作為海洋科學(xué)數(shù)據(jù)庫的建庫單位,一方面我們對整體的數(shù)據(jù)庫建設(shè)有建設(shè)規(guī)范(總體要求);另一方面,要求每一個

3、具體的數(shù)據(jù)庫要通過建庫的工作確定各自的規(guī)范和標準,這個規(guī)范、標準是代表海洋所水平的,基本也就是代表科學(xué)院水平的,而且要求進行必要的鑒定工作成為國家水平的。2. 海洋科學(xué)數(shù)據(jù)庫建設(shè)總體要求21 海洋科學(xué)數(shù)據(jù)庫總體框架構(gòu)建海洋科學(xué)數(shù)據(jù)庫可以粗略地分成海洋水文子庫、海洋地質(zhì)子庫和海洋生物子庫三個部分,每個部分又包含了自成系統(tǒng)的多個具體的數(shù)據(jù)庫。確定海洋科學(xué)數(shù)據(jù)庫的整體框架,(從總結(jié)中摘錄),使海洋科學(xué)數(shù)據(jù)庫建和服務(wù)設(shè)成為日常性的工作。22 具體的數(shù)據(jù)庫的建庫規(guī)范 221 術(shù)語定義源數(shù)據(jù)集:具體數(shù)據(jù)庫建庫的數(shù)據(jù)來源,不拘于數(shù)據(jù)格式的、不斷增長的數(shù)據(jù)集合。標準數(shù)據(jù)集:產(chǎn)生于源數(shù)據(jù)集,經(jīng)過數(shù)據(jù)格式的統(tǒng)一,

4、經(jīng)過數(shù)據(jù)排重和質(zhì)量控制后產(chǎn)生的數(shù)據(jù)集合,最直接的入庫數(shù)據(jù)。排重:在數(shù)據(jù)集中排除重復(fù)數(shù)據(jù)的過程。質(zhì)量控制:在經(jīng)過排重的數(shù)據(jù)集中排除非法數(shù)據(jù)的過程。專業(yè)性檢索方法:指專業(yè)科學(xué)研究所習(xí)慣的數(shù)據(jù)庫的檢索途徑,包括檢索關(guān)鍵字。專業(yè)性檢索結(jié)果:指專業(yè)科學(xué)研究所習(xí)慣的數(shù)據(jù)庫的檢索結(jié)果,包括可視結(jié)果和標準的數(shù)據(jù)文件(能夠直接用于專業(yè)研究的標準數(shù)據(jù)文件)。222 具體數(shù)據(jù)庫的建庫流程具體數(shù)據(jù)庫標準數(shù)據(jù)集源數(shù)據(jù)集 專業(yè)性檢索方法 統(tǒng)一數(shù)據(jù)格式 數(shù)據(jù)庫管理系統(tǒng) 排重和質(zhì)量控制 專業(yè)性檢索結(jié)果223 具體數(shù)據(jù)庫建設(shè)目標n 建成三個數(shù)據(jù)實體 源數(shù)據(jù)集 標準數(shù)據(jù)集 數(shù)據(jù)庫n 形成五個數(shù)據(jù)處理標準(專家鑒定) 數(shù)據(jù)格式標準

5、 數(shù)據(jù)排重方法 數(shù)據(jù)質(zhì)量控制方法 專業(yè)性數(shù)據(jù)檢索方法 專業(yè)性數(shù)據(jù)檢索結(jié)果n 數(shù)據(jù)庫的元數(shù)據(jù)建設(shè)n 建立B/S結(jié)構(gòu)的數(shù)據(jù)庫檢索手段224 數(shù)據(jù)庫文檔海洋數(shù)據(jù)庫建設(shè)規(guī)范實例:中國近海和西北太平洋溫鹽聲密數(shù)據(jù)庫建設(shè)規(guī)范1前 言海洋信息是海洋科研、教學(xué)、工程設(shè)計、規(guī)劃管理、環(huán)境測報及評價、海洋經(jīng)濟可持續(xù)發(fā)展和軍事海洋環(huán)境條件保證等的主要依據(jù),因此海洋科學(xué)數(shù)據(jù)的收集、處理和數(shù)據(jù)庫建設(shè)具有重大的社會科學(xué)意義和緊迫的國家需求。眾所周知,物理海洋學(xué)是海洋科學(xué)研究和應(yīng)用的基礎(chǔ),以海水溫度、鹽度、密度等參數(shù)為核心的海洋水文數(shù)據(jù)則是氣候和海洋環(huán)境生態(tài)研究、環(huán)境預(yù)報和評價、工程設(shè)計、減災(zāi)防災(zāi)及軍事海洋環(huán)境條件保證等的

6、主要背景信息。我國渤、黃、東、南海是世界大洋的一部分,其變化相互聯(lián)系,并深受世界大洋的影響。要研究和預(yù)測中國近海和鄰近大洋的海洋環(huán)境變化,必須進行大范圍的長期、同步海洋觀測。進行這樣的海洋調(diào)查需要巨大投資,任何一個單位、部門、甚至國家都不可能單靠自己的調(diào)查力量或依據(jù)未經(jīng)系統(tǒng)整理的數(shù)據(jù)去開展大規(guī)模海洋研究工作。因此,海洋水文數(shù)據(jù)庫建設(shè)不但有重要的使用價值,還具有昂貴的產(chǎn)出價值和顯著的社會共有性,同時必須依據(jù)科學(xué)合理的建設(shè)規(guī)范來進行。國際海洋水文信息是海洋水文數(shù)據(jù)庫的主要數(shù)據(jù)源。國際海洋水文數(shù)據(jù)種類繁多,時間序列長,空間分布廣,信息量巨大,且積累速度快。這些數(shù)據(jù)分別來自全球幾十個國家和地區(qū);使用的

7、觀測儀器千差萬別;資料的整理方法各不相同;導(dǎo)出參數(shù)的計算方法和公式各異;由實測層數(shù)據(jù)內(nèi)插標準層的方法也各有長短;甚至采用的數(shù)據(jù)處理標準和編碼,以及記錄的資料的格式也仍在統(tǒng)一過程中。因此,規(guī)范化的建庫方法和標準化的建設(shè)流程,以及先進的排重技術(shù)和嚴謹?shù)馁|(zhì)控方法都是保證建設(shè)合理、適用的海洋信息管理系統(tǒng)的前提條件。本規(guī)范是在總結(jié)海洋數(shù)據(jù)庫體系中有代表性的“中國近海和西北太平洋溫鹽聲密數(shù)據(jù)庫”的多年建庫經(jīng)驗的基礎(chǔ)上逐步發(fā)展完善起來的。本規(guī)范的創(chuàng)新及特色之處包括:通用的ODSF1數(shù)據(jù)輸入/輸出格式、統(tǒng)一的數(shù)據(jù)排重程序、標準的數(shù)據(jù)質(zhì)控方法、規(guī)范的數(shù)據(jù)庫建設(shè)流程和全套國內(nèi)外通用代碼。它不僅指導(dǎo)了該數(shù)據(jù)庫的建設(shè)

8、,同時對海洋科學(xué)其他數(shù)據(jù)庫的建設(shè)有借鑒作用。2中國近海和西北太平洋溫鹽聲密數(shù)據(jù)庫建設(shè)規(guī)范21適應(yīng)范圍本規(guī)范適用于海洋物理(含溫、鹽、密、聲、流、浪、潮)、海洋氣象和化學(xué)數(shù)據(jù)庫建設(shè)中的相關(guān)數(shù)據(jù)處理工作及相關(guān)數(shù)據(jù)庫建設(shè)。22引用標準國家標準:(1)GB12763.191 海洋調(diào)查規(guī)范海洋調(diào)查規(guī)范總則 (2)GB12763.791 海洋調(diào)查規(guī)范海洋調(diào)查資料處理(3)GB12763.391 海洋調(diào)查規(guī)范海洋氣象觀測(4)GB12763.491 海洋調(diào)查規(guī)范海洋化學(xué)要素觀測(5)GB12763.591 海洋調(diào)查規(guī)范海洋聲、光要素調(diào)查(6)GB12763.291 海洋調(diào)查規(guī)范海洋水文觀測(7)GB1276

9、3.691 海洋調(diào)查規(guī)范海洋生物調(diào)查(8)GB31003102-82 量和單位(9)GB/T17839-1999 警戒潮位核定方法(10)GB/T 1.11993 標準化工作導(dǎo)則(11)GB123271998 海道測量規(guī)范(12)GB17501-1998 海洋工程地形測量規(guī)范(13)GB/T14158-93 區(qū)域水文地質(zhì)工程、地質(zhì)環(huán)境、地質(zhì)綜合勘察規(guī)范(比例尺1:50000)(14)GB/T 177981999 地球空間數(shù)據(jù)交換格式 (15)GB 1240990 地理格網(wǎng) (16)GB/T GB2808-81 全數(shù)字式日期表示法 23技術(shù)術(shù)語定義/解釋2.3.1主子表結(jié)構(gòu)和數(shù)據(jù)分組(1)主子表

10、結(jié)構(gòu):通過關(guān)聯(lián)字段使主、子表對應(yīng),以解決數(shù)據(jù)記錄表頭和觀測層數(shù)據(jù)存、取的速度問題;主子表結(jié)構(gòu)是數(shù)據(jù)記錄“一對多”關(guān)系的具體體現(xiàn)。(2)數(shù)據(jù)分組:根據(jù)數(shù)據(jù)的某些特征將數(shù)據(jù)存儲在不同的數(shù)據(jù)庫對象中;檢索時,只需要根據(jù)數(shù)據(jù)特征來定位數(shù)據(jù),并快速得到查詢結(jié)果。2.3.2數(shù)據(jù)查詢(1)網(wǎng)格數(shù)據(jù)查詢:在顯示網(wǎng)格數(shù)據(jù)信息時,直接讀取和調(diào)用數(shù)據(jù)統(tǒng)計信息的過程。數(shù)據(jù)統(tǒng)計信息是在進行數(shù)據(jù)維護時生成的,并存儲到單獨的數(shù)據(jù)庫對象中。(2)鼠標點擊查詢:鼠標點擊事件發(fā)生時,系統(tǒng)先通過中間數(shù)據(jù)定位查找結(jié)果,然后再將查詢結(jié)果反饋給應(yīng)用程序的全過程。中間數(shù)據(jù)是在數(shù)據(jù)維護過程中生成的,將基本數(shù)據(jù)中的某些信息進行提煉,并存儲到單

11、獨的數(shù)據(jù)庫對象中。2.3.3 數(shù)據(jù)定位確定數(shù)據(jù)所在位置(測站)的技術(shù)和過程,包括:(1)“極值”定位:依照網(wǎng)格數(shù)據(jù)的統(tǒng)計結(jié)果、根據(jù)統(tǒng)計網(wǎng)格編號和經(jīng)、緯度值,查詢檢索到該網(wǎng)格中的極值存在于特定測站的技術(shù)和過程。(2)“站次ID”定位:通過給定的經(jīng)、緯度和站次ID,檢索和查閱該測站全部信息的過程。(3)“航跡圖”定位:使用航次信息繪制的航跡或斷面圖去診斷和定位“有疑問”資料的技術(shù)和過程。(4)模糊定位:由于鼠標點擊定位時,“點擊點”與“真實數(shù)據(jù)點”之間存在位置上的差異,“模糊定位”是幫助用戶查找到距“點擊點”處最近的數(shù)據(jù)點的技術(shù)。2.3.4數(shù)據(jù)格式參數(shù)化把數(shù)據(jù)格式以“自定義參數(shù)的形式”設(shè)計在程序中

12、,統(tǒng)計調(diào)用時,通過函數(shù)名稱進行調(diào)度的技術(shù)。2.3.5相關(guān)參數(shù)“函數(shù)化”將數(shù)據(jù)類型、觀測參數(shù)、航次信息等先以函數(shù)的形式存放在數(shù)據(jù)表中,然后在程序運行中通過函數(shù)進行轉(zhuǎn)換以便達到只改變列表,不改動程序,就能容易達到預(yù)期的變更目的之技術(shù)。2.3.6數(shù)據(jù)庫對象命名將參數(shù)直接寫在數(shù)據(jù)表中,通過數(shù)據(jù)表的名稱來判斷和定位數(shù)據(jù),并縮小檢索范圍,以解決參數(shù)快速準確存取的技術(shù)。2.3.7 元數(shù)據(jù)(metadata)描述某類數(shù)據(jù)的屬性、特征、時、空變化范圍及其質(zhì)量、精度等相關(guān)信息的集合。2.3.8 編碼將信息分類的結(jié)果用一種易于被計算機和人識別的符號體系表示出來的過程,是人們統(tǒng)一認識、統(tǒng)一觀點、相互交換信息的一種技術(shù)

13、手段。編碼的直接產(chǎn)物是代碼。2.3.9 空間數(shù)據(jù)結(jié)構(gòu)指空間數(shù)據(jù)在計算機內(nèi)的組織和編碼形式;它是一種適合于計算機存儲、管理和處理空間數(shù)據(jù)的邏輯結(jié)構(gòu),是實體的空間排列和相互關(guān)系的抽象描述。2.3.10 圖文資料掃描數(shù)字化通過掃描把以紙介質(zhì)為載體的圖文資料由模擬信息轉(zhuǎn)變?yōu)閿?shù)字信息,并按一定的質(zhì)量要求對電子文件進行加工和制作,然后存儲在磁帶、磁盤或光盤等介質(zhì)上的過程。2.3.11源數(shù)據(jù)集本系統(tǒng)所使用的數(shù)據(jù)來源之集合。2.3.12基礎(chǔ)(存檔)數(shù)據(jù)集指來自于源數(shù)據(jù)集的數(shù)據(jù),經(jīng)過格式轉(zhuǎn)換、代碼統(tǒng)一、重復(fù)排除和質(zhì)量控制后形成的實測層數(shù)據(jù)集合(相對“標準數(shù)據(jù)集”而言)。值得一提的是:對于在標準層上發(fā)現(xiàn)的資料質(zhì)量

14、問題,必須到實測層存檔數(shù)據(jù)集中尋找出錯原因,再加以改正,然后重新計算標準層后入庫。2.3.13標準數(shù)據(jù)集根據(jù)實測層數(shù)據(jù)計算出的準備入庫之標準層數(shù)據(jù)集合。標準層定義見下表序號系統(tǒng)名稱標準層的層次1營養(yǎng)鹽數(shù)據(jù)子系統(tǒng)0,5,10,15,20,25,30,50,75,100,125,150,200,250,300,400,500,600,700,800,900,1000,1100,1200,1300,1400,1500,1750,2000,2500,3000,3500,4000,4500,5000,5500,6000,6500,7000,7500,8000,8500,90002深層流數(shù)據(jù)子系統(tǒng)3海峽通

15、道數(shù)據(jù)子系統(tǒng)4溫鹽密聲數(shù)據(jù)子系統(tǒng)5ARGO數(shù)據(jù)子系統(tǒng)6統(tǒng)計產(chǎn)品信息子系統(tǒng)2.3.14排重排除數(shù)據(jù)集中重復(fù)數(shù)據(jù)的過程和技術(shù)。2.3.15質(zhì)量控制剔除數(shù)據(jù)集或數(shù)據(jù)庫中隨機錯誤和“人為虛構(gòu)”測站資料與數(shù)據(jù)的過程及技術(shù)之總稱。24 編碼、屬性表命名規(guī)則2.4.1 編碼規(guī)則本數(shù)據(jù)庫中使用了包括網(wǎng)格編號、國家編碼、資料源代碼、資料類型、參數(shù)編碼等在內(nèi)的諸多編碼,其編碼規(guī)則均采用由美國國家海洋數(shù)據(jù)中心編制的世界海洋數(shù)據(jù)庫(WOD)編碼規(guī)則。為了方便數(shù)據(jù)循環(huán)調(diào)用和統(tǒng)計,字段編碼采用代碼制,即根據(jù)數(shù)據(jù)參數(shù)的特點,事先制訂字段參數(shù)-代碼表,然后依據(jù)參數(shù)-代碼表進行數(shù)據(jù)庫設(shè)計2.4.2 數(shù)據(jù)庫命名規(guī)則數(shù)據(jù)庫名稱為9

16、位編:如ODMS_4002XXXX _ XX XX子系統(tǒng)編碼子系統(tǒng)版本系統(tǒng)名稱2.4.3 數(shù)據(jù)表命名規(guī)則X _ XXXX X XXXXX 數(shù)據(jù)表參數(shù)2數(shù)據(jù)表參數(shù)1數(shù)據(jù)表類型數(shù)據(jù)表名稱為12位編:如T_2.4.4 字段命名規(guī)則為了方便數(shù)據(jù)循環(huán)調(diào)用和統(tǒng)計,字段編碼采用代碼制,即根據(jù)數(shù)據(jù)參數(shù)的特點,事先制訂字段參數(shù)-代碼表,然后依據(jù)參數(shù)-代碼表進行數(shù)據(jù)庫設(shè)計25 元數(shù)據(jù)標準采用的元數(shù)據(jù)標準為WDCD海洋學(xué)資料元數(shù)據(jù)標準(見附件1)。26 文檔格式本系統(tǒng)吸收國際各種數(shù)據(jù)格式的優(yōu)點,自行研發(fā)和采用了“海洋資料共享格式(ODSF)”,并改進為ODSF1,作為輸入、輸出格式(見附錄2)。27 數(shù)據(jù)庫建設(shè)流程

17、溫-鹽-密-聲庫的建設(shè)流程如下圖所示。在做好數(shù)據(jù)收集提取、格式轉(zhuǎn)換、編碼統(tǒng)一、質(zhì)量控制和排重工作的基礎(chǔ)上,根據(jù)需求分析的結(jié)果,并靈活運用建庫理論,通過數(shù)據(jù)管理子系統(tǒng),將經(jīng)過校驗的數(shù)據(jù)導(dǎo)入庫內(nèi),建成數(shù)據(jù)庫實體。資料收集/預(yù)處理解壓/可視化代碼統(tǒng)一格式轉(zhuǎn)換合并 排重 排序生成重復(fù)文件1首次排重后的實測層數(shù)據(jù)文件 擇優(yōu) 人/機結(jié)合質(zhì)控/審核質(zhì)控模塊三質(zhì)控模塊二質(zhì)控模塊一質(zhì)控模塊四生成實測層數(shù)據(jù)存檔文件計算標準層 程 糾錯后重新計算標準層 序數(shù) 據(jù) 校 驗 糾 錯 入庫統(tǒng)計排重 生成重復(fù)數(shù)據(jù)文件2 庫內(nèi)分析診斷模塊極值定位 可使用程序糾錯 可人工糾錯資料 經(jīng)重 二新 不可糾錯的測站資料ODV V5.8

18、繪圖軟件之接口模 塊提取元數(shù)據(jù) 次導(dǎo) 診入 斷數(shù) 鹽密模檢驗航跡圖診斷剖面分析同步類比糾錯處理實 體 庫數(shù)據(jù)庫系列產(chǎn)品生成元數(shù)據(jù)庫 處據(jù) 溫、鹽超異常信息庫溫鹽密聲數(shù)據(jù)庫 理庫 后內(nèi)28 數(shù)據(jù)質(zhì)量控制281 質(zhì)量監(jiān)控體系質(zhì)量監(jiān)控體系包括數(shù)據(jù)入庫前的質(zhì)量控制流程和排重流程,以及數(shù)據(jù)入庫后的庫內(nèi)分析診斷模塊。282 數(shù)據(jù)質(zhì)量監(jiān)控1、數(shù)據(jù)質(zhì)量控制流程圖 合并對不同源南森站實測資料經(jīng)格式轉(zhuǎn)換、排重、統(tǒng)一代碼及標準后進行合并 分 區(qū) 根據(jù)本海區(qū)特點,將全區(qū)分成35個獨立的質(zhì)控分區(qū) 內(nèi)插 標準層用內(nèi)插方法分別計算出各分區(qū)數(shù)據(jù)文件不同季度、不同層次上溫、鹽和溶解氧參數(shù)的標準層值 取得第一代 質(zhì)控參數(shù)對內(nèi)插的

19、標準層資料進行人/機結(jié)合的審核、質(zhì)控、統(tǒng)計出各分區(qū)、各層、各季的均值/頻數(shù)和極大/極小值(質(zhì)控參數(shù)) 第一次 質(zhì)控用新產(chǎn)生的質(zhì)控參數(shù)對分區(qū)內(nèi)WOD98等六類資料(CTD/STD/SD2/XBT/MBT/SBT/IBT)進行首次質(zhì)控和梯度檢驗。 人/機結(jié) 合糾錯對質(zhì)控出的問題,進行人/機結(jié)合審核,找出引起標準層上的資料有誤的實測層資料的原因,并加以改正(質(zhì)控參數(shù)中增加梯度值) 第二次 內(nèi)插用各分區(qū)已改正的實測層資料重新計算標準層,產(chǎn)生第二代質(zhì)控參數(shù) 第二次 質(zhì)控用第二代質(zhì)控參數(shù)對JMA資料進行質(zhì)控,并配合梯度檢驗 第二次 糾錯對二次質(zhì)控出的問題進行人/機結(jié)合審核、篩選把關(guān),再次判斷引起實測層資料

20、出錯的原因,并改正之 第三次 內(nèi)插對修改后的實測層數(shù)據(jù)文件重新計算標準層,得到各分區(qū)不同季節(jié)、不同層次的第三代溫、鹽和溶解氧質(zhì)控參數(shù) 注:WOD01資料由此開始質(zhì)控! 第三次 質(zhì)控用第三代質(zhì)控參數(shù)對WOD01等來源的十類資料(OSD/CTD/MBT/ XBT/MRB/DRB/PFL/UOR/APB/SURF)進行質(zhì)控,并結(jié)合梯度檢驗在各分區(qū)實測層數(shù)據(jù)文件中,人/機結(jié)合,改正質(zhì)控出的實測層上的質(zhì)量問題 第三次 糾錯 第四次 插值使用改正后的實測層數(shù)據(jù)文件,重新計算標準層,獲得下一代質(zhì)控參數(shù) 開始新一輪 質(zhì)控過程利用上一輪質(zhì)控參數(shù),對新收集到Argo等其它來源的資料進行下一輪質(zhì)控;不斷循環(huán)往復(fù),逐

21、步改進完善各分區(qū)不同季節(jié)/月份,不同層次上的質(zhì)控參數(shù)2、排重工作流程圖(以O(shè)SD類型資料為例)解壓、合并后的OSD資料總文件年度造假Y程序塊 拷 貝 對 第一次排重 用經(jīng)緯度和時間的第一組參數(shù)分離出完全重復(fù)的資料 確 應(yīng) 認 的 重 復(fù) 可能完全重復(fù)數(shù)據(jù)文件 重 不重復(fù)月份造假M程序塊 復(fù) 站可能不重復(fù)數(shù)據(jù)文件 確 至 人工 審核重復(fù) 認 REP 否 調(diào) 用 日子造假D程序塊 左 是從兩個或多個站中優(yōu)選出一個站 邊 確 各 認 程 序 擇 劣 合 并H程序塊生成*.comb1文件小時造假 模 確 塊 選 優(yōu) 認 第二次排重 使用經(jīng)、緯度和時間組合的第二組參數(shù) 排 除 可能重復(fù)數(shù)據(jù)文件 部 經(jīng)度

22、造假 LO程序塊重 分 可能不重復(fù)數(shù)據(jù)文件 造 人工 審核 重復(fù) 確 假 否 認 資 料 是從兩個或多個站中優(yōu)選出一個站 緯度造假 LA程序塊 合 并生成*.comb2文件 確 認 第三次排重 使用經(jīng)、緯度和時間組合的第三組參數(shù)可能重復(fù)文件 肯定不重復(fù)文件 并 重復(fù) 入 拷貝對應(yīng)重復(fù)站 人工 審核 重 至REP 否 復(fù) 數(shù) 是從兩個或多個站中優(yōu)選出一個站 據(jù) 拷貝至重復(fù)站REP 集 生成統(tǒng)一的重復(fù)數(shù)據(jù)文件REP,供IOCAS和OCL檢驗時使用生成*.comb3最終文件,供質(zhì)控使用 合 并3、庫內(nèi)分析診斷模塊(1)極值定位利用本系統(tǒng)“通過給定站位和站次ID,可以查閱、檢索,并顯示該站完整信息”的

23、功能,并“根據(jù)網(wǎng)格數(shù)據(jù)的統(tǒng)計結(jié)果,可進行極值(極大或極小值)定位” 的功能模塊,能夠確認從0.1*0.1到10*10任意方區(qū)內(nèi)的極值是否合理,從而達到診斷資料真實性的的目的;因為“錯情”通常是與觀測參數(shù)特定空間范圍和特殊時段的“極值”(極大/小值)緊密相關(guān)。(2)同步觀測資料類比將數(shù)據(jù)類型、觀測參數(shù)、航次/斷面信息先以函數(shù)的形式存放在數(shù)據(jù)表中,然后在程序中通過函數(shù)進行轉(zhuǎn)換,使相關(guān)參數(shù)“函數(shù)化”;這樣只改列表,而不動程序,就可容易地達到預(yù)想的變更目的。有質(zhì)量問題的資料(造假)入庫后,通過相關(guān)參數(shù)“函數(shù)化”處理和系統(tǒng)強大的統(tǒng)計檢索功能,可以把與該資料(造假)同屬一個航次/斷面的有關(guān)資料和其它航次/

24、斷面的同步或準同步測量資料調(diào)度到同一平面上類比,從而確認該(造假)資料的真實性。實踐證明,相當數(shù)量人為制造的資料與真實資料在同一時空環(huán)境下類比就會暴露“偽”的原形。(3)鹽-密模定量分析表征水團特性的溫鹽曲線在特定海區(qū)具有定常的形態(tài)(Svordrup等 1942),因此使用溫-鹽或鹽-密雙變量頻率分布所形成的模式,可以檢驗現(xiàn)有觀測資料的質(zhì)量。美國國家海洋資料中心Douglas Hamilton 博士于1976年率先研制了55網(wǎng)格的鹽-密模,并用于定性質(zhì)控(Environmental Models for Quality Control, 1976, Douglas Hamilton)。借鑒美國

25、的經(jīng)驗,使用了數(shù)據(jù)子系統(tǒng)的溫、鹽資料計算出條件密度,再用鹽度和密度值及其它相關(guān)參數(shù)制成不同海區(qū)、季節(jié)/月份、以及不同層次上的鹽-密模型;之后再用鹽-密模型檢驗入庫資料的質(zhì)量,剔除可能會嚴重影響統(tǒng)計結(jié)果的非真實資料。(4)航次/斷面分析診斷如果某一航次/斷面中的“一個或多個”測站出現(xiàn)“有疑問”的資料,系統(tǒng)會根據(jù)具體需要和該航次綜合信息繪制出航次/斷面圖,以確診“疑問”之所在,并幫助糾正元數(shù)據(jù),同時提供糾錯辦法與可能的“訂正量”,即訂正值的大小。29 數(shù)據(jù)庫匯交(集成)(匯交至的方法和途徑等)(1)由研發(fā)單位向中科院科學(xué)數(shù)據(jù)庫中心匯交本數(shù)據(jù)管理系統(tǒng);(2)所有的數(shù)據(jù)庫建設(shè)成果及相關(guān)文檔(項目設(shè)計書

26、、總體方案、建庫合同、協(xié)議等)均按科學(xué)數(shù)據(jù)庫有關(guān)要求存檔保管;(3)匯交數(shù)據(jù)文件的存儲介質(zhì)為光盤;(4)提交成果之前,應(yīng)進行全面查、殺毒,以確保數(shù)據(jù)的安全。附錄1 WDCD海洋學(xué)資料元數(shù)據(jù)標準數(shù)據(jù)集名稱:中國近海和西北太平洋溫鹽聲密數(shù)據(jù)庫數(shù)據(jù)集編碼:待定數(shù)據(jù)集內(nèi)容關(guān)鍵詞:海洋信息、格式、質(zhì)控、排重、管理系統(tǒng)、標準數(shù)據(jù)集內(nèi)容:海洋學(xué)各分支學(xué)科的現(xiàn)場觀測資料數(shù)據(jù)集開始時間:1876年6月數(shù)據(jù)集結(jié)束時間:2004年4月數(shù)據(jù)空間范圍(最低經(jīng)度,最高經(jīng)度):100E140E數(shù)據(jù)空間范圍(最低緯度,最高緯度):10S50N數(shù)據(jù)空間范圍(最低高度,最高高度):海面海底數(shù)據(jù)質(zhì)量說明:數(shù)據(jù)質(zhì)量可靠,誤碼率小于萬

27、分之六數(shù)據(jù)存儲介質(zhì):CD-ROM、DVD、活動硬盤數(shù)據(jù)存儲格式:入庫數(shù)據(jù)均以數(shù)據(jù)表的形式存儲數(shù)據(jù)量:12.6GB數(shù)據(jù)來源:全球海洋科學(xué)團體數(shù)據(jù)集使用的語種:中文、英文系統(tǒng)、數(shù)據(jù)集、數(shù)據(jù)庫等作者信息:科學(xué)顧問:胡敦欣系統(tǒng)總設(shè)計:許崇金、王 凡、代 亮、孫豐山、陳獻輝、孫東麗、陳永利等管理子系統(tǒng)設(shè)計:代 亮、許崇金、王凡、孫豐山、孫東麗、陳永利、陳獻輝溫-鹽數(shù)據(jù)庫設(shè)計:王凡、許崇金、代亮、孫豐山、孫東麗、陳永利、陳獻輝數(shù)據(jù)集存放地點:中國科學(xué)院海洋研究所數(shù)據(jù)集索取方式:函索/面商皆可。數(shù)據(jù)更新周期:每半年至一年更新一次附錄2 “海洋資料共享格式(ODSF)”本數(shù)據(jù)庫吸收國際各種數(shù)據(jù)格式的優(yōu)點,自行研發(fā)和采用了“海洋資料共享格式(ODSF)”,并改進為ODSF1,作為輸入、輸出格式。格式例樣1: 1 2 3 4 5 6 67890 CC cruise Latitde Longitde YYYY MM DD Time Station # 第一個記錄:英文表頭說明 49 PR19 26.830 121.255 1990 11 15 12.2

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論