HYT 0370.1-2023 海洋環(huán)境數據處理與質量控制規(guī)范 第1部分：海洋水文（正式版）

中華人民共和國海洋行業(yè)標準海洋環(huán)境數據處理與質量控制規(guī)范中華人民共和國自然資源部發(fā)布IHY/T0370.1—2023 12規(guī)范性引用文件 13術語和定義 14通則 25預處理和標準化處理 26質量控制 37質量評估 38清單制作 49元數據制作 4附錄A(規(guī)范性)質量控制方法 5附錄B(規(guī)范性)溫鹽質量控制方法 8附錄C(規(guī)范性)海流質量控制方法 附錄D(規(guī)范性)海浪質量控制方法 附錄E(規(guī)范性)水位質量控制方法 附錄F(規(guī)范性)水色、透明度和海發(fā)光數據質量控制方法 參考文獻 Ⅲ本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內容可能涉及專利。本文件的發(fā)布機構不承擔識別專利的責任。本文件由中華人民共和國自然資源部提出。本文件由全國海洋標準化技術委員會(SAC/TC283)歸口。本文件起草單位：國家海洋信息中心。當前，我國對海洋環(huán)境的關注度不斷上升，各類近海調查與遠洋科考工作蓬勃發(fā)展，同時技術發(fā)展引發(fā)大數據時代到來，海洋環(huán)境調查形式將越來越多樣，內容越來越豐富，數據的觀測頻率大大提升，對海洋環(huán)境觀測數據處理和質量控制能力提出更高的要求，為滿足提高海洋環(huán)境觀測數據處理和質量控制的能力的需要，制定HY/T0370《海洋環(huán)境數據處理與質量控制規(guī)范》系列標準。HY/T0370《海洋環(huán)境數據處理與質量控制規(guī)范》擬由以下11個部分組成?！?部分：海洋水文。目的是為海洋環(huán)境水文調查數據的收集、處理和質量控制，提供規(guī)范性的內容、流程和方法。 第2部分；海洋氣象。目的是為海洋環(huán)境氣象調查數據的收集、處理和質量控制，提供規(guī)范性的內容、流程和方法?！?部分：海洋化學?！?部分：海洋生物?！?部分：海洋底質?！?部分：海洋地質、地球物理?！?部分：海洋地形、地貌。——第8部分：海洋工程地質。——第9部分：海洋遙感?！?0部分：海洋聲學。——第11部分：海洋光學。HY/T0370.1提供了規(guī)范的海洋水文數據處理與質量控制內容、流程和方法，清晰工作思路，提高工作效率，為最終獲得及時、完整和質量可靠的海洋調查數據打下基礎。1海洋環(huán)境數據處理與質量控制規(guī)范第1部分：海洋水文本文件確立了海洋環(huán)境水文數據處理與質量控制的處理流程、處理原則，規(guī)定了數據預處理和標準本文件適用于水溫、鹽度、海流、海浪、水位、水色、透明度和海發(fā)光海洋水文數據的處理和質量2規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于GB/T12460—2006海洋數據應用記錄格式GB/T15920海洋學術語物理海洋學GB/T14914(所有部分)海濱觀測規(guī)范3術語和定義GB/T15920和GB/T14914(所有部分)界定的以及下列術語和定義適用于本文件。對數據(包括數值的和非數值的)進行分析、整理、計算和編輯等加工的技術過程。在標準化處理前對資料進行的載體轉換、信息補充、數據文件類型轉換、文件合和要素名稱統(tǒng)一等處理過程。按照資料類別，采用規(guī)范流程，對不同來源的資料進行格式、編碼、計量單的數據處理過程。采用多種數據處理方法、模型和參數，綜合判斷數據質量可靠性，并進行質量標識的處理過程。海洋水文數據marinehydrolog反映海面及海面以下的海洋水文狀況及其變化過程的觀測數據。2采用規(guī)定的方法和參數，判斷海洋水文要素數據是否符合特定規(guī)律的檢查。4.1處理流程海洋水文數據處理流程包括以下6個方面內容：——預處理；——標準化處理；——質量控制；——質量評估；——清單制作；——元數據制作。4.2處理原則海洋水文數據處理遵循以下原則。a)完整性：海洋水文數據處理過程中保證數據類型和內容觀測信息等的完整。b)規(guī)范性：對海洋水文數據進行規(guī)范化和統(tǒng)一化的處理。同一類型數據采用的存儲格式、編碼和計量單位保持一致。c)真實性：海洋水文數據處理過程中保證數據項和輔助項與原始資料一致，不在數據處理過程中對原始資料做修改或增減。d)可靠性：數據處理過程中對數據進行質量控制，對正確數據和錯誤數據進行標識。5預處理和標準化處理5.1預處理審核海洋水文數據中數據來源、獲取方式、儀器設備名稱及參數和處理者等能說明資料狀況的信息是否齊全；審核數據類型、站次數、觀測時間和觀測位置等是否與任務規(guī)定相符，能否滿足數據標準化要求。對于信息收集不完整的數據，應從航次調查報告、資料處理報告、值班日志信息、原始觀測記錄報表、觀測儀器信息等文檔中提取所需要的信息；若信息存儲在紙介質或圖像等模擬信號中，還應對其進行數字化處理。5.2標準化處理海洋水文數據標準化由以下4部分組成。a)代碼標準化：對按代碼記錄的項目，應進行代碼統(tǒng)一后再行記錄。b)計量單位標準化：將同一類型要素的不同計量單位統(tǒng)一為相同的計量單位。c)記錄格式標準化：將同一類型要素按照標準格式要求，將數據現(xiàn)有格式轉換為標準格式。d)文件名稱標準化：按照統(tǒng)一的命名規(guī)則進行文件的標準命名。36質量控制6.1質量控制目的為保證海洋水文數據存儲的完整性、規(guī)范性、真實性和可靠性，對數據異常和缺測等情況進行判斷，并對正確、可疑、錯誤和缺測數據進行質量標識。6.2質量控制對象海洋水文數據的質量控制對象包括采用不同觀測和調查手段獲取的水溫、鹽度、海流、海浪、水位、水色、透明度和海發(fā)光數據。6.3質量控制方法6.3.1一般說明6.3.1.1質量控制方法包括自動質量控制和人工審核。6.3.1.2自動質量控制方法是由計算機軟件對數據進行質量檢查和質量符標識的過程，自動質量控制方法分為基礎信息檢驗和要素特性檢驗。基礎信息檢驗是各要素通用的檢驗方法，包括：格式檢驗、全等性檢驗、日期檢驗、位置檢驗、著陸檢驗、深度檢驗和速度檢驗，按照附錄A中A.1.1的規(guī)定進行檢驗。要素特性檢驗是對不同類型要素進行的特有的檢驗方法，包括：范圍檢驗、遞增性檢驗、連續(xù)性檢驗、尖峰檢驗、極值檢驗和相關性檢驗等，按照A.1.2進行檢驗。6.3.1.3人工審核方法是由專業(yè)技術人員采用人工或人機交互方式對數據進行質量判斷的過程，方法包括航次軌跡檢驗、區(qū)域特性檢驗和時間序列圖形檢驗等，按照A.2進行審核。6.3.1.4海洋水文數據宜采用自動質量控制和人工審核相結合的方法開展質量控制，對有時效要求產出的實時數據可采用自動質量控制方法。6.3.2分類質量控制方法針對不同類型的海洋水文數據使用不同的質量控制方法進行數據質量判斷。其中，溫鹽按照附錄B的規(guī)定進行質量控制；海流按照附錄C的規(guī)定進行質量控制；海浪按照附錄D的規(guī)定進行質量控制；水位按照附錄E的規(guī)定進行質量控制；水色、透明度和海發(fā)光數據按照附錄F的規(guī)定進行質量控制。數據質量標識方法采用對數據記錄標識質量符的方式。質量符為字符型，應符合A.3的規(guī)定。7質量評估7.1質量評估的形式數據質量評估應編制數據質量評估報告。7.2質量評估指標質量評估指標由以下方法確定。a)有效記錄數：數據經過質量控制處理后，質量標識為正確的數據記錄總數。b)有效率：有效記錄數占全部記錄數的百分比。4c)缺測記錄數：數據經過質量控制處理后，質量標識為缺測的數據記錄總數。d)缺測率：缺測記錄數占全部記錄數的百分比。e)重復率：重復記錄數占全部記錄數的百分比。7.3質量評估報告內容數據質量評估報告宜包括以下內容。a)數據概況：●包括數據來源機構、總數據容量、文件數、分類型數據容量、文件數；●數據存儲格式、是否可讀、讀取方式或軟件、數據的空間范圍描述(空間分布站位圖)、數據的時間范圍；●觀測載體數量(航次數、站數、站次數、船數)。b)數據質量情況：●根據實際需要選擇包含數據的總記錄數、有效記錄數、有效率；●各要素的總記錄數、有效記錄數、缺測率和有效率等(采用數字、表格或圖形的方式展示);●以船、航次、站、觀測儀器等為單位分別說明數據的有效記錄數、有效率和缺測率；●描述主要存在質量問題，作出原因分析。c)數據分析：選編內容，一般包括局地氣候代表性、對研究解決科學問題的支撐情況等。d)數據應用價值分析和建議：●根據社會普遍需求給出數據的應用價值，包括可應用領域、經濟價值和社會價值等；●根據目前具體的工作需要給出數據具體的應用價值；●提出數據存在的問題和使用時的注意事項以及進一步收集數據的需求。8清單制作編制標準數據集的數據清單，數據清單的內容包括：序號、項目名稱和編號、數據名稱、學科類型、開始時間、結束時間、空間范圍、文件數、數據量、處理人、處理單位(部門)、密級和備注等。9元數據制作海洋水文數據經過質量控制處理后形成的標準數據集，根據需要編制對應元數據信息。元數據包含的信息如下。a)基本信息：數據名稱、摘要、關鍵詞、創(chuàng)建日期、聯(lián)系辦法、數據格式、安全級別、區(qū)域和時間等基本信息。b)調查信息：項目、單位、平臺、儀器和起止時間等與數據調查相關的信息。c)質量信息：數據處理過程、處理方法、處理人和資料質量情況等描述數據質量的信息。d)內容信息：要素、計量單位、精確度等描述數據內容特征的信息。e)參照系信息：參照系統(tǒng)名稱、投影、基準等數據所使用空間參照系統(tǒng)的說明信息。5(規(guī)范性)質量控制方法A.1自動質量控制方法A.1.1基礎信息檢驗A.1.1.1格式檢驗按照規(guī)定的格式進行項目要素記錄的檢驗，包括起始位置、長度、數據記錄的類型以及缺測值的填寫等，不滿足規(guī)定格式要求的數據記錄均為錯誤。A.1.1.2全等性檢驗針對觀測記錄中的某些要素項，如資料類型、固定站點代碼、平臺代碼、觀測方法、儀器名稱、觀測儀器海拔高度、觀測要素代碼等進行數據檢驗，這些要素項的參數記錄和約定值必須完全一致，否則視為錯誤。A.1.1.3時間檢驗觀測時間(年、月、日、時、分、秒和時區(qū))的取值應位于合理范圍內。其中，年份取值不大于當前年份，月份取值范圍為1～12,日期取值介于當月的天數之間，小時取值范圍為0～23,分、秒取值范圍為0～59。同批次調查資料時間信息應與調查時間一致。A.1.1.4位置檢驗海洋觀測資料的測站位置應在合理取值范圍內。如：全球經度范圍為一180°~180°,緯度范圍為一90°~90°,特定調查可根據具體要求調整經緯度范圍。固定觀測站位漂移范圍通過球面換算不超過5km:A.1.1.5著陸檢驗近岸和大洋觀測位置應位于海洋中，依據全球數字化地圖判斷觀測數據位置是為陸地或是海洋。A.1.1.6深度檢驗海洋觀測資料的深度應在實際地形范圍內，判斷觀測站點位置的觀測深度是否符合深度要求。A.1.1.7速度檢驗移動觀測平臺的移動速度應處于合理的范圍內。將移動觀測平臺當前時間的觀測位置與前一個有正確觀測位置進行距離和對應的時間差的計算得到平均速度，對于觀測船，最大速度應小于20.0m/s(約40節(jié));對于漂流浮標，最大速度應小于3.5m/s。A.1.2要素特性檢驗A.1.2.1范圍檢驗根據海洋水文觀測要素特點，定義各要素的正常取值范圍，對數據進行合理性檢驗。如果超出正常6A.1.2.2遞增性檢驗要素剖面深度、連續(xù)站點觀測時間等按一定的順序排列應是遞增的，假設當前觀測值為x;,與其相鄰的上一個觀測值為x;-1,應滿足公式(A.1),否則該數據異常。x;-x-i≥H……(A.1)x;-1——與x;相鄰的上一個觀測值；H——檢驗值，根據數據觀測特性的不同具體確定。A.1.2.3連續(xù)性檢驗海洋水文要素在一定時間和空間范圍內具有連續(xù)性，時間接近或者位置鄰近的要素變化值應在一定范圍內，假設當前觀測值為x;,與其時間或者空間相鄰的上一個非缺測值為x;-1,則應滿足公式(A.2),否則該數據異常。x;-1——與x;時間或者空間相鄰的上一個非缺測值；A.1.2.4尖峰檢驗海洋水文數據在垂向空間或連續(xù)時間范圍內應相對平滑，假設當前觀測值為x;,與其時間或空間相鄰的觀測值為x;-1和xi+1,則要求x;滿足公式(A.3),否則認為x;異常。|x;-(xi+x-)/2|-|(xi-x-1x;-1——與x;相鄰的上一個觀測值；H——檢驗值，根據要素類型、觀測時間間隔和垂向距離等因素確定。A.1.2.5極值檢驗定點定時要素觀測值的取值應在該地該要素的多年極值范圍內，若不滿足，則判定其為異常值。Min(X)≤X≤Max(X)Min(X)——多年極小值；X——當前觀測值；Max(X)——多年極大值。根據海洋水文數據間的相互關系進行檢驗，即通過要素間的相互關系(如：一日內各定時或逐時記錄值是否超出日極值；最大波高必須大于或等于平均波高；最大周期必須大于或等7潮高與逐時潮高的關系；波型、波高和海況的關系；風速、波高和周期的關系；海水鹽度、溫度和密度的關系等)檢驗數據的異常。A.2人工審核A.2.1航次軌跡檢驗通過航線圖驗證著陸點檢驗的結果，并檢查航行觀測軌跡是否合理。A.2.2區(qū)域特性檢驗根據當前數據的觀測時間和經緯度，查找與之時空相近的同類型歷史數據進行比較，以及不同要素疊加比較，判斷該數據模態(tài)是否偏離于其他數據，對離群數據進行標識。A.2.3時間序列圖形檢驗通過繪制要素的時間序列過程線和剖面圖分布或廓線圖等圖形，以及同類要素不同觀測頻率時間序列，判別觀測要素的突變值是異常值還是海洋真實變化。A.2.4數據抽樣檢驗人工抽樣繪制要素檢驗圖形和結果，檢查質量控制是否能準確判別正確和錯誤數據。A.3質量標識方法數據質量標識方法采用對數據記錄標識質量符的方式。質量符為字符型，其用法和意義按照表A.1的規(guī)定使用。表A.1質量符的用法和意義未作質量控制1正確2可能正確34備用9缺測8(規(guī)范性)溫鹽質量控制方法B.1質量控制方法分類溫鹽質量控制方法可歸納為以下3類：——基礎信息檢驗，包括格式檢驗、全等性檢驗、日期檢驗、位置檢驗、著陸檢驗檢驗；——人工審核，通過人工或人機交互的方式審核數據的異常情況。詳見A.1.1.B.3要素特性檢驗B.3.1范圍檢驗統(tǒng)計歷史海洋觀測資料確定溫度和鹽度要素的全球范圍和區(qū)域范圍，進行范圍檢驗，超過該范圍的數據視為錯誤。定點定時溫鹽觀測值的取值應在定點長期觀測統(tǒng)計極值范圍內，表B.1是溫鹽范圍檢驗全球區(qū)域的參數范圍，區(qū)域和定點范圍參數可根據實際情況確定。表B.1溫鹽范圍檢驗質量控制參數區(qū)域B.3.2深度遞增檢驗檢驗溫鹽剖面數據是否符合深度增加的要求。依次比較相鄰兩層的壓強或深度，如果相鄰兩層壓強或深度逆轉，只留第一個壓強或深度及該層次上的溫度和鹽度值。B.3.3剖面廓線檢驗判斷一個溫鹽剖面數值是否處于隨深度變化的廓線值內，適用于垂向深度較大的溫鹽剖面資料。表B.2為垂向深度統(tǒng)計的大洋溫度和鹽度廓線范圍。表B.2垂向深度統(tǒng)計溫度和鹽度廓線范圍溫度范圍/℃9表B.2垂向深度統(tǒng)計溫度和鹽度廓線范圍(續(xù))溫度范圍/℃B.3.4常數剖面檢驗檢驗垂向深度較大、層次較多的溫鹽剖面數據變化，找出剖面中的要素最大值Vmx和最小值VN,計算兩者之差，兩者之差應該滿足公式(B.1),若不滿足，視為整個剖面所有觀測要素均為錯誤數據。溫度和鹽度常數剖面檢驗值見表B.3。VMAx-VMv≥H……式中：Vwax——一個剖面中的要素最大值；Vxnv——一個剖面中的要素最小值；H——檢驗值。表B.3溫鹽常數剖面檢驗值B.3.5尖峰檢驗檢驗溫鹽剖面上隨深度連續(xù)變化的要素突變尖峰是否超出變化范圍。計算方法詳見A.1.2.4。溫度和鹽度尖峰檢驗值見表B.4。表B.4溫鹽尖峰檢驗值溫度HY/T0370.1—2023表B.4溫鹽尖峰檢驗值(續(xù))鹽度B.3.6密度反轉檢驗檢驗同一剖面相鄰深度的海水位勢密度，相鄰兩層的位勢密度之差在一定范圍內，深度較小處的密度與深度較大處的密度反轉應保持在合理范圍內。從淺層到深層，i+1層對應的密度值為pi+i,i層對應的密度值為p;,i-1層對應的密度值為p,-1,如果符合公式(B.2),且符合公式(B.3),則i+1層的溫度和鹽度都應標識為錯誤數據。P;-1>p+p+1——i+1層對應的密度值。從深層到淺層，i-1層對應的密度值為p;-1,i層對應的密度值為p;,i+1層對應的密度值為p+i,如果符合公式(B.4),且符合公式(B.5),則i-1層的溫度和鹽度都應標識為錯誤數據。p;-p;-1<0.03kg/m3…P;-1>p+i………Pr+i—i+1層對應的密度值。B.3.7溫度冰點檢驗溫鹽剖面觀測溫度不應小于計算的冰點溫度理論值。在同一壓力層中，溫鹽觀測值都存在則計算冰點溫度，否則計算下層計算值。冰點溫度算法見公式(B.6)。T=-0.0575×S+(1.710523×10-3)×S3/-(2.154996×10~1)×S2-(7T——計算的冰點溫度值；S——PSU單位的鹽度值，范圍為(27～35)PSU;p——在上述觀測鹽度下的壓力層，單位為兆帕(MPa)。B.3.8氣候特性檢驗基于海洋觀測資料在區(qū)域中的概率統(tǒng)計特性，檢驗溫鹽要素是否服從季節(jié)性變化統(tǒng)計規(guī)律，定點觀測站為本站統(tǒng)計。從歷史資料中統(tǒng)計測站位置要素數據的累年/月平均值ann和對應的均方差sd,選取合理的倍數m(如m=3)。如果不能滿足公式(B.7),則判定其為異常值，需進一步分析。ann-m×sd≤X≤ann+m×sdann——歷史資料中統(tǒng)計的要素數據的累年/月平均值；or=K(T)T△X<σr詳見A.2。(規(guī)范性)海流質量控制方法C.1質量控制方法分類海流質量控制采用的方法可歸納為以下3類：——基礎信息檢驗，包括格式檢驗、全等性檢驗、日期檢驗、位置檢驗、著陸檢驗——人工審核，通過人工或人機交互的方式審核數據的異常情況。C.2基礎信息檢驗C.3要素特性檢驗統(tǒng)計歷史資料確定流速和流向的一般取值范圍，超過該范圍的數據視為錯誤。海流要素范圍檢驗值見表C.1。表C.1海流范圍檢驗質量控制參數質量控制參數范圍水平流向0°~360°(361°靜穩(wěn)，362°不定向)時間鄰近且空間接近的海流要素具有連續(xù)性，變化值應在一定范圍內，連續(xù)性檢驗方法詳見A.1.2.3,流速檢驗值見表C.2。表C.2流速連續(xù)性檢驗值東分量海流在空間或時間范圍內變化是有限的，若出現(xiàn)較大的突變，這一突變值與周圍觀測值明顯不同，則判定其為異常值，尖峰檢驗方法詳見A.1.2.4,流速尖峰檢驗值見表C.3。表C.3流速尖峰檢驗值東分量C.3.4良好百分比檢驗根據使用儀器特性，確定海流數據良好百分比檢驗的閾值，小于閾值的剖面數據視為壞數據。閾值根據數據特性和研究需求自行確定。C.3.5調和常數范圍檢驗對近岸潮流數據進行調和分析，將其調和常數與該區(qū)域的歷史資料或其他觀測數據調和分析獲得的調和常數進行比較，如存在明顯差異，不滿足分布規(guī)律，則數據可疑。C.4人工審核HY/T0370.1—2023(規(guī)范性)海浪質量控制采用的方法可歸納為以下3類：波向0°~360°檢驗海況、波型、風(涌)浪向、周期、波高等同時觀測多要素之間相關關系，波型代碼見值如表D.2所示，超出相關時空范圍均不HY/T0370.1—2023參考檢驗值范圍檢驗相鄰時刻定點海浪觀測要素差值。尖峰檢驗計算公式詳見A.1.2.4,海浪采用尖峰檢參考檢驗值范圍D.3.5異常值統(tǒng)計檢驗檢驗波高時間序列中所出現(xiàn)異常值的統(tǒng)計特性，采用Grubbs準則臨界值參數對數據進行質量控x;-x|≤G×ot——自由度為n—2,顯著性水平為a/n的單邊界檢驗t分布的臨界值，一水位數據質量控制方法可歸納為以下4類：詳見A.1.1。逐時潮位中至少有一個是可疑的。其中k時刻估計潮位值可用公式(EASx+i——k+1時刻