一種適用于智能船舶的分布式數(shù)據(jù)網(wǎng)絡平臺

一種適用瑋能船舶的分布式數(shù)據(jù)網(wǎng)絡平臺鐘偉;陸錦輝【摘要】研究并構建一種智能船舶系統(tǒng)分布式數(shù)據(jù)網(wǎng)絡的整體架構.從智能船舶對數(shù)據(jù)存儲和利用方面的需求出發(fā)，探討分布式數(shù)據(jù)庫在船舶網(wǎng)絡平臺中的應用，并對船舶數(shù)據(jù)預處理的應用進行論述.該平臺能為船舶智能管理和和應用提供有力的數(shù)據(jù)支撐.【期刊名稱】《上海船舶運輸科學研究所學報》【年(卷)，期】2018(041)004【總頁數(shù)】5頁(P30-33,65)【關鍵詞】智能船舶;網(wǎng)絡平臺;分布式數(shù)據(jù)庫;數(shù)據(jù)預處理【作者】鐘偉;陸錦輝【作者單位】海軍駐上海七一所軍事代表室，上海201108;上海船舶運輸科學研究所，上海200135【正文語種】中文【中圖分類】U675.790引言隨著智能船舶系統(tǒng)的功能日趨多樣化、復雜化，船舶數(shù)據(jù)呈現(xiàn)出海量、高維的特點，使得傳統(tǒng)的船舶數(shù)據(jù)網(wǎng)絡管理平臺已不能滿足現(xiàn)代船舶的應用需求。此外，網(wǎng)絡化、精細化和智能化的管理已成為海上運輸業(yè)賴以生存和發(fā)展的必備條件，而這種發(fā)展趨勢的基礎和關鍵是對船舶數(shù)據(jù)的合理管理與運用，進而推動船舶數(shù)據(jù)管理模式的不斷發(fā)展創(chuàng)新。本文提出一種適用于智能船舶的分布式數(shù)據(jù)網(wǎng)絡管理平臺，結合智能船舶系統(tǒng)固有的特點和船舶應用需求的多樣性，為船舶數(shù)據(jù)獲取、處理和分析建立良好的平臺，大大提高船舶數(shù)據(jù)的管理效率。1智能船舶分布式數(shù)據(jù)網(wǎng)絡平臺架構船舶數(shù)據(jù)信息具有異構性和多源性，包括船位、航速、航向、風向、風速、水深、舵角指令、主機工作狀態(tài)、主機報警、貨物的溫度和濕度等。這些數(shù)據(jù)信息對應于船上的全球定位系統(tǒng)（GlobalPositioningSystem,GPS）、陀螺羅經(jīng)、計程儀、測深儀、主機監(jiān)控系統(tǒng)和冷藏集裝箱傳感器等設備。這些設備的型號和接口種類繁多，給數(shù)據(jù)采集帶來很大困難。此外，對于必須獲取的主機狀態(tài)參數(shù)和報警信息及與貨物有關的信息，不同船舶的信號數(shù)量和信號類型差別很大，且存在空間距離大、通信距離遠、信號點多和電纜數(shù)量多等問題。由此，為有效解決上述問題，對智能船舶分布式數(shù)據(jù)網(wǎng)絡平臺進行研究。智能船舶分布式數(shù)據(jù)網(wǎng)絡平臺集數(shù)據(jù)采集、融合、分析和遠程傳輸于一體，通過對采集的數(shù)據(jù)進行分析，實現(xiàn)船舶的智能網(wǎng)絡平臺管理、智能能效管理、智能航行管理和智能機艙管理等綜合性管理。智能船舶分布式數(shù)據(jù)網(wǎng)絡平臺采用三層四級結構，從數(shù)據(jù)的角度可分為數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲和數(shù)據(jù)應用等4部分（見圖1）。圖1智能船舶分布式數(shù)據(jù)網(wǎng)絡平臺整體架構數(shù)據(jù)采集主要利用傳感器技術、無線接入技術、嵌入式數(shù)據(jù)采集模塊和視頻監(jiān)控設備等對船舶系統(tǒng)進行全方位的數(shù)據(jù)采集，具體的采集對象和內(nèi)容包括船舶航行參數(shù)（船舶位置信息、航速、航跡、風速、風向、操舵命令和回應、回聲測探等）、機艙監(jiān)控信息（主機系統(tǒng)、燃油系統(tǒng)、滑油系統(tǒng)、冷卻水系統(tǒng)、排氣系統(tǒng)、空氣系統(tǒng)、舵機系統(tǒng)、錨機系統(tǒng)、鍋爐系統(tǒng)和副機系統(tǒng)等）、船舶當前所處的環(huán)境信息（臺風路徑、海況等）及冷藏集裝箱溫度信息、視頻監(jiān)控信息等。以機艙為例，船舶機艙作為船舶系統(tǒng)設備最集中的部分，對其數(shù)據(jù)進行采集和處理是一項相對繁重的工作，往往需同時處理上千個來自機艙各傳感器的數(shù)字信號、模擬信號和頻率信號等，并對其進行報警和發(fā)出相應的控制指令。該平臺通過數(shù)據(jù)接口,直接從智能機艙管理應用中獲取機艙監(jiān)測數(shù)據(jù)，并以標準的格式輸出，存儲到數(shù)據(jù)庫中。對于智能航行，傳感器將氣象數(shù)據(jù)轉換成數(shù)據(jù)采集器所需的數(shù)字信號，以便進行測量。數(shù)據(jù)采集模塊通過總線掛接各種功能板來采集和處理分散配置的各傳感器信號，經(jīng)過處理的數(shù)據(jù)用有線的方式傳輸至數(shù)據(jù)庫。船端各設備之間的數(shù)據(jù)傳輸和各服務器之間的數(shù)據(jù)傳輸主要通過有線和無線局域網(wǎng)的方式實現(xiàn)；船舶近岸時采用無線局域網(wǎng)、無線電和3G/4G接入互聯(lián)網(wǎng)等方式通信；遠洋船舶與岸基主要依靠海事衛(wèi)星通信系統(tǒng)通信，經(jīng)過船端應用服務器的分析和處理，將數(shù)據(jù)包通過Web服務器、船舶海事衛(wèi)星通信設備和海事通信衛(wèi)星發(fā)送到衛(wèi)星地面站，由衛(wèi)星地面站中轉，經(jīng)Internet傳輸?shù)桨抖藬?shù)據(jù)網(wǎng)絡平臺。為提高船舶數(shù)據(jù)的存儲容量和安全性，該數(shù)據(jù)網(wǎng)絡平臺建立有分布式數(shù)據(jù)庫，船舶各系統(tǒng)數(shù)據(jù)被采集之后經(jīng)數(shù)據(jù)傳輸網(wǎng)絡存儲到各存儲節(jié)點，進行合理的數(shù)據(jù)備份和數(shù)據(jù)預處理。為提高數(shù)據(jù)的利用效率，對各存儲節(jié)點進行原始數(shù)據(jù)的合理保留及對預處理后的數(shù)據(jù)進行分層，在基礎應用層存儲基礎應用（如機艙設備故障檢測等）數(shù)據(jù)模型所需的數(shù)據(jù)，在高級應用層存儲高級應用（如船舶調(diào)度等）數(shù)據(jù)模型所需的數(shù)據(jù)。數(shù)據(jù)應用主要分為船端應用和公司端應用2部分，其中船端利用感知層采集的信息，經(jīng)過網(wǎng)絡層傳輸，可開展對船舶航行和貨物監(jiān)測管理相關的應用。公司端應用可分為二級公司和總公司2部分，其中：各二級公司通過網(wǎng)絡層接收船端傳輸?shù)男畔?，開展船舶動態(tài)監(jiān)控和調(diào)度、貨物監(jiān)控、應急處置、遠程醫(yī)療及船舶油耗管理等操作層面的應用；集團總公司系統(tǒng)除了可實現(xiàn)二級公司的功能之外，還可開展綜合分析和輔助決策等宏觀管理應用。對于智能船舶分布式數(shù)據(jù)網(wǎng)絡管理平臺，數(shù)據(jù)存儲是至關重要的環(huán)節(jié)，數(shù)據(jù)存儲的優(yōu)化程度很大程度上決定著數(shù)據(jù)管理和應用的效率。2船舶數(shù)據(jù)分布式存儲分布式數(shù)據(jù)庫是船舶分布式數(shù)據(jù)網(wǎng)絡平臺的重要組成部分，其優(yōu)化程度對船舶數(shù)據(jù)管理效率有關鍵性影響。常見的應用于船舶上的分布式數(shù)據(jù)庫是一種關系型數(shù)據(jù)庫，具有使用方便、易于維護和可用于復雜查詢等特點。隨著船舶數(shù)據(jù)量的不斷增大，這種關系型數(shù)據(jù)庫逐漸暴露出很多難以克服的問題。例如，隨著船舶功能應用服務的多樣化和精細化，數(shù)據(jù)庫運行過程中的并發(fā)負載逐漸增大，若數(shù)據(jù)庫無法承受如此高的并發(fā)量，可能會崩潰，導致用戶數(shù)據(jù)丟失或受損。為滿足智能船舶系統(tǒng)數(shù)據(jù)安全存儲和管理的需求，數(shù)據(jù)庫應具有高可用性、高性能、自治與集中相結合的控制結構等特點。智能船舶分布式數(shù)據(jù)網(wǎng)絡平臺采用分布式數(shù)據(jù)庫，其架構見圖2，包括分布式數(shù)據(jù)存儲節(jié)點和數(shù)據(jù)庫引擎2部分。分布式數(shù)據(jù)庫引擎是系統(tǒng)的核心，負責SQL解析、重寫和執(zhí)行等操作，同時對底層的眾多存儲節(jié)點進行管理。分布式存儲節(jié)點采用關系型數(shù)據(jù)庫，主要負責數(shù)據(jù)存儲、處理和同步。在船舶數(shù)據(jù)管理過程中，可靈活構建不同規(guī)模的數(shù)據(jù)庫集群，通過將業(yè)務數(shù)據(jù)分片到不同的數(shù)據(jù)庫存儲節(jié)點中，極大地降低普通數(shù)據(jù)庫面對海量數(shù)據(jù)時的壓力；通過將用戶的SQL請求分發(fā)到各節(jié)點子工作站上執(zhí)行，充分利用各節(jié)點的計算資源，從而提高船舶系統(tǒng)服務器集群的運行效率。圖2分布式數(shù)據(jù)庫的架構基于分布式數(shù)據(jù)庫基礎架構，對分布式數(shù)據(jù)庫集群下的各數(shù)據(jù)存儲節(jié)點進行應用分層劃分，數(shù)據(jù)庫的2層應以相同的標準配置，船舶設備數(shù)據(jù)采集網(wǎng)絡采集到的數(shù)據(jù)經(jīng)預處理之后分別保存到實時庫、時序庫和關系庫中。分區(qū)的關系庫只保存本區(qū)的歷史數(shù)據(jù);時序數(shù)據(jù)庫屬于內(nèi)存中實時庫的擴展，主要保存具有快速順序變化特點的數(shù)據(jù)序列，即對某些量，保存其在某段時間內(nèi)產(chǎn)生的歷史信息。在數(shù)據(jù)庫的2層中，一層向下服務于船舶基礎應用，如主機速度控制、艙室溫度調(diào)節(jié)等；另一層服務于主站或岸基用戶的高級應用，如貨物狀態(tài)查詢、岸基船舶調(diào)度和應急指揮等。這種劃分方式可實現(xiàn)對船舶系統(tǒng)數(shù)據(jù)更精細化、高效化的分類管理，實現(xiàn)對系統(tǒng)安全的差別化處理和對專業(yè)業(yè)務、高級應用及業(yè)務分析的快速響應。該設計的優(yōu)越性是在子站服務器、主服務器和應用服務器等相關服務器配置好各類應用對應的數(shù)據(jù)模型的前提下，當岸基用戶或船舶工作站有應用請求時，可快速、高效地從分布式數(shù)據(jù)庫中準確提取數(shù)據(jù)，避免遍歷數(shù)據(jù)造成船舶數(shù)據(jù)網(wǎng)絡擁堵、耗時等。3船舶數(shù)據(jù)的預處理船舶數(shù)據(jù)監(jiān)測采集設備將采集到的數(shù)據(jù)經(jīng)前置數(shù)據(jù)采集網(wǎng)絡和SQL引擎存儲到分布式數(shù)據(jù)庫的各存儲節(jié)點中。受船舶監(jiān)測設備固有的問題和數(shù)據(jù)傳輸通道的雜質(zhì)因素影響，各存儲節(jié)點不可避免地存在〃臟數(shù)據(jù)”。船舶〃臟數(shù)據(jù)”主要有缺失數(shù)據(jù)和冗余數(shù)據(jù)2種，這2種數(shù)據(jù)的存在會導致數(shù)據(jù)集呈現(xiàn)出不完整性和重復性，在浪費數(shù)據(jù)存儲空間的同時，會使船舶故障診斷等應用產(chǎn)生較大的偏差。對于船舶數(shù)據(jù)缺失問題，目前相對簡單有效的一種解決方法是基于聚類分析的最近鄰填補算法，將馬氏距離與灰色分析法相結合計算K個近鄰，從而提高數(shù)值填補的準確性，減少記錄屬性的限制，擴大應用范圍。對于船舶數(shù)據(jù)冗余問題，目前普遍采用的相似重復記錄檢測方法大多基于對數(shù)據(jù)庫中的記錄進行排序的思想，主要有生成關鍵字對記錄進行排序、N-Gram方法和優(yōu)先權對列算法等。為滿足后續(xù)應用對原始數(shù)據(jù)的需求，數(shù)據(jù)預處理過程不對原始數(shù)據(jù)進行完全覆蓋，而是在經(jīng)數(shù)據(jù)預處理得到完整性和有效性較高的數(shù)據(jù)之后對原始數(shù)據(jù)進行選擇性覆蓋，應用服務器將根據(jù)需求從分布式數(shù)據(jù)庫中進行針對性的提取。船舶〃臟數(shù)據(jù)”預處理過程見圖3。圖3船舶〃臟數(shù)據(jù)”預處理過程對于智能船舶分布式數(shù)據(jù)網(wǎng)絡平臺而言，合理的數(shù)據(jù)預處理不僅能提高船舶數(shù)據(jù)的存儲量，而且能較大地提高數(shù)據(jù)的利用效率。例如智能能效管理，由于能效管理數(shù)據(jù)模型影響因子的復雜性，直接對相關原始數(shù)據(jù)進行提取和管理不僅會耗費數(shù)據(jù)庫管理資源，而且會大大降低能效管理方案的可靠性。因此，合理的數(shù)據(jù)預處理也是智能船舶數(shù)據(jù)網(wǎng)絡平臺必不可少的環(huán)節(jié)，將其與分布式數(shù)據(jù)庫相結合，共同助力智能船舶數(shù)據(jù)網(wǎng)絡管理平臺的高效發(fā)展。4結語本文以船舶應用需求為根本出發(fā)點，提出船舶分布式數(shù)據(jù)網(wǎng)絡管理平臺，根據(jù)智能船舶系統(tǒng)的固有特點進行針對性研究。該平臺不僅能彌補傳統(tǒng)數(shù)據(jù)管理平臺的缺陷，而且具有全面感知、可靠傳遞和智能應用的優(yōu)勢，應用于遠洋船舶運輸管理中，可建立集航運企業(yè)各部門和遠洋船舶于一體的安全監(jiān)控平臺。此外，船舶分布式數(shù)據(jù)網(wǎng)絡平臺可大大提高船岸定時交互數(shù)據(jù)和協(xié)作管理業(yè)務的效率，增強遠洋船舶物資運輸、航行、機務系統(tǒng)和油耗監(jiān)測管理等方面的安全性、可靠性和高效性，為船舶智能管理業(yè)務和應用提供有力的數(shù)據(jù)支撐?！鞠嚓P文獻】WANGYue,YANGPingli,YANGMei,etal.TheMiddlewareofIntegrationHeterogeneousDDB’sDesigningandRealizing[J].Microelectronics