第11章 電氣測試技術(shù)新發(fā)展

第11章電氣測試技術(shù)新發(fā)展概述

動態(tài)誤差修正技術(shù)傳感器自評估技術(shù)

多傳感器數(shù)據(jù)融合技術(shù)虛擬測試技術(shù)

物聯(lián)網(wǎng)技術(shù)智能云技術(shù)大數(shù)據(jù)內(nèi)容提綱厚德弘毅博學(xué)篤行第1頁第一部分概述厚德弘毅博學(xué)篤行第2頁隨著科學(xué)技術(shù)的進步，智能測試將是未來的發(fā)展潮流，智能測試通常有四種實現(xiàn)方式，即智能傳感器、智能儀表、虛擬儀器和智能測試系統(tǒng)。實際上，前三種只要聯(lián)網(wǎng)，都能成為智能測試系統(tǒng)的組成部分。智能測試系統(tǒng)由于采用先進的信息化技術(shù)，可以充分發(fā)揮計算機內(nèi)存量大、運算速度快的特點，利用信息處理方法實現(xiàn)測試技術(shù)的高度智能化。智能測試的實現(xiàn)在各個環(huán)節(jié)上都需要大量新技術(shù)的支撐。厚德弘毅博學(xué)篤行第3頁電氣測試技術(shù)的發(fā)展趨勢隨著現(xiàn)代技術(shù)的不斷進步，電氣測試技術(shù)要求精度更高、速度更快、功能更強、范圍更大。未來電氣測試技術(shù)的發(fā)展主要體現(xiàn)在四個方面:測試精度更高速度更快功能更強融合一切最新科技成果

厚德弘毅博學(xué)篤行第4頁現(xiàn)代電氣測試技術(shù)中傳感器的發(fā)展方向

隨著現(xiàn)代測試技術(shù)手段的發(fā)展和變頻技術(shù)的應(yīng)用，傳統(tǒng)的電氣測試設(shè)備已不能滿足變頻線路電氣參數(shù)測試的要求。另外人們對行業(yè)安全性和可靠性的要求也越來越高，因此要對電氣設(shè)備的監(jiān)測高度重視。在電氣設(shè)備的監(jiān)測過程中，電子傳感器發(fā)揮著非常重要的作用，它的主要優(yōu)點是使用期限長、運行穩(wěn)定、無活動出點、高分辨率、高靈敏度且重復(fù)性和線性度較好。主要缺點是頻率響應(yīng)低，不適用于快速動態(tài)場合，而且要利用轉(zhuǎn)換電路才能輸出電量。厚德弘毅博學(xué)篤行第5頁智能電氣測試技術(shù)

智能電氣測試系統(tǒng)采用先進的信息化技術(shù)，可以充分發(fā)揮計算機內(nèi)存容量大、運算速度快的特點，利用知識處理方法實現(xiàn)測試技術(shù)的高度智能化。厚德弘毅博學(xué)篤行第6頁第二部分動態(tài)誤差修正技術(shù)厚德弘毅博學(xué)篤行第7頁動態(tài)測量誤差及其理論

近年來，光電、數(shù)字化、微處理、自動化等技術(shù)的廣泛應(yīng)用以及智能化測試、柔性測試、計算機輔助測試等技術(shù)的發(fā)展，各種動態(tài)測量數(shù)據(jù)處理方法層出不窮，使動態(tài)測量誤差理論得到了相應(yīng)的發(fā)展，取得了一定的成果：動態(tài)測量數(shù)據(jù)處理方法層出不窮。主要有譜分析、回歸分析、時序分析、濾波分析、神經(jīng)網(wǎng)絡(luò)、小波變換、遺傳算法等。動態(tài)測量誤差分離與修正技術(shù)。由于計算機的普及，誤差分離與修正技術(shù)得到了新的提升，不僅使理論得到了進一步的補充而且它不再停留在理論計算階段。而是與計算機相結(jié)合，應(yīng)用在實際的生產(chǎn)線上并進行實時誤差分離與修正。動態(tài)測量誤差評定。動態(tài)測量誤差評定一直是各國研究機構(gòu)和學(xué)者研究的重點，現(xiàn)已提出了若干評定指標(biāo)，如均值函數(shù)、方差函數(shù)、自相關(guān)函數(shù)或自協(xié)方差函數(shù)等。全系統(tǒng)動態(tài)精度理論概念的提出。它從全面分析系統(tǒng)內(nèi)部各組成結(jié)構(gòu)和外部干擾因素入手，使輸入輸出之間的“黑箱”即實際系統(tǒng)盡可能“白化”或“固化”，便于采用傳遞鏈函數(shù)代替?zhèn)鹘y(tǒng)的傳遞函數(shù)方法來研究。厚德弘毅博學(xué)篤行第8頁第三部分傳感器自評估技術(shù)厚德弘毅博學(xué)篤行第9頁傳感器自評估模式

通常一個具有自評估功能的傳感器，需要考慮原始數(shù)據(jù)、測量值、輔助信號和設(shè)備專用測試的結(jié)果，首先傳感器對自身的狀態(tài)和性能做一個內(nèi)部評估，得到一個診斷狀態(tài)。由此產(chǎn)生了有效測量數(shù)據(jù)(validatedmeasurementvalue，簡稱VMV)，即當(dāng)前測量值的最佳估計和有效度指數(shù)。

有效度指數(shù)由兩部分組成：不確定度(validateduncertainty，簡稱VU)和測量值狀態(tài)(measurementvaluestatus，簡稱MVS)。測量值狀態(tài)反映了測量值是否是“活的”數(shù)據(jù)和故障的持續(xù)時間。若故障發(fā)生，VMV被校正到傳感器的最佳性能，當(dāng)原始數(shù)據(jù)不能用或者完全停止時，用過去的測量值推算出VMV。被評估的不確定度是與VMV有關(guān)的不確定度，它給出對于測量真值的置信區(qū)間。VU考慮到所有可能的誤差源，包含噪聲、測量方法和故障校正的策略。測量值狀態(tài)是一個離散值形式的標(biāo)志，表明VMV被計算的情況。厚德弘毅博學(xué)篤行第10頁在線性能評估指標(biāo)的確定

傳感器的性能指標(biāo)是表征傳感器工作特性的特征數(shù)據(jù)，是衡量傳感器性能優(yōu)劣的依據(jù)，可分為靜態(tài)指標(biāo)和動態(tài)指標(biāo)。

對于傳感器而言，其測量值的不確定度主要來源有：

①傳感器本身的固有特性（如靈敏度、鑒別力、死區(qū)、分辨力及穩(wěn)定性等）；

②外部影響因素（如外部干擾噪聲、被測量重復(fù)觀測值的隨機誤差等）。厚德弘毅博學(xué)篤行第11頁基于小波分析和神經(jīng)網(wǎng)絡(luò)的性能評估原理厚德弘毅博學(xué)篤行第12頁火力發(fā)電廠中熱電偶的應(yīng)用舉例

熱電偶是火力發(fā)電廠最常用的測溫元件，通常放在汽輪機底部的熱井中，參數(shù)測量直接影響機組的安全穩(wěn)定運行。熱電偶盡管結(jié)構(gòu)簡單，因其在苛刻的環(huán)境中工作，所以使用的過程中仍然會產(chǎn)生較大測量誤差。一般智能化的熱電偶具備基本的診斷能力，如診斷電壓過低和開路故障。這些故障狀態(tài)變化劇烈，比較容易檢測和診斷，而嚴(yán)重的是與熱井有關(guān)的故障。厚德弘毅博學(xué)篤行第13頁第四部分多傳感器數(shù)據(jù)融合技術(shù)厚德弘毅博學(xué)篤行第14頁數(shù)據(jù)融合技術(shù)概念厚德弘毅博學(xué)篤行第15頁（1）智能輔助系統(tǒng)管控功能結(jié)構(gòu)數(shù)據(jù)融合在廠用變電站智能輔助系統(tǒng)管控平臺中的應(yīng)用實例

在廠用變電站智能輔助系統(tǒng)管控平臺中對數(shù)據(jù)融合技術(shù)進行研究和應(yīng)用，目的是消除對設(shè)備狀態(tài)測量數(shù)據(jù)中的不確定性，并實現(xiàn)對故障目標(biāo)的識別與分類。主要研究內(nèi)容包括：根據(jù)各種傳感器采集的數(shù)據(jù)在時間和模式上的不同，對數(shù)據(jù)進行轉(zhuǎn)換進而實現(xiàn)一致性的信息顯示；通過對數(shù)據(jù)的關(guān)聯(lián)，保證數(shù)據(jù)之間的相關(guān)性，避免數(shù)據(jù)干擾，控制和降低計算復(fù)雜性；對多傳感器的觀測結(jié)果分析、補充、取舍、修改和決策計算，并生成融合計算結(jié)果；根據(jù)融合計算的結(jié)果，進行態(tài)勢評估，實現(xiàn)對結(jié)果的直觀顯示和對設(shè)備狀態(tài)趨勢的判斷。厚德弘毅博學(xué)篤行第16頁智能管控平臺功能體系圖厚德弘毅博學(xué)篤行第17頁（2）數(shù)據(jù)融合整體結(jié)構(gòu)數(shù)據(jù)融合系統(tǒng)整體結(jié)構(gòu)圖厚德弘毅博學(xué)篤行第18頁第五部分虛擬測試技術(shù)厚德弘毅博學(xué)篤行第19頁基于虛擬儀器的虛擬測試技術(shù)

虛擬儀器是具有虛擬儀器面板的個人計算機測量儀器，它將計算機資源與儀器硬件、數(shù)字信號處理技術(shù)結(jié)合，在系統(tǒng)內(nèi)共享軟硬件資源，既有普通儀器的功能，又有一般儀器所沒有的特殊功能?，F(xiàn)在國內(nèi)絕大部分文獻資料上所說的“虛擬測試技術(shù)”是指利用虛擬儀器技術(shù)來進行測試工作，而國外文獻中此類測試一般直接稱為“虛擬儀器”(VirtualInstrument，簡稱VI）。利用VI思想建立的測試系統(tǒng)提高了測量精度、測量速度，減少了開關(guān)、電纜，系統(tǒng)易擴充、易修改，使得測試系統(tǒng)體積小、靈活方便、成本低、效率高，因而得到了廣泛的應(yīng)用。厚德弘毅博學(xué)篤行第20頁基于虛擬現(xiàn)實的虛擬測試技術(shù)虛擬現(xiàn)實(VirtualReality，簡稱VR)是指綜合利用計算機圖形系統(tǒng)和各種顯示和控制等接口設(shè)備，在計算機上生成的、可交互的三維環(huán)境中提供沉浸感覺的技術(shù)。VR系統(tǒng)包含操作者、機器及人機接口三個基本要素，其中機器用來生成用戶能與之交互的虛擬環(huán)境的計算機，人機接口是指將虛擬環(huán)境與操作者連接起來的傳感與控制裝置。和其他的計算機系統(tǒng)相比，VR系統(tǒng)可提供實時交互性操作、三維視覺空間和多通道（視、聽、觸、味等）的人機界面。VR技術(shù)克服了傳統(tǒng)的人機接口方式的弊端，將會改變?nèi)祟惈@取信息的方式，提高人機之間的和諧程度，代表了人機接口方式的最新發(fā)展方向。厚德弘毅博學(xué)篤行第21頁基于軟件仿真的虛擬測試技術(shù)

虛擬測試(V-Test)是美國空軍懷特試驗室生產(chǎn)技術(shù)管理局的基金計劃。V-Test即開發(fā)滿足檢測器獨立測試要求的設(shè)計、捕獲、仿真的軟件工具和方法，并提供虛擬測試所需要的被測單元模板和檢測器資源描述信息。借助于V-Test，測試人員在產(chǎn)品設(shè)計階段就可以介入設(shè)計過程，提出改進產(chǎn)品可測試性的建議，并在設(shè)計模型的基礎(chǔ)上進行測試仿真。這不僅可以節(jié)省產(chǎn)品開發(fā)時間，也提高了測試質(zhì)量。

虛擬測試工作臺(VirtualTestBench，簡稱VTB)應(yīng)用較廣，可以將用不同語言建立的模型集成到一個仿真環(huán)境，通過軟件仿真來為復(fù)雜系統(tǒng)提供全面的設(shè)計和支持，也可用于可測試性分析和電路的故障診斷。此種虛擬測試的成功取決于測試軟件和配套的硬件及對被測芯片的快速、精確、全面的建模。厚德弘毅博學(xué)篤行第22頁基于虛擬儀器的變電站電能質(zhì)量監(jiān)測系統(tǒng)的實例（1）系統(tǒng)總體結(jié)構(gòu)電能質(zhì)量在線監(jiān)測系統(tǒng)結(jié)構(gòu)厚德弘毅博學(xué)篤行第23頁（2）數(shù)據(jù)采集

檢測終端主要由面向儀器設(shè)備的信號調(diào)理擴展(SignalConditioningExtensionsforInstrumentation，簡稱SCXI)信號調(diào)理器、PCI數(shù)據(jù)采集卡、工控機構(gòu)成。檢測終端的硬件結(jié)構(gòu)示意（3）數(shù)據(jù)分析

程序開發(fā)是在LabVIEW平臺上完成的，設(shè)計的檢測終端具備強大的數(shù)據(jù)處理能力，可以對電壓偏差、頻率偏差、電網(wǎng)諧波、三相不平衡、電壓波動與閃變、電壓暫降等電能質(zhì)量指標(biāo)進行詳細(xì)計算分析，并將分析結(jié)果進行存儲。第24頁厚德弘毅博學(xué)篤行厚德弘毅博學(xué)篤行第25頁第六部分物聯(lián)網(wǎng)技術(shù)厚德弘毅博學(xué)篤行第26頁物聯(lián)網(wǎng)定義及其特征物聯(lián)網(wǎng)是指通過射頻識別(RadioFrequencyIdentification，簡稱RFID)、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等信息傳感設(shè)備，按約定的協(xié)議把任何物品與互聯(lián)網(wǎng)連接起來，進行信息交換和通訊，以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。

這種定義有兩層意思：第一，物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)。第二，其用戶端延伸和擴展到了任何物品與物品之間，進行信息交換和通訊。

物聯(lián)網(wǎng)的特征主要體現(xiàn)在全面感知、可靠傳輸和智能處理三個方面。

全面感知是對物的生存狀態(tài)和環(huán)境信息實時感知，包括近距離感知（通過傳感器感知物理量）、遠(yuǎn)距離感知（通過網(wǎng)絡(luò)傳遞感知信息）和雙向感知。

可靠傳輸就是以互聯(lián)網(wǎng)為基礎(chǔ)，對需要聯(lián)網(wǎng)的物提供互聯(lián)互通的網(wǎng)絡(luò)，隨時隨地進行可靠的信息交互、信息反饋、自動化控制和智能自治管理。

智能處理利用云計算技術(shù)，對感知數(shù)據(jù)和信息進行分析處理，評估物的生存狀態(tài)和環(huán)境改變，對物實施相應(yīng)的控制策略，進行信息施救，并對信息施救效果進行評估。第27頁厚德弘毅博學(xué)篤行厚德弘毅博學(xué)篤行第28頁物聯(lián)網(wǎng)的分層結(jié)構(gòu)

物聯(lián)網(wǎng)從架構(gòu)上可分成感知層、傳輸層和應(yīng)用層三部分。

感知層是最底層，由傳感器及傳感器網(wǎng)絡(luò)組成。傳感器用來進行數(shù)據(jù)采集并實現(xiàn)控制，傳感器網(wǎng)絡(luò)是由使用傳感器的器件組成，在空間上呈分布式的無線自治網(wǎng)絡(luò)，其中每個傳感器節(jié)點都具有傳感器、微處理器以及通信單元，節(jié)點之間通過通訊聯(lián)絡(luò)組成網(wǎng)絡(luò)，共同協(xié)作來監(jiān)測各種物理量和事件。

傳輸層是中間層，由各種私有網(wǎng)絡(luò)、互聯(lián)網(wǎng)、有線和無線通信網(wǎng)、網(wǎng)絡(luò)管理系統(tǒng)等組成，負(fù)責(zé)傳遞和處理感知層獲取的信息。傳輸層由接入單元和接入網(wǎng)絡(luò)組成。接入單元從感知層獲取數(shù)據(jù)并將數(shù)據(jù)發(fā)送到接入單元，是連接感知層的網(wǎng)橋。現(xiàn)有的傳輸層技術(shù)主要有：PSTN技術(shù)、有線寬帶技術(shù)、移動通信技術(shù)、WiFi通信技術(shù)及各種終端技術(shù)。應(yīng)用層是最上層，主要完成數(shù)據(jù)的管理和處理，包括物聯(lián)網(wǎng)中間件及物聯(lián)網(wǎng)應(yīng)用兩部分。厚德弘毅博學(xué)篤行第29頁智能電網(wǎng)與物聯(lián)網(wǎng)

目前，物聯(lián)網(wǎng)技術(shù)在智能電網(wǎng)中的典型應(yīng)用主要包括以下幾個方面：（1）電力設(shè)備狀態(tài)監(jiān)測。在發(fā)、輸、變電環(huán)節(jié)中，通過各種傳感器終端對重要設(shè)備、輸電線路的關(guān)鍵狀態(tài)信息進行采集，并對獲取數(shù)據(jù)進行智能評估與診斷。（2）智能巡檢系統(tǒng)。主要用于指導(dǎo)變電站中巡檢人員執(zhí)行規(guī)范化的巡檢流程。（3）電力資產(chǎn)全壽命周期管理。通過對電力設(shè)備上部署RFID標(biāo)簽，對資產(chǎn)進行身份管理、狀態(tài)檢測、全壽命周期管理，提升管理水平。（4）用電信息釆集系統(tǒng)。通過智能電表對用電量進行實時釆集、計量，并分析用戶用電情況。（5）電動汽車輔助管理系統(tǒng)。主要實現(xiàn)電動汽車、電池、充電站三者的智能感知及互動，資源的統(tǒng)一配置和優(yōu)質(zhì)高效的服務(wù)。厚德弘毅博學(xué)篤行第30頁物聯(lián)網(wǎng)在智能電網(wǎng)中的應(yīng)用舉例

物聯(lián)網(wǎng)技術(shù)在智能電網(wǎng)中具有廣闊的應(yīng)用空間，能夠全方位的提高智能電網(wǎng)發(fā)、輸、變、配、用等各個環(huán)節(jié)的信息感知深度和廣度，實現(xiàn)智能電網(wǎng)的信息化和智能化。（1）發(fā)電環(huán)節(jié)。（2）輸電環(huán)節(jié)。（3）變電環(huán)節(jié)。（4）配電環(huán)節(jié)。（5）用電環(huán)節(jié)。厚德弘毅博學(xué)篤行第31頁第七部分智能云技術(shù)厚德弘毅博學(xué)篤行第32頁云計算基本原理“云計算”比較普遍的定義為：云計算是分布式處理、并行處理和網(wǎng)格計算的發(fā)展，或者說是這些計算機科學(xué)概念的商業(yè)實現(xiàn)，是基于網(wǎng)絡(luò)的超級計算模式。云計算是虛擬化、效用計算、基礎(chǔ)設(shè)施即服務(wù)、平臺即服務(wù)、軟件即服務(wù)等概念混合演進并躍升的結(jié)果。

基本原理是通過使計算任務(wù)分布在大量的分布式計算機上，而非本地計算機或遠(yuǎn)程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運行將與互聯(lián)網(wǎng)更相似。第33頁電力系統(tǒng)智能云

中國現(xiàn)有電力系統(tǒng)的特點是電網(wǎng)分布的地域特征不同，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)不同。電網(wǎng)的電氣特點是將電網(wǎng)劃分成多個子網(wǎng)，各子網(wǎng)的調(diào)度、運行、監(jiān)控、保護、輸配、營銷由各子網(wǎng)中心負(fù)責(zé)，各中心擁有并維護著所轄電網(wǎng)的詳細(xì)參數(shù)。各網(wǎng)絡(luò)都針對所轄區(qū)域內(nèi)的電網(wǎng)建立了較為詳細(xì)的電力系統(tǒng)模型，而對相鄰電網(wǎng)的模型則在一定程度上進行簡化和等值，并在此系統(tǒng)模型的基礎(chǔ)上進行計算機仿真，為電力調(diào)度、運行、監(jiān)控、保護、輸配電、營銷提供重要依據(jù)。這種簡化等值的方法克服了由于中國地域遼闊而導(dǎo)致電力系統(tǒng)數(shù)據(jù)資源廣域分布所帶來的數(shù)據(jù)難以收集的困難，降低了系統(tǒng)仿真的復(fù)雜程度，但是簡化等值模型的適用范圍有限，智能云能較好地解決這一問題。厚德弘毅博學(xué)篤行智能云的智能組成環(huán)節(jié)第34頁厚德弘毅博學(xué)篤行厚德弘毅博學(xué)篤行第35頁基于智能云的數(shù)字化變電站的應(yīng)用實例

電力系統(tǒng)數(shù)字化變電站是由一次設(shè)備和二次設(shè)備分層構(gòu)建，建立在IEC61850通信規(guī)范基礎(chǔ)上的現(xiàn)代化變電站，能夠?qū)崿F(xiàn)變電站內(nèi)電氣設(shè)備間信息共享和互操作的現(xiàn)代化變電站。由于數(shù)字化變電站和智能云的特點，兩者相結(jié)合可以實現(xiàn)基于智能云的電力系統(tǒng)數(shù)字化變電站。基于智能云的數(shù)字化變電站分層分布結(jié)構(gòu)示意圖第36頁厚德弘毅博學(xué)篤行厚德弘毅博學(xué)篤行第37頁第八部分大數(shù)據(jù)厚德弘毅博學(xué)篤行第38頁大數(shù)據(jù)概念

在物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)等技術(shù)的推動下，數(shù)據(jù)發(fā)生了“大爆炸”，其規(guī)模呈幾何級上升，已跨入以ZB為基本單位的大數(shù)據(jù)時代，“開采”大數(shù)據(jù)以挖掘其內(nèi)部蘊藏的“富礦”成為研究焦點。大數(shù)據(jù)是指無法用現(xiàn)有的軟件工具提取、存儲、搜索、共享、分析和處理的海量的、復(fù)雜的數(shù)據(jù)集合。

大數(shù)據(jù)具有4V特征（即規(guī)模性Volume、多樣性Variety、價值性Value和高速性Velocity），強調(diào)跨領(lǐng)域、多類型數(shù)據(jù)的融合與利用，其以云計算為基礎(chǔ)，在理論

研究和實際應(yīng)用方面涉及一系列軟硬件技術(shù)。電力大數(shù)據(jù)技術(shù)是大數(shù)據(jù)在電力行業(yè)的應(yīng)用和發(fā)展，包括有分布式存儲、并行計算，以及各種分析算法等組件，并充分吸收電力系統(tǒng)云計算的先進成果。最終數(shù)據(jù)技術(shù)將在電力系統(tǒng)全面應(yīng)用，是電力系統(tǒng)各子領(lǐng)域出發(fā)的研究和實踐是必經(jīng)之路。事實上，大數(shù)據(jù)的含義也在不斷演變中，正是在與各類實際問題的互動過程中，才真正具有活力。厚德弘毅博學(xué)篤行第39頁大數(shù)據(jù)測試方法

Hadoop是目前最熱門的大數(shù)據(jù)處理架構(gòu)，其數(shù)據(jù)處理架構(gòu)及其測試要點如下圖所示。Hadoop數(shù)據(jù)處理架構(gòu)及其測試要點厚德弘毅博學(xué)篤行第40頁（1）功能性測試下面從功能性測試和非功能性測試兩方面來說明大數(shù)據(jù)測試方法。

大數(shù)據(jù)功能主要涉及系統(tǒng)實現(xiàn)面向大數(shù)據(jù)分析應(yīng)用的POSIXAPI系統(tǒng)，包括文件讀取與訪問控制、元數(shù)據(jù)操作、鎖操作等功能。功能測試包括以下四個階段：1）數(shù)據(jù)導(dǎo)入/預(yù)處理驗證階段根據(jù)具體的應(yīng)用背景和業(yè)務(wù)需求，各種數(shù)據(jù)源如網(wǎng)絡(luò)日志、物聯(lián)網(wǎng)、社會網(wǎng)絡(luò)及互聯(lián)網(wǎng)文本和文件等被按需加載到HDFS中待處理。在這個過程可能會由于不正確或不復(fù)制、存儲而導(dǎo)致的錯誤數(shù)據(jù)，對于這種情況，可以采用以下方式進行測試：①將輸入數(shù)據(jù)文件與源系統(tǒng)文件進行比較，從而保證數(shù)據(jù)的正確獲得；②驗證數(shù)據(jù)需求，保證獲得正確的數(shù)據(jù)；③驗證文件被正確地加載進HDFS，且被分割，復(fù)制到不同的數(shù)據(jù)節(jié)點中。厚德弘毅博學(xué)篤行第41頁2）MapReduce數(shù)據(jù)輸出驗證階段

當(dāng)數(shù)據(jù)加載進HDFS后，MapReduce開始對來自不同數(shù)據(jù)源的數(shù)據(jù)進行處理。在這個過程中可能會出現(xiàn)MapReduce處理過程中的編碼問題，如在單一節(jié)點上運行正確，在多個節(jié)點上運行不正確的問題，包括不正確的聚合、節(jié)點配置、輸出格式等。針對于這個階段的問題，可以采用以下驗證手段：①

驗證數(shù)據(jù)是否處理正常完成，輸出文件是否正常得到；②

在單個節(jié)點上驗證大數(shù)據(jù)的業(yè)務(wù)邏輯，進而在多節(jié)點上進行同樣的驗證；③

驗證MapReduce處理過程的key/value對是否正確生成；④

在reduce過程結(jié)束后驗證數(shù)據(jù)的聚集合并是否正確；⑤

通過源文件驗證輸出數(shù)據(jù)來保證數(shù)據(jù)處理正確完成；⑥

按照大數(shù)據(jù)業(yè)務(wù)所需，驗證輸出數(shù)據(jù)文件格式是否符合要求。3）驗證大數(shù)據(jù)ETL(數(shù)據(jù)提取、轉(zhuǎn)換和加載)到數(shù)據(jù)倉庫

當(dāng)MapReduce過程結(jié)束后，產(chǎn)生的數(shù)據(jù)輸出文件將被按需移至數(shù)據(jù)倉庫或者其他的事務(wù)型系統(tǒng)。在這個過程中，可能會由于不正確地應(yīng)用轉(zhuǎn)換規(guī)則，從HDFS中提取的數(shù)據(jù)不完全而帶來問題。針對于這個階段的問題可以采用以下驗證手段：①

驗證轉(zhuǎn)換規(guī)則是否正確應(yīng)用；②

通過比較目標(biāo)數(shù)據(jù)和HDFS文件數(shù)據(jù)來驗證是否有數(shù)據(jù)損壞；③

驗證目標(biāo)系統(tǒng)的數(shù)據(jù)加載是否成功；④

驗證目標(biāo)系統(tǒng)的數(shù)據(jù)完整性。4）驗證分析報告

從數(shù)據(jù)倉庫或者Hive中得到的數(shù)據(jù)，可以通過報表工具得到分析報告。這個過程可能會產(chǎn)生報表定義不能達到要求的問題；在這個過程中可以通過查詢來驗證報表是否滿足業(yè)務(wù)要求。第42頁厚德弘毅博學(xué)篤行（2）非功能性測試

由于大數(shù)據(jù)面向具體行業(yè)的應(yīng)用，除了功能性測試，在整個大數(shù)據(jù)處理框架下還需要進行非功能性測試，如性能測試、容錯測試等。非功能測試中應(yīng)該保證以下幾項測試：1）性能測試

性能是評估一個大數(shù)據(jù)分析系統(tǒng)的最為關(guān)鍵維度，大數(shù)據(jù)系統(tǒng)性能主要包括吞吐量、任務(wù)完工時間、內(nèi)存利用率等多個指標(biāo)，可以反映大數(shù)據(jù)分析平臺的處理能力、資源利用能力等性能?？梢酝ㄟ^Hadoop性能監(jiān)控器來監(jiān)測運行狀態(tài)性能指標(biāo)和瓶頸問題，性能測試采用自動化方式進行，測試系統(tǒng)在不同負(fù)載情況下的性能。2）容錯性測試

可以從部分失效中自動恢復(fù)，而且不會嚴(yán)重地影響整體性能。特別地，當(dāng)故障發(fā)生時，大數(shù)據(jù)分析系統(tǒng)應(yīng)該在恢復(fù)的同時繼續(xù)以可接受的方式進行操作，在發(fā)生錯誤時某種程度上可以繼續(xù)操作。需要根據(jù)應(yīng)用場景來設(shè)計解決方案和具體部署，然后手動進行測試。第43頁厚德弘毅博學(xué)篤行厚德弘毅博學(xué)篤行第44頁3）可用性測試

高可用性已經(jīng)是大數(shù)據(jù)分析不可或缺的特性之一，可以保證數(shù)據(jù)應(yīng)用業(yè)務(wù)的連續(xù)性。大數(shù)據(jù)高可用性對很多應(yīng)用非常關(guān)鍵，需要嚴(yán)格進行測試和驗證。這部分測試以手動方式進行。4）擴展性測試

文件系統(tǒng)擴展性測試主要包括測試系統(tǒng)的彈性擴展能力（擴展與回縮兩方面）以及擴展系統(tǒng)帶來的性能影響，驗證是否具有線性擴展能力。這部分測試也是以手動方式進行。5）穩(wěn)定性測試

穩(wěn)定性測試