大數(shù)據(jù)測試方法和工具梳理

1、大數(shù)據(jù)測試方法和工具梳理1什么是大數(shù)據(jù)大數(shù)據(jù)是一個大的數(shù)據(jù)集合，通過傳統(tǒng)的計算技術(shù)無法進(jìn)行處 理。這些數(shù)據(jù)集的測試需要使用各種工具、技術(shù)和框架進(jìn)行處理。大 數(shù)據(jù)涉及數(shù)據(jù)創(chuàng)建、存儲、檢索、分析，而且它在數(shù)量、多樣性、速 度方法都很出色。2大數(shù)據(jù)測試類型測試大數(shù)據(jù)應(yīng)用程序更多的是驗證其數(shù)據(jù)處理， 而不是測試軟件 產(chǎn)品的個別功能。當(dāng)涉及到大數(shù)據(jù)測試時，性能和功能測試是關(guān)鍵。在大數(shù)據(jù)測試中，QA!程師使用集群和其他組件來驗證對 TB級 數(shù)據(jù)的成功處理。因為處理非?？欤运枰咚降臏y試技能。 處理可以是三種類型：批量、實時、交互。與此同時，數(shù)據(jù)質(zhì)量也是大數(shù)據(jù)測試的一個重要因素。 在測試應(yīng) 用程序之

2、前，有必要檢查數(shù)據(jù)的質(zhì)量，并將其視為數(shù)據(jù)庫測試的一部 分。它涉及檢查各種字段，如一致性，準(zhǔn)確性，重復(fù)，一致性，有效 性，數(shù)據(jù)完整性等。3大數(shù)據(jù)測試實現(xiàn)被分成三個步3.1 步驟1:數(shù)據(jù)分段驗證大數(shù)據(jù)測試的第一步，也稱為 pre-Hadoop階段涉及過程驗證。 來自各種來源（如RDBMS博客，社交媒體等）的數(shù)據(jù)應(yīng)進(jìn)行 驗證，以確保正確的數(shù)據(jù)被拉入系統(tǒng) 將源數(shù)據(jù)與推送到Hadoop系統(tǒng)中的數(shù)據(jù)進(jìn)行比較，以確保它們 匹配 驗證正確的數(shù)據(jù)被提取并加載到正確的 HDF購置該階段可以使用工具Talend或Datameer,進(jìn)行數(shù)據(jù)階段驗證。3.2 步驟 2: MapReduce驗證大數(shù)據(jù)測試的第二步是 Ma

3、pReduce勺驗證。在這個階段，測試者 在每個節(jié)點上進(jìn)行業(yè)務(wù)邏輯驗證，然后在運(yùn)行多個節(jié)點后驗證它們， 確保如下操作的正確性： Map Reduce進(jìn)程正常工作 在數(shù)據(jù)上實現(xiàn)數(shù)據(jù)聚合或隔離規(guī)則 生成鍵值對 在Map Reduce進(jìn)程后驗證數(shù)據(jù)3.3 步驟3:輸由驗證階段大數(shù)據(jù)測試的最后或第三階段是輸出驗證過程。 生成輸出數(shù)據(jù)文 件，同時把文件移到一個 EDW（ Enterprise Data Warehouse: 企業(yè)數(shù) 據(jù)倉庫）中或著把文件移動到任何其他基于需求的系統(tǒng)中。 在第三階 段的活動包括： 檢查轉(zhuǎn)換（Transformation） 規(guī)則被正確應(yīng)用 檢查數(shù)據(jù)完整性和成功的數(shù)據(jù)加載到目標(biāo)

4、系統(tǒng)中 通過將目標(biāo)數(shù)據(jù)與HDFSC件系統(tǒng)數(shù)據(jù)進(jìn)行比較來檢查沒有數(shù) 據(jù)損壞4架構(gòu)測試Hadoop處理非常大量的數(shù)據(jù)，并且資源密集。因此，架構(gòu)測試 對于確保大數(shù)據(jù)項目的成功至關(guān)重要。系統(tǒng)設(shè)計不當(dāng)或設(shè)計不當(dāng)可能 導(dǎo)致性能下降，系統(tǒng)可能無法滿足要求。至少，性能和故障轉(zhuǎn)移 測試 服務(wù)應(yīng)在Hadoop環(huán)境中完成。性能測試包括測試作業(yè)完成時間，內(nèi)存利用率，數(shù)據(jù)吞吐量和類 似的系統(tǒng)指標(biāo)。雖然故障轉(zhuǎn)移測試服務(wù)的動機(jī)是驗證數(shù)據(jù)處理在數(shù)據(jù) 節(jié)點故障的情況下無縫地發(fā)生5性能測試大數(shù)據(jù)的性能測試包括兩個主要方面： 數(shù)據(jù)獲取和吞吐量：在這個階段，測試人員驗證快速系統(tǒng)如何 使用來自各種數(shù)據(jù)源的數(shù)據(jù)。測試涉及識別隊列在給定時

5、間幀 中可以處理的不同消息。它還包括如何快速地將數(shù)據(jù)插入到底 層數(shù)據(jù)存儲中，例如插入到 Mong討口 Cassandra數(shù)據(jù)庫中。 數(shù)據(jù)處理：它涉及驗證執(zhí)行查詢或mapreduce作業(yè)的速度。它 還包括底層數(shù)據(jù)存儲的數(shù)據(jù)集中填充時隔離測試數(shù)據(jù)的過程。例如，在底層HDFSt運(yùn)行Map Reduce作業(yè) 子組件性能：這些系統(tǒng)由多個組件組成，必須單獨測試這些組 件。例如，消息被索引和使用的速度，mapreduce作業(yè)，查詢性能，搜索等。5.1性能測試方法大數(shù)據(jù)應(yīng)用程序的性能測試涉及大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的 測試，它需要一種特定的測試方法來測試這樣的大量數(shù)據(jù)。性能測試按此順序執(zhí)行1 .對要性能測試的

6、大數(shù)據(jù)集群的進(jìn)行設(shè)置2 .識別和設(shè)計相應(yīng)的工作負(fù)載3 .準(zhǔn)備單個客戶端（創(chuàng)建自定義腳本）4 .執(zhí)行測試并分析結(jié)果（如果不滿足目標(biāo)，則調(diào)整組件并重新執(zhí) 行）5 .最佳配置5.2性能測試的參數(shù)要驗證性能測試的各種參數(shù)是 數(shù)據(jù)存儲：數(shù)據(jù)如何存儲在不同的節(jié)點中 提交日志：提交日志允許增長的大小 并發(fā)性：有多少線程可以執(zhí)行寫和讀操作 緩存：調(diào)整緩存設(shè)置“行緩存”和“密鑰緩存”。 超時：連接超時，查詢超時等的值。 JV限數(shù)：堆大小，GC攵集算法等。 降低性能：排序，合并等 消息隊列：消息速率，大小等6測試環(huán)境需求測試環(huán)境需求取決于要測試的應(yīng)用程序的類型。 對于大數(shù)據(jù)測試,測試環(huán)境應(yīng)包括 它應(yīng)該有足夠的空間

7、用于存儲和處理大量的數(shù)據(jù) 它應(yīng)該具有分布式節(jié)點和數(shù)據(jù)的集群 它應(yīng)該具有最小的CPLffi內(nèi)存利用率，以保持高性能7大數(shù)據(jù)測試和傳統(tǒng)數(shù)據(jù)庫測試屬性傳統(tǒng)數(shù)據(jù)庫測試數(shù)據(jù)使用結(jié)構(gòu)化數(shù)據(jù)測試方法定義明確和tlm* tested大數(shù)據(jù)測試同時處理結(jié)構(gòu)化數(shù)據(jù)和三騎構(gòu)化數(shù)據(jù)測就方法需要集中的用發(fā)工作測試人員可以選擇“自團(tuán)世工 目手動執(zhí)行抽樣卻略南充 仝嗜證”策略大數(shù)據(jù)中的“抽樣策略是f寸群獸出 它不需要特M的測際環(huán)境，因 設(shè)施為文件大小有限蚪測用基十日8幅工具 或基于UI的自動1枚工具測試工具可以使用基本的操作 知識和較少的培訓(xùn)它需要特殊的演麗境因為大任啜據(jù)大小和 文件(HDFS)沒有定義的工具j范圍從廣泛從

8、編程，具，如 M 即 Reduce到HIVEQL它需要T目特定的技能和t剖I睞操作測試工 具.此外,工處于新生階段,加班也許會帶 來新的功能.8大數(shù)據(jù)場景中使用的工具大數(shù)據(jù)集群NoSQLMapReduce服務(wù)器處理大數(shù)據(jù)工具CouchDB , MongoDB , Cassandra , Redis , ZooKeeper , HbaseHadoop f HivePig r Cascading f Oozie p Kafka f S4,MapR , FlumeS3 p HDFS f HgdOO吩布式文件系統(tǒng)）Elastic r Heroku t Google App Engine t EC2R

9、, Yahoo ! Pipes , Mechanical Turk T B gShects , Datamcor8.1 針對大數(shù)據(jù)單個組件測試工具GridMix針又t Hadoop集群的測試基準(zhǔn)，它具備評測大規(guī)模數(shù)據(jù) 處理系統(tǒng)所需的各個功能模塊，包括：產(chǎn)生數(shù)據(jù)，生成并提交作業(yè)， 統(tǒng)計作業(yè)完成時間等。TeraSort針對文本數(shù)據(jù)的排序。仃B排序通常用于衡量分布式數(shù) 據(jù)處理框架的數(shù)據(jù)處理能力。Terasort是hadoop中的的一個排序作 業(yè)，在2008年，Hadoop在1TB排序基準(zhǔn)評估中贏得第一名，耗時209 秒。YCSB Yahoo開發(fā)的一個專門用來對新一代數(shù)據(jù)庫進(jìn)行基準(zhǔn)測 試的工具。全名是

10、 Yahoo! Cloud Serving Benchmark 。 他們開發(fā)這 個工具的目的是希望有一個標(biāo)準(zhǔn)的工具用來衡量不同數(shù)據(jù)庫的性能。YCSB故了很多優(yōu)化來提高客戶端性能，例如在數(shù)據(jù)類型上用了最原 始的比特數(shù)組以減少數(shù)據(jù)對象本身創(chuàng)建轉(zhuǎn)換所需的時間等。Filebench是一款文件系統(tǒng)性能的自動化測試工具，它通過快速 模擬真實應(yīng)用服務(wù)器的負(fù)載來測試文件系統(tǒng)的性能。它不僅可以仿真 文件系統(tǒng)微操作 (如 copyfiles , createfiles , randomread, randomwrite ),而且可以仿真復(fù)雜的應(yīng)用程序(如 varmail , fileserver , oltp ,

11、 dss , webserver , webproxy )。 Filebench 比較適合用來測試文件服務(wù)器性能，但同時也是一款負(fù)載自動生成工 具，也可用于文件系統(tǒng)的性能。8.2 綜合類測試工具，覆蓋大數(shù)據(jù)平臺多個功能組件Hibench是用來在速度方面評估不同的大數(shù)據(jù)框架的，它包括一 系歹！J 的 Hadoop, Spark, streaming 工作負(fù)載，包括 sort , wordcount, TeraSort, Sleep, SQL, PageRank, Nutch indexing, Bayes, Kmeans, NWeight and enhanced DFSIO,等。同樣也為 pa

12、rk Streaming, Flink, Storm and Gearpump提供工作負(fù)載。BigDataBench是中科院計算所提出的大數(shù)據(jù)測試工具，覆蓋了 結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)，其負(fù)載模擬了搜索引擎、社交 網(wǎng)絡(luò)和電子商務(wù)等業(yè)務(wù)模型。8.3 具體應(yīng)用領(lǐng)域端到端大數(shù)據(jù)測試工具BigBench是基于TPC-DSFF發(fā)的端到端測試工具，面向零售業(yè)務(wù)， 模擬電子商務(wù)的整個流程，主要測試 MapReduceF口并行DBMS9大數(shù)據(jù)測試中的挑戰(zhàn)9.1 自動化大數(shù)據(jù)的自動化測試需要有技術(shù)專長的人員。止匕外，自動化工具不能處理測試期間出現(xiàn)的意外問題9.2 虛擬化它是測試的必需階段之一。虛擬機(jī)延遲會在實時大數(shù)據(jù)測試中產(chǎn) 生時序問題。還有在大數(shù)據(jù)中管理圖像是一個麻煩。9.3 大數(shù)據(jù)集 需要驗證更多的數(shù)據(jù)，需要做的更快 需要自動化測試工作 需要能夠跨不同平臺進(jìn)行測試9.4 性能測試的挑戰(zhàn) 多樣化的技術(shù)：每個子組件屬于不同的技術(shù)，需要獨