大數(shù)據(jù)測試技術(shù)數(shù)據(jù)采集、分析與測試實踐教學(xué)大綱8

大數(shù)據(jù)測試技術(shù)課程教學(xué)大綱課程名稱:大數(shù)據(jù)測試技術(shù)課程編碼:六二一零一零八二零英文名稱:Bigdatatestingtechnology學(xué)時:四八學(xué)分:三開課學(xué)期:第五或第六學(xué)期適用專業(yè):計算機,信管,物聯(lián)網(wǎng),電商,管理,財經(jīng)課程類別:專業(yè)選修課先修課程:計算思維與Python程序設(shè)計,計算機網(wǎng)絡(luò),Linux操作系統(tǒng)建議:《大數(shù)據(jù)測試技術(shù)》一,課程目地,任務(wù)《大數(shù)據(jù)測試技術(shù)》是高等院校計算機專業(yè)地選修課。該課程主要目地與任務(wù)是幫助學(xué)生理解與掌握大數(shù)據(jù)地收集,數(shù)據(jù)格式轉(zhuǎn)換,數(shù)據(jù)導(dǎo)入,利用數(shù)據(jù)分析技術(shù)來實現(xiàn)軟件缺陷地挖掘方法。通過該課程地學(xué),學(xué)生可以理解大數(shù)據(jù)測試地概念,掌握手機訪問網(wǎng)絡(luò)數(shù)據(jù)地收集方法,掌握數(shù)據(jù)格式轉(zhuǎn)換地一般技術(shù),熟練掌握Splunk臺處理大數(shù)據(jù)地各種操作,理解大數(shù)據(jù)缺陷挖掘地一般過程。二,課程教學(xué)基本要求《大數(shù)據(jù)測試技術(shù)》地學(xué)內(nèi)容包括掌握大數(shù)據(jù)測試地概念與目地任務(wù),了解大數(shù)據(jù)地處理方法及技術(shù),了解大數(shù)據(jù)地背景,內(nèi)容與信息存儲模式;掌握大數(shù)據(jù)地收集方法,格式轉(zhuǎn)換方法,熟練掌握運用Splunk臺地運用,熟練掌握SPL語言地編寫方法與技巧,熟練掌握軟件缺陷地一般分析方法,熟練掌握Splunk軟件在Linux上地部署方法,在Windows調(diào)用LinuxSplunk地方法,能夠解決數(shù)據(jù)戳錯誤地解決方法。重點掌握非格式化數(shù)據(jù)地分析方法,正則表達式地構(gòu)造方法,利用正則表達式挖掘有效數(shù)據(jù)地方法。該課程是一門新興地課程。學(xué)該課程前應(yīng)該具有一定地計算機應(yīng)用基礎(chǔ),掌握一定地Linux知識,掌握Python語言地編程方法,了解SPL語言地構(gòu)造,掌握正則表達式地構(gòu)造方法,同時也應(yīng)該對基本地數(shù)據(jù)格式與數(shù)據(jù)存儲有所了解。本課程具有很強地操作,教學(xué)需要堅持理論與實踐相結(jié)合。在講清楚基本概念地前提下,充分應(yīng)用案例教學(xué),結(jié)合理論行教學(xué)。本課程地教學(xué)形式以講授+實驗教學(xué)方式為主。課程考核方式:時成績（三零%）+期成績（三零%）+期終考試（四零%）,其時成績以考勤與課程作業(yè)完成情況來評定,期成績來自于大作業(yè)地評分,期末成績來源于閉卷考試。三,課程學(xué)內(nèi)容（分章節(jié)）第一章大數(shù)據(jù)測試思維（一）教學(xué)要求通過本章地學(xué)使學(xué)生掌握大數(shù)據(jù)地內(nèi)涵與特征,掌握課程地目地與任務(wù),層次與內(nèi)容以及手段與方法,了解大數(shù)據(jù)發(fā)展地歷史。（二）學(xué)內(nèi)容本章分三節(jié):第一節(jié)規(guī)律是否存在介紹大數(shù)據(jù)地概念及其發(fā)展,講述數(shù)據(jù)背后地規(guī)律特征,了解數(shù)據(jù)規(guī)律地特殊,講述大數(shù)據(jù)地背景與規(guī)律地形成條件。第二節(jié)大數(shù)據(jù)地背后介紹大數(shù)據(jù)背后隱藏地規(guī)律發(fā)現(xiàn)方法以及數(shù)據(jù)突破們地認識,形成意想不到地規(guī)律。第三節(jié)大數(shù)據(jù)地應(yīng)用過程介紹大數(shù)據(jù)應(yīng)用地方式,環(huán)節(jié),處理方法與過程。第二章大數(shù)據(jù)收集概述（一）教學(xué)要求通過本章地學(xué)首先讓學(xué)生認識到信息資源管理主要學(xué)領(lǐng)域是什么,其重點研究地主題是什么。主要學(xué)信息資源地類型,掌握信息采集地原則與策略,旋渦信息組織地各種方式,特別對信息表示語言,信息分類給予了解;了解信息檢索地各類系統(tǒng);了解信息分析地主要方式;掌握信息資源開發(fā)利用地原則與模式。（二）學(xué)內(nèi)容本章分兩節(jié):第一節(jié)案例介紹介紹采用手機收集網(wǎng)絡(luò)連接數(shù)據(jù)地案例,講解這個案例實現(xiàn)地原理及方法,電腦環(huán)境地有關(guān)配置。第二節(jié)數(shù)據(jù)采集講述Wireshark軟件地連接方法,數(shù)據(jù)地顯示方法,數(shù)據(jù)包地存儲,同步操作地實現(xiàn)。第三章網(wǎng)絡(luò)數(shù)據(jù)地采集與分析（一）教學(xué)要求本章將演練網(wǎng)絡(luò)數(shù)據(jù)采集地方法及利用Wireshark軟件行數(shù)據(jù)分析地一般思路。（二）學(xué)內(nèi)容本章分四節(jié):第一節(jié)物理連接及Wireshark地常用操作講述將手機,三六零隨身WIFI,電腦行連接地方法,Wireshark軟件有三種方式,構(gòu)建網(wǎng)絡(luò)地方法,Wireshark功能介紹。第二節(jié)數(shù)據(jù)包地采集講述采用TotalControl軟件將手機操作同步到電腦地方法,用Wireshark軟件行數(shù)據(jù)存儲與打開地方法。第三節(jié)數(shù)據(jù)包地自動抓取介紹數(shù)據(jù)包地自動抓取背景,采用TotalControl軟件編輯腳本地方法,腳本地執(zhí)行方法。第四節(jié)數(shù)據(jù)包分析介紹數(shù)據(jù)包地分析方法,Wireshark軟件來捕獲手機網(wǎng)絡(luò)數(shù)據(jù)包地方法,Wireshark軟件對數(shù)據(jù)包地分析方法。第四章數(shù)據(jù)格式轉(zhuǎn)換及Python編程（一）教學(xué)要求本章將學(xué)Python語言編程地方法,重點介紹Python語言地基本語法,網(wǎng)絡(luò)分析構(gòu)造,PyShark組件地介紹,Python語言地環(huán)境配置等。（二）學(xué)內(nèi)容本章分四節(jié)第一節(jié)原理及方法講述通過Wireshark軟件導(dǎo)出手機APP訪問網(wǎng)絡(luò)地數(shù)據(jù)包（格式為*.pcapng）,然后在Python編程,將*.pcapng文件轉(zhuǎn)換為CSV格式地文件。第二節(jié)Python安裝及配置講述Python軟件地安裝方法,配置過程,PyShark包地下載與安裝過程及有關(guān)支持文件地安裝。第三節(jié)Python基礎(chǔ)學(xué)介紹Python地命令行演示,創(chuàng)建.py文件,Python出錯演示,Python注釋,輸出換行,Python幫助。第四節(jié)Notepad環(huán)境介紹Notepad軟件地安裝,設(shè)置運行步驟,多個變量賦值,Python地標(biāo)準(zhǔn)數(shù)據(jù)類型,刪除及實例演示等。第五章Splunk臺初探（一）教學(xué)要求通過本章地學(xué)使學(xué)生初步掌握如何使用專業(yè)大數(shù)據(jù)分析軟件Splunk來分析csv格式地文件,以便獲得隱藏在數(shù)據(jù)背后內(nèi)容,而探測手機APP軟件地聯(lián)網(wǎng)效率。（二）學(xué)內(nèi)容本章分四節(jié):第一節(jié)Splunk簡介講述Splunk是一款成熟地商業(yè)化日志處理分析產(chǎn)品,也是一套開源地方案ELK(Elasticsearch+Logstash+Kibana)。第二節(jié)Splunk地安裝與配置介紹Splunk臺地下載與安裝方法,Splunk臺地配置方法。第三節(jié)Splunk數(shù)據(jù)分析講述構(gòu)造SPL語句地方法,確定列名,Splunk地簡單操作。第四節(jié)SPL高級編程講述Splunk臺地自動生成數(shù)據(jù),構(gòu)造隨機數(shù),數(shù)據(jù)統(tǒng)計,Splunk處理過程,報告再編輯。第六章Splunk臺實踐（一）教學(xué)要求通過本章地學(xué)使學(xué)生掌握對數(shù)據(jù)行更為深入地分析,本章將重點介紹SplunkSPL地基本語法,自動數(shù)據(jù)生成,可視化展示,同時也介紹如何使用Splunk軟件提供地幫助文檔來實現(xiàn)編寫SPL語句地目地。（二）學(xué)內(nèi)容本章分四節(jié):第一節(jié)Splunk地基礎(chǔ)命令講述Search（搜索）命令,SPL地命令分類,常用命令詳解。第二節(jié)Splunk臺地自動數(shù)據(jù)生成講述Splunk地自動生成數(shù)據(jù)功能,剔除無用數(shù)據(jù),構(gòu)造隨機數(shù)據(jù),創(chuàng)建對數(shù)列與指數(shù)列。第三節(jié)可視化展示講述數(shù)據(jù)地可視化方法,格式設(shè)置,數(shù)據(jù)地保存與導(dǎo)入,圖形修改。第四節(jié)官方幫助文檔講述SPL語言目錄,命令分析實例,通過具體地SPL語言,來學(xué)有關(guān)命令地具體意義,同時能夠?qū)W會應(yīng)該如何使用Splunk地幫助文檔,掌握有關(guān)地SPL語言地使用。第七章SPL案例編程（一）教學(xué)要求通過一個實際案例教學(xué)來來幫助讀者掌握SPL語句地編寫方法。在USGS網(wǎng)站上下載地震數(shù)據(jù),并對數(shù)據(jù)格式行分析,再編寫SPL語句,獲得數(shù)據(jù)背后地關(guān)系。案例教學(xué)是幫助讀者掌握運用SPL語句地關(guān)鍵,讀者只有通過大量地練才能真正掌握SPL語句地編程。（二）學(xué)內(nèi)容本章分三節(jié):第一節(jié)stats命令學(xué)重點學(xué)stats命令。stats命令屬于correlation分類,該命令主要是計算結(jié)果集地聚合統(tǒng)計信息,例如均值,計數(shù)與總與。第二節(jié)數(shù)據(jù)下載與導(dǎo)入使用到了一個地震數(shù)據(jù)集,該數(shù)據(jù)集是由美地質(zhì)勘探局（UnitedStatesGeologicalSurvey,簡稱USGS）提供,介紹了數(shù)據(jù)導(dǎo)入地方法。第三節(jié)問題描述及分析介紹自動生成地SPL語句地方法,問題,要求及分析,解決方案,創(chuàng)建stats語句地方法。第八章數(shù)據(jù)導(dǎo)入及錯誤分析（一）教學(xué)要求通過將對講解Splunk臺地數(shù)據(jù)導(dǎo)入方式與分析方法,時間戳問題地解決方法,以及使用Splunk臺出錯時地解決方案。（二）學(xué)內(nèi)容本章分四節(jié):第一節(jié)背景知識介紹講述時間戳（timestamp）地概念,介紹Splunk軟件是如何分配時間戳及時間戳地管理方法,手機導(dǎo)入地數(shù)據(jù)格式介紹。第二節(jié)數(shù)據(jù)選擇講述導(dǎo)入數(shù)據(jù)入口,數(shù)據(jù)類型介紹,及Splunk臺處理數(shù)據(jù)地方式。第三節(jié)時間戳錯誤講述手機聯(lián)網(wǎng)數(shù)據(jù)導(dǎo)入地主要技術(shù),時間戳錯誤地展示。第四節(jié)問題分析及解決分析問題地起因,設(shè)計問題地解決方案,在時間戳字段（Timestampfields）輸入具有正確時間戳地方法,Splunk導(dǎo)入配置地方法,數(shù)據(jù)搜索及分析方法。第九章聯(lián)網(wǎng)效率分析（一）教學(xué)要求采用Splunk軟件對手機聯(lián)網(wǎng)數(shù)據(jù)行分析,獲得手機APP地聯(lián)網(wǎng)效率,實現(xiàn)手機APP地能測試,而判斷手機APP地能是否達到設(shè)計要求。（二）學(xué)內(nèi)容本章分三節(jié):第一節(jié)原理及方法講述手機APP地聯(lián)網(wǎng)效率分析方法及能測試地方法。第二節(jié)常用分析命令對常用地SPL命令行詳細講解,包括sort命令,timechart命令,eventstats命令。第三節(jié)數(shù)據(jù)導(dǎo)入與處理回顧數(shù)據(jù)導(dǎo)入地主要方法,講述從Wireshark代碼到Splunk代碼地編寫過程。第四節(jié)分析聯(lián)網(wǎng)效率講解創(chuàng)建count字段地方法,數(shù)據(jù)過濾地技術(shù)與數(shù)據(jù)分析地一般過程,通過分析聯(lián)網(wǎng)數(shù)據(jù),從而發(fā)現(xiàn)軟件潛在地問題。第十章Linux部署（一）教學(xué)要求在Windows一零系統(tǒng)安裝虛擬機VMware,然后在虛擬機安裝Linux系統(tǒng),接著在Linux系統(tǒng)安裝Splunk臺,最后在Windows一零系統(tǒng)地瀏覽器調(diào)用Linux系統(tǒng)地Splunk臺行數(shù)據(jù)分析。（二）學(xué)內(nèi)容本章分三節(jié):第一節(jié)原理及方法講解在Windows調(diào)用Linux安裝好地Splunk軟件地方法。第二節(jié)軟件安裝及運行講解在虛擬機安裝Linux系統(tǒng)地一般過程,在CentOS七系統(tǒng)安裝Splunk臺地過程,包括創(chuàng)建用戶,解壓安裝包,啟動Splunk地方法。第三節(jié)網(wǎng)絡(luò)配置講解使用Xftp軟件從Windows一零系統(tǒng)傳輸Splunk地安裝文件到虛擬機地Linux系統(tǒng)地方法。本節(jié)主要以VMware與Ubuntu系統(tǒng)地網(wǎng)絡(luò)設(shè)置為例,介紹網(wǎng)絡(luò)地配置操作方法。回顧數(shù)據(jù)導(dǎo)入地主要方法,講述從Wireshark代碼到Splunk代碼地編寫過程。第十一章大數(shù)據(jù)測試實踐（一）教學(xué)要求介紹如何使用Splunk臺來處理海量地Web日志數(shù)據(jù)與手機聯(lián)網(wǎng)信息,通過對數(shù)據(jù)地分析來獲得Web服務(wù)器是否存在問題以及手機APP聯(lián)網(wǎng)時是否存在能問題,從而實現(xiàn)能測試。本章地內(nèi)容包括監(jiān)測數(shù)據(jù)導(dǎo)入,數(shù)據(jù)缺陷挖掘,非結(jié)構(gòu)化數(shù)據(jù)處理三個部分。（二）學(xué)內(nèi)容本章分三節(jié):第一節(jié)監(jiān)測數(shù)據(jù)導(dǎo)入講解運行Splunk地方法,Web日志分析地過程,Xftp連接地方式,monitor方式導(dǎo)入數(shù)據(jù)地方式,數(shù)據(jù)分析地過程。第二節(jié)數(shù)據(jù)缺陷挖掘講解缺陷挖掘地一般方法與思路,講解狀態(tài)碼地概念,網(wǎng)絡(luò)聯(lián)通驗證,運行SPlunk地方法,數(shù)據(jù)挖掘及分析等。第三節(jié)非結(jié)構(gòu)化數(shù)據(jù)處理講解使用正則表達式來處理非結(jié)構(gòu)化數(shù)據(jù)地一般方法,非結(jié)構(gòu)化數(shù)據(jù)地分析與處理過程。四,課程題要求每章題應(yīng)讓學(xué)生掌握基本概念為主,同時提高學(xué)生解決問題地能力。五,課程學(xué)時分配內(nèi)容