4.2-機器人色塊分揀圖像數(shù)據(jù)集標注《智能機器人技術(shù)應(yīng)用》

項目四機械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練創(chuàng)靈實驗平臺機器人色塊分揀圖像數(shù)據(jù)集標注任務(wù)二職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機器人色塊分揀圖像數(shù)據(jù)集標注掌握精靈標注助手標注工具使用，在Window10上安裝圖片標注工具；學(xué)習(xí)并了解目標檢測圖像標注要求；掌握語音識別關(guān)鍵字匹配；掌握標注數(shù)據(jù)轉(zhuǎn)換，使用圖片標注工具進行相應(yīng)分類圖片標注，并能夠自行編寫Python腳本，自動化處理標注數(shù)據(jù)。掌握精靈標注助手標注工具使用掌握目標檢測圖像標注要求掌握標注數(shù)據(jù)轉(zhuǎn)換職業(yè)能力目標01實驗?zāi)康膶嶒瀮?nèi)容職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機器人色塊分揀圖像數(shù)據(jù)集標注

此任務(wù)要求同學(xué)們掌握精靈標注助手標注工具使用，在Window10上安裝圖片標注工具；學(xué)習(xí)并了解目標檢測圖像標注要求；掌握標注數(shù)據(jù)轉(zhuǎn)換，使用圖片標注工具進行相應(yīng)分類圖片標注，并能夠自行編寫Python腳本，自動化處理標注數(shù)據(jù)。任務(wù)描述任務(wù)要求掌握精靈標注助手標注工具使用，完成工具安裝；掌握目標檢測圖像標注要求，學(xué)習(xí)如何對圖像數(shù)據(jù)進行類型標注；標注數(shù)據(jù)并完成數(shù)據(jù)轉(zhuǎn)換。任務(wù)描述與要求02職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機器人色塊分揀圖像數(shù)據(jù)集標注任務(wù)分析思考一下，數(shù)據(jù)標注在生活中還應(yīng)用于哪些方面？根據(jù)自己的了解，為什么要將標注數(shù)據(jù)進行轉(zhuǎn)換后再進行模型訓(xùn)練？任務(wù)分析與計劃03任務(wù)計劃表項目名稱創(chuàng)靈實驗平臺任務(wù)名稱機器人色塊分揀圖像數(shù)據(jù)集標注計劃方式自主設(shè)計計劃要求請用6個計劃步驟來完整描述出如何完成本次任務(wù)序號任務(wù)計劃1

2

3

4

5

6

通過上面的思考，你是否對本任務(wù)要完成的工作有所了解？讓我們一起來制訂完成本次任務(wù)的實施計劃吧！任務(wù)分析與計劃03職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機器人色塊分揀圖像數(shù)據(jù)集標注04知識儲備數(shù)據(jù)標注2目標檢測1標注數(shù)據(jù)轉(zhuǎn)換3什么是目標檢測？04

目標檢測，也叫目標提取，是一種基于目標幾何和統(tǒng)計特征的圖像分割。它將目標的分割和識別合二為一，其準確性和實時性是整個系統(tǒng)的一項重要能力。尤其是在復(fù)雜場景中，需要對多個目標進行實時處理時，目標自動提取和識別就顯得特別重要。目標檢測04目標檢測常用的評價指標有：交并比，準確率，精度，召回率，F(xiàn)PR，F(xiàn)1-Score，PR曲線-AP值，ROC曲線-AUC值，mAP值。交并比：檢測結(jié)果的矩形框與樣本標注的矩形框的交集與并集的比值。準確率：最常見的評價指標，就是被檢測正確的樣本數(shù)除以所有的樣本數(shù)。精度：真正的正樣本數(shù)除以預(yù)測為正樣本的樣本數(shù)。召回率：預(yù)測正確的正樣本數(shù)除以所有真正的正樣本數(shù)。FPR：指實際負例中，錯誤的判斷為正例的比例。F1-Score：精確率和召回率的調(diào)和平均數(shù)，最大為1，最小為0。PR曲線-AP值：精度與召回率的曲線，以精度為縱坐標，召回率為橫坐標，AP值也稱為平均準確率，是對不同召回率點上的準確率進行平均，在PR曲線圖上表現(xiàn)為PR曲線下面的面積。AP的值越大，則說明模型的平均準確率越高。ROC曲線-AUC值：以FPR為橫坐標，以TPR(靈敏度)為縱坐標。AUC是Areaundercurve的首字母縮寫，即ROC曲線下的面積，介于0和1之間。mAP值：即平均精度均值，指不同召回率下的精度的平均值。目標檢測任務(wù)的六大難點與挑戰(zhàn)041.待檢測目標尺寸很小，導(dǎo)致占比小，檢測難度大；2.關(guān)于小目標檢測的問題，可以參考：深度學(xué)習(xí)檢測小目標常用方法；3.待檢測目標尺度變化大，網(wǎng)絡(luò)難以提取出高效特征；4.待檢測目標所在背景復(fù)雜，噪音干擾嚴重，檢測難度大；5.待檢測目標與背景顏色對比度低，網(wǎng)絡(luò)難以提取出具有判別性的特征；6.各待檢測目標之間數(shù)量極度不均衡，導(dǎo)致樣本不均衡；7.檢測算法的速度與精度難以取得良好平衡。04知識儲備213數(shù)據(jù)標注標注數(shù)據(jù)轉(zhuǎn)換目標檢測04什么是數(shù)據(jù)標注？

數(shù)據(jù)標注是指給原始數(shù)據(jù)（如圖像、視頻、文本、音頻和3D等）添加標簽的過程，帶有標簽的數(shù)據(jù)被稱為訓(xùn)練數(shù)據(jù)，這些標簽形成了數(shù)據(jù)屬于哪一類對象的表示，幫助機器學(xué)習(xí)模型在未來遇到從未見過的數(shù)據(jù)時，也能準確識別數(shù)據(jù)中的內(nèi)容，訓(xùn)練數(shù)據(jù)可以有多種形式，包括圖像、語音、文本或特征，這取決于所使用的機器學(xué)習(xí)模型和手頭要解決的任務(wù)。它可以是有標注的或無標注的。當訓(xùn)練數(shù)據(jù)被標注時，相應(yīng)的標簽被稱為GroundTruth。04數(shù)據(jù)標注

圖像數(shù)據(jù)標注包括2D包圍框標注、多邊形標注、語義分割標注、關(guān)鍵點標注、折線標注、立體框標注等。語音/音頻數(shù)據(jù)標注是對來自人、動物、環(huán)境、樂器等的音頻成分進行分類和轉(zhuǎn)寫。文本標注類型較為豐富，但不論哪種類型，它背后的主要意圖是讓機器學(xué)習(xí)算法能夠理解文本背后的語義含義。思考一下，如果數(shù)據(jù)集中存在錯誤標注會有什么影響？有什么解決方案？04知識儲備213目標檢測數(shù)據(jù)標注數(shù)據(jù)轉(zhuǎn)換什么是數(shù)據(jù)轉(zhuǎn)換？04

數(shù)據(jù)轉(zhuǎn)換是將數(shù)據(jù)從一種格式或結(jié)構(gòu)轉(zhuǎn)換為另一種格式或結(jié)構(gòu)的過程。數(shù)據(jù)轉(zhuǎn)換對于數(shù)據(jù)集成和數(shù)據(jù)管理等活動至關(guān)重要。數(shù)據(jù)轉(zhuǎn)換可以包括一系列活動：可以轉(zhuǎn)換數(shù)據(jù)類型，通過刪除空值或重復(fù)數(shù)據(jù)來清理數(shù)據(jù)，豐富數(shù)據(jù)或執(zhí)行聚合，具體取決于項目的需要。請根據(jù)自己的了解，解釋一下我們?yōu)槭裁匆M行數(shù)據(jù)轉(zhuǎn)換？這不是會增加計算量嗎？為什么要進行數(shù)據(jù)轉(zhuǎn)換？04

軟件的全面升級，肯定帶來數(shù)據(jù)庫的全面升級，每一個軟件對其后面的數(shù)據(jù)庫的構(gòu)架與數(shù)據(jù)的存諸形式都是不相同的，這樣就需要數(shù)據(jù)的轉(zhuǎn)換了。

主要是由于數(shù)據(jù)量的不斷增加，原來數(shù)據(jù)構(gòu)架的不合理，不能滿足各方面的要求。由數(shù)據(jù)庫的更換，數(shù)據(jù)結(jié)構(gòu)的更換，從而需要數(shù)據(jù)本身的轉(zhuǎn)換。職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機器人色塊分揀圖像數(shù)據(jù)集標注圖片標注205任務(wù)實施安裝圖片標注工具1安裝圖片標注工具步驟一：下載精靈標注助手安裝包可到上下載對應(yīng)window10版本的安裝包，或使用實驗提供的資源包里的安裝包進行安裝安裝圖片標注工具步驟一：下載精靈標注助手安裝包可到上下載對應(yīng)window10版本的安裝包，或使用實驗提供的資源包里的安裝包進行安裝步驟二：安裝精靈標注助手雙擊安裝包，選擇我接受，如下圖：步驟三：選擇安裝目錄點擊安裝，進行軟件安裝，如下圖安裝圖片標注工具步驟三：選擇安裝目錄點擊安裝，進行軟件安裝，如下圖。安裝圖片標注工具步驟四：打開安裝好的精靈標注工具，如下圖。安裝圖片標注工具注：可以正常打開安裝后的軟件，則表明安裝成功圖片標注205任務(wù)實施安裝圖片標注工具1步驟一：打開安裝好的精靈標注工具，如下圖。圖片標注步驟二：新建一個標注項目（圖片數(shù)據(jù)在同級目錄下image.rar）圖片標注步驟二：新建一個標注項目（圖片數(shù)據(jù)在同級目錄下image.rar）圖片標注步驟三：導(dǎo)入要標注的圖片(注：導(dǎo)入的圖片路徑不能有中文)，分類值填寫【red,green,yellow,blue】(注：直接填寫單詞，中間使用英文逗號間隔，不需要附帶引號)，點擊創(chuàng)建。圖片標注步驟三：導(dǎo)入要標注的圖片(注：導(dǎo)入的圖片路徑不能有中文)，分類值填寫【red,green,yellow,blue】(注：直接填寫單詞，中間使用英文逗號間隔，不需要附帶引號)，點擊創(chuàng)建。步驟四：標注框選擇后，標注信息填寫選擇對應(yīng)的類別，然后按住ctrl+s完成標注保存。圖片標注步驟五：完成所有的數(shù)據(jù)標注后點擊中間的菜單，導(dǎo)出標注信息xml文件，如下圖：圖片標注導(dǎo)出標記信息步驟六：完成所有的數(shù)據(jù)標注后點擊中間的菜單，導(dǎo)出標注信息xml文件，如下圖：圖片標注選擇確定導(dǎo)出步驟七：最后我們要完成我們的數(shù)據(jù)標注并檢查，我們要得到我們對應(yīng)分類好的數(shù)據(jù)：

也就是我們設(shè)置的red、green、yellow、blue等顏色分類數(shù)據(jù)，便于我們在下一章使用模型訓(xùn)練工具。圖片標注模型訓(xùn)練工具職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機器人色塊分揀圖像數(shù)據(jù)集標注任務(wù)檢查與評價06序號評價內(nèi)容評價標準分值得分1知識運用（20%）掌握相關(guān)理論知識，理解本次任務(wù)要求，制定詳細計劃，計劃條理清晰，邏輯正確（20分）20分

理解相關(guān)理論知識，能根據(jù)本次任務(wù)要求、制定合理計劃（15分）了解相關(guān)理論知識，有制定計劃（10分）無制定計劃（0分）2專業(yè)技能（40%）安裝圖片標注工具，完成圖片標注，并將標注結(jié)果導(dǎo)出。（40分）40分

安裝圖片標注工具，完成圖片標注。（25分）安裝圖片標注工具。（15分）沒有完成機機器人色塊分揀圖像數(shù)據(jù)集標注實驗。（0分）3核心素養(yǎng)（20%）具有良好的自主學(xué)習(xí)能力、分析解決問題的能力、整個任務(wù)過程中有指導(dǎo)他人（20分）20分

具有較好的學(xué)習(xí)能力和分析解決問題的能力，任務(wù)過程中無指導(dǎo)他人（15分）能夠主動學(xué)習(xí)并收集信息，有請教他人進行解決問題的能力（10分）不主動學(xué)習(xí)（0分）4課堂紀律（20%）設(shè)備無損壞、設(shè)備擺放整齊、工位區(qū)域內(nèi)保持整潔、無干擾課堂秩序（20分）20分

設(shè)備無損壞、無干擾課堂秩序（15分）無干擾課堂秩序（10分）干擾課堂秩序（0分）總得分1、請參照評價標準完成自評和對其他小組的互評。2、各組請代表分析本組任務(wù)實施經(jīng)驗。職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機器人色塊分揀圖像數(shù)據(jù)集標注任務(wù)小結(jié)07

在大家學(xué)習(xí)完本任務(wù)后，是否還有許多為解決的問題？那么接下來我們來進行任務(wù)小結(jié)，通過流程圖了解本章學(xué)習(xí)了什么，對相應(yīng)知識進行鞏固復(fù)習(xí)，并對下一章機械臂