人工智能數(shù)據(jù)標(biāo)注實(shí)戰(zhàn)教程 課件 第二章 圖像任務(wù)標(biāo)注項(xiàng)目

第二章

圖像任務(wù)標(biāo)注項(xiàng)目任務(wù)一

圖像標(biāo)簽分類標(biāo)注內(nèi)容概括概念典型應(yīng)用場(chǎng)景實(shí)踐標(biāo)注操作小結(jié)“人之情，目欲視色”--莊子1.概念圖像分類是根據(jù)圖像的語(yǔ)義信息將不同類別圖像區(qū)分開(kāi)來(lái)，是計(jì)算機(jī)視覺(jué)中重要的基本問(wèn)題，也是圖像檢測(cè)、圖像分割、物體跟蹤、行為分析等其他高層視覺(jué)任務(wù)的基礎(chǔ)。其核心思想便是從給定的分類集合中給圖像分配一個(gè)標(biāo)簽的任務(wù)。實(shí)際上，圖像分類的任務(wù)是分析一個(gè)輸入圖像并返回一個(gè)將圖像分類的標(biāo)簽。標(biāo)簽來(lái)自預(yù)定義的可能類別集。圖像分類在很多領(lǐng)域有廣泛應(yīng)用，包括安防領(lǐng)域的人臉識(shí)別和智能視頻分析等，交通領(lǐng)域的交通場(chǎng)景識(shí)別，互聯(lián)網(wǎng)領(lǐng)域基于內(nèi)容的圖像檢索和相冊(cè)自動(dòng)歸類，醫(yī)學(xué)領(lǐng)域的圖像識(shí)別等。2.典型應(yīng)用場(chǎng)景2.典型應(yīng)用場(chǎng)景中醫(yī)藥數(shù)據(jù)領(lǐng)域廣泛應(yīng)用深度學(xué)習(xí)等新技術(shù)開(kāi)展研究。中藥作為中醫(yī)藥的重要組成部分，其有著數(shù)千年的悠久歷史，底蘊(yùn)十分豐富。中國(guó)勞動(dòng)人民幾千年來(lái)在與疾病作斗爭(zhēng)的過(guò)程中，通過(guò)實(shí)踐，不斷認(rèn)識(shí)，逐漸積累了豐富的醫(yī)藥知識(shí)。由于太古時(shí)期文字未興，這些知識(shí)只能依靠師承口授。后來(lái)有了文字，便逐漸記錄下來(lái)，出現(xiàn)了醫(yī)藥書籍，這些書籍起到了總結(jié)前人經(jīng)驗(yàn)并便于流傳和推廣的作用。由于藥物中草類占大多數(shù)，所以記載藥物的書籍便稱為“本草”。據(jù)考證,素漢之際,本草流行已較多，但可惜這些本草都已亡佚，無(wú)可考察。現(xiàn)知的最早本草著作稱為《神農(nóng)本草經(jīng)》，著者不詳，根據(jù)其中記載的地名，可能是東漢醫(yī)家修訂前人著作而成。2.典型應(yīng)用場(chǎng)景人工智能技術(shù)的發(fā)展為中醫(yī)診斷手段帶來(lái)新的契機(jī)，隨著中醫(yī)傳統(tǒng)診斷方法現(xiàn)代化研究的深入，脈診儀、舌診儀、色診儀、聞診儀、經(jīng)絡(luò)儀等已成為新興的現(xiàn)代中醫(yī)診斷技術(shù)。人工智能具有獨(dú)立自主的診療能力，通過(guò)大數(shù)據(jù)學(xué)習(xí)可達(dá)到與中醫(yī)專家高度匹配的診療結(jié)果，以現(xiàn)代中醫(yī)診斷技術(shù)及其數(shù)據(jù)為支撐，基于案例推理模型，利用人體信息采集設(shè)備，應(yīng)用人工智能技術(shù)模擬中醫(yī)診斷過(guò)程，為醫(yī)生提供診療所需的知識(shí)、經(jīng)驗(yàn)、方法等啟發(fā)醫(yī)生思維，輔助醫(yī)生診斷，實(shí)現(xiàn)中醫(yī)診斷技術(shù)的信息化、數(shù)字化、標(biāo)準(zhǔn)化。3.實(shí)踐標(biāo)注操作準(zhǔn)備數(shù)據(jù)此處準(zhǔn)備了30張動(dòng)物圖像用于標(biāo)注，分別是10張雞的圖像，10張兔子的圖像，10張老鼠的圖像。3.實(shí)踐標(biāo)注操作創(chuàng)建項(xiàng)目打開(kāi)label-studio，在頁(yè)面選擇“CreateProject”創(chuàng)建項(xiàng)目，命名為AnimalClassify，并添加相應(yīng)描述3.實(shí)踐標(biāo)注操作導(dǎo)入數(shù)據(jù)選擇“DataImport”，通過(guò)左上角的“UploadFiles”選擇準(zhǔn)備好的數(shù)據(jù)，進(jìn)行導(dǎo)入。右圖分別為導(dǎo)入數(shù)據(jù)前后的“DataImport”界面。3.實(shí)踐標(biāo)注操作LabelingSetup導(dǎo)入數(shù)據(jù)后，選擇界面上方的“LabelingSetup”，之后出現(xiàn)如圖所示界面，左邊列表為任務(wù)選擇列表，包括ComputerVision、NaturalLanguageProcessing、Audio/speechProcessing等，根據(jù)不同任務(wù)選擇選項(xiàng)，本次的圖片分類任務(wù)選擇第一項(xiàng)“ComputerVision”。之后界面右側(cè)會(huì)出現(xiàn)八個(gè)不同的任務(wù)選項(xiàng)，由于本節(jié)要進(jìn)行的是圖片分類任務(wù)，所以選擇第六個(gè)任務(wù)-“ImageClassification”。3.實(shí)踐標(biāo)注操作LabelingSetup選擇項(xiàng)目模板類型后，跳轉(zhuǎn)至如圖所示界面3.實(shí)踐標(biāo)注操作LabelingSetup在上述界面的左邊添加圖片中動(dòng)物的分類，因?yàn)閳D片分別有10張雞，10張兔子以及10張老鼠，故設(shè)置了三個(gè)英文標(biāo)簽，分別為：chicken、rabbit、rat。添加完標(biāo)簽后，便可點(diǎn)擊界面右上角的“Save”按鈕，跳轉(zhuǎn)至如圖所示界面，該界面中展示了所有載入的圖像。3.實(shí)踐標(biāo)注操作開(kāi)始標(biāo)注任意點(diǎn)擊任務(wù)主界面的一張圖像，便可進(jìn)入該圖像的標(biāo)注界面。例如點(diǎn)擊，如圖所示的母雞圖片，在此界面可以根據(jù)該圖像所屬的標(biāo)簽類型，選擇對(duì)應(yīng)的標(biāo)簽，比如該圖像內(nèi)容是一只雞，則選擇對(duì)應(yīng)的chicken標(biāo)簽，選完之后，點(diǎn)擊右上角的“Submit”提交。3.實(shí)踐標(biāo)注操作開(kāi)始標(biāo)注通過(guò)圖任務(wù)主界面點(diǎn)擊中上方位置的LabelAllTasks按鈕，則會(huì)進(jìn)入到如圖所示界面。于該界面中同樣可對(duì)圖片進(jìn)行標(biāo)注操作，打完標(biāo)簽后，點(diǎn)擊右上角的“Submit”按鈕即可跳轉(zhuǎn)到下一張圖像繼續(xù)標(biāo)注。3.實(shí)踐標(biāo)注操作開(kāi)始標(biāo)注如果當(dāng)前圖片不屬于三個(gè)標(biāo)簽中的任一類或者該圖像不能確認(rèn)類別，則可點(diǎn)擊界面右上角的“Skip”按鈕，跳過(guò)該圖像的標(biāo)注過(guò)程。對(duì)于已經(jīng)標(biāo)記了的圖像，可在標(biāo)注界面通過(guò)左上角的<、>進(jìn)行圖像的切換選擇待修改圖像，更新該圖像的標(biāo)簽后，點(diǎn)擊右上角的Updata即可。3.實(shí)踐標(biāo)注操作開(kāi)始標(biāo)注所有圖像標(biāo)注完成之后，便會(huì)跳轉(zhuǎn)到如圖所示界面，代表所有圖像均已處理完成。3.實(shí)踐標(biāo)注操作開(kāi)始標(biāo)注點(diǎn)擊界面左上角的AnimalClassify便可查看圖片的標(biāo)注情況，如圖所示，其中第一列數(shù)據(jù)代表圖像id，第二列代表標(biāo)注時(shí)間，第三列代表標(biāo)注與否，1為標(biāo)注完成，0為未標(biāo)注，第四列代表是否跳過(guò)標(biāo)注，1代表跳過(guò)，0代表未跳過(guò)。3.實(shí)踐標(biāo)注操作導(dǎo)出結(jié)果若要導(dǎo)出最終的標(biāo)注結(jié)果，則可圖中“Export”按鈕，便會(huì)出現(xiàn)如圖所示界面，根據(jù)處理任務(wù)的不同會(huì)顯示不同文件生成結(jié)果，由于本節(jié)任務(wù)是圖像分類，所以，可以生成如圖所示的四類文件，若要導(dǎo)出哪種文件到本地，選中其后，點(diǎn)擊右下角“Export”即可。3.實(shí)踐標(biāo)注操作結(jié)果展示將所需文件導(dǎo)出到本地后，可以進(jìn)行查看，比如導(dǎo)出JSON格式文件，如圖所示，由于篇幅過(guò)大，所以只展示了部分?jǐn)?shù)據(jù)。[{

"id":90,

"annotations":[{

"id":91,

"completed_by":1,

"result":[{

"value":{"choices":["rat"]},

"id":"IkO1NcTGG_",

"from_name":"choice",

"to_name":"image",

"type":"choices",

"origin":"manual"}],

"was_cancelled":false,

"ground_truth":false,

"created_at":"2022-05-19T11:08:02.299987Z",

"updated_at":"2022-05-19T11:08:02.299987Z",

"lead_time":4.131,

"prediction":{},

"result_count":0,

"task":90,

"parent_prediction":null,

"parent_annotation":null}],………………

"file_upload":"ab51fbca-chickens007.jpg",

"drafts":[],

"predictions":[],

"data":{"image":"\/data\/upload\/9\/ab51fbca-chickens007.jpg"},

"meta":{},

"created_at":"2022-05-19T10:56:03.092880Z",

"updated_at":"2022-05-19T11:00:58.184831Z",

"project":9}]3.實(shí)踐標(biāo)注操作結(jié)果展示或者所需文件為CSV文件，則將CSV文件導(dǎo)出，如圖所示。小結(jié)知識(shí)目標(biāo)：（1）明確分類任務(wù)標(biāo)注方法（2）熟悉分類任務(wù)結(jié)果導(dǎo)出格式思政目標(biāo)：（1）了解中國(guó)傳統(tǒng)哲學(xué)文化（2）了解中醫(yī)藥發(fā)展的歷程第二章

圖像任務(wù)標(biāo)注項(xiàng)目任務(wù)二

目標(biāo)檢測(cè)標(biāo)注內(nèi)容概括概念典型應(yīng)用場(chǎng)景實(shí)踐標(biāo)注操作1.1概念目標(biāo)檢測(cè)，也稱為目標(biāo)提取，是一種基于目標(biāo)幾何和統(tǒng)計(jì)特征的圖像分割。它將目標(biāo)的分割和識(shí)別合二為一，其準(zhǔn)確性和實(shí)時(shí)性是整個(gè)系統(tǒng)的一項(xiàng)重要性能。目標(biāo)檢測(cè)是圖像分類的進(jìn)階版本，圖像分類只需要辨別圖像中物體的類別即可，而對(duì)于目標(biāo)識(shí)別來(lái)說(shuō)，還需要得到目標(biāo)詳細(xì)的坐標(biāo)信息。在目標(biāo)檢測(cè)任務(wù)中，需要輸入一張圖像，然后從整張圖像中辨別出需要識(shí)別的目標(biāo)，指出目標(biāo)的類別，并且需要標(biāo)注出目標(biāo)的位置，并用外接矩形框標(biāo)出。1.2典型應(yīng)用場(chǎng)景隨著計(jì)算機(jī)技術(shù)的發(fā)展和計(jì)算機(jī)視覺(jué)原理的廣泛應(yīng)用，利用計(jì)算機(jī)圖像處理技術(shù)對(duì)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤研究越來(lái)越熱門，對(duì)目標(biāo)進(jìn)行動(dòng)態(tài)實(shí)時(shí)跟蹤定位在智能化交通系統(tǒng)、工業(yè)檢測(cè)、智能監(jiān)控系統(tǒng)、軍事目標(biāo)檢測(cè)及醫(yī)學(xué)導(dǎo)航手術(shù)中的手術(shù)器械定位等方面具有廣泛的應(yīng)用價(jià)值。1.2典型應(yīng)用場(chǎng)景在智能化交通系統(tǒng)中，目標(biāo)檢測(cè)主要應(yīng)用于如下場(chǎng)景：（1）交通流量與紅綠燈控制：通過(guò)視覺(jué)算法，對(duì)道路卡口相機(jī)和電警相機(jī)中采集的視頻圖像進(jìn)行分析，根據(jù)相應(yīng)路段的車流量，調(diào)整紅綠燈配時(shí)策略，提升交通通行能力。1.2典型應(yīng)用場(chǎng)景（2）交通事件檢測(cè)：通過(guò)視覺(jué)算法，檢測(cè)各種交通事件，包括非機(jī)動(dòng)車駛?cè)霗C(jī)動(dòng)車道、車輛占用應(yīng)急車道以及監(jiān)控危險(xiǎn)品運(yùn)輸車輛駕駛員的駕駛行為、交通事故實(shí)時(shí)報(bào)警等，第一時(shí)間將異常事件上報(bào)給交管部門。1.2典型應(yīng)用場(chǎng)景（3）交通違法事件檢測(cè)和追蹤：通過(guò)視覺(jué)算法，發(fā)現(xiàn)套牌車輛、收費(fèi)站逃費(fèi)現(xiàn)象，跟蹤肇事車輛，對(duì)可疑車輛/行人進(jìn)行全程軌跡追蹤，通過(guò)視覺(jué)技術(shù)手段，極大地提升公安/交管部門的監(jiān)管能力。目標(biāo)測(cè)標(biāo)注1.2典型應(yīng)用場(chǎng)景（4）自動(dòng)駕駛：自動(dòng)駕駛是一個(gè)多種前沿技術(shù)高度交叉的研究方向，其中視覺(jué)相關(guān)算法主要包含對(duì)道路、車輛以及行人的檢測(cè)，對(duì)交通標(biāo)志物以及路旁物體的檢測(cè)識(shí)別等。主流的人工智能公司都投入了大量的資源進(jìn)行自動(dòng)駕駛方面的研發(fā)，目前已經(jīng)初步實(shí)現(xiàn)了受限路況條件下的自動(dòng)駕駛，但距離實(shí)現(xiàn)不受路況、天氣等因素影響的自動(dòng)駕駛，尚有相當(dāng)大的一段距離。1.2典型應(yīng)用場(chǎng)景工業(yè)檢測(cè)是計(jì)算機(jī)視覺(jué)的另一個(gè)重要應(yīng)用領(lǐng)域，在各個(gè)行業(yè)均有極為廣泛的應(yīng)用。在產(chǎn)品的生產(chǎn)過(guò)程中，由于原料、制造業(yè)工藝、環(huán)境等因素的影響，產(chǎn)品有可能產(chǎn)生各種各樣的問(wèn)題。其中相當(dāng)一部分是所謂的外觀缺陷，即人眼可識(shí)別的缺陷。在傳統(tǒng)生產(chǎn)流程中，外觀缺陷大多采用人工檢測(cè)的方式進(jìn)行識(shí)別，不僅消耗人力成本，也無(wú)法保障檢測(cè)效果。工業(yè)檢測(cè)就是利用計(jì)算機(jī)視覺(jué)技術(shù)中的目標(biāo)檢測(cè)算法，把產(chǎn)品在生產(chǎn)過(guò)程中出現(xiàn)的裂紋、形變、部件丟失等外觀缺陷檢測(cè)出來(lái)，達(dá)到提升產(chǎn)品質(zhì)量穩(wěn)定性、提高生產(chǎn)效率的目的。1.2典型應(yīng)用場(chǎng)景昇騰AI是以昇騰AI基礎(chǔ)軟硬件平臺(tái)為基礎(chǔ)構(gòu)建的人工智能計(jì)算產(chǎn)業(yè)，昇騰AI基礎(chǔ)軟硬件平臺(tái)包括Atlas系列硬件及伙伴硬件、異構(gòu)計(jì)算架構(gòu)CANN（ComputeArchitectureforNeuralNetworks）、全場(chǎng)景AI框架昇思MindSpore、昇騰應(yīng)用使能MindX等。作為昇騰AI的核心，異構(gòu)計(jì)算架構(gòu)CANN兼容多種底層硬件設(shè)備形態(tài)提供強(qiáng)大的異構(gòu)計(jì)算能力，并且通過(guò)多層次編程接口，支持用戶快速構(gòu)建AI應(yīng)用和業(yè)務(wù)。能夠很好地完成工業(yè)檢測(cè)任務(wù)。1.3實(shí)踐標(biāo)注操作此處準(zhǔn)備了4張汽車圖像用于標(biāo)注，圖像中有的只有一輛汽車，有的有多輛汽車。準(zhǔn)備數(shù)據(jù)1.3實(shí)踐標(biāo)注操作打開(kāi)label-studio，在頁(yè)面選擇“CreateProject”創(chuàng)建項(xiàng)目，命名為CarDetection，并添加相應(yīng)描述，如圖所示。創(chuàng)建項(xiàng)目1.3實(shí)踐標(biāo)注操作選擇“DataImport”標(biāo)簽頁(yè)，通過(guò)左上角的“UploadFiles”選擇準(zhǔn)備好的數(shù)據(jù)，進(jìn)行導(dǎo)入。兩圖分別為導(dǎo)入數(shù)據(jù)前后的DataImport界面。導(dǎo)入數(shù)據(jù)1.3實(shí)踐標(biāo)注操作導(dǎo)入數(shù)據(jù)后，選擇界面上方的“LabelingSetup”，之后出現(xiàn)如圖所示界面。左邊列表為任務(wù)選擇列表，包括ComputerVision、NaturalLanguageProcessing等，根據(jù)不同任務(wù)選擇選項(xiàng)，本次的目標(biāo)檢測(cè)任務(wù)選擇第一項(xiàng)“ComputerVision”，之后界面右側(cè)會(huì)出現(xiàn)八個(gè)不同的任務(wù)選項(xiàng)，選擇“ObjectDetectionwithBoundingBoxes”。LabelingSetup1.3實(shí)踐標(biāo)注操作選擇項(xiàng)目模板類型后，跳轉(zhuǎn)至如圖所示界面，在該界面的左邊添加圖片中目標(biāo)檢測(cè)的類型。因?yàn)橹粰z測(cè)圖像中的汽車，故共設(shè)置了一個(gè)英文標(biāo)簽“car”。LabelingSetup1.3實(shí)踐標(biāo)注操作添加完標(biāo)簽后，便可點(diǎn)擊界面右上角的“Save”按鈕，跳轉(zhuǎn)至如圖所示界面，該界面中展示了所有載入的圖像。LabelingSetup1.3實(shí)踐標(biāo)注操作點(diǎn)擊任務(wù)主界面的第一張圖像，便可進(jìn)入該圖像的標(biāo)注界面，如圖所示開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作在上述界面先選中標(biāo)簽car，之后點(diǎn)擊圖像上汽車所在位置，鼠標(biāo)不放并拖動(dòng)，便會(huì)出現(xiàn)一個(gè)矩形框，如圖所示開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作如果所畫的矩形框的大小和汽車的大小不匹配時(shí)，點(diǎn)擊該矩形框，矩形框則會(huì)變?yōu)榭勺兇笮〔⑶铱梢苿?dòng)狀態(tài)，如圖所示，此時(shí)，通過(guò)拖動(dòng)或者改變矩形框大小，使得該矩形框與汽車大小完全匹配，匹配后點(diǎn)擊右上角的Submit即可。開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作對(duì)于圖像的標(biāo)注過(guò)程也可以不在此處進(jìn)行，通過(guò)任務(wù)主界面的LabelAllTasks按鈕，則會(huì)進(jìn)入到如圖所示界面。于該界面中同樣可對(duì)圖片進(jìn)行標(biāo)注操作，標(biāo)注完成后，點(diǎn)擊右上角的Submit按鈕即可跳轉(zhuǎn)到下一張圖像的標(biāo)注界面，如果當(dāng)前圖片中沒(méi)有汽車，則可點(diǎn)擊界面右上角的Skip按鈕，跳過(guò)該圖像的標(biāo)注過(guò)程。開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作對(duì)于已經(jīng)標(biāo)記了的圖像，可通過(guò)左上角的<、>進(jìn)行圖像的切換，若想改變某張圖像的標(biāo)注內(nèi)容，則可通過(guò)“<”、“>”切換到該圖像，更新該圖像的標(biāo)注內(nèi)容后，點(diǎn)擊右上角的“Updata”提交變更。當(dāng)圖像中出現(xiàn)多個(gè)目標(biāo)時(shí)，使用多個(gè)矩形框逐個(gè)將其標(biāo)注即可，如圖所示。開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作所有圖像標(biāo)注完成之后，便會(huì)跳轉(zhuǎn)到如圖所示界面，代表所有圖像均已處理完成。開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作點(diǎn)擊界面左上角的CarDetection便可查看圖片的標(biāo)注情況，如圖所示，其中第一列數(shù)據(jù)代表圖像id，第二列代表標(biāo)注時(shí)間，第三列代表標(biāo)注與否，1為標(biāo)注完成，0為未標(biāo)注，第四列代表是否跳過(guò)標(biāo)注，1代表跳過(guò)，0代表未跳過(guò)。開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作若要導(dǎo)出最終的標(biāo)注結(jié)果，則可點(diǎn)擊主界面右上角的Export按鈕，便會(huì)出現(xiàn)如圖所示界面，根據(jù)處理任務(wù)的不同會(huì)顯示不同文件生成結(jié)果，由于本節(jié)任務(wù)是目標(biāo)檢測(cè)，所以，可以生成如圖所示的七類文件，若要導(dǎo)出哪種文件到本地，選中其后，點(diǎn)擊右下角Export即可。當(dāng)然，也可以將這七類文件全部導(dǎo)出。導(dǎo)出結(jié)果1.3實(shí)踐標(biāo)注操作將所需文件導(dǎo)出到本地后，可以進(jìn)行查看，此處導(dǎo)出的JSON格式文件（由于篇幅過(guò)大，只展示了部分?jǐn)?shù)據(jù)）如圖所示。結(jié)果展示[{

"id":94,

"annotations":[{

"id":95,

"completed_by":1,

"result":[{

"original_width":1080,

"original_height":659,

"image_rotation":0,

"value":{

"x":17.33333333333333,

"y":53.27510917030566,

"width":13.333333333333336,

"height":21.179039301310013,

"rotation":0,

"rectanglelabels":["Car"]},

"id":"Yq-t9cB1EO",

"from_name":"label",

"to_name":"image",

"type":"rectanglelabels",

"origin":"manual"},……"created_at":"2022-05-22T11:23:46.549674Z",

"updated_at":"2022-05-22T12:27:07.646509Z",

"project":10}]第二章

圖像任務(wù)標(biāo)注項(xiàng)目任務(wù)三

小目標(biāo)檢測(cè)標(biāo)注內(nèi)容概括概念面臨挑戰(zhàn)典型應(yīng)用場(chǎng)景實(shí)踐標(biāo)注操作2.1概念目標(biāo)檢測(cè)是一種基于目標(biāo)幾何和統(tǒng)計(jì)特征的圖像分割。而對(duì)于小目標(biāo)檢測(cè)則是對(duì)圖形中的小目標(biāo)物體進(jìn)行檢測(cè)，但是對(duì)于不同場(chǎng)景下定義的小目標(biāo)標(biāo)準(zhǔn)不盡相同，現(xiàn)有定義方式按學(xué)術(shù)上主要分為兩類：相對(duì)尺寸與絕對(duì)尺寸。2.1概念（1）相對(duì)尺寸從目標(biāo)與圖像相對(duì)尺寸來(lái)定義，Chen等人對(duì)小目標(biāo)進(jìn)行了定義：同一類別中，所有目標(biāo)實(shí)例的相對(duì)面積，即他的邊界框面積與圖像面積之比的中位數(shù)于0.08%~0.58%之間。除此之外，較為常見(jiàn)的還有幾種，比如面積邊界框的寬高于圖像的寬高比例小于一定值，較為常用的比值為0.1；再比如目標(biāo)邊界框面積與圖像面積的比值開(kāi)放小于一定值，較為常用的值為0.03；還有就是根據(jù)目標(biāo)實(shí)際覆蓋像素與圖像總像素之間比例對(duì)小目標(biāo)進(jìn)行定義。相對(duì)尺度的定義存在一定的問(wèn)題，這種定義方式難以有效評(píng)估模型對(duì)不同尺度目標(biāo)的檢測(cè)性能，同時(shí)容易受到數(shù)據(jù)預(yù)處理與模型的影響。2.1概念（2）絕對(duì)尺寸從目標(biāo)絕對(duì)像素大小來(lái)說(shuō)，目前最為通用的是來(lái)自MSCOCO數(shù)據(jù)集，將分辨率小于32×32像素的目標(biāo)定義為小目標(biāo)。對(duì)于為什么確定為32×32像素，提出了兩種思路：人類在圖像上方面能有效識(shí)別的彩色圖像最低像素大小為32×32，小于32×32像素則人眼無(wú)法識(shí)別，VGG網(wǎng)絡(luò)從輸入圖像到全連接層的特征向量經(jīng)過(guò)了5個(gè)最大池化層，因此選定輸入圖像為32×32像素2.1概念對(duì)于小目標(biāo)的目標(biāo)檢測(cè)，有很多的解決方案，下面將對(duì)部分方案進(jìn)行介紹。（1）數(shù)據(jù)增強(qiáng)數(shù)據(jù)增強(qiáng)是提升小目標(biāo)檢測(cè)效果最簡(jiǎn)單有效的方法。主要通過(guò)擴(kuò)充小目標(biāo)樣本的規(guī)模，或者增強(qiáng)模型的魯棒性和泛化能力。（2）多尺度檢測(cè)小目標(biāo)與常規(guī)的目標(biāo)相比可利用的像素少，難以提取到好的特征，隨著網(wǎng)絡(luò)深度的增加，小目標(biāo)的特征信息和位置信息逐漸丟失，難以被網(wǎng)絡(luò)檢測(cè)。這些特性導(dǎo)致小目標(biāo)同時(shí)需要深層語(yǔ)義信息與淺層表征信息，而多尺度學(xué)習(xí)將這兩種相結(jié)合，是一種提升小目標(biāo)檢測(cè)性能的有效策略。2.1概念（3）上下文學(xué)習(xí)在真實(shí)世界中，目標(biāo)與場(chǎng)景、目標(biāo)與目標(biāo)存在共存關(guān)系，利用這種上下文信息可以提升小目標(biāo)的檢測(cè)性能。基于隱式上下文特征學(xué)習(xí)的目標(biāo)檢測(cè)。隱式上下文特征是指目標(biāo)區(qū)域周圍的背景特征或者全局的場(chǎng)景特征?；陲@示上下文推理的目標(biāo)檢測(cè)。顯示上下文推理是指利用場(chǎng)景中明確的上下文信息來(lái)輔助推斷目標(biāo)的位置或類別，例如利用場(chǎng)景中草地區(qū)域與目標(biāo)的上下文關(guān)系來(lái)推斷目標(biāo)的類別。2.1概念（4）對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)的方法旨在通過(guò)將低分辨率小目標(biāo)的特征映射成與高分辨率目標(biāo)等價(jià)的特征，從而達(dá)到與尺寸較大目標(biāo)同等的檢測(cè)性能。可以通過(guò)結(jié)合生成對(duì)抗網(wǎng)絡(luò)提高小目標(biāo)的分辨率，縮小目標(biāo)之間的尺度差異，增強(qiáng)小目標(biāo)的特征表達(dá)，提高小目標(biāo)的檢測(cè)效果，也可以使用GAN生成圖像，進(jìn)行數(shù)據(jù)增強(qiáng)。2.2面臨的挑戰(zhàn)（1）可利用特征少。小目標(biāo)的分辨率較低，可視化信息少，難以提取到具有鑒別力的特征，且極易被環(huán)境因素干擾。（2）定位精度要求高。小目標(biāo)在圖像中覆蓋的面積小，在預(yù)測(cè)過(guò)程中，預(yù)測(cè)邊界框偏移一個(gè)像素點(diǎn)都會(huì)造成很大的誤差。（3）現(xiàn)有數(shù)據(jù)集小目標(biāo)占比少?，F(xiàn)有的數(shù)據(jù)集大多針對(duì)大尺寸目標(biāo)，小目標(biāo)較少，MSCOCO中雖然小目標(biāo)占比較高，但分布不均。再加上小目標(biāo)難以標(biāo)注，一方面來(lái)源于小目標(biāo)在圖像中不易被關(guān)注，另一方面對(duì)標(biāo)注誤差非常敏感。2.2面臨的挑戰(zhàn)（4）樣本不均衡。為了定位目標(biāo)，現(xiàn)有的方法大多是預(yù)先在圖像的每一個(gè)位置生成一系列的Anchor，在訓(xùn)練中，通過(guò)設(shè)定固定的閾值來(lái)判斷Anchor是否屬于正樣本。（5）小目標(biāo)聚集。相對(duì)于大目標(biāo)，小目標(biāo)容易出現(xiàn)聚集現(xiàn)象，當(dāng)小目標(biāo)聚集出現(xiàn)時(shí)，聚集區(qū)域相鄰的小目標(biāo)無(wú)法區(qū)分。當(dāng)同類的小目標(biāo)密集出現(xiàn)時(shí)，預(yù)測(cè)的邊界框還可能由于后處理的NMS將大量正確預(yù)測(cè)的邊界框過(guò)濾導(dǎo)致漏檢。（6）網(wǎng)絡(luò)結(jié)構(gòu)因素。現(xiàn)有的算法在設(shè)計(jì)時(shí)更關(guān)注大目標(biāo)的檢測(cè)效果，針對(duì)小目標(biāo)的優(yōu)化較少，同時(shí)大多算法基于Anchor設(shè)計(jì)，對(duì)小目標(biāo)檢測(cè)不友好。在訓(xùn)練中，小目標(biāo)由于訓(xùn)練樣本少，進(jìn)一步減弱了網(wǎng)絡(luò)對(duì)小目標(biāo)的學(xué)習(xí)能力。2.3典型應(yīng)用場(chǎng)景對(duì)于小目標(biāo)的目標(biāo)檢測(cè)，顧名思義，其主要應(yīng)用于小目標(biāo)的檢測(cè)場(chǎng)景下面將簡(jiǎn)單介紹兩個(gè)具體的應(yīng)用場(chǎng)景。（1）樂(lè)譜識(shí)別樂(lè)譜識(shí)別現(xiàn)階段比較健全的數(shù)據(jù)集是DeepScores，其包含高質(zhì)量的樂(lè)譜圖像，分為3000000張書面音樂(lè)，其中包含不同形狀和大小的符號(hào)。該數(shù)據(jù)集擁有近一億個(gè)小對(duì)象，這使得該數(shù)據(jù)集不僅獨(dú)一無(wú)二，而且是最大的公共數(shù)據(jù)集。2.3典型應(yīng)用場(chǎng)景（2）衛(wèi)星圖檢測(cè)衛(wèi)星圖檢測(cè)主要是檢測(cè)通過(guò)衛(wèi)星拍攝圖形中的小目標(biāo)物體，NWPUVHR-10Dataset是一個(gè)用于空間物體檢測(cè)的10級(jí)地理遙感數(shù)據(jù)集，其擁有650張包含目標(biāo)的圖像和150張背景圖像，目標(biāo)種類包括飛機(jī)、艦船、油罐、棒球場(chǎng)、網(wǎng)球場(chǎng)、籃球場(chǎng)、田徑場(chǎng)、港口、橋梁和汽車共計(jì)10個(gè)類別的小目標(biāo)。2.4實(shí)踐標(biāo)注操作根據(jù)上文介紹，對(duì)于小目標(biāo)檢測(cè)有很多解決方案，由于本書主要講授數(shù)據(jù)標(biāo)注內(nèi)容，并且上述解決方案也有兩項(xiàng)與數(shù)據(jù)有關(guān)，一是數(shù)據(jù)增強(qiáng)，此處將實(shí)現(xiàn)將圖形中小目標(biāo)車牌復(fù)制粘貼到圖形的任意位置后在進(jìn)行標(biāo)注，二是上下文推理的形式，此處檢測(cè)的目標(biāo)是車牌，而車牌幾乎都會(huì)出現(xiàn)在車上，故標(biāo)注時(shí)會(huì)將車牌與車一起標(biāo)注，下面將對(duì)這兩種形式的標(biāo)注過(guò)程詳細(xì)介紹?，F(xiàn)找到兩張圖像進(jìn)行車牌的目標(biāo)檢測(cè)，如上圖所示，由于首先要進(jìn)行小目標(biāo)復(fù)制粘貼式的數(shù)據(jù)增強(qiáng)，故對(duì)圖像中的車牌復(fù)制，并粘貼到圖形中的隨機(jī)位置，如下圖所示。數(shù)據(jù)增強(qiáng)方式-準(zhǔn)備數(shù)據(jù)2.4實(shí)踐標(biāo)注操作打開(kāi)label-studio，在頁(yè)面選擇“CreateProject”創(chuàng)建項(xiàng)目，命名為L(zhǎng)ittelLicense，并添加相應(yīng)描述，如圖所示。數(shù)據(jù)增強(qiáng)方式-創(chuàng)建項(xiàng)目2.4實(shí)踐標(biāo)注操作選擇“DataImport”，通過(guò)左上角的“UploadFiles”選擇準(zhǔn)備好的數(shù)據(jù)，進(jìn)行導(dǎo)入。如圖所示分別為導(dǎo)入數(shù)據(jù)前后的DataImport界面。數(shù)據(jù)增強(qiáng)方式-導(dǎo)入數(shù)據(jù)2.4實(shí)踐標(biāo)注操作選擇項(xiàng)目模板后，跳轉(zhuǎn)至如圖所示界面，在該界面的左邊添加圖片中目標(biāo)檢測(cè)的類型，因?yàn)橹粰z測(cè)圖像中的汽車，故共設(shè)置了一個(gè)英文標(biāo)簽license。該界面右側(cè)為示例圖形，無(wú)需理睬。數(shù)據(jù)增強(qiáng)方式-LabelingSetup2.4實(shí)踐標(biāo)注操作添加完標(biāo)簽后，便可點(diǎn)擊界面右上角的“Save”按鈕，跳轉(zhuǎn)至如圖所示界面，該界面中展示了所有載入的圖像。數(shù)據(jù)增強(qiáng)方式-LabelingSetup2.4實(shí)踐標(biāo)注操作點(diǎn)擊任務(wù)主界面的第一張圖像，便可進(jìn)入該圖像的標(biāo)注界面，如第一張圖所示，在此界面先選中標(biāo)簽license，之后點(diǎn)擊圖像上汽車所在位置，鼠標(biāo)不放并拖動(dòng)，便會(huì)出現(xiàn)一個(gè)矩形框，如第二張圖所示，并且如果所畫的矩形框的大小和汽車的大小不匹配時(shí)，點(diǎn)擊該矩形框，矩形框則會(huì)變?yōu)榭勺兇笮〔⑶铱梢苿?dòng)狀態(tài)，此時(shí)，通過(guò)拖動(dòng)或者改變矩形框大小，使得該矩形框與汽車大小完全匹配，匹配后點(diǎn)擊右上角的“Submit”即可。數(shù)據(jù)增強(qiáng)方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作數(shù)據(jù)增強(qiáng)方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作對(duì)于圖像的標(biāo)注過(guò)程也可以不在此處進(jìn)行，通過(guò)任務(wù)主界面，點(diǎn)擊界面中上方位置的LabelAllTasks按鈕，則會(huì)進(jìn)入到如圖所示界面。于該界面中同樣可對(duì)圖片進(jìn)行標(biāo)注操作，標(biāo)注完成后，點(diǎn)擊右上角的“Submit”按鈕即可跳轉(zhuǎn)到下一張圖像的標(biāo)注界面，如果當(dāng)前圖片中沒(méi)有車牌，則可點(diǎn)擊界面右上角的“Skip”按鈕，跳過(guò)該圖像的標(biāo)注過(guò)程。對(duì)于已經(jīng)標(biāo)記了的圖像，可通過(guò)左上角的<、>進(jìn)行圖像的切換，若想改變某張圖像的標(biāo)注內(nèi)容，則可通過(guò)<、>切換到該圖像，更新該圖像的標(biāo)注內(nèi)容后，點(diǎn)擊右上角的“Updata”即可。數(shù)據(jù)增強(qiáng)方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作數(shù)據(jù)增強(qiáng)方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作所有圖像標(biāo)注完成之后，便會(huì)跳轉(zhuǎn)到如圖所示界面，代表所有圖像均已處理完成。數(shù)據(jù)增強(qiáng)方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作點(diǎn)擊界面左上角的“LittelLicense”便可查看圖片的標(biāo)注情況，如圖所示，其中第一列數(shù)據(jù)代表圖像id，第二列代表標(biāo)注時(shí)間，第三列代表標(biāo)注與否，1為標(biāo)注完成，0為未標(biāo)注，第四列代表是否跳過(guò)標(biāo)注，1代表跳過(guò)，0代表未跳過(guò)。數(shù)據(jù)增強(qiáng)方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作若要導(dǎo)出最終的標(biāo)注結(jié)果，則可點(diǎn)擊主界面右上角的“Export”按鈕，便會(huì)出現(xiàn)如圖所示界面，根據(jù)處理任務(wù)的不同會(huì)顯示不同文件生成結(jié)果，由于本節(jié)任務(wù)是目標(biāo)檢測(cè)，所以，可以生成如圖所示的七類文件，若要導(dǎo)出哪種文件到本地，選中其后，點(diǎn)擊右下角“Export”即可。當(dāng)然，也可以將這七類文件全部導(dǎo)出。數(shù)據(jù)增強(qiáng)方式-導(dǎo)出結(jié)果2.4實(shí)踐標(biāo)注操作將所需文件導(dǎo)出到本地后，可以進(jìn)行查看，本節(jié)以PascalVOCXML數(shù)據(jù)為例。其會(huì)生成一個(gè)壓縮包，壓縮包中包含兩個(gè)文件夾，分別為Annotations和images，其中images文件夾中包含所有圖片，Annotations文件夾中包含對(duì)每張圖片記錄的標(biāo)注信息，格式為XML文檔，其中對(duì)某一張圖像的標(biāo)注信息如圖所示。數(shù)據(jù)增強(qiáng)方式-結(jié)果展示2.4實(shí)踐標(biāo)注操作現(xiàn)找到兩張圖像進(jìn)行車牌的目標(biāo)檢測(cè)，如圖所示，由于后需要進(jìn)行上下文推理的形式對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，所以此處標(biāo)注時(shí)不僅僅標(biāo)注車牌，還會(huì)標(biāo)注車牌的載體---汽車。上下文推理方式-準(zhǔn)備數(shù)據(jù)2.4實(shí)踐標(biāo)注操作小目標(biāo)檢測(cè)標(biāo)注打開(kāi)label-studio，在頁(yè)面選擇“Createproject”創(chuàng)建項(xiàng)目，命名為L(zhǎng)ittelLicense，并添加相應(yīng)描述，如圖所示。上下文推理方式-創(chuàng)建項(xiàng)目2.4實(shí)踐標(biāo)注操作選擇“DataImport”，通過(guò)左上角的“UploadFiles”選擇準(zhǔn)備好的數(shù)據(jù)，進(jìn)行導(dǎo)入。如圖所示分別為導(dǎo)入數(shù)據(jù)前后的“DataImport”界面。上下文推理方式-導(dǎo)入數(shù)據(jù)2.4實(shí)踐標(biāo)注操作導(dǎo)入數(shù)據(jù)后，選擇界面上方的“LabelingSetup”，之后出現(xiàn)如圖所示界面，左邊列表選擇第一項(xiàng)“ComputerVision”，之后界面右側(cè)會(huì)出現(xiàn)八個(gè)不同的任務(wù)選項(xiàng)，由于本節(jié)要進(jìn)行的是目標(biāo)檢測(cè)任務(wù)，所以選擇第三個(gè)任務(wù)-ObjectDetectionwithBoundingBoxes。上下文推理方式-LabelingSetup2.4實(shí)踐標(biāo)注操作點(diǎn)擊第三個(gè)任務(wù)ObjectDetectionwithBoundingBoxes后，跳轉(zhuǎn)至如圖所示界面，在該界面的左邊添加圖片中目標(biāo)檢測(cè)的類型，因?yàn)橹粰z測(cè)圖像中的汽車，故共設(shè)置了兩個(gè)英文標(biāo)簽，分別為license和car。該界面右側(cè)為示例圖形，無(wú)需理睬。上下文推理方式-LabelingSetup2.4實(shí)踐標(biāo)注操作添加完標(biāo)簽后，便可點(diǎn)擊界面右上角的“Save”按鈕，跳轉(zhuǎn)至如圖所示界面，該界面中展示了所有載入的圖像。上下文推理方式-LabelingSetup2.4實(shí)踐標(biāo)注操作點(diǎn)擊任務(wù)主界面的第一張圖像，便可進(jìn)入該圖像的標(biāo)注界面，如上圖所示，在此界面先選中標(biāo)簽car，之后點(diǎn)擊圖像上汽車所在位置，鼠標(biāo)不放并拖動(dòng)，便會(huì)出現(xiàn)一個(gè)矩形框，并且如果所畫的矩形框的大小和汽車的大小不匹配時(shí)，點(diǎn)擊該矩形框，矩形框則會(huì)變?yōu)榭勺兇笮〔⑶铱梢苿?dòng)狀態(tài)，此時(shí)，通過(guò)拖動(dòng)或者改變矩形框大小，使得該矩形框與汽車大小完全匹配，使用同樣的方法，選擇license標(biāo)簽將車牌進(jìn)行標(biāo)注，如圖所示，標(biāo)注完成后點(diǎn)擊右上角的“Submit”即可。上下文推理方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作上下文推理方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作對(duì)于圖像的標(biāo)注過(guò)程也可以不在此處進(jìn)行，通過(guò)任務(wù)主界面，點(diǎn)擊界面中上方位置的LabelAllTasks按鈕，則會(huì)進(jìn)入到如圖所示界面。于該界面中同樣可對(duì)圖片進(jìn)行標(biāo)注操作，標(biāo)注完成后，點(diǎn)擊右上角的“Submit”按鈕即可跳轉(zhuǎn)到下一張圖像的標(biāo)注界面，如果當(dāng)前圖片中沒(méi)有車牌，則可點(diǎn)擊界面右上角的“Skip”按鈕，跳過(guò)該圖像的標(biāo)注過(guò)程。對(duì)于已經(jīng)標(biāo)記了的圖像，可通過(guò)左上角的<、>進(jìn)行圖像的切換，若想改變某張圖像的標(biāo)注內(nèi)容，則可通過(guò)<、>切換到該圖像，更新該圖像的標(biāo)注內(nèi)容后，點(diǎn)擊右上角的“Updata”即可。上下文推理方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作上下文推理方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作所有圖像標(biāo)注完成之后，便會(huì)跳轉(zhuǎn)到如圖所示界面，代表所有圖像均已處理完成。上下文推理方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作點(diǎn)擊界面左上角的“LittelLicense”便可查看圖片的標(biāo)注情況，如圖所示，其中第一列數(shù)據(jù)代表圖像id，第二列代表標(biāo)注時(shí)間，第三列代表標(biāo)注與否，1為標(biāo)注完成，0為未標(biāo)注，第四列代表是否跳過(guò)標(biāo)注，1代表跳過(guò)，0代表未跳過(guò)。上下文推理方式-開(kāi)始標(biāo)注2.4實(shí)踐標(biāo)注操作若要導(dǎo)出最終的標(biāo)注結(jié)果，則可點(diǎn)擊主界面右上角的“Export”按鈕，便會(huì)出現(xiàn)如圖所示界面，根據(jù)處理任務(wù)的不同會(huì)顯示不同文件生成結(jié)果，由于本節(jié)任務(wù)是目標(biāo)檢測(cè)，所以，可以生成如圖所示的七類文件，若要導(dǎo)出哪種文件到本地，選中其后，點(diǎn)擊右下角“Export”即可。當(dāng)然，也可以將這七類文件全部導(dǎo)出。上下文推理方式-導(dǎo)出結(jié)果2.4實(shí)踐標(biāo)注操作將所需文件導(dǎo)出到本地后，可以進(jìn)行查看，以COCO數(shù)據(jù)為例，其會(huì)生成一個(gè)壓縮包，壓縮包中包含一個(gè)文件夾一個(gè)JSON文件，文件夾中包含所有圖片，JSON文件中會(huì)將所有圖片的標(biāo)注信息進(jìn)行記錄，如圖所示，左邊是圖像文件夾，包含所有剛才標(biāo)注的圖像，右側(cè)為JSON文件內(nèi)容，記錄了所有的標(biāo)注信息。上下文推理方式-結(jié)果展示2.4實(shí)踐標(biāo)注操作小結(jié)知識(shí)目標(biāo)：（1）明確目標(biāo)檢測(cè)標(biāo)注方法（2）明確小目標(biāo)檢測(cè)標(biāo)注方法（3）熟悉目標(biāo)檢測(cè)與小目標(biāo)檢測(cè)間的區(qū)別思政目標(biāo)：（1）工匠精神第二章

圖像任務(wù)標(biāo)注項(xiàng)目任務(wù)三

圖像語(yǔ)義分割標(biāo)注內(nèi)容概括概念典型應(yīng)用場(chǎng)景實(shí)踐標(biāo)注操作基于人工智能和深度學(xué)習(xí)方法的現(xiàn)代計(jì)算機(jī)視覺(jué)技術(shù)在過(guò)去10年里取得了顯著進(jìn)展。如今，它被用于圖像分類、人臉識(shí)別、圖像中物體的識(shí)別、視頻分析和分類以及機(jī)器人和自動(dòng)駕駛車輛的圖像處理等應(yīng)用上。許多計(jì)算機(jī)視覺(jué)任務(wù)需要對(duì)圖像進(jìn)行智能分割，以理解圖像中的內(nèi)容，并使每個(gè)部分的分析更加容易。今天的圖像分割技術(shù)使用計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)模型來(lái)理解圖像的每個(gè)像素所代表的真實(shí)物體，這在十年前是無(wú)法想象的。圖像分割主要用于提取圖像中用于表述已知目標(biāo)的種類與數(shù)量問(wèn)題、目標(biāo)尺度問(wèn)題、外在環(huán)境干擾問(wèn)題、物體邊緣等的像素值。圖像分割從分割目的上被分為語(yǔ)義分割、實(shí)例分割以及全景分割。1.1概念通常意義上的目標(biāo)分割指的就是語(yǔ)義分割，圖像語(yǔ)義分割，簡(jiǎn)而言之就是對(duì)一張圖片上的相關(guān)像素點(diǎn)進(jìn)行分類，即對(duì)圖像中的每個(gè)像素都劃分出對(duì)應(yīng)的類別，實(shí)現(xiàn)像素級(jí)別的分類。和前邊的分類任務(wù)不同的是，語(yǔ)義分割不僅僅是使用矩形框框住某一類物體即可，需要將該類物體用某種像素值進(jìn)行標(biāo)注。1.2典型應(yīng)用場(chǎng)景1、自動(dòng)駕駛自動(dòng)駕駛是一項(xiàng)復(fù)雜的機(jī)器任務(wù)，需要在不斷變化的環(huán)境中進(jìn)行感知、規(guī)劃和執(zhí)行。由于其安全性至關(guān)重要，因此還需要以非常高精度執(zhí)行此任務(wù)。語(yǔ)義分割提供有關(guān)道路上自由空間的信息，以及檢測(cè)車道標(biāo)記和交通標(biāo)志等信息，為自動(dòng)駕駛起到關(guān)鍵作用。1.2典型應(yīng)用場(chǎng)景2、地質(zhì)檢測(cè)語(yǔ)義分割問(wèn)題也可以被認(rèn)為是分類問(wèn)題，其中每個(gè)像素被分類為來(lái)自一系列對(duì)象類中的某一個(gè)。因此一個(gè)使用案例是利用土地的衛(wèi)星影像制圖。土地覆蓋信息是重要的各種應(yīng)用，如監(jiān)測(cè)地區(qū)的森林砍伐情況和城市化等。1.2典型應(yīng)用場(chǎng)景3、面部識(shí)別面部的語(yǔ)義分割通常涉及諸如皮膚、頭發(fā)、眼睛、鼻子、嘴巴和背景等的分類。面部分割在計(jì)算機(jī)視覺(jué)的許多面部應(yīng)用中是有用的，例如性別、表情、年齡和種族的估計(jì)。影響人臉?lè)指顢?shù)據(jù)集和模型開(kāi)發(fā)的顯著因素是光照條件、面部表情、面部朝向、遮擋和圖像分辨率的變化等。1.2典型應(yīng)用場(chǎng)景4、服飾分類由于服裝數(shù)量眾多，服裝解析與其他服務(wù)相比是一項(xiàng)非常復(fù)雜的任務(wù)。這與一般的物體或場(chǎng)景分割問(wèn)題不同，因?yàn)榧?xì)粒度的衣物分類需要基于衣服的語(yǔ)義、人體姿勢(shì)的可變性和潛在的大量類別的更高級(jí)別判斷。服裝解析在視覺(jué)領(lǐng)域中得到了積極的研究，因?yàn)樗诂F(xiàn)實(shí)世界的應(yīng)用程序即電子商務(wù)中具有巨大的價(jià)值。1.2典型應(yīng)用場(chǎng)景5、農(nóng)業(yè)場(chǎng)景精確農(nóng)業(yè)機(jī)器人可以減少需要在田間噴灑的除草劑的數(shù)量，作物和雜草的語(yǔ)義分割可以幫助他們實(shí)時(shí)觸發(fā)除草行為，這種先進(jìn)的農(nóng)業(yè)圖像視覺(jué)技術(shù)可以減少對(duì)農(nóng)業(yè)的人工監(jiān)測(cè)，提高農(nóng)業(yè)效率和降低生產(chǎn)成本。1.3實(shí)踐標(biāo)注操作此處準(zhǔn)備了4張含有人的圖像用于標(biāo)注，分別包含了2個(gè)人，4個(gè)人、1個(gè)人和5個(gè)人。如圖所示。準(zhǔn)備數(shù)據(jù)1.3實(shí)踐標(biāo)注操作打開(kāi)label-studio，在頁(yè)面選擇“CreateProject”創(chuàng)建項(xiàng)目，命名為SemanticSegmentation，并添加相應(yīng)描述，如圖所示。創(chuàng)建項(xiàng)目1.3實(shí)踐標(biāo)注操作選擇“DataImport”，通過(guò)左上角的UploadFiles選擇準(zhǔn)備好的數(shù)據(jù)，進(jìn)行導(dǎo)入。兩圖分別為導(dǎo)入數(shù)據(jù)前后的“DataImport”界面。導(dǎo)入數(shù)據(jù)1.3實(shí)踐標(biāo)注操作導(dǎo)入數(shù)據(jù)后，選擇界面上方的“LabelingSetup”，之后出現(xiàn)如圖所示界面，左邊列表為任務(wù)類型選擇列表，選擇第一項(xiàng)“ComputerVision”，然后在右側(cè)任務(wù)模板中“SemanticSegmentationwithMasks”模板類型。LabelingSetup1.3實(shí)踐標(biāo)注操作跳轉(zhuǎn)至如圖所示界面，在該界面的左邊添加圖片中被分割的物體分類，因?yàn)榇巳蝿?wù)只分割人像，故設(shè)置了一個(gè)英文標(biāo)簽，標(biāo)簽為person。LabelingSetup1.3實(shí)踐標(biāo)注操作添加完標(biāo)簽后，便可點(diǎn)擊界面右上角的“Save”按鈕，跳轉(zhuǎn)至如圖所示界面，該界面中展示了所有載入的圖像。LabelingSetup1.3實(shí)踐標(biāo)注操作點(diǎn)擊任務(wù)主界面的第三張圖像，便可進(jìn)入該圖像的標(biāo)注界面，如圖2-3-1-8所示，在此界面可以根據(jù)該圖像中包含的標(biāo)簽類型，選擇對(duì)應(yīng)的標(biāo)簽，比如此例要分割圖像中的人像，則選中person標(biāo)簽，之后根據(jù)任務(wù)大小在圖像右側(cè)的工具欄調(diào)整畫筆大小，并且可調(diào)節(jié)圖像大小，之后便可進(jìn)行人像圖像的描繪，將所有人像描繪完成便如下圖所示，如果畫錯(cuò)，則可以選中工具欄中的橡皮將畫錯(cuò)部分擦掉，之后點(diǎn)擊右上角的“Submit”完成提交。開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作當(dāng)然，對(duì)于圖像的標(biāo)注過(guò)程也可以不在此處進(jìn)行，通過(guò)任務(wù)主界面，點(diǎn)擊界面中上方位置的LabelAllTasks按鈕，進(jìn)入標(biāo)注界面后便可開(kāi)始進(jìn)行標(biāo)注，標(biāo)注完成后，點(diǎn)擊右上角的Submit按鈕即可跳轉(zhuǎn)到下一張圖像的標(biāo)注界面，如果當(dāng)前圖片不含人像，則可點(diǎn)擊界面右上角的Skip按鈕，跳過(guò)該圖像的標(biāo)注過(guò)程。更新該圖像的標(biāo)簽后，點(diǎn)擊右上角的“Updata”即可。開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作所有圖像標(biāo)注完成之后，便會(huì)跳轉(zhuǎn)到如圖所示界面，代表所有圖像均已處理完成。開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作點(diǎn)擊界面左上角的PersonSemanticSegmentation便可查看圖片的標(biāo)注情況，如圖所示，其中第一列數(shù)據(jù)代表圖像id，第二列代表標(biāo)注時(shí)間，第三列代表標(biāo)注與否，1為標(biāo)注完成，0為未標(biāo)注，第四列代表是否跳過(guò)標(biāo)注，1代表跳過(guò)，0代表未跳過(guò)。開(kāi)始標(biāo)注1.3實(shí)踐標(biāo)注操作若要導(dǎo)出最終的標(biāo)注結(jié)果，則可點(diǎn)擊圖主界面右上角的“Export”按鈕，便會(huì)出現(xiàn)如圖所示界面，根據(jù)處理任務(wù)的不同會(huì)顯示不同文件生成結(jié)果，由于本節(jié)任務(wù)是圖像分類，所以，可以生成如圖所示的六類文件，若要導(dǎo)出哪種文件到本地，選中其后，點(diǎn)擊右下角“Export”即可。當(dāng)然，也可以將這六類文件全部導(dǎo)出。導(dǎo)出結(jié)果1.3實(shí)踐標(biāo)注操作將所需文件導(dǎo)出到本地后，可以進(jìn)行查看，通過(guò)上圖可知，對(duì)于語(yǔ)義分割任務(wù)，可以生成BrushlabelstoPNG數(shù)據(jù)，該結(jié)果會(huì)生成一個(gè)壓縮包，壓縮包中包含語(yǔ)義分割完的所有圖片，如圖所示。結(jié)果展示小結(jié)知識(shí)目標(biāo)：（1）明確語(yǔ)義分割標(biāo)注相關(guān)概念（2）明確語(yǔ)義分割標(biāo)注方法思政目標(biāo)：（1）工匠精神（2）人工智能對(duì)中國(guó)農(nóng)業(yè)發(fā)展的積極作用第二章

圖像任務(wù)標(biāo)注項(xiàng)目任務(wù)四

圖像實(shí)例分割標(biāo)注內(nèi)容概括概念典型應(yīng)用場(chǎng)景實(shí)踐標(biāo)注操作2.1概念圖像實(shí)例分割是在語(yǔ)義分割的基礎(chǔ)上進(jìn)一步細(xì)化，分離對(duì)象的前景與背景，實(shí)現(xiàn)像素級(jí)別的對(duì)象分離。所以圖像實(shí)例分割是基于語(yǔ)義分割的基礎(chǔ)上進(jìn)一步提升。實(shí)例分割相對(duì)于語(yǔ)義分割的區(qū)別在于，實(shí)例分割需要將同一類型的多個(gè)個(gè)體做區(qū)分，而語(yǔ)義分割則不需要。具體區(qū)別可通過(guò)上一節(jié)與本節(jié)案例獲悉。2.2典型應(yīng)用場(chǎng)景實(shí)例分割在目標(biāo)檢測(cè)、人臉檢測(cè)、表情識(shí)別、醫(yī)學(xué)圖像處理與疾病輔助診斷、視頻監(jiān)控與對(duì)象跟蹤、零售場(chǎng)景的貨架空缺識(shí)別等場(chǎng)景下均有應(yīng)用。例如百度的AI開(kāi)放平臺(tái)中的車輛檢測(cè)與類型識(shí)別功能便是很好的應(yīng)用了實(shí)例分割技術(shù)。2.3實(shí)踐標(biāo)注操作此處準(zhǔn)備了4張含有人的圖像用于標(biāo)注，分別包含了2個(gè)人，4個(gè)人、1個(gè)人和5個(gè)人。如圖所示。準(zhǔn)備數(shù)據(jù)2.3實(shí)踐標(biāo)注操作打開(kāi)label-studio，在頁(yè)面選擇“CreateProject”創(chuàng)建項(xiàng)目，命名為InstanceSegmentation，并添加相應(yīng)描述，如圖所示。創(chuàng)建項(xiàng)目2.3實(shí)踐標(biāo)注操作選擇“DataImport”，通過(guò)左上角的UploadFiles選擇準(zhǔn)備好的數(shù)據(jù)，進(jìn)行導(dǎo)入。兩圖分別為導(dǎo)入數(shù)據(jù)前后的DataImport界面。導(dǎo)入數(shù)據(jù)2.3實(shí)踐標(biāo)注操作導(dǎo)入數(shù)據(jù)后，選擇界面上方的“LabelingSetup”，之后出現(xiàn)如圖所示界面，左邊列表為任務(wù)類型選擇列表，選擇第一項(xiàng)“ComputerVision”，然后在右側(cè)任務(wù)模板中“SemanticSegmentationwithPolygons”模板類型。LabelingSetup2.3實(shí)踐標(biāo)注操作點(diǎn)擊第一個(gè)任務(wù)“SemanticSegmentationwithPolygons”后，跳轉(zhuǎn)至如圖所示界面，在該界面的左邊添加圖片中被分割的物體分類，因?yàn)榇巳蝿?wù)只分割人像，故添加person標(biāo)簽。LabelingSetup2.3實(shí)踐標(biāo)注操作添加完標(biāo)簽后，便可點(diǎn)擊界面右上角的“Save”按鈕，跳轉(zhuǎn)至如圖所示界面，該界面中展示了所有載入的圖像。LabelingSetup2.3實(shí)踐標(biāo)注操作點(diǎn)擊任務(wù)主界面的第一張圖像，便可進(jìn)入該圖像的標(biāo)注界面，如所示，在此界面可以根據(jù)該圖像中包含的標(biāo)簽類型，選擇對(duì)應(yīng)的標(biāo)簽，比如要分割圖像中的人像，所以選擇person標(biāo)簽，選完之后，點(diǎn)擊其中一個(gè)人像的某點(diǎn)邊緣，便會(huì)出現(xiàn)標(biāo)記點(diǎn)，然后沿著該人像的邊緣連續(xù)點(diǎn)擊，每相鄰點(diǎn)會(huì)自動(dòng)連接，直到最終再次點(diǎn)擊第一個(gè)標(biāo)記點(diǎn)，則會(huì)出現(xiàn)一片紅色區(qū)域?qū)⑷讼穹指?，分割完成效果如圖所示，之后點(diǎn)擊右上角的“Submit”提交保存。開(kāi)始標(biāo)注2.3實(shí)踐標(biāo)注操作開(kāi)始標(biāo)注2.3實(shí)踐標(biāo)注操作當(dāng)然，對(duì)于圖像的標(biāo)注過(guò)程也可以不在此處進(jìn)行，通過(guò)上圖所示的任務(wù)主界面，點(diǎn)擊界面中上方位置的LabelAllTasks按鈕，進(jìn)入標(biāo)注界面后便可開(kāi)始進(jìn)行標(biāo)注，圖展示了標(biāo)注完成的效果，雖然圖中有兩個(gè)人，均使用person標(biāo)簽標(biāo)注即可，標(biāo)注完成后，點(diǎn)擊右上角的Submit按鈕即可跳轉(zhuǎn)到下一張圖像的標(biāo)注界面，如果當(dāng)前圖片不含人像，則可點(diǎn)擊界面右上角的Skip按鈕，跳過(guò)該圖像的標(biāo)注過(guò)程。對(duì)于已經(jīng)標(biāo)記了的圖像，可通過(guò)左上角的<、>進(jìn)行圖像的切換，若想改變某張圖像的標(biāo)簽，則可通過(guò)<、>切換到該圖像，更新該圖像的標(biāo)簽后，點(diǎn)擊右上角的Updata即可。開(kāi)始標(biāo)注2.3實(shí)踐標(biāo)注操作開(kāi)始標(biāo)注2.3實(shí)踐標(biāo)注操作所有圖像標(biāo)注完成之后，便會(huì)跳轉(zhuǎn)到如圖所示界面，代表所有圖像均已處理完成。開(kāi)始標(biāo)注2.3實(shí)踐標(biāo)注操作點(diǎn)擊界面左上角的PersonInstanceSegmentation便可查看圖片的標(biāo)注情況，如圖所示，其中第一列數(shù)據(jù)代表圖像id，第二列代表標(biāo)注時(shí)間，第三列代表標(biāo)注與否，1為標(biāo)注完成，0為未標(biāo)注，第四列代表是否跳過(guò)標(biāo)注，1代表跳過(guò)，0代表未跳過(guò)。開(kāi)始標(biāo)注2.3實(shí)踐標(biāo)注操作若要導(dǎo)出最終的標(biāo)注結(jié)果，則可點(diǎn)擊圖主界面右上角的“Export”按鈕，便會(huì)出現(xiàn)如圖所示界面，根據(jù)處理任務(wù)的不同會(huì)顯示不同文件生成結(jié)果，由于本節(jié)任務(wù)是圖像分類，所以，可以生成如圖所示的五類文件，若要導(dǎo)出哪種文件到本地，選中其后，點(diǎn)擊右下角“Export”即可。當(dāng)然，也可以將這五類文件全部導(dǎo)出。導(dǎo)出結(jié)果2.3實(shí)踐標(biāo)注操作將所需文件導(dǎo)出到本地后，可以進(jìn)行查看，比如所需文件為CSV文件，則將CSV文件導(dǎo)出，如圖所示。結(jié)果展示小結(jié)知識(shí)目標(biāo)：（1）明確實(shí)例分割標(biāo)注相關(guān)概念（2）明確實(shí)例分割標(biāo)注方法思政目標(biāo)：（1）工匠精神（2）我國(guó)人工智能產(chǎn)業(yè)發(fā)展迅速第二章

圖像任務(wù)標(biāo)注項(xiàng)目任務(wù)四人物肢體關(guān)鍵點(diǎn)標(biāo)注內(nèi)容概括概念典型應(yīng)用場(chǎng)景實(shí)踐標(biāo)注操作1.概念在數(shù)據(jù)標(biāo)注中，機(jī)器學(xué)習(xí)工程師構(gòu)建模型的策略需要考慮到實(shí)際應(yīng)用場(chǎng)景。在檢測(cè)人類運(yùn)動(dòng)和情緒方面，關(guān)鍵點(diǎn)標(biāo)注尤為常用。關(guān)鍵點(diǎn)標(biāo)注是指通過(guò)人工的方式，在規(guī)定位置標(biāo)注上關(guān)鍵點(diǎn)，例如人臉特征點(diǎn)、人體骨骼連接點(diǎn)等，常用來(lái)訓(xùn)練面部識(shí)別模型以及統(tǒng)計(jì)模型。與其他標(biāo)注類型不同，關(guān)鍵點(diǎn)標(biāo)注是用來(lái)標(biāo)注物體的骨骼輪廓而不是標(biāo)注物體外緣，這就是為什么人體和動(dòng)物的行為經(jīng)常用關(guān)鍵點(diǎn)來(lái)標(biāo)注。通過(guò)這種方式，模型可以檢測(cè)到物體的運(yùn)動(dòng)形態(tài)。2.典型應(yīng)用場(chǎng)景（1）人臉識(shí)別現(xiàn)在手機(jī)的解鎖方式大多都使用了人臉識(shí)別，在看似簡(jiǎn)單的人臉解鎖的背后，實(shí)際上是通過(guò)大量的標(biāo)注好的人臉數(shù)據(jù)集訓(xùn)練出的高性能模型而實(shí)現(xiàn)的。當(dāng)構(gòu)建一個(gè)人臉識(shí)別模型時(shí)，工程師們查看關(guān)鍵點(diǎn)以測(cè)量重要的距離，比如你的眼睛到鼻子的距離，又或者眉毛到額頭的距離等等。分析這些關(guān)鍵點(diǎn)之后，模型可以學(xué)習(xí)到人臉的細(xì)節(jié)。在查看了數(shù)以千計(jì)的人臉關(guān)鍵點(diǎn)之后，你的模型就可以開(kāi)始檢測(cè)人臉特征。2.典型應(yīng)用場(chǎng)景（2）人體關(guān)鍵點(diǎn)及運(yùn)動(dòng)識(shí)別伴隨著科技的發(fā)展，職業(yè)體育運(yùn)動(dòng)也開(kāi)始產(chǎn)生了關(guān)鍵點(diǎn)檢測(cè)的需求。使用AI技術(shù)分析球員的運(yùn)動(dòng)，能夠發(fā)現(xiàn)一些肉眼無(wú)法察覺(jué)的細(xì)節(jié)。此外，肌肉運(yùn)動(dòng)的輕微變化可能表明即將出現(xiàn)損傷，在損害發(fā)生之前進(jìn)行預(yù)測(cè)有助于預(yù)防并有可能延長(zhǎng)運(yùn)動(dòng)員的職業(yè)生涯。對(duì)于教練來(lái)說(shuō)，在招募和評(píng)估運(yùn)動(dòng)員環(huán)節(jié)，使用AI技術(shù)也可提高其甄別的效率和質(zhì)量。使用可靠的模型能夠檢測(cè)運(yùn)動(dòng)員的動(dòng)作并了解他們的技能水平，然后將這些數(shù)據(jù)存儲(chǔ)起來(lái)，并通過(guò)這些數(shù)據(jù)對(duì)其他運(yùn)動(dòng)員進(jìn)行評(píng)估。教練還可以通過(guò)這些數(shù)據(jù)評(píng)估球員的優(yōu)勢(shì)所在，有助于高效率篩選出可用人才。2.典型應(yīng)用場(chǎng)景（3）醫(yī)療系統(tǒng)（通過(guò)關(guān)鍵點(diǎn)定位）在醫(yī)學(xué)應(yīng)用中也可以通過(guò)對(duì)病人的行走方式和關(guān)鍵點(diǎn)的變化來(lái)判斷病人是否受傷或者出現(xiàn)畸形，從而為醫(yī)學(xué)治療提供參考數(shù)據(jù)。（4）2.典型應(yīng)用場(chǎng)景除了專業(yè)運(yùn)動(dòng)，關(guān)鍵點(diǎn)標(biāo)注和分析技術(shù)在虛擬運(yùn)動(dòng)軟件和輔助平臺(tái)中也發(fā)揮了重要作用。分析一個(gè)人的動(dòng)作，學(xué)習(xí)哪種健身方式才是正確的，并了解關(guān)節(jié)是如何運(yùn)動(dòng)的，有助于為日常健身愛(ài)好者提供反饋。比如未接受過(guò)專業(yè)指導(dǎo)的健身愛(ài)好者，很容易在健身過(guò)程中造成身體的損傷，但通過(guò)運(yùn)動(dòng)分析軟件便可以很好地掌握各種健身動(dòng)作所對(duì)應(yīng)的發(fā)力點(diǎn)以及動(dòng)作要領(lǐng)，以達(dá)到運(yùn)動(dòng)的同時(shí)保護(hù)自己身體的目的。3實(shí)踐標(biāo)注操作此處準(zhǔn)備了圖像，圖像內(nèi)容是正在發(fā)生行走行為的人體圖像用于標(biāo)注。如圖所示。準(zhǔn)備數(shù)據(jù)3實(shí)踐標(biāo)注操作創(chuàng)建項(xiàng)目，項(xiàng)目名稱為“人體關(guān)鍵點(diǎn)標(biāo)注”，導(dǎo)入數(shù)據(jù)，選擇模板“KeyPointLabeling”如圖所示。創(chuàng)建項(xiàng)目3實(shí)踐標(biāo)注操作創(chuàng)建項(xiàng)目一般人體關(guān)鍵點(diǎn)標(biāo)簽為如右圖所示。本項(xiàng)目出于復(fù)雜度考慮，自定義標(biāo)簽類型。3實(shí)踐標(biāo)注操作標(biāo)簽包括：（1）頭（2）肩（3）肘（4）手（5）髖（6）膝（7）足創(chuàng)建項(xiàng)目3實(shí)踐標(biāo)注操作保存項(xiàng)目后,單擊列表視圖中的“LabelAllTasks”開(kāi)始進(jìn)行標(biāo)注。開(kāi)始標(biāo)注3實(shí)踐標(biāo)注操作為了區(qū)別左右肩等，未標(biāo)記點(diǎn)增加meta信息。如右圖所示。按照此方法依次標(biāo)注出所有人體關(guān)鍵點(diǎn)。開(kāi)始標(biāo)注3實(shí)踐標(biāo)注操作單擊“Export”，在格式中選擇“JSON”，然后“Export”導(dǎo)出。導(dǎo)出結(jié)果3實(shí)踐標(biāo)注操作導(dǎo)出數(shù)據(jù)時(shí)，選擇JSON格式。在導(dǎo)出結(jié)果中，ｘ，ｙ為每個(gè)關(guān)鍵點(diǎn)的坐標(biāo)，keypointlabels為部位，meta部分包括注釋內(nèi)容。導(dǎo)出結(jié)果小結(jié)知識(shí)目標(biāo)：（1）明確關(guān)鍵點(diǎn)標(biāo)注方法（2）熟悉關(guān)鍵點(diǎn)標(biāo)注結(jié)果導(dǎo)出格式思政目標(biāo)：（1）了解人工智能輔助運(yùn)動(dòng)發(fā)展趨勢(shì)第二章

圖像任務(wù)標(biāo)注項(xiàng)目任務(wù)五

圖像全景分割標(biāo)注內(nèi)容概括概念典型應(yīng)用場(chǎng)景實(shí)踐標(biāo)注操作3.1概念與之前介紹的語(yǔ)義分割與實(shí)例分割不同，全景分割任務(wù)要求圖像中的每個(gè)像素點(diǎn)都必須被分配給一個(gè)語(yǔ)義標(biāo)簽和一個(gè)實(shí)例id。