人工智能深度學(xué)習(xí)綜合實踐 課件 6.計算機(jī)視覺模型部署-邊緣設(shè)備深度學(xué)習(xí)應(yīng)用案例

計算機(jī)視覺模型部署計算機(jī)視覺模型應(yīng)用項目目標(biāo)（1）了解計算機(jī)視覺模型應(yīng)用案例。（2）掌握PaddleX深度學(xué)習(xí)模型的本地部署方式。（3）了解PaddleX深度學(xué)習(xí)模型的邊緣設(shè)備部署方式。（4）能夠使用PaddleX部署深度學(xué)習(xí)模型并應(yīng)用。課堂導(dǎo)入模型的部署方式本地部署邊緣設(shè)備部署項目描述在訓(xùn)練完深度學(xué)習(xí)模型之后，該如何快速實現(xiàn)模型的落地部署呢？首先應(yīng)該針對不同場景的需求，選擇對應(yīng)的部署方式進(jìn)行部署，部署完成之后對其進(jìn)行測試驗證。首先是模型的應(yīng)用場景，根據(jù)應(yīng)用場景就可以獲取到對應(yīng)的性能等要求。應(yīng)用場景基于網(wǎng)絡(luò)基于CPU離線線上基于GPU服務(wù)端部署輕量級服務(wù)化PaddleLiteOpenVINO樹莓派部署邊緣設(shè)備部署百度PaddleX項目描述百度PaddleX針對模型部署推出了各種部署方法，如輕量級服務(wù)化部署、服務(wù)端部署、邊緣設(shè)備部署、PaddleLite移動端部署、OpenVINO部署以及樹莓派部署，同時針對不同的部署方式，對于部署的模型要求以及系統(tǒng)環(huán)境要求都有所不同，需要根據(jù)不同的部署方式對模型進(jìn)行轉(zhuǎn)換，對環(huán)境進(jìn)行編譯等操作，部署完成之后需要對模型進(jìn)行預(yù)測測試。項目描述對于本次項目案例，將把前面訓(xùn)練好的垃圾分類模型導(dǎo)出為部署格式，將其保存到指定路徑下，使用單張圖片實現(xiàn)對模型的預(yù)測，若擁有邊緣設(shè)備也可將模型部署到邊緣設(shè)備上，需要經(jīng)過以下步驟：邊緣設(shè)備深度學(xué)習(xí)應(yīng)用案例當(dāng)今的社會到處都有人工智能的影子，通過將深度學(xué)習(xí)模型部署到邊緣設(shè)備上，實現(xiàn)在不同場景的應(yīng)用，以下為深度學(xué)習(xí)模型部署到邊緣設(shè)備在不同場景下的應(yīng)用。消防設(shè)備報警系統(tǒng)溫濕度設(shè)備控制系統(tǒng)照明設(shè)備管理系統(tǒng)安全帽檢測系統(tǒng)計算機(jī)視覺模型應(yīng)用案例智慧藥房系統(tǒng)：智慧藥房系統(tǒng)能夠?qū)崿F(xiàn)門診藥品的存儲、取用、調(diào)配以及發(fā)放等過程的智能化管理。系統(tǒng)將醫(yī)護(hù)人員輸入的處方信息和患者信息傳輸?shù)桨l(fā)藥機(jī)，發(fā)藥機(jī)自動挑選藥品并通過傳輸帶將藥品運輸?shù)街付ù翱?，醫(yī)護(hù)人員核對藥品后即可將藥品發(fā)放給患者。整個過程最快只需十幾秒，大大縮減了患者取藥等候的時間。智慧藥房系統(tǒng)涉及的主要技術(shù)是將計算機(jī)視覺模型部署到邊緣設(shè)備上，此處的邊緣設(shè)備主要為攝像頭，攝像頭通過所獲取到的藥品信息識別藥柜中的藥品實現(xiàn)智能取藥。計算機(jī)視覺模型應(yīng)用案例安全帽檢測系統(tǒng)：安全帽是施工人員施工的安全保障。安全帽檢測系統(tǒng)通過攝像頭設(shè)備實時監(jiān)控施工人員是否佩戴安全帽，若識別到未佩戴安全帽則發(fā)出報警，提醒相關(guān)監(jiān)控管理人員監(jiān)督該人員佩戴安全帽。安全帽檢測系統(tǒng)通過部署在邊緣設(shè)備的計算機(jī)視覺模型，此處的邊緣設(shè)備可以是工地上的攝像頭等，可以對工地上的施工人員進(jìn)行實時監(jiān)控，消除安全隱患。PaddleX本地部署模型導(dǎo)出0102模型部署03模型部署預(yù)測PaddleX本地部署

在部署模型前需要先將模型導(dǎo)出為inference部署格式，導(dǎo)出的inference部署格式模型文件夾中應(yīng)包括“__model__”“__params__”和“model.yml”3個文件，分別表示模型的網(wǎng)絡(luò)結(jié)構(gòu)、模型權(quán)重和模型的配置文件（包括數(shù)據(jù)預(yù)處理參數(shù)等）。PaddleX本地部署模型導(dǎo)出命令可選的參數(shù)及說明PaddleX本地部署

將模型導(dǎo)出后，可以通過調(diào)用PaddleX相關(guān)接口對部署的模型進(jìn)行預(yù)測。本次部署的模型為計算機(jī)視覺模型，調(diào)用PaddleX進(jìn)行預(yù)測的方式主要有單張圖片預(yù)測和批量圖片預(yù)測兩種。單張圖片預(yù)測和批量圖片預(yù)測的主要區(qū)別在于，使用批量圖片預(yù)測時需要將圖片路徑存放到列表，才能將其輸入接口進(jìn)行預(yù)測。具體的操作中，首先調(diào)用Predictor類加載模型，接著使用predict接口實現(xiàn)單張圖片預(yù)測，也可以使用batch_predict接口實現(xiàn)批量圖片預(yù)測。PaddleX本地部署1．Predictor類

Predictor類可進(jìn)行圖像分類、目標(biāo)檢測、實例分割、語義分割的高性能預(yù)測，其中包含單張圖片預(yù)測接口predict和批量圖片預(yù)測接口batch_predict。Predictor類的參數(shù)及說明PaddleX本地部署2．單張圖片預(yù)測接口

單張圖片預(yù)測接口為predict，傳入單張圖片即可實現(xiàn)預(yù)測。predict的參數(shù)及說明PaddleX本地部署3．批量圖片預(yù)測接口

批量圖片預(yù)測接口為batch_predict，批量傳入圖片列表即可實現(xiàn)預(yù)測。batch_predict的參數(shù)及說明PaddleX邊緣設(shè)備部署智慧零售操作臺

智慧零售操作臺是一款面向智慧零售場景的硬件平臺，由工業(yè)攝像機(jī)、工業(yè)光源、工業(yè)傳送帶、智能控制單元、高清顯示屏等模塊組成，能夠還原智慧零售環(huán)境下的商品識別、人臉識別等工作任務(wù)。

智慧零售操作臺集成Python、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)系統(tǒng)等運行環(huán)境，兼容TensorFlow、PaddlePaddle、PyTorch等人工智能深度學(xué)習(xí)框架，支持人工智能平臺應(yīng)用、智能數(shù)據(jù)采集與處理、計算機(jī)視覺等人工智能專業(yè)知識的學(xué)習(xí)和應(yīng)用。智慧零售操作臺實物PaddleX邊緣設(shè)備部署智慧工業(yè)操作臺

智慧工業(yè)操作臺是一款面向智慧工業(yè)場景的硬件平臺，支持圖像分類、目標(biāo)檢測、圖像分割、機(jī)器控制等算法和硬件的開發(fā)和學(xué)習(xí)，能夠還原智能工業(yè)場景下的芯片分類、芯片缺陷檢測、芯片劃痕檢測等工作任務(wù)。智慧工業(yè)操作臺實物PaddleX邊緣設(shè)備部署人工智能端側(cè)開發(fā)套件

人工智能端側(cè)開發(fā)套件是一款集深度學(xué)習(xí)和計算機(jī)視覺技術(shù)為一體的智能設(shè)備，支持圖像分類、目標(biāo)識別等人工智能模型的本地推理應(yīng)用，兼容PaddlePaddle、TensorFlow等深度學(xué)習(xí)框架，支持教育端側(cè)實訓(xùn)、行業(yè)應(yīng)用、競賽實操等場景的軟硬件一體化人工智能應(yīng)用開發(fā)，目前已成功應(yīng)用于智能制造、智能交通、智慧零售等領(lǐng)域。人工智能端側(cè)開發(fā)套件實物PaddleX邊緣設(shè)備部署人工智能邊緣開發(fā)設(shè)備

本項目所使用的設(shè)備是人工智能邊緣開發(fā)設(shè)備，人工智能邊緣開發(fā)設(shè)備是一款功能強(qiáng)大的小型計算機(jī)，可用于圖像分類、目標(biāo)檢測、圖像分割和語音處理等，并能運行多個神經(jīng)網(wǎng)絡(luò)，而其運行功耗僅為5W。人工智能邊緣開發(fā)設(shè)備實物部署垃圾分類模型到邊緣設(shè)備

要實現(xiàn)人工智能邊緣開發(fā)設(shè)備的部署，首先使用PaddleX將模型導(dǎo)出為部署格式，并對部署格式的模型進(jìn)行性能預(yù)測，接著將模型部署到人工智能邊緣開發(fā)設(shè)備上，并使用PaddleX相關(guān)命令實現(xiàn)對模型的部署預(yù)測，具體需要經(jīng)過以下步驟。部署模型導(dǎo)出模型性能預(yù)測邊緣設(shè)備部署部署垃圾分類模型到邊緣設(shè)備實施步驟步驟1：部署模型導(dǎo)出

在項目5“計算機(jī)視覺模型訓(xùn)練與應(yīng)用”中已將垃圾分類模型訓(xùn)練完成并將最優(yōu)模型保存在了best_model文件夾中，現(xiàn)在已將該文件夾存放在人工智能交互式在線實訓(xùn)及算法校驗系統(tǒng)的data目錄下。接下來可以使用PaddleX命令將模型導(dǎo)出為部署格式，命令如下。

!paddlex--export_inference--model_dir=./data/best_model--save_dir=./inference_model部署垃圾分類模型到邊緣設(shè)備（1）在人工智能交互式在線實訓(xùn)及算法校驗系統(tǒng)的根目錄中，單擊“Upload”按鈕并選中相應(yīng)的壓縮文件即可上傳文件。上傳模型壓縮文件部署垃圾分類模型到邊緣設(shè)備（2）等待上傳完成后，將壓縮文件解壓到當(dāng)前目錄，即壓縮文件所在的同一目錄下，解壓命令如下。

!unzip-oqbest_model.zip部署垃圾分類模型到邊緣設(shè)備（3）解壓完成后，通過PaddleX的模型部署格式導(dǎo)出命令進(jìn)行模型的導(dǎo)出。主要修改命令中model_dir參數(shù)的值為./data/best_model，即可將模型導(dǎo)出為部署格式，命令如下。

!paddlex--export_inference--model_dir=./data/best_model--save_dir=./inference_model部署垃圾分類模型到邊緣設(shè)備（4）模型導(dǎo)出完成之后，可以在當(dāng)前目錄下看到新生成的“inference_model”部署格式的模型文件夾，文件夾中包括表示模型網(wǎng)絡(luò)結(jié)構(gòu)的“__model__”文件、表示模型權(quán)重的“__params__”文件和表示模型配置的“model.yml”文件。部署垃圾分類模型到邊緣設(shè)備步驟2：模型性能預(yù)測檢查部署格式的模型文件夾中包含相應(yīng)的3個文件后，即代表完成本地部署?？墒褂帽镜夭渴痤A(yù)測方式對模型進(jìn)行性能預(yù)測，當(dāng)該模型的性能達(dá)到預(yù)期后便可以將模型部署到邊緣設(shè)備。預(yù)測方式包括單張圖片預(yù)測和批量圖片預(yù)測。步驟3：邊緣設(shè)備部署通過單