2023年河北省職業(yè)院校技能大賽“多信息智能識(shí)別控制的技術(shù)與應(yīng)用”（高職組）賽項(xiàng)競(jìng)賽樣題第2套

2023年河北省職業(yè)院校技能大賽

多信息智能識(shí)別控制的技術(shù)與應(yīng)用（高職組）

競(jìng)賽樣題

第一部分智能識(shí)別應(yīng)用

任務(wù)一：OpenCV圖片視頻識(shí)別

新建Python項(xiàng)目，通過(guò)編寫(xiě)代碼運(yùn)行實(shí)現(xiàn)以下內(nèi)容

1.根據(jù)“競(jìng)賽資料\第一部分\任務(wù)一\1”中提供的視頻文件，使用

已有的OpenCV行人檢測(cè)分類器，對(duì)視頻中的車輛進(jìn)行檢測(cè)。使用紅

色矩形框出檢測(cè)到的車輛，并在框的中心點(diǎn)使用紅色圓圈進(jìn)行標(biāo)注。

將標(biāo)注處理后的視頻保存到“提交資料\第一部分\任務(wù)一\4”目錄

下。

2.根據(jù)“競(jìng)賽資料\第一部分\任務(wù)一\2”中提供的圖片數(shù)據(jù)集，使

用已有的OpenCV缺陷檢測(cè)分類器，對(duì)圖像中的電子元器件進(jìn)行檢測(cè)。

使用綠色矩形框出檢測(cè)到的元器件，并在框的右上角使用白色文本標(biāo)

注缺陷類型。將標(biāo)注處理后的圖片集保存到“提交資料\第一部分\

任務(wù)一\5”目錄下。

3.根據(jù)“競(jìng)賽資料\第一部分\任務(wù)一\3”中提供的視頻文件，使用

已有的OpenCV動(dòng)作檢測(cè)分類器，對(duì)視頻中的足球運(yùn)動(dòng)員進(jìn)行檢測(cè)。

—1—

使用藍(lán)色橢圓框出檢測(cè)到的運(yùn)動(dòng)員，并在框的中心點(diǎn)使用黃色點(diǎn)進(jìn)行

標(biāo)注。將標(biāo)注處理后的視頻保存到“提交資料\第一部分\任務(wù)一\3”

目錄下。

完成后，保存本工程所有文件及代碼到競(jìng)賽U盤“提交資料\第一部

分\任務(wù)一”目錄下。

任務(wù)二：OpenCV圖像識(shí)別

新建Python項(xiàng)目，通過(guò)編寫(xiě)代碼運(yùn)行實(shí)現(xiàn)以下內(nèi)容

1.加載競(jìng)賽提供的“競(jìng)賽資料\第一部分\任務(wù)二”中提供的2張圖片，

使用OpenCV顏色轉(zhuǎn)換算法將圖像轉(zhuǎn)換為灰度圖像。使用二值化算法

將圖像轉(zhuǎn)換為二值圖像，并檢測(cè)出圖像中的所有直線。將直線繪制到

原始圖像上，并將結(jié)果保存到“提交資料\第一部分\任務(wù)二\1”目錄

下。

2.給定一個(gè)有噪聲的黑白圖像，將圖像讀取到Python中，并將其轉(zhuǎn)

換為灰度圖像，將處理后的圖像保存到“提交資料\第一部分\任務(wù)二

\2”目錄下。

3.使用禮帽操作進(jìn)行去噪處理，并將處理后的圖片保存到“提交資

料\第一部分\任務(wù)二\3”目錄下。請(qǐng)?jiān)谶@個(gè)目錄中提供處理前和處

理后的圖片。

4.嘗試調(diào)整禮帽操作的核大小并比較不同參數(shù)下的處理結(jié)果。將最終

的核大小和輸出結(jié)果保存到“提交資料\第一部分\任務(wù)二\4”目錄

—2—

下。請(qǐng)?jiān)谖募A中提供至少兩種不同核大小的處理結(jié)果。

完成后，保存本工程所有代碼到競(jìng)賽U盤“提交資料\第一部分\任務(wù)

二”目錄下。

第二部分智能數(shù)據(jù)處理

任務(wù)一：OpenCV圖像處理

新建Python項(xiàng)目，編寫(xiě)代碼調(diào)用OpenCV相關(guān)接口運(yùn)行實(shí)現(xiàn)對(duì)“競(jìng)賽

資料\第二部分\任務(wù)一”中提供的數(shù)據(jù)集的以下操作：

1.將數(shù)據(jù)集中所有圖片都縮放到的長(zhǎng)寬為480*270像素，并同名保存

到“提交資料\第二部分\任務(wù)一\1”目錄下。

2.任選2張縮放后貓狗圖片進(jìn)行圖像融合操作，要求dog占比0.8，

cat占比0.2，保存處理后的圖片到“提交資料\第二部分\任務(wù)一\2”

目錄下。

3.將數(shù)據(jù)集的所有圖片進(jìn)行水平鏡像翻轉(zhuǎn)，并同名保存到“提交資料

\第二部分\任務(wù)一\3”目錄下。

4.對(duì)mohu.jpg進(jìn)行中值濾波操作，并同名保存到“提交資料\第二部

分\任務(wù)一\4”目錄下。

5.將數(shù)據(jù)集的所有圖片進(jìn)行的顏色空間轉(zhuǎn)換，要求將RGB圖像轉(zhuǎn)換為

HSV圖像，并同名保存到“提交資料\第二部分\任務(wù)一\5”目錄下。

完成后，保存本工程所有代碼到競(jìng)賽U盤“提交資料\第二部分\任務(wù)

一”目錄下。

—3—

任務(wù)二：OpenCV文本處理識(shí)別

新建Python項(xiàng)目，對(duì)“競(jìng)賽資料\第二部分\任務(wù)二”中提供的圖片

進(jìn)行以下操作：

1.對(duì)“競(jìng)賽資料\第二部分\任務(wù)二”中提供的文本圖像，將圖像讀取

到Python中，并使用OpenCV進(jìn)行灰度處理和二值化，優(yōu)化圖像質(zhì)

量，將處理后的圖像保存，并提交到“提交資料\第二部分\任務(wù)二\2”

目錄下。

2.使用OpenCV進(jìn)行文本識(shí)別來(lái)識(shí)別圖像中的文字，在圖像上將識(shí)別

到的文字區(qū)域用紅色框標(biāo)出，并保存標(biāo)注后的圖片到“提交資料\第

二部分\任務(wù)二\2”目錄下。

3.使用OpenCV進(jìn)行文本識(shí)別來(lái)識(shí)別圖像中的文字，在圖像上將識(shí)別

到的文字打印展示在對(duì)應(yīng)區(qū)域的下方，并保存處理后的圖片到“提交

資料\第二部分\任務(wù)二\3”目錄下。

完成后，保存本工程所有代碼到競(jìng)賽U盤“提交資料\第二部分\任務(wù)

二”目錄中。

第三部分智能模型構(gòu)建

—4—

任務(wù)一:Fashion_mnist分類

在“競(jìng)賽資料\第三部分\任務(wù)一”提供的TensorFlow模型構(gòu)建代碼

中找到并修改設(shè)定以下參數(shù)：

1.讀取keras.datasets內(nèi)置數(shù)據(jù)集Fashion_mnist，使用matplotlib

以子圖的形式查看10張F(tuán)ashion_mnist圖片，將查看的圖片截圖保

存到答題卡指定位置。

2.使用Tensorflow構(gòu)建神經(jīng)網(wǎng)絡(luò)，要求至少包含4個(gè)卷積層（Conv），

并使用model.summary()將模型結(jié)構(gòu)打印輸出，將輸出的模型結(jié)構(gòu)截

圖保存到答題卡指定位置。

3.定義損失函數(shù)和優(yōu)化器，以及對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)操作，開(kāi)始模型

訓(xùn)練，將訓(xùn)練過(guò)程截圖保存到答題卡指定位置。

4.完成訓(xùn)練后使用matplotlib繪制accuracy變化圖和loss變化圖

并輸出最高的accuracy值，要求不低于（0.8），將accuracy圖以

及輸出的accuracy值截圖保存到答題卡指定位置。

完成后，將每一步的代碼截圖保存至競(jìng)賽U盤中答題卡的指定位置上，

參數(shù)要求合理以確保能在比賽時(shí)間內(nèi)完成模型訓(xùn)練。

任務(wù)二:車牌識(shí)別模型訓(xùn)練

根據(jù)任務(wù)一修改完畢的代碼，合理優(yōu)化模型完成模型訓(xùn)練，訓(xùn)練要求

如下：

—5—

1.搭建模型訓(xùn)練，要求至少包含6個(gè)卷積層（Conv）和4個(gè)池化層，

并使用model.summary()將模型結(jié)構(gòu)打印輸出，將輸出的模型結(jié)構(gòu)截

圖保存到競(jìng)賽U盤中答題卡的指定位置上。

2.開(kāi)始模型訓(xùn)練，對(duì)于訓(xùn)練好的所有模型文件進(jìn)行保存，要求指定模

型格式為hdf5，并保存到競(jìng)賽U盤“提交資料\第三部分\任務(wù)二\2”

目錄下。

3.使用訓(xùn)練好的模型進(jìn)行車牌號(hào)識(shí)別，在圖像上將識(shí)別到的文字區(qū)域

用紅色框標(biāo)出，并保存標(biāo)注后的圖片到“提交資料\第二部分\任務(wù)二

\3”目錄下。

3.使用訓(xùn)練好的模型進(jìn)行識(shí)車牌上的文字，在圖像上將識(shí)別到的文字

打印展示在對(duì)應(yīng)區(qū)域的下方，并保存處理后的圖片到“提交資料\第

二部分\任務(wù)二\4”目錄下。

完成后，保存本工程所有文件和代碼到U盤“提交資料\第三部分\

任務(wù)二”目錄中。

任務(wù)三:模型調(diào)用與預(yù)測(cè)

新建Python項(xiàng)目，通過(guò)編寫(xiě)代碼實(shí)現(xiàn)以下功能

1.調(diào)用任務(wù)二中訓(xùn)練保存的hdf5模型。

2.選擇準(zhǔn)確率較高的模型對(duì)“競(jìng)賽資料\第三部分\任務(wù)三”中提供的

圖片數(shù)據(jù)集(待預(yù)測(cè)圖片集)進(jìn)行逐一進(jìn)行預(yù)測(cè)并將預(yù)測(cè)車牌號(hào)用綠

色字體打印保存在驗(yàn)證集圖片上，將預(yù)測(cè)完畢的驗(yàn)證集保存到競(jìng)賽U

盤“提交資料\第三部分\任務(wù)三”中。

—6—

完成后，保存本工程所有代碼及模型到競(jìng)賽U盤“提交資料\第三部

分\任務(wù)三”目錄中。

第四部分智能模型部署

任務(wù)一:表情燈控系統(tǒng)部署

根據(jù)“競(jìng)賽資料\第五部分\任務(wù)一”中提供的文件，按照下述步驟在

競(jìng)賽設(shè)備上進(jìn)行表情燈控系統(tǒng)的項(xiàng)目部署。

1.在局域網(wǎng)內(nèi)完成路由器網(wǎng)絡(luò)的配置，設(shè)定無(wú)線網(wǎng)絡(luò)的名稱為

“JNDS-XX”，XX為你的工位號(hào)（如JNDS-01），八位密碼自行設(shè)定；

設(shè)定無(wú)線網(wǎng)絡(luò)DHCP服務(wù)的開(kāi)始地址為192.168.x.100，結(jié)束地址為

192.168.x.199，x為你的工位號(hào)（如192.168.1.100-192.168.1.199）；

完成后根據(jù)答題卡要求將WiFi名稱、密碼和設(shè)置截圖填寫(xiě)在答題卡

的指定位置上。

2.根據(jù)“AI實(shí)訓(xùn)平臺(tái)使用教程”，查看AI實(shí)訓(xùn)平臺(tái)IP地址并修改

wz_biaoqing.py中的HOST的IP為AI實(shí)訓(xùn)平臺(tái)IP。

3.根據(jù)“AI實(shí)訓(xùn)平臺(tái)使用教程”，使用指定軟件將修改后的AI實(shí)訓(xùn)

平臺(tái)代碼傳輸至AI實(shí)訓(xùn)平臺(tái)，創(chuàng)建并保存在桌面的test1文件夾中。

4.根據(jù)“AI實(shí)訓(xùn)平臺(tái)使用教程”，在AI實(shí)訓(xùn)平臺(tái)上運(yùn)行使用

rknn_transfer.py將提供的hdf5模型轉(zhuǎn)換為rknn模型，模型同樣

保存在桌面的test1文件夾中。

—7—

5.根據(jù)“AI實(shí)訓(xùn)平臺(tái)使用教程”，在AI實(shí)訓(xùn)平臺(tái)上運(yùn)行修改好的

wz_biaoqing.py調(diào)用轉(zhuǎn)換好的rknn模型，在競(jìng)賽設(shè)備上實(shí)現(xiàn)攝像頭

檢測(cè)人臉表情識(shí)別。

6.修改終端節(jié)點(diǎn)代碼中的SERVER及WiFi名稱和密碼，其中SERVER

為AI實(shí)訓(xùn)平臺(tái)IP,WiFi名稱和密碼為當(dāng)前WiFi信息。

7.根據(jù)“終端節(jié)點(diǎn)使用教程”，將修改后的代碼下載到RGB三色燈模

塊對(duì)應(yīng)的終端節(jié)點(diǎn)上并運(yùn)行代碼。

完成上述步驟后，實(shí)現(xiàn)表情燈控系統(tǒng)聯(lián)動(dòng)，將所有修改過(guò)的代碼保存

到U盤“提交資料\第四部分\任務(wù)一”目錄中，分析代碼并將系統(tǒng)的

效果現(xiàn)象記錄在答題卡的指定位置上。

任務(wù)二:紅綠燈識(shí)別系統(tǒng)終端配置

根據(jù)任務(wù)一中提供的“終端節(jié)點(diǎn)使用教程”及基礎(chǔ)示例代碼，完成“紅

綠燈識(shí)別系統(tǒng)”的終端功能實(shí)現(xiàn)，具體功能如下。

1.在競(jìng)賽平臺(tái)上找到RGB三色燈模塊，根據(jù)提供的基礎(chǔ)示例代碼，編

寫(xiě)并修改終端節(jié)點(diǎn)代碼實(shí)現(xiàn)以下功能：要求終端可以紅綠黃三種顏色

模擬紅綠燈，當(dāng)節(jié)點(diǎn)底板上按鍵，按下第一次時(shí)，RGB三色燈亮綠燈；

按下第二次時(shí)，RGB三色燈亮黃燈；按下第三次時(shí)，RGB三色燈亮綠

燈，依此循環(huán)。

2.在競(jìng)賽平臺(tái)上找到語(yǔ)音播報(bào)模塊，根據(jù)提供的基礎(chǔ)示例代碼，編寫(xiě)

并修改終端節(jié)點(diǎn)代碼實(shí)現(xiàn)以下功能：要求終端能夠播報(bào)當(dāng)前紅綠燈顏

色，當(dāng)節(jié)點(diǎn)底板上按鍵，按下第一次時(shí)，語(yǔ)音播報(bào)“綠燈，請(qǐng)通行”；

—8—

按下第二次時(shí)，語(yǔ)音播報(bào)“黃燈，請(qǐng)慢行”；按下第三次時(shí)，語(yǔ)音播

報(bào)“紅燈，禁止通行”，依此循環(huán)。

完成上述功能后將程序代碼燒寫(xiě)到對(duì)應(yīng)的終端節(jié)點(diǎn)上，實(shí)現(xiàn)紅綠燈識(shí)

別終端系統(tǒng)的配置，將所有編寫(xiě)修改的代碼保存到競(jìng)賽U盤“提交資

料\第四部分\任務(wù)二”目錄中。

任務(wù)三:紅綠燈識(shí)別系統(tǒng)部署

根據(jù)任務(wù)一中提供的示例代碼，在競(jìng)賽平臺(tái)上完成“紅綠燈識(shí)別系統(tǒng)”

的功能實(shí)現(xiàn)及項(xiàng)目部署，實(shí)現(xiàn)對(duì)監(jiān)控中紅綠燈狀態(tài)的識(shí)別檢測(cè)并使用

RGB三色燈模擬燈光、使用語(yǔ)音播報(bào)模塊提示識(shí)別結(jié)果。

1.參考任務(wù)一中AI實(shí)訓(xùn)平臺(tái)的代碼及模型轉(zhuǎn)換代碼，修改代碼實(shí)現(xiàn)

將“競(jìng)賽資料\第四部分\任務(wù)二”中提供的TensorFlow模型轉(zhuǎn)換為

rknn模型；編寫(xiě)代碼調(diào)用rknn模型進(jìn)行檢測(cè)，在競(jìng)賽設(shè)備上調(diào)用攝

像頭實(shí)現(xiàn)對(duì)賽場(chǎng)提供的紅綠燈A4紙照片的識(shí)別檢測(cè)播報(bào)（允許一定

識(shí)別誤差）；在攝像頭畫(huà)面上方用黃色字體顯示“紅綠燈識(shí)別系統(tǒng)”，

在攝像頭畫(huà)面右上角，用紅色字體顯示識(shí)別結(jié)果，代碼傳輸至AI實(shí)

訓(xùn)平臺(tái)的桌面自行創(chuàng)建“test3”目錄下運(yùn)行。

2.在競(jìng)賽平臺(tái)上找到RGB三色燈模塊，在任務(wù)二的基礎(chǔ)上，修改終端

節(jié)點(diǎn)代碼及AI平臺(tái)紅綠燈識(shí)別代碼實(shí)現(xiàn)以下功能的增加：當(dāng)AI實(shí)訓(xùn)

平臺(tái)程序檢測(cè)到紅燈時(shí)，使用RGB三色燈模塊顯示紅色；當(dāng)AI實(shí)訓(xùn)

平臺(tái)程序檢測(cè)到綠燈時(shí)，使用RGB三色燈模塊顯示綠色；當(dāng)