第二屆全國人工智能應用技術技能大賽河南省選拔賽計算機程序設計員（工業(yè)機器人人工智能技術應用）實操樣題-職工組

2021年全國行業(yè)職業(yè)技能競賽——第二屆全國人工智能應用技術技能大賽河南省選拔賽計算機程序設計員（工業(yè)機器人人工智能技術應用）實操樣題（職工組）第二屆全國人工智能應用技術技能大賽河南省組委會技術組二〇二一年九月重要說明1．比賽時間180分鐘，100分鐘后，選手可以棄賽，但不可提前離開賽位場地，需要在賽位指定位置，與比賽設備隔離。2．比賽共包括3個任務，總分100分，見表1。表1比賽任務及配分序號名稱配分說明1任務一：工業(yè)機器人人工智能技術生產應用352任務二：移動操作單元人工智能技術應用353任務三：機器人人工智能技術綜合應用30合計1003．除有說明外，不限制各任務評判順序，且不限制任務中各項的先后順序，選手在實際比賽過程中要根據(jù)賽題情況進行操作。4．評判的節(jié)點在任務中有提示，需要裁判驗收的各項任務，完成相應的任務后請示意裁判進行評判，各任務裁判只驗收1次，請根據(jù)賽題說明，確認完成后再提請裁判驗收。5．請務必閱讀各任務的重要提示。6．比賽過程中，選手一定要嚴格遵守安全操作規(guī)范，若發(fā)生危及設備或人身安全事故，立即停止比賽，將取消其參賽資格。7．比賽所需要的資料及軟件都以電子版的形式保存在工位計算機里指定位置D:\2021ROBAIZL\。表2資料明細表序號電子資料名稱1硬件IO配置表2深度學習效果標準驗證圖像—螺釘、螺母8．競賽平臺系統(tǒng)中主要模塊的IP地址預分配如下表3所示。表3IP地址分配表序號名稱IP地址分配備注1電動手爪192.168.10.92主控PLC192.168.10.1033D智能相機192.168.10.114主控觸摸屏192.168.10.125協(xié)作機器人192.168.10.1562D智能相機192.168.10.307AGV無線CPE192.168.10.508移動機器人(AGV)192.168.10.519工業(yè)機器人192.168.10.10010無線網橋AP192.168.10.2009．選手對比賽過程中需裁判確認部分，應當先舉手示意。10．參賽選手在競賽過程中，不得使用U盤。11．選手在競賽過程中應該遵守相關的規(guī)章制度和安全守則，如有違反，則按照相關規(guī)定在競賽的總成績中扣除相應分值。12．選手在比賽開始前，認真對照工具清單檢查工位設備，并確認后開始比賽；選手完成任務后的檢具、儀表和部件，現(xiàn)場需統(tǒng)一收回再提供給其他選手使用。13．賽題中要求的備份和保存在電腦中的文件，需選手在計算機指定文件夾D:\2021ROBAI1\中建立結果存儲文件夾（命名方式為：組別+場次號+賽位號+AI），例如結果存儲文件夾名稱為Z0102AI，其中，Z表示職工組組別，01代表場次號，02代表賽位。賽題中所要求存儲的文件請備份到結果存儲文件夾下，即使選手沒有任何存儲文件也要求建立該文件夾。14．選手嚴禁攜帶任何通訊、存儲設備及技術資料，如有發(fā)現(xiàn)將取消其競賽資格。選手擅自離開本參賽隊賽位或與其他賽位的選手交流或在賽場大聲喧嘩，嚴重影響賽場秩序，如有發(fā)生，將取消其競賽資格。15．選手必須認真填寫各類文檔，競賽完成后所有文檔按頁碼順序一并上交。16．選手必須及時保存自己編寫的程序及材料，防止意外斷電及其它情況造成程序或資料的丟失。17．賽場提供的任何物品，不得帶離賽場。18．競賽平臺系統(tǒng)中，分揀及裝配工作臺桌面布局圖如圖1所示，半成品箱體初始位姿俯視圖如圖2所示，成品箱體裝配示意如圖3所示，V型立體倉庫倉位定義如圖4所示。圖1分揀及裝配工作臺桌面布局圖2半成品箱體初始位姿俯視圖圖3成品箱體裝配示意圖圖4V型立體倉庫倉位定義線下競賽項目任務書任務一：工業(yè)機器人人工智能技術生產應用任務描述：根據(jù)任務書要求，通過人工智能技術賦能，在工業(yè)機器人分揀與裝配單元中，通過操作3D視覺系統(tǒng)軟件，完成3D相機的調試、標定，以及基于深度學習的工件識別；完成工業(yè)機器人基于3D視覺的工件無序智能抓取；通過調用規(guī)劃軟件，完成工件的簡單裝配。（一）手眼標定操作在工業(yè)機器人末端安裝標定板，設置標定參數(shù)，完成工業(yè)機器人與相機之間的手眼標定。具體的任務要求：（1）在工業(yè)機器人末端安裝標定板，對3D智能相機軟件與工業(yè)機器人系統(tǒng)的通信進行設置，使3D智能相機軟件獲得工業(yè)機器人的控制權。（2）設置合理的相機參數(shù)，使其獲取高質量的標定板圖像數(shù)據(jù)。（3）設置合理的標定參數(shù)，啟動自動手眼標定程序，根據(jù)標定精度的結果進行評判。測試要求：要求選手在裁判評判時，展示相機獲取的標定板圖像以及顯示標定結果誤差的界面。（二）圖像采集及標注操作3D智能相機和視覺系統(tǒng)軟件，采集目標物體的圖像數(shù)據(jù)，根據(jù)要求完成圖像的標注。具體的任務要求：（1）設置、調整相機參數(shù)，使相機獲得清晰、高質量的圖像。（2）在“分揀及裝配工作臺”上的螺釘物料盒中，放入多個M6、M10螺釘和螺母，并手動調整合適的螺釘、螺母位姿。然后，在保證圖像質量的情況下，采集4張包含不同螺釘、螺母擺放位姿的物料盒圖像。（3）利用內置的圖像標注工具，對每張圖像進行標注，要求每張圖像中每種型號螺釘和螺母的標注實例數(shù)量是2個。測試要求：要求選手在裁判評判時，展示采集的原始圖像和標注后的圖像。（三）模型訓練及部署驗證基于采集及標注的圖像數(shù)據(jù)，訓練工件識別模型。將訓練后的模型導入并部署至視覺系統(tǒng)軟件中，測試模型的識別精度。具體的任務要求：（1）基于標注的圖像數(shù)據(jù)，加載預先提供的螺釘和螺母預訓練識別模型，啟動模型訓練流程，等待視覺系統(tǒng)完成螺釘和螺母識別模型的訓練；（2）將訓練完成的模型分別導入至不同螺釘、螺母的視覺識別工程中，并設置相應的參數(shù)和感興趣區(qū)域。（3）在視覺識別工程中，切換至虛擬相機模式，加載標準驗證圖像，利用已訓練模型對其進行識別，驗證模型的識別效果。測試要求：要求選手在裁判評判時，分別加載螺釘、螺母驗證圖像，正確識別工件類型，輸出包含置信度分數(shù)的識別結果圖像。（四）散亂工件的分揀使用圖形化編程軟件，編寫工業(yè)機器人控制程序，結合3D智能相機識別的工件位姿結果，控制工業(yè)機器人完成對物料盒中散亂工件的分揀。初始作業(yè)狀態(tài)設置：（1）在“分揀及裝配工作臺”的螺釘物料盒中，分別手動散亂放置不低于4個M6螺釘和不低于4個M10螺釘；（2）在“分揀及裝配工作臺”的螺母物料盒中，分別手動散亂放置不低于4個M6螺母和不低于4個M10螺母；具體的任務要求：（1）導入手眼標定的坐標系變換結果，設置合理的點云模板、抓取點位置以及抓取夾具參數(shù)等。（2）使用圖形化編程軟件，編寫工業(yè)機器人控制程序。（3）結合3D智能相機識別的工件位姿結果，控制工業(yè)機器人分揀一個M10螺釘和一個M10螺母，分別放置于二次定位裝置上。測試要求：（1）系統(tǒng)處于初始作業(yè)狀態(tài)。（2）要求選手在裁判評判時，按要求啟動上述任務要求中第（3）點所述的自動化任務流程。請注意：任務中涉及的手動設置初始作業(yè)狀態(tài)部分，在評判階段，由選手根據(jù)任務要求放置。（五）基于圖形化編程的機器人裝配任務使用圖形化編程軟件，編寫工業(yè)機器人點位、I/O變量控制程序，控制工業(yè)機器人完成位姿固定工件的抓取及裝配。初始作業(yè)狀態(tài)設置：（1）在“分揀及裝配工作臺”的二次定位裝置上，手動放置（或通過機器人分揀散亂工件的方式自動放置）一個M10螺釘和一個M10螺母。（2）在“箱體旋轉供料及裝配臺”的2號工位上，手動放置半成品箱體。（3）在“井式供料裝置”中，手動放置3個箱體端蓋。具體的任務要求：（1）編寫圖形化程序，示教工業(yè)機器人點位、設置I/O變量。（2）利用不同的夾具，自動完成M10螺母鉚壓、箱體端蓋裝配、M10螺釘鎖緊等任務。測試要求：（1）系統(tǒng)處于初始作業(yè)狀態(tài)。（2）要求選手在裁判評判時，啟動上述任務要求中第（2）點所述的自動化任務流程。請注意：任務中涉及的手動設置初始作業(yè)狀態(tài)部分，在評判階段，由選手根據(jù)任務要求放置。完成任務一中任一子任務后，即可以舉手示意裁判進行評判！任務二：移動操作單元人工智能技術應用任務描述：根據(jù)任務書要求，通過人工智能技術賦能，完成移動操作單元（主要含AGV/操作臂）的地圖構建、自主避障、路徑規(guī)劃；通過控制協(xié)作機器人和視覺系統(tǒng)，在給定任務序列的條件下，完成倉庫工件的取放任務。（一）建立環(huán)境地圖利用AGV地圖建模軟件控制其在競賽單元場地運動，結合其自帶的智能傳感器，構建環(huán)境地圖。在環(huán)境地圖中設置導航點，完成AGV自主導航與移動。具體的任務要求：（1）利用AGV地圖建模軟件，控制其在競賽單元場地運動，構建環(huán)境地圖。（2）在環(huán)境地圖中設置導航點，設置合理的“起始點”，在“分揀及裝配工作臺”附近設置合理的導航點；在“V型立體倉庫”的箱體放置區(qū)一側，設置合理的導航點；以及中間過渡導航點。（3）測試移動機器人的自主導航功能，控制移動機器人，使其自主地從“V型立體倉庫”導航點移動至“分揀及裝配工作臺”導航點。測試要求：（1）要求選手在裁判評判時，展示環(huán)境地圖的構建結果。（2）要求選手在裁判評判時，按要求啟動上述任務要求中第（3）點所述的自動化任務流程。（二）目標物體的識別與抓取對協(xié)作機器人及其末端安裝的智能2D相機進行編程，完成對目標物體的識別與抓取。初始作業(yè)狀態(tài)設置：手動在“半成品箱體放置區(qū)”1號倉位放置半成品箱體。具體的任務要求：（1）根據(jù)倉庫中“半成品箱體放置區(qū)”和“成品箱體放置區(qū)”的倉位位置，對協(xié)作機器人進行示教編程，使每個倉位均處于智能2D相機視野的合理位置。（2）針對在“半成品箱體放置區(qū)”倉位中放置的半成品箱體，對智能2D相機進行調試、編程，使其識別并輸出箱體的位置。（3）根據(jù)上述任務編寫協(xié)作機器人和智能2D相機程序，完成如下自動化任務流程：a）移動機器人位于“V型立體倉庫”導航點，基于智能2D相機識別的結果，引導協(xié)作機器人實現(xiàn)對“半成品箱體放置區(qū)”1號倉位半成品的抓取；b）協(xié)作機器人將半成品放置于“成品箱體放置區(qū)”2號倉位中。測試要求：（1）系統(tǒng)處于初始作業(yè)狀態(tài)。（2）要求選手在裁判評判時，以手動或者自動地方式控制移動機器人移動至“V型立體倉庫”導航點，然后，啟動上述任務要求中第（3）點所述的自動化任務流程。請注意：任務中涉及的手動設置初始作業(yè)狀態(tài)部分，在評判階段，由選手根據(jù)任務要求放置。（三）移動操作臂協(xié)同抓取工件對由AGV、協(xié)作機器人組成的移動操作臂進行聯(lián)合調試，首先控制AGV從指定位置向作業(yè)點自主移動，然后協(xié)作機器人與2D智能相機協(xié)作，完成目標工件的識別與抓取，最后移動操作臂將工件放置于指定作業(yè)點的工位上。初始作業(yè)狀態(tài)設置：手動在“半成品箱體放置區(qū)”1號倉位放置半成品箱體。具體的任務要求：編寫程序，完成如下自動化任務流程：a）移動機器人自主地從起始點導航點移動至“V型立體倉庫”導航點，識別并抓取“半成品箱體放置區(qū)”1號倉位上的半成品箱體；b）協(xié)作機器人將半成品箱體放置于移動操作臂臺面的箱體緩存工位上；c）移動機器人自主移動至“分揀及裝配工作臺”導航點；d）利用2D智能相機識別“箱體旋轉供料及裝配臺”的1號工位位置，引導協(xié)作機器人抓取半成品箱體，并放置于“箱體旋轉供料及裝配臺”的1號工位上。測試要求：（1）系統(tǒng)處于初始作業(yè)狀態(tài)。（2）要求選手在裁判評判時，啟動上述任務要求所述的自動化任務流程。請注意：任務中涉及的手動設置初始作業(yè)狀態(tài)部分，在評判階段，由選手根據(jù)任務要求放置。完成任務二中任一子任務后，即可以舉手示意裁判進行評判！任務三：機器人人工智能技術綜合應用任務描述：根據(jù)任務書要求，通過綜合操作、編程和調試，對工業(yè)機器人、移動操作臂等單元進行智能化賦能和綜合應用，在“機器人人工智能技術應用”技術平臺上，實現(xiàn)典型智能制造工業(yè)場景的完整工藝流程，綜合體現(xiàn)機器人智能感知、自動決策、自主執(zhí)行、互聯(lián)互通、深度學習、人機交互、自我管理等人工智能技術要素及其職業(yè)技能。（一）測試主控對各主要單元的控制編寫PLC主控程序，實現(xiàn)主控系統(tǒng)對分揀及裝配工作臺、移動機器人單元的單獨控制。通過主控系統(tǒng)發(fā)送任務啟動指令，各個單元反饋狀態(tài)信息。具體的任務要求：（1）將分揀及裝配工作臺調試至準備狀態(tài)，通過觸摸屏3D相機界面中的“準備完成”指示燈顯示。（2）利用觸摸屏按鈕觸發(fā)3D相機拍照,并在觸摸屏上正確顯示相機“識別成功”，“裝配完成”的信號。測試要求：要求選手在裁判評判時，按照要求展示設備狀態(tài)的結果。（三）綜合任務流程根據(jù)綜合任務的作業(yè)流程，編寫分揀及裝配工作臺、移動操作臂相關程序，控制分揀及裝配工作臺、移動操作臂等單元相互協(xié)同作業(yè)，完成完整的作業(yè)任務，包括工件的識別、分揀、抓取、運輸、裝配等任務。初始作業(yè)狀態(tài)設置：（1）在“分揀及裝配工作臺”的螺釘物料盒中，分別手動散亂放置不低于4個M6螺釘和不低于4個M10螺釘；（2）在“分揀及裝配工作臺”的螺母物料盒中，分別手動散亂放置不低于4個M6螺母和不低于4個M10螺母；（3）在“井式供料裝置”中放置4個箱體端蓋；（4）清空“箱體旋轉供料及裝配臺”、“二次定位裝置”、“鉚壓機”上的工件物料；（5）手動在立體倉庫的半成品箱體放置區(qū)的1號和3號倉位放置半成品箱體。具體的任務要求：（1）移動操作臂單元將半成品箱體放置區(qū)中1號和3號倉位上放置的半成品箱體，運送至分揀及裝配工作臺，并放置于“箱體旋轉供料及裝配臺”工位；（2）分揀及裝配工作臺完成2個箱體的完整裝配，即M6、M10螺釘和螺母雙重鎖緊；（3）移動操作臂抓取成品箱體，放置于立體倉庫中成品箱體放置區(qū)的2號倉位和3號倉位，完成成品箱體入庫。測試要求：（1）系統(tǒng)處于初始作業(yè)狀態(tài)。（2）要求選手在裁判評判時，按照要求啟動綜合