《機(jī)器視覺檢測技術(shù)》教學(xué)大綱

《機(jī)器視覺檢測技術(shù)》教學(xué)大綱適用范圍：202X版本科人才培養(yǎng)方案課程代碼：05157131課程性質(zhì)：專業(yè)選修課學(xué)分：3學(xué)分學(xué)時：48學(xué)時（理論40學(xué)時，實驗8學(xué)時）先修課程：高等數(shù)學(xué)、線性代數(shù)、矩陣分析、信號與系統(tǒng)，數(shù)字信號處理等后續(xù)課程：模式識別、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、畢業(yè)設(shè)計適用專業(yè)：智能制造工程開課單位：電氣工程與自動化學(xué)院一、課程說明《機(jī)器視覺檢測技術(shù)》智能制造工程專業(yè)本科學(xué)生的專業(yè)方向選修課。機(jī)器智能化是機(jī)械學(xué)科的重要發(fā)展方向，也是國際上跨學(xué)科的熱門研究領(lǐng)域。而機(jī)器視覺是智能機(jī)器的重要組成部分，它與圖像處理、模式識別、人工智能、人工神經(jīng)網(wǎng)絡(luò)以及神經(jīng)物理學(xué)及認(rèn)知科學(xué)等都有緊密的關(guān)系。本課程對于開闊學(xué)生視野、使學(xué)生了解本專業(yè)的發(fā)展前沿，把學(xué)生培養(yǎng)成面向二十一世紀(jì)的復(fù)合型人才具有重要的地位和作用。通過本課程的學(xué)習(xí)，學(xué)生也能掌握一定的科學(xué)研究方法與技能，為有潛力成為研究型人才的學(xué)生打下一定基礎(chǔ)。二、課程目標(biāo)通過本課程的學(xué)習(xí)，使學(xué)生達(dá)到如下目標(biāo)：課程目標(biāo)1：掌握機(jī)器視覺檢測技術(shù)中常用的基本方法和相關(guān)的基礎(chǔ)知識，了解工業(yè)視覺檢測領(lǐng)域的缺陷及質(zhì)量檢測中常用圖像處理及視覺處理算法的原理、編程及使用方法。課程目標(biāo)2：了解各種圖像處理及視覺檢測算法原理，具備選擇和設(shè)計不同視覺檢測算法，在不同應(yīng)用場合進(jìn)行應(yīng)用的能力。課程目標(biāo)3：具備從事工業(yè)視覺檢測相關(guān)工作的職業(yè)素質(zhì)以及專業(yè)知識和應(yīng)用能力，并具備從事相關(guān)技術(shù)工作所需的行業(yè)背景知識、勞動技能以及服務(wù)意識、創(chuàng)新意識、團(tuán)隊協(xié)作能力等。課程目標(biāo)4：具有較強(qiáng)的口頭表達(dá)能力和書寫能力，能夠獨立撰寫測控工程相關(guān)問題的調(diào)查報告、實驗報告等。具備一定的全局意識，能夠閱讀外文文獻(xiàn)資料，在跨文化背景下與業(yè)界同行及社會公眾進(jìn)行有效溝通和交流。三、課程目標(biāo)與畢業(yè)要求《機(jī)器視覺檢測技術(shù)》課程教學(xué)目標(biāo)對測控技術(shù)與儀器專業(yè)畢業(yè)要求的支撐見表1。表1課程教學(xué)目標(biāo)與畢業(yè)要求關(guān)系畢業(yè)要求指標(biāo)點課程目標(biāo)支撐強(qiáng)度1.工程知識:能夠?qū)?shù)學(xué)、自然科學(xué)、儀器科學(xué)基本理論和專業(yè)技能用于解決儀器科學(xué)領(lǐng)域的復(fù)雜工程問題。1.1具有測控技術(shù)與儀器專業(yè)所需的數(shù)學(xué)與自然科學(xué)知識，并能將其用于解決復(fù)雜測控工程問題。1.3具有測控技術(shù)與儀器專業(yè)所需的專業(yè)基礎(chǔ)知識，并能將其用于解決復(fù)雜測控工程問題。課程目標(biāo)1：掌握機(jī)器視覺檢測技術(shù)中常用的基本方法和相關(guān)的基礎(chǔ)知識，了解工業(yè)視覺檢測領(lǐng)域的缺陷及質(zhì)量檢測中常用圖像處理及視覺處理算法的原理、編程及使用方法。H3.設(shè)計/開發(fā)解決方案：能夠設(shè)計針對測控技術(shù)與儀器及相關(guān)領(lǐng)域復(fù)雜工程問題的解決方案，設(shè)計滿足特定需求的系統(tǒng)、單元（部件），并能夠在設(shè)計環(huán)節(jié)中體現(xiàn)創(chuàng)新意識，考慮社會、健康、安全、法律、文化以及環(huán)境等因素。3.1能夠針對用戶對測控系統(tǒng)的功能需求及技術(shù)指標(biāo)要求，根據(jù)所學(xué)專業(yè)知識，確定合理的設(shè)計目標(biāo)。3.4能夠綜合運用所學(xué)知識，完成整體設(shè)計，并對設(shè)計進(jìn)行優(yōu)化，最終實現(xiàn)工程表達(dá)，體現(xiàn)創(chuàng)新意識。課程目標(biāo)2：了解各種圖像處理及視覺檢測算法原理，具備選擇和設(shè)計不同視覺檢測算法，在不同應(yīng)用場合進(jìn)行應(yīng)用的能力。課程目標(biāo)3：具備從事工業(yè)視覺檢測相關(guān)工作的職業(yè)素質(zhì)以及專業(yè)知識和應(yīng)用能力，并具備從事相關(guān)技術(shù)工作所需的行業(yè)背景知識、勞動技能以及服務(wù)意識、創(chuàng)新意識、團(tuán)隊協(xié)作能力等。M注：表中“H（高）、M（中）”表示課程與相關(guān)畢業(yè)要求的關(guān)聯(lián)度。四、教學(xué)內(nèi)容、基本要求與學(xué)時分配1.理論部分理論部分的教學(xué)內(nèi)容、基本要求與學(xué)時分配見表2。表2教學(xué)內(nèi)容、基本要求與學(xué)時分配教學(xué)內(nèi)容教學(xué)要求，教學(xué)重點難點理論學(xué)時實驗學(xué)時對應(yīng)的課程目標(biāo)1.機(jī)器視覺導(dǎo)論1.1人類視覺原理與視覺信息的處理過程；1.2機(jī)器視覺，機(jī)器視覺概念、視覺理論的發(fā)展，機(jī)器視覺與相關(guān)研究領(lǐng)域，機(jī)器視覺理論框架與應(yīng)用。教學(xué)要求：掌握機(jī)器視覺的概念，理解計算視覺理論；掌握Marr計算視覺理論框架；掌握基本視覺系統(tǒng)組成，工作原理。重點:掌握機(jī)器視覺的概念，理解計算視覺理論。難點:Marr的計算視覺理論。212.圖像與視覺系統(tǒng)2.1像坐標(biāo)和世界坐標(biāo)的映射；2.2模型，投影矩陣，光線的相關(guān)知識；2.3光線的感知原理，相機(jī)傳感器；2.4和色彩，數(shù)字圖像格式等效變換的概念。教學(xué)要求：理解并掌握針孔相機(jī)模型；理解并掌握圖像采樣原理；掌握投影矩陣，光度學(xué)和色度學(xué)基本概念和原理。重點：光線感知及成像原理，相機(jī)的標(biāo)定難點：相機(jī)的標(biāo)定413.圖像處理3.1像點運算；3.2和非線性濾波；3.3像的頻域變換和頻域濾波；3.4像金字塔。教學(xué)要求：理解與熟練掌握圖像的點/矩陣運算，各種濾波運算、圖像金字塔變化、復(fù)頻域變換。重點:非線性濾波，圖像頻域變換，圖像金字塔。難點:二維傅里葉變換，圖像金字塔。614.形態(tài)學(xué)圖像處理4.1二值圖像形態(tài)學(xué)處理；4.2度圖像形態(tài)學(xué)處理；4.3像形態(tài)學(xué)處理應(yīng)用；教學(xué)要求：理解并掌握圖像形態(tài)學(xué)處理的基本算法與手段，并能夠熟練應(yīng)用。重點:圖像膨脹、腐蝕及開閉運算。難點:區(qū)域填充、連通分量提取。641、25.圖像特征檢測、描述與匹配5.1像邊緣檢測；5.2線檢測，角點檢測；5.3像局部特征點檢測，局部特征點描述；5.4征點匹配疊加定理。教學(xué)要求：理解并掌握各種圖像特征及特征描述方法，利用圖像特征進(jìn)行圖像運算分析。重點：圖像邊緣檢測，圖像局部特征點檢測，特征點匹配。難點：圖像特征點檢測、描述與特征點匹配。61、26.雙目立體視覺6.1立體視覺原理6.2極限約束、立體視差6.3圖像校正、立體匹配、視差求取教學(xué)要求：了解雙目立體視覺概念、原理、方法；重點理解相機(jī)標(biāo)定及立體匹配環(huán)節(jié)，獨立完成雙目系統(tǒng)搭建。重點:視差求取，立體匹配。難點:對極幾何，立體圖像對幾何校正，立體匹配。441、27.圖像分析與圖像識別7.1圖像分割，K均值聚類，最短路徑算法，圖割算法；7.2圖像和場景識別概述；7.3字符、人臉識別算法。教學(xué)要求：熟悉并掌握圖像分析與圖像識別的一般思路及方法。重點:基于聚類的圖像分割，基于深度神經(jīng)網(wǎng)絡(luò)的人臉識別算法。難點:最短路徑算法，深度神經(jīng)網(wǎng)絡(luò)算法。618.綜合設(shè)計案例8.1需求分析8.2程序設(shè)計8.3測試調(diào)試法。教學(xué)要求：掌握機(jī)器視覺系統(tǒng)設(shè)計開發(fā)流程，包括需求分析、硬件軟件設(shè)計、功能實現(xiàn)、測試調(diào)試等環(huán)節(jié)。重點:機(jī)器視覺系統(tǒng)硬件軟件設(shè)計、功能實現(xiàn)。難點:機(jī)器視覺系統(tǒng)硬件軟件設(shè)計、功能實現(xiàn)。61、2、3合計4082.實驗部分實驗部分的教學(xué)內(nèi)容、基本要求與學(xué)時分配見表3。表3實驗項目、實驗內(nèi)容與學(xué)時實驗項目實驗內(nèi)容和要求實驗學(xué)時對應(yīng)的課程目標(biāo)1.視覺圖像基本處理方法實驗內(nèi)容：進(jìn)行濾波、邊緣檢測、形態(tài)學(xué)處理等基本的圖像處理實驗。實驗要求：了解各種基本都圖像處理操作原理，能夠利用基本圖像處理操作實現(xiàn)簡單的檢測任務(wù)。41、2、3、42．圖像識別檢測實驗實驗內(nèi)容：進(jìn)行圖像識別檢測實驗。實驗要求：了解圖像分類、識別目標(biāo)檢測的原理及流程。41、2、4合計8五、教學(xué)方法及手段本課程以課堂講授為主，采用啟發(fā)式、討論式、互動式和案例教學(xué)等教學(xué)方法，促進(jìn)學(xué)生積極思考，開發(fā)學(xué)生的潛能，讓學(xué)生能夠?qū)W會機(jī)器視覺檢測技術(shù)原理及方法流程，并能夠針對不同需求設(shè)計不同的機(jī)器視覺檢測方案。培養(yǎng)學(xué)生思考問題、分析問題和解決問題的能力；通過合理安排教學(xué)內(nèi)容，增加課堂練習(xí)時間，安排習(xí)題課以及答疑等形式，讓學(xué)生理解所學(xué)如何用，充分鞏固課堂所學(xué)知識。實驗教學(xué)著重讓學(xué)生理解機(jī)器視覺與圖像處理中常用技術(shù)的實現(xiàn)原理，并在此基礎(chǔ)上了解實際設(shè)計視覺檢測方案的基本流程、基本思路，以及一些相關(guān)軟件的使用方法。實驗采用教師講授和學(xué)生動手操作的方法；在實驗前學(xué)生應(yīng)復(fù)習(xí)和掌握與本實驗有關(guān)的教學(xué)內(nèi)容、認(rèn)真閱讀實驗指導(dǎo)書；在實驗中要嚴(yán)格遵守實驗紀(jì)律，按操作規(guī)程使用儀器及相應(yīng)軟件；實驗結(jié)束后，按規(guī)定對儀器進(jìn)行維護(hù)保養(yǎng)；每完成一項實驗，要認(rèn)真完成一份實驗報告。六、課程資源注：每門課程需推薦優(yōu)秀參考書3本以上（不包括教材），本學(xué)科國內(nèi)或國際權(quán)威期刊5種以上（至少包括外文期刊1種），網(wǎng)絡(luò)資源2項以上。1.推薦教材：作者（譯者）.書名.出版社.出版時間．（1）曹其新，莊春剛等著，《機(jī)器視覺與應(yīng)用》，機(jī)械工業(yè)出版社，2021年7月.2.參考書：作者（譯者）.書名.出版社.出版時間．（1）拉斐爾?C.岡薩雷斯）著，阮秋琦譯.《數(shù)字圖像處理》（第四版），電子工業(yè)出版社，2020年5月.（2）李紅蕾等編著，《計算機(jī)視覺技術(shù)》，電子工業(yè)出版社，2021年6月.（3）張明文，王璐歡著，《工業(yè)機(jī)器人視覺技術(shù)及應(yīng)用》人民郵電出版社：2020年9月.（4）福賽斯（DavidA.Forsyth）、泊斯（JeanPonce）,《計算機(jī)視覺：一種現(xiàn)代方法》(第2版)(英文版)，電子工業(yè)出版社，2012年5月.3.期刊：作者.文題.刊名，年，卷號（期號）．或者：刊名，主辦單位（1）光學(xué)學(xué)報，中科院上海光機(jī)所（2）電子信息學(xué)報，中國科學(xué)院電子學(xué)研究所.（3）中國圖象圖形學(xué)報，中國圖象圖形學(xué)會，北京應(yīng)用物理與計算數(shù)學(xué)研究所。（4）IEEETranscationsonImageProcessing，IEEE（5）ComputerVisionandImageUnderstanding，Elsevier（6）InternationalJournalofComputerVision，Springer4.網(wǎng)絡(luò)資源：網(wǎng)站名，訪問路徑或者：作者.文題.更新和修改日期.訪問路徑．（1）KITTI無人駕駛視覺任務(wù)數(shù)據(jù)測試評估網(wǎng)站，KITTIVisionBenchmarkSuit:http://www.cvlibs.net/datasets/kitti/eval_tracking.php．（2）Opencv網(wǎng)站：/.七、課程考核對課程目標(biāo)的支撐課程成績由過程性考核成績和期末考核成績兩部分構(gòu)成，具體考核/評價細(xì)則及對課程目標(biāo)的支撐關(guān)系見表4。表4課程考核對課程目標(biāo)的支撐考核環(huán)節(jié)占比考核/評價細(xì)則課程目標(biāo)123過程性考核課堂表現(xiàn)10（1）根據(jù)課堂出勤情況和課堂回答問題情況進(jìn)行考核，滿分100分。（2）以平時考核成績乘以其在總評成績中所占的比例計入課程總評成績?！獭?4實驗15（1）根據(jù)每個實驗的實驗操作完成情況和實驗報告質(zhì)量單獨評分，滿分100分；（2）每次實驗單獨評分，取各次實驗成績的平均值作為此環(huán)節(jié)的最終成績。（3）以實驗成績乘以其在總評成績中所占的比例計入課程總評成績?！獭?05作業(yè)15（1）主要考核學(xué)生對各章節(jié)知識點的復(fù)習(xí)、理解和掌握程度，滿分100分；（2）每次作業(yè)單獨評分，取各次成績的平均值作為此環(huán)節(jié)的最終成績。（3）以作業(yè)成績乘以其在總評成績中所占的比例計入課程總評成績?！獭?6期末考核60（1）綜合大作業(yè)成績100分，以大作業(yè)成績乘以其在總評成績中所占的比例計入課程總評成績。（2）主要考察學(xué)生用所學(xué)知識獨立解決、創(chuàng)造性解決問題的能力，對學(xué)生的業(yè)務(wù)能力進(jìn)行綜合評估。（3）考試題型為綜合設(shè)計題，針對特定的視覺檢測任務(wù)設(shè)計相應(yīng)的視覺檢測方案。√√√302010合計：100分553510八、考核與成績評定1.考核方式及成績評定考核方式：本課程主要以課堂表現(xiàn)、實驗、作業(yè)、期末綜合作業(yè)等方式對學(xué)生進(jìn)行考核評價。考核基本要求：考核總成績由期末綜合作業(yè)成績和過程性考核成績組成。其中：期末大作業(yè)成績?yōu)?00分（權(quán)重60%），主要考察學(xué)生的綜合解決問題能力及創(chuàng)新能力；課堂表現(xiàn)、實驗、作業(yè)等過程性考核成績?yōu)?00分（權(quán)重40%）；過程性考核分值分配應(yīng)與教學(xué)大綱各章節(jié)的學(xué)時基本成比例。2.過程性考核成績的標(biāo)準(zhǔn)過程性考核方式重點考核內(nèi)容、評價標(biāo)準(zhǔn)、所占比重見表5。表5過程性考核方式評價標(biāo)準(zhǔn)考核方式所占比重(%)100>x≥9090>x≥8080>x≥7070>x≥60x<60課堂表現(xiàn)24筆記完整，積極參與教學(xué)活動，踴躍回答問題，準(zhǔn)確率大于90%。筆記完整，認(rèn)真參與教學(xué)活動，回答問題準(zhǔn)確率大于80%。筆記不完整，偶爾參與教學(xué)活動，回答問題準(zhǔn)確率大于70%。上課不認(rèn)真，上課不記筆記，偶爾參與教學(xué)活動。上課不認(rèn)真，上課不記筆記，不參與教學(xué)活動。作業(yè)38作業(yè)完整，思路清晰，準(zhǔn)確率大于90%，字跡工整。作業(yè)完整，準(zhǔn)確率大于80%，字跡工整。不交作業(yè)2次以內(nèi)，準(zhǔn)確率大于70%.不交作業(yè)4次