《機器視覺技術》教學大綱

《機器視覺技術》教學大綱適用范圍：202X版本科人才培養(yǎng)方案課程代碼：22159021課程性質(zhì)：專業(yè)選修課程學分：2學分學時：32學時（理論24學時，實驗8學時）先修課程：大學物理、高等數(shù)學、傳感器與檢測技術等后續(xù)課程：無適用專業(yè)：機械電子工程開課單位：智能工程學院一、課程說明《機器視覺技術》是機械電子工程專業(yè)開設的一門專業(yè)選修課，本課程的主要任務是使學生掌握研究動態(tài)測試的基本理論和基本方法，了解機器視覺的前沿應用。通過本課程的學習使學生能夠運用各種機器視覺配件，完成簡單的工業(yè)檢測工作，掌握機器視覺系統(tǒng)設計的基本思路，為今后從事測試工作打下堅實的基礎，為以后從事模式識別與智能控制、機器人技術、智能制造等領域的研究與開發(fā)工作打下扎實的基礎。二、課程目標通過本課程的學習，使學生達到如下目標：課程目標1：掌握機器視覺系統(tǒng)概念及組成，能夠正確理解機器視覺系統(tǒng)主要硬件功能及原理，并能夠按照實際應用場合選擇搭建合適的機器視覺硬件系統(tǒng)。理解機器視覺領域有關的國家標準、行業(yè)標準、企業(yè)標準、法律法規(guī)以及相關知識產(chǎn)權、行業(yè)政策；產(chǎn)品檢測的符合標準。課程目標2：理解圖像處理的基本算法，包括各種圖像濾波、圖像增強等圖像預處理算法，圖像分割的依據(jù)、定義及主要圖像分割算法，了解邊緣檢測基本理論，及邊緣檢測各類算子的應用，形態(tài)學的基本原理及應用等；掌握立體視覺的成像原理，雙目立體視覺的標定算法。課程目標3：掌握圖像特征定義及表述的基本原理，熟練掌握圖像特征提取的各類描述子，并應用圖像特征算子實現(xiàn)圖像提取、圖像識別及缺陷識別等。三、課程目標與畢業(yè)要求《機器視覺技術》課程教學目標對機械電子工程專業(yè)畢業(yè)要求的支撐見表1。表1課程教學目標與畢業(yè)要求關系畢業(yè)要求指標點課程目標支撐強度1.工程知識：具備計算機智能視覺技術的相關知識：視覺系統(tǒng)的構(gòu)成（相機、鏡頭、光源），數(shù)字圖像得獲取與預處理；圖像處理的各種算法（預處理、定位、測量、神經(jīng)網(wǎng)絡）與應用（定位、識別、計數(shù)、測量、監(jiān)控、以及其他綜合應用）等基本知識。熟悉計算機視覺各種原理，并能用于解決人工智能類設計、控制等復雜工程問題。1.4掌握本專業(yè)必需的學科基礎理論知識；1.5掌握本專業(yè)的專業(yè)基礎理論、應用工具及技術知識；1.7掌握人工智能綜合應用的基礎理論知識和專業(yè)拓展知識。課程目標1：了解機器視覺的起源，機器視覺系統(tǒng)概念及組成、國內(nèi)機器視覺技術的發(fā)展現(xiàn)狀等。課程目標2：了解機器視覺系統(tǒng)主要硬件功能及原理，并能夠按照實際應用場合選擇搭建合適的機器視覺硬件系統(tǒng)。M2.設計/開發(fā)解決方案：綜合考慮社會、健康、安全、法律、文化以及環(huán)境等因素，掌握計算機視覺技術的基礎知識和相關技能，尤其是人工神經(jīng)網(wǎng)絡理論與實踐結(jié)合的學習方式，設計/開發(fā)針對計算機視覺相關問題的解決方案并在設計環(huán)節(jié)中體現(xiàn)創(chuàng)新意識。2.5具有熟練的人工智能應用工具使用的能力；2.6具有對人工智能的工程應用進行分析描述、規(guī)劃解決方案、設計實驗過程、展開驗證與研究的初步能力，具有扎實的工程基礎知識和實踐能力。2.7具有較強的創(chuàng)新意識和進行人工智能與不同學科、不同領域、產(chǎn)業(yè)創(chuàng)新融合的初步能力。課程目標3：了解圖像處理的基本算法、原理及主要處理軟件。課程目標4：了解圖像預處理的原因，掌握各種濾波技術及圖像增強技術基本算法，根據(jù)圖片現(xiàn)狀選擇合適的預處理方法。課程目標5：了解圖像分割的依據(jù)、定義及主要圖像分割算法。課程目標6：了解邊緣檢測基本理論；理解一階、二階邊緣檢測算子、Canny算子，掌握邊緣連接方法，理解邊緣子聚合，能根據(jù)邊緣進行尺寸測量和模型計數(shù)。M3.工程與社會：能夠基于計算機視覺相關背景知識進行合理分析，評價基于半導體切割、序列號讀取，產(chǎn)品檢測等工程實踐和復雜工程解決方案對社會進步、人類健康、公共安全、法律法規(guī)以及文化傳承的影響，并理解應承擔的責任。3.5掌握科學思維方法和科研研究方法，具備求實創(chuàng)新意識和嚴謹?shù)目茖W素養(yǎng)；了解本專業(yè)相關的產(chǎn)品研發(fā)、生產(chǎn)、設計等方面的方針、政策和法規(guī)；能正確認識科學研究與工程應用對于客觀世界和社會的影響，具有一定的工程意識和效益意識。3．6理解與人工智能領域相關的技術標準體系、法律法規(guī)、知識產(chǎn)權和產(chǎn)業(yè)行業(yè)政策。以人為本，弘揚人的價值，注重人的綜合素質(zhì)培養(yǎng)和全面發(fā)展，實現(xiàn)立德樹人。引導學生以批判的眼光學習西方文化，取其所長，為我們所用；增強學生對民族文化的自信，更好構(gòu)筑中國精神、中國價值、中國力量，向世界“講好中國故事，傳播好中國聲音，闡釋好中國特色”。課程目標7：了解圖像特征與特征分割、提取、定位。并根據(jù)提取特征進行缺陷識別。。課程目標8：掌握圖像形態(tài)學的基本原理，了解圖像形態(tài)學處理的應用。課程目標9：掌握立體視覺的成像原理，雙目立體視覺的標定；掌握立體視覺中的對極幾何、物體三維形狀的計算。M注：表中“H（高）、M（中）”表示課程與相關畢業(yè)要求的關聯(lián)度。四、教學內(nèi)容、基本要求與學時分配1.理論部分理論部分的教學內(nèi)容、基本要求與學時分配見表2。表2教學內(nèi)容、基本要求與學時分配教學內(nèi)容教學要求，教學重點難點理論學時實驗學時對應的課程目標1．機器視覺引論1.1機器視覺系統(tǒng)的定義、體系結(jié)構(gòu)；1.2機器視覺系統(tǒng)的發(fā)展現(xiàn)狀與趨勢；1.3機器視覺系統(tǒng)的應用領域。教學要求：（1）掌握機器視覺系統(tǒng)的基本概念及體系結(jié)構(gòu)；（2）了解機器視覺系統(tǒng)的研究現(xiàn)狀、發(fā)展趨勢以及應用領域。重點：機器視覺系統(tǒng)的體系結(jié)構(gòu)。難點：機器視覺系統(tǒng)的體系結(jié)構(gòu)。212.機器視覺硬件系統(tǒng)-光源2.1照明技術及原理2.2常見的光源及光波的指向性2.3光源的選擇教學要求：了解照明技術原理，及照明對成像的影響，掌握明、暗視野原理、各類照明技術的應用。了解色光的組成，色與補色原理。能夠根據(jù)實際應用場合選擇合適的光源及照明方案。重點：根據(jù)實際應用場合選擇合適的光源及照明方案。；難點：各種照明技術原理及應用。213.機器視覺硬件系統(tǒng)-鏡頭3.1光學系統(tǒng)基本原理3.2鏡頭的基本參數(shù)與相關知識3.3常見的鏡頭類型3.4鏡頭的選擇教學要求：掌握鏡頭相關的光學基本原理，了解光學鏡頭的基本參數(shù)及相關知識，掌握景深、光圈、焦距和拍攝距離的相互關系。掌握鏡頭的選擇方法及依據(jù)。重點：光學鏡頭的基本參數(shù)及相關知識。難點：鏡頭的選擇方法及依據(jù)214.機器視覺硬件系統(tǒng)-工業(yè)相機4.1工業(yè)相機的分類4.2成像芯片的類型和原理4.3相機的常見術語與參數(shù)4.4數(shù)據(jù)傳輸方式教學要求：掌握工業(yè)相機的分類及應用，掌握CCD和CMOS相機的工作原理及優(yōu)缺點，了解工業(yè)相機的常見術語與基本參數(shù)，了解相機數(shù)據(jù)傳輸?shù)姆绞?。重點：CCD和CMOS芯片的工作原理及應用難點：CCD和CMOS芯片的工作原理2215.圖像預處理5.1圖像預處理的原因和方法5.2線性濾波和非線性濾波 5.3圖像增強5.4直方圖均衡化教學要求：了解圖像預處理的原因和基本方法。掌握中值濾波、均值濾波和高斯濾波算法原理。了解圖像增強算法，掌握直方圖均衡化算法原理。重點：中值濾波、均值濾波和高斯濾波算法原理。難點：直方圖均衡化算法原理。422、36.圖像分割及邊緣提取6.1圖像分割的目的及依據(jù)6.2圖像閾值分割6.3圖像邊緣檢測算法6.4區(qū)域生長法6.5分裂合并法教學要求：了解圖像分割的目的及依據(jù)，掌握梯度邊緣檢測算字、二階微分算子、LoG算法、圖像逼近、Canny邊緣檢測器，了解區(qū)域生長法、分裂合并法的基本原理及應用。重點：梯度邊緣檢測算法、二階微分算子難點：梯度邊緣檢測算法、二階微分算子。42、36.圖像特征提取6.1圖像特征提取的定義及方法；6.2圖像特征的基本概念；6.3圖像特征的描述；6.4區(qū)域內(nèi)部空間分析教學要求：掌握圖像分割的基本方法，及圖像特征的表述；熟練掌握圖像的各種描述子。重點：圖像特征的表述方法；難點：圖像特征的各種描述子422、37.圖像形態(tài)學7.1簡單圖像成像模型；7.2二值形態(tài)學基本運算；7.3圖像形態(tài)學的應用教學要求：掌握圖像形態(tài)學的基本原理；學會運用圖像形態(tài)學方法處理實際問題。重點：腐蝕、膨脹、開運算、閉運算的基本原理難點：腐蝕、膨脹、開運算、閉運算的基本原理22、38.三維視覺系統(tǒng)8.1雙目立體視覺原理、精度分析；8.23D掃描相機原理8.3三維視覺系統(tǒng)標定8.4系統(tǒng)結(jié)構(gòu)、立體成像、立體匹配、系統(tǒng)標定。教學要求：掌握立體視覺的成像原理，雙目立體視覺的標定；掌握立體視覺中的對極幾何、物體三維形狀的計算。重點:雙目立體視覺及3D掃描相機原理、精度分析、系統(tǒng)標定。難點:雙目立體視覺精度分析、系統(tǒng)標定。421、3合計2482.實驗部分實驗部分的教學內(nèi)容、基本要求與學時分配見表3。

表3實驗項目、實驗內(nèi)容與學時實驗項目實驗內(nèi)容和要求實驗學時對應的課程目標1．機器視覺系統(tǒng)硬件安裝實驗內(nèi)容：搭建二維機器視覺檢測系統(tǒng)實驗要求：掌握二維視覺檢測系統(tǒng)的搭建方法，原理及步驟，并完成系統(tǒng)的標定及調(diào)試。212.圖像預處理實驗內(nèi)容：使用圖像處理軟件對圖像進行濾波及圖像增強實驗要求：掌握圖像預處理的編程語言及思路，使用軟件對圖像進行預處理，得到滿足檢測要求的圖像。223.視覺圖像邊緣檢測及特征提取實驗內(nèi)容：對圖像進行邊緣提取和識別實驗要求：掌握圖像邊緣提取的編程語言及方法，定義圖像特征，完成圖像識別功能。22、34.三維視覺系統(tǒng)實驗內(nèi)容：三維視覺系統(tǒng)的搭建、調(diào)試及標定。實驗要求：掌握3D掃描系統(tǒng)和雙目視覺系統(tǒng)的成像原理，并完成系統(tǒng)的搭建；調(diào)試以及雙目視覺系統(tǒng)的標定。21、3合計8五、教學方法及手段本課程以課堂講授為主，結(jié)合討論、案例、視頻資源共享、實驗等教學手段完成課程教學任務和相關能力的培養(yǎng)。學生比較全面地理解機器視覺系統(tǒng)構(gòu)建的基本方法與圖像處理算法基本原理，在掌握機器視覺硬件構(gòu)建方法基礎上，具有對圖像進行處理計算的能力。實驗教學著重講授如何用科學的手段來完成理論的驗證；如何組織實驗、處理數(shù)據(jù)和分析實驗現(xiàn)象；介紹常用設備和儀器的原理、構(gòu)造和使用維護方法以及綜合實驗內(nèi)容的思路和方案設計等。采用教師講授和學生動手操作的方法；在實驗前學生應復習和掌握與本實驗有關的教學內(nèi)容、認真閱讀實驗指導書；在實驗中要嚴格遵守實驗紀律，按操作規(guī)程使用儀器；實驗結(jié)束后，按規(guī)定對儀器進行維護保養(yǎng)；每完成一項實驗，要認真完成一份實驗報告。六、課程資源每門課程需推薦優(yōu)秀專著3本以上（不包括教材），本學科國內(nèi)或國際權威期刊5種以上（至少包括外文期刊1種），網(wǎng)絡資源2項以上。1.建議教材：[英]E.R.戴維斯（E.，R.，Davies）著，袁春，劉婧譯計算機視覺：原理、算法、應用及學習（原書第5版）[M].北京：機械工業(yè)出版社，2020．2.參考書：作者（譯者）.書名.出版社.出版時間．(1)高山編著計算機視覺技術[M].北京：化學工業(yè)出版社，化學工業(yè)出版社(2)[德]卡斯特恩·斯蒂格，馬克烏斯·烏爾里克，克里斯琴·威德曼著.機器視覺算法與應用[M].北京：清華大學出版社，2019(3)陳仲銘，彭凌西,深度學習原理與實踐[M],北京：人民郵電出版社，2018(4)ForouzanB.FoundationsofComputerScience[M],4thed.Boston：CengageLearningEMEA,20184.網(wǎng)絡資源：網(wǎng)站名，訪問路徑或者：作者.文題.更新和修改日期.訪問路徑．(1)http：//www.maths.lth.se/matematiklth/personal/andersp/瑞典隆德大學數(shù)學系視覺組(2)http：///~daf/加州大學伯克利分校DavidA.Forsyth(3)http：///~cil/vision.htmlCMU的視覺組七、課程考核對課程目標的支撐課程成績由過程性考核成績和期末考核成績兩部分構(gòu)成，具體考核/評價細則及對課程目標的支撐關系見表4。表4課程考核對課程目標的支撐考核環(huán)節(jié)占比考核/評價細則課程目標123過程性考核課堂表現(xiàn)10（1）根據(jù)課堂出勤情況和課堂回答問題情況進行考核，滿分100分。（2）以平時考核成績乘以其在總評成績中所占的比例計入課程總評成績?！獭獭?33實驗15（1）根據(jù)每個實驗的實驗操作完成情況和實驗報告質(zhì)量單獨評分，滿分100分；（2）每次實驗單獨評分，取各次實驗成績的平均值作為此環(huán)節(jié)的最終成績。（3）以實驗成績乘以其在總評成績中所占的比例計入課程總評成績。√√√555作業(yè)15（1）主要考核學生對各章節(jié)知識點的復習、理解和掌握程度，滿分100分；（2）每次作業(yè)單獨評分，取各次成績的平均值作為此環(huán)節(jié)的最終成績。（3）以作業(yè)成績乘以其在總評成績中所占的比例計入課程總評成績?！獭獭?55期末大作業(yè)60（1）主要考核學生綜合掌握課程知識程度，滿分100分；（2）主要考核計算機視覺技術的相關知識：視覺系統(tǒng)的構(gòu)成（相機、鏡頭、光源），數(shù)字圖像得獲取與預處理；圖像處理的各種算法（預處理、定位、測量、神經(jīng)網(wǎng)絡）與應用（定位、識別、計數(shù)、測量、監(jiān)控、以及其他綜合應用）等知識綜合分析問題解決問題能力。（3）考核形式：大作業(yè)√√√202020合計：100分343333八、考核與成績評定1.考核方式及成績評定考核方式：本課程主要以課堂表現(xiàn)、作業(yè)、實驗、期末大作業(yè)等方式對學生進行考核評價?？己嘶疽螅嚎己丝偝煽冇善谀┐笞鳂I(yè)成績和過程性考核成績組成。其中：期末大作業(yè)成績?yōu)?00分（權