《智能制造系統(tǒng)感知分析與決策 》 課件 第2章 制造系統(tǒng)感知技術(shù)

第2章制造系統(tǒng)感知技術(shù)CONTENTS制造系統(tǒng)及其感知技術(shù)概述傳感器與機(jī)器視覺設(shè)備及物料感知環(huán)境感知人員感知目錄01PARTONE制造系統(tǒng)及其感知方式概述制造系統(tǒng)及其感知方式概述制造模式與感知概述智能制造自20世紀(jì)80年代提出，已經(jīng)演進(jìn)為包括柔性制造、網(wǎng)絡(luò)協(xié)同、全生命周期追溯和個(gè)性化定制等多樣化制造模式。這些模式利用物聯(lián)網(wǎng)技術(shù)實(shí)現(xiàn)數(shù)據(jù)互通，通過(guò)信息物理系統(tǒng)融合物理與信息層面，結(jié)合大數(shù)據(jù)分析和人工智能優(yōu)化決策過(guò)程，構(gòu)建了從數(shù)據(jù)采集到科學(xué)決策的完整閉環(huán)。機(jī)器感知系統(tǒng)，作為智能制造的核心，通過(guò)傳感器和控制裝置捕獲生產(chǎn)信息，實(shí)現(xiàn)實(shí)時(shí)監(jiān)控和自動(dòng)調(diào)整生產(chǎn)參數(shù)，提升效率與品質(zhì)。物聯(lián)網(wǎng)技術(shù)的進(jìn)步使得機(jī)器感知在智能制造中的作用日益凸顯，不斷推動(dòng)生產(chǎn)向智能化和高效率轉(zhuǎn)型。

制造系統(tǒng)及其感知方式概述制造過(guò)程及其感知對(duì)象0504020301在制造系統(tǒng)中，涉及的制造要素眾多，其中需主動(dòng)采集數(shù)據(jù)信息的機(jī)器感知對(duì)象主要包括以下幾類：1.在制品感知：車間中的在制品狀態(tài)隨工序變化而變化，主動(dòng)采集其數(shù)據(jù)信息有助于管理層掌握生產(chǎn)進(jìn)度并為生產(chǎn)追溯提供依據(jù)，對(duì)提高生產(chǎn)效率和透明度至關(guān)重要。2.物料標(biāo)識(shí)與管理：物料的自動(dòng)感知通過(guò)標(biāo)簽技術(shù)實(shí)現(xiàn)，確保物料的正確使用和追溯，防止物料混淆，提高物料管理的準(zhǔn)確性和效率。3.工具與工裝定位：工具和工裝的標(biāo)識(shí)和定位減少工人尋找時(shí)間，提高生產(chǎn)準(zhǔn)備效率，讀寫器感知標(biāo)簽信息，便于快速獲取和歸還，優(yōu)化生產(chǎn)流程。4.人員身份與權(quán)限管理：通過(guò)工人佩戴的標(biāo)簽實(shí)現(xiàn)無(wú)紙化和自動(dòng)化管理，記錄工序負(fù)責(zé)人，實(shí)現(xiàn)工序的電子“簽字”，并通過(guò)標(biāo)簽分配權(quán)限，監(jiān)控工人分布，增強(qiáng)生產(chǎn)現(xiàn)場(chǎng)的管理能力。制造系統(tǒng)及其感知方式概述制造過(guò)程及其感知需求制造車間環(huán)境的復(fù)雜性帶來(lái)管理上的挑戰(zhàn)，傳統(tǒng)管理方式存在實(shí)時(shí)性差、數(shù)據(jù)獲取能力弱、人員主觀性強(qiáng)等問(wèn)題，這些問(wèn)題降低了生產(chǎn)能力和經(jīng)濟(jì)效益，難以滿足高效化和透明化的需求。制造過(guò)程的機(jī)器感知通過(guò)以下方面提升管理效率和決策質(zhì)量：1.生產(chǎn)要素信息采集：利用標(biāo)簽技術(shù)實(shí)時(shí)采集生產(chǎn)要素的靜態(tài)和動(dòng)態(tài)信息，確保數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性，完善生產(chǎn)數(shù)據(jù)管理。2.生產(chǎn)要素區(qū)域定位：通過(guò)讀寫器感知標(biāo)簽，生成包含編碼和時(shí)間的感知記錄，實(shí)現(xiàn)生產(chǎn)要素的區(qū)域定位，減少搜索時(shí)間和成本，提升效率。3.制造過(guò)程實(shí)時(shí)監(jiān)控：部署設(shè)備采集關(guān)鍵數(shù)據(jù)，為管理人員提供實(shí)時(shí)生產(chǎn)情況，以便及時(shí)調(diào)整計(jì)劃和資源分配。

制造系統(tǒng)及其感知方式概述制造過(guò)程及其感知需求5.數(shù)據(jù)處理與信息推送：對(duì)大量采集數(shù)據(jù)進(jìn)行預(yù)處理，消除冗余和錯(cuò)誤，提高數(shù)據(jù)價(jià)值。使用復(fù)雜事件處理技術(shù)從標(biāo)簽讀取事件中推理出高語(yǔ)義層級(jí)事件，并將信息推送給管理人員，支持科學(xué)判斷和決策。智能制造系統(tǒng)強(qiáng)調(diào)物理系統(tǒng)與虛擬系統(tǒng)間的數(shù)據(jù)交互和感知，通過(guò)機(jī)器視覺、設(shè)備、物料、環(huán)境和人員感知等技術(shù)，進(jìn)一步提升生產(chǎn)效率和產(chǎn)品質(zhì)量。4.制造過(guò)程追溯：利用感知記錄快速查詢產(chǎn)品加工信息，確定問(wèn)題原因，提出改進(jìn)策略，提升產(chǎn)品良品率，發(fā)現(xiàn)生產(chǎn)瓶頸，優(yōu)化設(shè)備部署。02PARTTWO傳感器與機(jī)器視覺傳感器與機(jī)器視覺現(xiàn)代信息技術(shù)發(fā)展到今天，傳感器的重要性越來(lái)越高，物聯(lián)網(wǎng)、人工智能、數(shù)字孿生、智能制造以及元宇宙等，都離不開傳感器。從智能手機(jī)到智能語(yǔ)音設(shè)備，從能源平臺(tái)到工業(yè)設(shè)備，傳感器自然而然地“化身”為人類連接機(jī)器、人類自身，以及自然環(huán)境的外延器官，它幫助人類將曾經(jīng)不可知、難判斷的信息變成易獲取、更精準(zhǔn)的數(shù)據(jù)。在傳感器的下游往往需要機(jī)器視覺的相關(guān)技術(shù)進(jìn)行支撐，目的在于提供信息以支持生產(chǎn)制造過(guò)程，雖然場(chǎng)景較為固定簡(jiǎn)單，但要求較高的精度與準(zhǔn)確率。簡(jiǎn)而言之，機(jī)器視覺就是用機(jī)器代替人眼完成測(cè)量和判斷任務(wù)。通過(guò)機(jī)器視覺產(chǎn)品將攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)；圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。傳感器與機(jī)器視覺傳感器傳感器就是能感受規(guī)定的被測(cè)量并能按一定規(guī)律將這些信息轉(zhuǎn)換成可用信號(hào)的器件或裝置。一般由敏感元件和轉(zhuǎn)換元件組成。感知的對(duì)象包括溫度、濕度、電流、轉(zhuǎn)速、轉(zhuǎn)矩等諸多物理量，物聯(lián)網(wǎng)底層不單單只有傳感器，還有相應(yīng)的執(zhí)行器與控制單元。其中，IEEE1415傳感器接口規(guī)范為智能傳感器的接口做了進(jìn)一步的規(guī)范，這樣在很大程度上就可以避免當(dāng)前工業(yè)總線不一致的問(wèn)題，同時(shí)也增加量傳感器的易用性與降低了集成開發(fā)的難度。傳感器與機(jī)器視覺傳感器的分類位移傳感器，也稱為線性傳感器，主要用于測(cè)量實(shí)物尺寸和機(jī)械位移。它們分為模擬式和數(shù)字式，其中模擬式進(jìn)一步分為物性型和結(jié)構(gòu)型。模擬式結(jié)構(gòu)型位移傳感器，如電位器式、電感式、電容式、電渦流式和霍爾式，它們通過(guò)物理量變化轉(zhuǎn)換為電阻或電壓輸出，反映位移量值和方向。數(shù)字式位移傳感器便于與計(jì)算機(jī)系統(tǒng)直接連接，應(yīng)用日益廣泛。常見的傳感器按被測(cè)量分類，傳感器包括位移傳感器、溫度傳感器、速度傳感器、濕度傳感器等。傳感器與機(jī)器視覺傳感器的分類溫度傳感器用于將溫度變化轉(zhuǎn)換為可用信號(hào)，分為接觸式和非接觸式。非接觸式溫度傳感器在工業(yè)制造中較為常見，基于黑體輻射定律，通過(guò)輻射測(cè)溫儀表進(jìn)行溫度測(cè)量，包括亮度法、輻射法和比色法，實(shí)現(xiàn)無(wú)需接觸被測(cè)物體的溫度監(jiān)測(cè)。智能傳感器作為高新技術(shù)的快速發(fā)展產(chǎn)物，其發(fā)展主要體現(xiàn)在微型化、智能化和高性能化三個(gè)方向。智能化不僅涉及基本的測(cè)量功能，還包括數(shù)據(jù)處理、自診斷、自補(bǔ)償和雙向通信等高級(jí)功能，這些功能顯著提升了傳感器的性能和可靠性。高性能化則指智能傳感器能夠自我分析和調(diào)整，抵抗外部電磁干擾，并通過(guò)數(shù)字濾波和人工神經(jīng)網(wǎng)絡(luò)技術(shù)提高信噪比和分辨力。智能傳感器功能強(qiáng)大，能自動(dòng)化校零、標(biāo)定、校正，有效采集、存儲(chǔ)、記憶和預(yù)處理數(shù)據(jù)。其具備自動(dòng)化檢測(cè)、故障定位、決策處理和邏輯判斷功能，還有標(biāo)準(zhǔn)化數(shù)字輸出和雙向通信功能。智能傳感器示例傳感器與機(jī)器視覺機(jī)器視覺機(jī)器視覺利用非接觸感應(yīng)設(shè)備獲取并解析圖像信息，以控制機(jī)器或流程。其分為“視”和“覺”兩部分?！耙暋蓖ㄟ^(guò)硬件如光源、相機(jī)等將外界信息轉(zhuǎn)化為數(shù)字信號(hào)；“覺”則是計(jì)算機(jī)處理這些信號(hào)的軟件算法。機(jī)器視覺系統(tǒng)主要有照明電源、鏡頭、相機(jī)、圖像采集/處理卡、圖像處理系統(tǒng)、其他外部設(shè)備等組成，如圖所示：機(jī)器視覺系統(tǒng)結(jié)構(gòu)示意機(jī)器視覺技術(shù)在工業(yè)應(yīng)用中包括檢驗(yàn)、計(jì)量、測(cè)量等，例如：汽車焊裝生產(chǎn)線，檢查車門和前后蓋涂膠是否連續(xù)、高度達(dá)標(biāo)；啤酒罐裝生產(chǎn)線，檢查瓶蓋密封和液位。機(jī)器視覺檢驗(yàn)比人工更快更準(zhǔn)確。傳感器與機(jī)器視覺智能自動(dòng)識(shí)別技術(shù)自動(dòng)識(shí)別技術(shù)是一種計(jì)算機(jī)技術(shù)與自動(dòng)化技術(shù)相互融合的產(chǎn)物，主要能實(shí)現(xiàn)以下幾大功能：數(shù)據(jù)編碼、數(shù)據(jù)采集與標(biāo)識(shí)、數(shù)據(jù)管理與傳輸?shù)?，包含射頻識(shí)別技術(shù)(RFID)、條碼識(shí)別技術(shù)、語(yǔ)音識(shí)別技術(shù)、圖像識(shí)別技術(shù)、磁識(shí)別技術(shù)以及光學(xué)字符識(shí)別(OCR)等技術(shù)。對(duì)于上述識(shí)別技術(shù)，每種技術(shù)既有自己的優(yōu)勢(shì)同時(shí)也存在自身局限，因此針對(duì)不同的應(yīng)用場(chǎng)合及用途，往往需要將上述幾種技術(shù)聯(lián)合起來(lái)使用來(lái)滿足應(yīng)用需求，如RFID跟條碼識(shí)別技術(shù)、圖像處理技術(shù)與語(yǔ)音識(shí)別技術(shù)。傳感器與機(jī)器視覺圖像識(shí)別技術(shù)圖像識(shí)別技術(shù)通過(guò)計(jì)算機(jī)分析攝像機(jī)采集的圖像，識(shí)別不同目標(biāo)與對(duì)象。過(guò)程涉及預(yù)處理、特征點(diǎn)提取和匹配。圖像預(yù)處理將原始圖像轉(zhuǎn)化為數(shù)字圖像，包括采集、增強(qiáng)、復(fù)原、編解碼和分割。特征點(diǎn)提取采用閾值分割等算法，匹配則可用模板匹配模型。該技術(shù)廣泛應(yīng)用于貨物檢測(cè)、視覺導(dǎo)引、衛(wèi)星遙感、交通管理等領(lǐng)域，常見技術(shù)有人臉識(shí)別、指紋識(shí)別和文字識(shí)別，持續(xù)突破與發(fā)展中。傳感器與機(jī)器視覺二維碼識(shí)別技術(shù)二維碼識(shí)別技術(shù)在自動(dòng)識(shí)別技術(shù)領(lǐng)域里面屬于當(dāng)前應(yīng)用較為重要而廣泛的技術(shù)。它是利用圖像識(shí)別技術(shù)對(duì)二維碼實(shí)現(xiàn)灰度化、二值化、校正并最終解碼的技術(shù)。它具有低成本、高密度存儲(chǔ)、超高速讀取、較強(qiáng)糾錯(cuò)能力等特點(diǎn)，識(shí)別完成后，通過(guò)接口電路向計(jì)算機(jī)發(fā)出中斷信號(hào)并進(jìn)入中斷服務(wù)程序，最終將二維碼數(shù)據(jù)信息顯示在計(jì)算機(jī)，從而完成二維碼的識(shí)別過(guò)程。傳感器與機(jī)器視覺射頻識(shí)別(RFID)技術(shù)智能物料輸送系統(tǒng)主要依賴RFID和條形碼技術(shù)采集生產(chǎn)數(shù)據(jù)。RFID技術(shù)通過(guò)讀卡器與電子標(biāo)簽電磁耦合實(shí)現(xiàn)信息采集，近年發(fā)展迅速。-美國(guó)：在消費(fèi)與自動(dòng)化生產(chǎn)領(lǐng)域廣泛應(yīng)用RFID，技術(shù)領(lǐng)先。-歐洲：廠商如Philips、STMicroelectronics推廣RFID，應(yīng)用于交通、倉(cāng)儲(chǔ)、金融等領(lǐng)域。-日本：2004年全面推行RFID，應(yīng)用于音樂、書籍、消費(fèi)電子等多個(gè)領(lǐng)域。國(guó)內(nèi)RFID技術(shù)現(xiàn)狀-初步應(yīng)用，中低頻技術(shù)有優(yōu)勢(shì)，高頻技術(shù)待突破。-主要應(yīng)用于物流、公共交通、身份識(shí)別等領(lǐng)域。-技術(shù)發(fā)展不平衡，市場(chǎng)前景廣闊，需突破關(guān)鍵技術(shù)以達(dá)到國(guó)際水準(zhǔn)。傳感器與機(jī)器視覺計(jì)算機(jī)視覺相關(guān)算法計(jì)算機(jī)視覺任務(wù)涉及：1.圖像分類：區(qū)分不同類別目標(biāo)的圖像處理方法。2.物體檢測(cè)：檢測(cè)圖像中的物體及其位置，用矩形框標(biāo)識(shí)。3.語(yǔ)義分割：在語(yǔ)義上理解圖像像素，判斷哪些像素屬于哪個(gè)目標(biāo)。4.目標(biāo)跟蹤：利用視頻或圖像序列信息，對(duì)目標(biāo)外觀和運(yùn)動(dòng)建模，預(yù)測(cè)并標(biāo)定目標(biāo)位置。圖像預(yù)處理指在最低抽象層次的圖像上操作，輸入輸出為亮度圖像，以亮度值矩陣表示。旨在改善圖像數(shù)據(jù)，抑制變形，增強(qiáng)重要特征。相關(guān)算法包括像素亮度變換、空間幾何變換、圖像平滑、邊緣檢測(cè)等。傳感器與機(jī)器視覺像素亮度變換像素亮度變換可以修改像素的亮度。其方法主要可以分為兩類：（1）亮度矯正。修改像素的亮度時(shí)，需要考慮改像素原來(lái)的亮度及其在圖中的位置。（2）灰度級(jí)變換。無(wú)需考慮像素在圖中的位置。亮度變換示例2傳感器與機(jī)器視覺像素亮度變換亮度矯正，理想假設(shè)下，圖像獲取和數(shù)字化設(shè)備的靈敏度不應(yīng)該與圖像位置有關(guān)，但在很多實(shí)際情況下是不成立的。例如，傳感器光敏元件不具有均衡一致的靈敏度、不均勻的物體照明等原因可能使得亮度與位置有關(guān)。退化的圖像可以表示為??(??,??)=??(??,??)??(??,??)，其中??(??,??)代表錯(cuò)誤系數(shù)，??(??,??)代表沒有退化的圖像。則矯正方法為下式??(??,??)=??(??,??)??(??,??)(2-1)灰度級(jí)變換不依賴于像素在圖像中的位置。一個(gè)變換??=??(??)可以將原來(lái)在范圍[??0,????]內(nèi)的亮度r轉(zhuǎn)換為范圍[??0,????]的亮度s?？梢苑譃榫€性變換、對(duì)數(shù)變換、冪律變換、直方圖均衡化四種方法。傳感器與機(jī)器視覺像素亮度變換線性變換假設(shè)r是變換前的灰度，s是變換后的灰度，則線性變換函數(shù)為??=?????+??，當(dāng)a與b取值不同時(shí)的效果如下：a>1，增加圖像對(duì)比度；0<a<1，減小圖像對(duì)比度；a=1且b≠0，圖像整體變亮或變暗；a<0且b=0，圖像亮區(qū)域變暗，暗區(qū)域變亮；a=-1且b=255，圖像反轉(zhuǎn)，獲得負(fù)片。負(fù)片可以較好增強(qiáng)圖像暗區(qū)域的白色或灰色細(xì)節(jié)。反片示例傳感器與機(jī)器視覺像素亮度變換對(duì)數(shù)變換的通用公式為??=c???????(1+??)，其中c是一個(gè)常數(shù)，假設(shè)r≥0，原圖像中范圍較窄的低灰度值映射到范圍較寬的灰度區(qū)間；灰度較寬的高灰度值區(qū)間映射為較窄的灰度區(qū)間。對(duì)數(shù)變換擴(kuò)展了暗像素值并壓縮了高灰度值，能增強(qiáng)圖像中的低灰度細(xì)節(jié)。對(duì)數(shù)變換示例傳感器與機(jī)器視覺幾何變換幾何變換是一個(gè)矢量函數(shù)T，將一個(gè)圖像f(x0，y0)經(jīng)過(guò)幾何變換產(chǎn)生目標(biāo)圖像g(x1，y1)，則該空間變換（映射）關(guān)系為幾何變換可以消除圖像獲取時(shí)出現(xiàn)的幾何變形，它不改變像素值大小，值是在圖像平面上進(jìn)行像素的重新安排。一個(gè)幾何變換需要兩部分運(yùn)算：空間變換（如平移、旋轉(zhuǎn)、鏡像），以及亮度插值算法。最近鄰插值是最簡(jiǎn)單且最快的插值方法，即賦予點(diǎn)(x，y)以在離散光柵中離它最近的點(diǎn)g的亮度數(shù)值。雙三次插值是二維空間中最常用的插值方法，插值點(diǎn)(x，y)的像素灰度值通過(guò)矩形網(wǎng)格中最近的16個(gè)采樣點(diǎn)的加權(quán)平均得到，傳感器與機(jī)器視覺幾何變換各采樣點(diǎn)的權(quán)重由該點(diǎn)到待求插值點(diǎn)的距離確定。最近鄰插值的優(yōu)點(diǎn)在于計(jì)算量很小，算法簡(jiǎn)單，運(yùn)算速度較快；而缺點(diǎn)則是灰度值有明顯的不連續(xù)性，圖像質(zhì)量損失較大，會(huì)產(chǎn)生明顯的馬賽克和鋸齒現(xiàn)象。雙線性插值的優(yōu)點(diǎn)在于圖像質(zhì)量較高，基本克服了最近鄰插值灰度不連續(xù)的特點(diǎn)；缺點(diǎn)在于計(jì)算量稍大，程序運(yùn)行時(shí)間稍長(zhǎng)，縮放后圖像的高頻分量受到損失，圖像邊緣在一定程度上變得較為模糊。雙三次插值的優(yōu)點(diǎn)在于能產(chǎn)生比雙線性插值更為平滑的邊緣，計(jì)算精度很高，處理后的圖像像質(zhì)損失最少，效果最佳；缺點(diǎn)則是計(jì)算量最大，算法最復(fù)雜。傳感器與機(jī)器視覺圖像平滑局部預(yù)處理是指，圖片的像素由其附近一小片區(qū)域的像素值來(lái)獲得的。根據(jù)處理的目的，可以將局部預(yù)處理方法分為兩組：平滑，目的是抑制噪聲或其他小的波動(dòng)，等同于在傅里葉變換中抑制高頻部分；梯度算子，基于圖像的局部導(dǎo)數(shù)。導(dǎo)數(shù)在圖像函數(shù)快速變化的位置處較大，梯度算子的目的是在圖像中顯現(xiàn)這些位置?？赡軙?huì)提升噪聲水平。傳感器與機(jī)器視覺在圖像上，對(duì)待處理的像素給定一個(gè)模板，該模板包括了其周圍的鄰近像素。將模板中的全體像素的均值來(lái)替代原來(lái)的像素值的方法。濾波器所選取的窗口寬度越寬，圖片越模糊。均值濾波器的缺點(diǎn)是會(huì)使圖像變模糊，原因是它對(duì)所有的點(diǎn)都是同等對(duì)待，在分?jǐn)傇肼晻r(shí)，將邊界點(diǎn)也分?jǐn)偭?。為了改善效果，可采用加?quán)平均的方式來(lái)構(gòu)造濾波器。均值濾波器示例圖像平滑傳感器與機(jī)器視覺中值濾波器某些噪聲（如椒鹽噪聲）的像素點(diǎn)比周圍的像素亮（暗）許多。如果在某個(gè)模板中，對(duì)像素進(jìn)行由小到大的排列，最亮或者最暗的點(diǎn)（噪聲）會(huì)被排在兩側(cè)。取模板中排在中間位置上的像素的灰度值替代待處理像素的值，就可以達(dá)到濾除噪聲的目的。K近鄰平滑濾波器在圖像上的景物之所以可以辨認(rèn)清楚是因?yàn)槟繕?biāo)物之間存在邊界，邊界點(diǎn)與噪聲點(diǎn)有一個(gè)共同的特點(diǎn)是，都具有灰度的躍變特性。經(jīng)過(guò)平滑濾波處理之后，圖像就會(huì)變得模糊。因此在進(jìn)行平滑處理時(shí)，首先判別當(dāng)前像素是否為邊界上的點(diǎn)；如果是，則不進(jìn)行平滑處理；如果不是，則進(jìn)行平滑處理。圖像平滑傳感器與機(jī)器視覺邊緣檢測(cè)邊緣是指圖像中灰度發(fā)生急劇變化的區(qū)域。圖像灰度的變化可以用圖像的梯度反映。邊緣檢測(cè)則是求連續(xù)圖像f(x，y)梯度的局部最大值和方向。最簡(jiǎn)單的梯度計(jì)算方法可近似為：??(??)=??(??,??)???(??+1,??)

??(??)=??(??,??)???(??,??+1)

另一種方法則是用梯度算子來(lái)檢測(cè)邊緣傳感器與機(jī)器視覺邊緣檢測(cè)給定圖像f(m，n)在兩個(gè)正交方向H1和H2上的梯度φ1(m,n)和φ2(m,n)如下：

那么邊緣強(qiáng)度和方向則是：傳感器與機(jī)器視覺卷積神經(jīng)網(wǎng)絡(luò)目前，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在語(yǔ)音分析和圖像識(shí)別領(lǐng)域備受關(guān)注，它成功訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)，對(duì)多維信號(hào)輸入具有優(yōu)勢(shì)。CNN已廣泛應(yīng)用于語(yǔ)音識(shí)別、圖像識(shí)別等大規(guī)模機(jī)器學(xué)習(xí)問(wèn)題。CNN是專為處理二維數(shù)據(jù)設(shè)計(jì)的多層神經(jīng)網(wǎng)絡(luò)，每層由多個(gè)二維平面組成，平面內(nèi)神經(jīng)元獨(dú)立，相鄰層神經(jīng)元連接。CNN采用權(quán)值共享結(jié)構(gòu)，類似生物神經(jīng)網(wǎng)絡(luò)，可調(diào)整網(wǎng)絡(luò)深度和廣度，對(duì)自然圖像有強(qiáng)假設(shè)。與全連接網(wǎng)絡(luò)相比，CNN具有更少的連接數(shù)和權(quán)值參數(shù)，更易于訓(xùn)練。傳感器與機(jī)器視覺卷積神經(jīng)網(wǎng)絡(luò)基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別一個(gè)簡(jiǎn)單CNN模型由兩個(gè)卷積層（C1，C2）和兩個(gè)子采樣層（S1，S2）組成。原始圖像通過(guò)卷積運(yùn)算在C1層產(chǎn)生特征映射圖，S1層進(jìn)行加權(quán)平均和激活得到新特征映射圖。隨后，這些映射圖與C2層濾波器卷積，并通過(guò)S2層輸出。最終，S2層輸出向量化后輸入到傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練。傳感器與機(jī)器視覺卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)示例卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)大致包括：卷積層、激活函數(shù)、池化層、全連接層、輸出層等。傳感器與機(jī)器視覺卷積神經(jīng)網(wǎng)絡(luò)圖像分類問(wèn)題將圖像劃歸為若干個(gè)類別中的某一種，主要強(qiáng)調(diào)對(duì)圖像整體的語(yǔ)義進(jìn)行判定。AlexNet首次將深度學(xué)習(xí)應(yīng)用于大規(guī)模圖像分類，它是一個(gè)８層的卷積神經(jīng)網(wǎng)絡(luò)，前５層是卷積層，后３層為全連接層，其中最后一層采用softmax進(jìn)行分類。該模型采用Rectifiedlinearunits（ReLU）來(lái)取代傳統(tǒng)的Sigmoid和tanh函數(shù)作為神經(jīng)元的非線性激活函數(shù)，并提出了Dropout方法來(lái)減輕過(guò)擬合問(wèn)題。Alexnet網(wǎng)絡(luò)結(jié)構(gòu)傳感器與機(jī)器視覺卷積神經(jīng)網(wǎng)絡(luò)1）輸入層：AlexNet首先使用大小為224×224×3圖像作為輸入（后改為227×227×3）。2）第一層（卷積層）：包含96個(gè)大小為11×11的卷積核，卷積步長(zhǎng)為4，因此第一層輸出大小為55×55×96；然后構(gòu)建一個(gè)核大小為3×3、步長(zhǎng)為2的最大池化層進(jìn)行數(shù)據(jù)降采樣，進(jìn)而輸出大小為27×27×96。3）第二層（卷積層）：包含256個(gè)大小為5×5卷積核，卷積步長(zhǎng)為1，同時(shí)利用padding保證輸出尺寸不變，因此該層輸出大小為27×27×256；然后再次通過(guò)核大小為3×3、步長(zhǎng)為2的最大池化層進(jìn)行數(shù)據(jù)降采樣，進(jìn)而輸出大小為13×13×256。傳感器與機(jī)器視覺卷積神經(jīng)網(wǎng)絡(luò)4）第三層與第四層（卷積層）：均為卷積核大小為3×3、步長(zhǎng)為1的same卷積，共包含384個(gè)卷積核，因此兩層的輸出大小為13×13×384。5）第五層（卷積層）：同樣為卷積核大小為3×3、步長(zhǎng)為1的same卷積，但包含256個(gè)卷積核，進(jìn)而輸出大小為13×13×256;在數(shù)據(jù)進(jìn)入全連接層之前再次通過(guò)一個(gè)核大小為3×3、步長(zhǎng)為2的最大池化層進(jìn)行數(shù)據(jù)降采樣，數(shù)據(jù)大小降為6×6×256，并將數(shù)據(jù)扁平化處理展開為9216個(gè)單元。6）第六層、第七層和第八層（全連接層）：全連接加上Softmax分類器輸出1000類的分類結(jié)果，有將近6千萬(wàn)個(gè)參數(shù)。傳感器與機(jī)器視覺卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)與殘差學(xué)習(xí)隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，訓(xùn)練難度提高，導(dǎo)致準(zhǔn)確率飽和或下降。團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)網(wǎng)絡(luò)最優(yōu)時(shí)，某些層輸入輸出一致。因此，提出深層殘差網(wǎng)絡(luò)ResNet，運(yùn)用殘差表示，采用Shortcutconnection確保準(zhǔn)確率隨層數(shù)增加而提高。物體檢測(cè)與深度學(xué)習(xí)模型物體檢測(cè)比圖像分類更復(fù)雜，涉及多物體定位和識(shí)別。RossGirshick等將CNN用于物體檢測(cè)，提出R-CNN模型。R-CNN使用Selectivesearch提出候選區(qū)域，輸入CNN提取特征，然后分類。R-CNN還訓(xùn)練線性回歸模型修正坐標(biāo)。FastR-CNN改進(jìn)最后一個(gè)池化層，提出RoIpooling層，允許整張圖像和候選區(qū)域坐標(biāo)一起輸入CNN，減少計(jì)算量。此外，F(xiàn)astR-CNN修改CNN的softmax層為兩個(gè)并列全連接層，用于分類和坐標(biāo)修正，設(shè)計(jì)多任務(wù)損失函數(shù)訓(xùn)練。傳感器與機(jī)器視覺03PARTTHREE設(shè)備及物料感知設(shè)備及物料感知制造資源感知制造資源主要指工裝夾具、加工設(shè)備等。對(duì)這些制造資源實(shí)時(shí)進(jìn)行信息采集、數(shù)據(jù)傳輸、數(shù)據(jù)分析等，可以使管理人員實(shí)時(shí)掌握制造資源狀態(tài)，當(dāng)有異常情況發(fā)生時(shí)，可以對(duì)生產(chǎn)及時(shí)調(diào)整。也可以通過(guò)對(duì)生產(chǎn)設(shè)備數(shù)據(jù)的分析，達(dá)到最優(yōu)化配置。具體而言，在整個(gè)制造過(guò)程中涉及的制造資源按其作用及主被動(dòng)關(guān)系分為以下四種：1.工件（或物料），主要包括原材料、零部件、半成品和成品等，它是制造過(guò)程中的被加工對(duì)象。2.加工設(shè)備，主要包括各種機(jī)床、加工中心等。3.搬運(yùn)設(shè)備，主要包括各種托盤搬運(yùn)車、叉車及自動(dòng)引導(dǎo)車、機(jī)械手臂等，用于對(duì)物料、產(chǎn)品、零件等的運(yùn)輸。4.存儲(chǔ)設(shè)備，通常用于原材料及產(chǎn)品的存放，也可表示為制造過(guò)程中的暫存區(qū)或緩沖區(qū)等。設(shè)備及物料感知制造資源感知四類制造資源在一定加工工藝和制造環(huán)境的作用下進(jìn)行加工、搬運(yùn)以及存儲(chǔ)等活動(dòng)。加工設(shè)備：加工設(shè)備是制造系統(tǒng)的核心，包括機(jī)床、加工中心等，需上下料機(jī)器人等輔助裝置。為避免搬運(yùn)設(shè)備等待，配置輸入、輸出緩沖區(qū)。加工設(shè)備在工作時(shí)可能發(fā)生故障，需停機(jī)維修。搬運(yùn)設(shè)備：搬運(yùn)設(shè)備在制造系統(tǒng)中負(fù)責(zé)工件的移動(dòng)，如托盤搬運(yùn)車、叉車等。其活動(dòng)包括工件搬運(yùn)到緩沖區(qū)、工位間搬運(yùn)、不合格品處理、成品搬運(yùn)及復(fù)位等。存儲(chǔ)設(shè)備：存儲(chǔ)設(shè)備是制造系統(tǒng)中暫存工件或成品的容器或空間，分為可用和已用兩種狀態(tài)。主要活動(dòng)包括工件放入和取出。制造資源感知和過(guò)程控制系統(tǒng)：該系統(tǒng)位于計(jì)劃管理層和車間控制層之間，實(shí)現(xiàn)信息雙向交互。接收生產(chǎn)計(jì)劃，細(xì)化后下達(dá)生產(chǎn)指令。通過(guò)物聯(lián)網(wǎng)感知資源信息，指導(dǎo)設(shè)備操作，并實(shí)時(shí)更新相關(guān)信息至數(shù)據(jù)庫(kù)，反饋至計(jì)劃管理層。設(shè)備及物料感知制造資源感知在制造資源感知和過(guò)程控制系統(tǒng)中，感知和控制的內(nèi)容主要包括生產(chǎn)計(jì)劃執(zhí)行狀態(tài)、可視化的資源感知和制造過(guò)程控制等。1.生產(chǎn)計(jì)劃執(zhí)行狀態(tài)：實(shí)時(shí)的感知并更新作業(yè)計(jì)劃的執(zhí)行狀態(tài)，包括批次信息、計(jì)劃生產(chǎn)數(shù)量、已完成數(shù)量等，當(dāng)市場(chǎng)環(huán)境發(fā)生變化時(shí)，可對(duì)正在執(zhí)行的作業(yè)計(jì)劃進(jìn)行實(shí)時(shí)變更，以實(shí)現(xiàn)對(duì)作業(yè)計(jì)劃狀態(tài)的控制。2.可視化的資源感知和制造過(guò)程控制：實(shí)時(shí)感知獲取設(shè)備運(yùn)行狀態(tài)和工件批次、編號(hào)、質(zhì)量信息等，并解析出工件的模型，實(shí)時(shí)顯示工件的狀態(tài)，同時(shí)通過(guò)解析出的工件ID、工藝編號(hào)、質(zhì)量等相關(guān)信息指導(dǎo)設(shè)備對(duì)工件進(jìn)行對(duì)應(yīng)的操作。設(shè)備及物料感知制造資源感知接入實(shí)例制造資源感知接入概述制造資源感知接入涉及多種工業(yè)現(xiàn)場(chǎng)異構(gòu)物理設(shè)備，如機(jī)械、電氣、表面工程裝備、機(jī)器人等。其過(guò)程包括現(xiàn)場(chǎng)數(shù)據(jù)獲取、初步處理，與云平臺(tái)協(xié)同實(shí)現(xiàn)價(jià)值挖掘，應(yīng)用于監(jiān)控、故障診斷、工藝優(yōu)化等，旨在提高效率、降低損耗。制造資源感知接入基本框架設(shè)備及物料感知制造資源感知接入實(shí)例特點(diǎn)與難點(diǎn)主要特點(diǎn)與難點(diǎn)在于互聯(lián)互通、互操作和高可靠安全。通過(guò)設(shè)計(jì)邊緣智能網(wǎng)關(guān)支持多種通信協(xié)議，構(gòu)建資源接入信息模型，實(shí)現(xiàn)互操作。從硬件與軟件層面考慮可靠性與安全性。設(shè)備資源接入模型設(shè)計(jì)結(jié)合應(yīng)用場(chǎng)景，設(shè)計(jì)設(shè)備資源接入模型，提供全面數(shù)據(jù)和有效語(yǔ)義，支持后續(xù)數(shù)據(jù)分析與應(yīng)用。模型包括對(duì)象、變量、方法和視圖，復(fù)雜度由設(shè)備決定。通信協(xié)議與安全防護(hù)為支持各類工業(yè)智能應(yīng)用，需多種通信協(xié)議支持和安全防護(hù)技術(shù)。包括現(xiàn)場(chǎng)總線、硬件端口、無(wú)線通信、網(wǎng)絡(luò)通信協(xié)議支持，以及防火墻、身份認(rèn)證等安全防護(hù)措施。設(shè)備及物料感知物料狀態(tài)信息感知在生產(chǎn)過(guò)程中，物料是制造的基礎(chǔ)。對(duì)車間內(nèi)物料信息進(jìn)行感知分析，實(shí)現(xiàn)物料來(lái)源、去向、庫(kù)存等的透明化，可以有效避免因材料不足引起的生產(chǎn)延誤。在制造過(guò)程中，物料大多由專門的系統(tǒng)進(jìn)行管理，稱為物料輸送管理系統(tǒng)。近年來(lái)，先進(jìn)的物料輸送系統(tǒng)在我國(guó)得到了廣泛的應(yīng)用。但無(wú)論是技術(shù)水平還是應(yīng)用程度，與國(guó)外的先進(jìn)技術(shù)相比，我國(guó)物料輸送系統(tǒng)的發(fā)展，還不能滿足現(xiàn)階段物流的要求，不足之處主要體現(xiàn)在以下幾個(gè)方面：1）我國(guó)處于物料輸送系統(tǒng)發(fā)展的初級(jí)階段，缺少行業(yè)標(biāo)準(zhǔn)，導(dǎo)致各種物料輸送設(shè)備標(biāo)準(zhǔn)不統(tǒng)一，導(dǎo)致設(shè)備之間無(wú)法順暢的感知互聯(lián)；2）企業(yè)缺乏對(duì)底層設(shè)備的關(guān)鍵數(shù)據(jù)信息采集與監(jiān)控，進(jìn)而缺乏對(duì)整個(gè)物料輸送系統(tǒng)性能和效率達(dá)到最優(yōu)的綜合考慮；3）多數(shù)企業(yè)選擇物料輸送設(shè)備時(shí)，將價(jià)格作為首要因素，忽視對(duì)輸送設(shè)備的智能化改造；4）多數(shù)企業(yè)沒有搭建起多種異構(gòu)網(wǎng)絡(luò)的互聯(lián)體系，使得整個(gè)物料輸送系統(tǒng)的綜合調(diào)度管理不夠數(shù)字化、智能化。設(shè)備及物料感知物料狀態(tài)信息感知在現(xiàn)今的智能物料輸送系統(tǒng)中，要實(shí)現(xiàn)各類設(shè)備能夠互聯(lián)互通互操作，必須在一個(gè)完整的物聯(lián)網(wǎng)架構(gòu)中完成，主要包含三個(gè)層次：底層是用來(lái)感知信息、獲取數(shù)據(jù)的感知層；第二層是進(jìn)行數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)層，通過(guò)無(wú)線局域網(wǎng)、3G技術(shù)、4G技術(shù)等移動(dòng)通信網(wǎng)將獲取得到的信息傳遞給應(yīng)用層，同時(shí)將應(yīng)用層的指令信息傳達(dá)給感知層；最上層則是完成控制決策、數(shù)據(jù)可視化的應(yīng)用層，通過(guò)與企業(yè)的具體應(yīng)用場(chǎng)合的深度融合，結(jié)合企業(yè)資源管理系統(tǒng)以及制造執(zhí)行系統(tǒng)、云計(jì)算等技術(shù)，來(lái)完成設(shè)備間的智能感知互聯(lián)。設(shè)備及物料感知物料狀態(tài)信息感知1.智能終端的大量使用，使得工作人員以及相關(guān)設(shè)備狀態(tài)能夠及時(shí)獲取，這也是企業(yè)實(shí)現(xiàn)MES以及ERP系統(tǒng)重要的一環(huán)；2.底層設(shè)備智能化，不僅僅包含自動(dòng)化的生產(chǎn)，同時(shí)包含設(shè)備運(yùn)行狀態(tài)相關(guān)數(shù)據(jù)的采集與處理，具備豐富的感知，并且能夠?qū)崿F(xiàn)初步的自適應(yīng)生產(chǎn)與診斷能力；3.具備大量的智能感知單元，如智能電機(jī)運(yùn)行參數(shù)如溫度、轉(zhuǎn)矩、轉(zhuǎn)速、電流等重要參數(shù)的獲??；4.擁有廣泛的無(wú)線傳感網(wǎng)絡(luò)（WSN），傳感網(wǎng)絡(luò)中的各傳感節(jié)點(diǎn)具備自組網(wǎng)功能，能夠?qū)⒏鱾€(gè)生產(chǎn)環(huán)節(jié)的大量相關(guān)數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析與處理，從而達(dá)到對(duì)整個(gè)智能物料輸送系統(tǒng)物料輸送系統(tǒng)作為自動(dòng)化生產(chǎn)線必不可少的一個(gè)環(huán)節(jié)，主要包含輸送線、自動(dòng)化生產(chǎn)設(shè)備、移載機(jī)構(gòu)、物流小車(AGV)、機(jī)器人、作業(yè)人員等部分組成。整個(gè)生產(chǎn)任務(wù)的完成都必須建立在高效、穩(wěn)定且可靠的物料輸送系統(tǒng)的基礎(chǔ)上，針對(duì)傳統(tǒng)物料輸送系統(tǒng)的無(wú)法滿足當(dāng)今工廠多產(chǎn)量、多品種的產(chǎn)品生產(chǎn)需要，因此，研制一套智能物料輸送系統(tǒng)迫在眉睫，其智能性主要體現(xiàn)在：設(shè)備及物料感知物料狀態(tài)信息感知面向智能物料輸送系統(tǒng)的諸多信息中，基于物聯(lián)網(wǎng)的現(xiàn)場(chǎng)實(shí)時(shí)數(shù)據(jù)采集實(shí)現(xiàn)智能化生產(chǎn)的重要組成部分，不僅僅利用底層的傳感器感知單元來(lái)采集生產(chǎn)現(xiàn)場(chǎng)數(shù)據(jù)，同時(shí)通過(guò)CAD、CAM、CAPP等生產(chǎn)制造信息系統(tǒng)來(lái)獲取一線的生產(chǎn)制造數(shù)據(jù)，并將兩者數(shù)據(jù)通過(guò)一系列的互聯(lián)技術(shù)達(dá)到上層對(duì)底層設(shè)備、人員、物料等相關(guān)信息的監(jiān)控。目前，針對(duì)國(guó)內(nèi)外的總體數(shù)據(jù)采集技術(shù)而言，在采集系統(tǒng)實(shí)時(shí)工況信息以及設(shè)備運(yùn)行信息的方式上主要可分為三種類別：傳感器檢測(cè)與采集技術(shù)、自動(dòng)識(shí)別技術(shù)以及自動(dòng)化設(shè)備標(biāo)準(zhǔn)化接口采集技術(shù)。設(shè)備及物料感知傳感器檢測(cè)與采集技術(shù)在實(shí)際的物料輸送系統(tǒng)中，傳感器的應(yīng)用無(wú)處不在，無(wú)論是對(duì)于工位點(diǎn)工件有無(wú)的檢測(cè)，還是距離工件遠(yuǎn)近的檢測(cè)等，都發(fā)揮著重要作用。一般而言，作為評(píng)價(jià)傳感器性能好壞的指標(biāo)主要包含兩方面：采樣精度與采樣速度，其中表示采樣精度的有傳感器的線性度、靈敏度、分辨力三個(gè)層面，線性度表征了傳感器實(shí)際測(cè)量效果與理論效果的誤差表現(xiàn)；靈敏度是指輸出量與輸入量的量綱之比；分辨力是指感受到外部測(cè)量量最小變化的能力。一般而言，由于物料輸送系統(tǒng)線路較長(zhǎng)、設(shè)備布局較為分散，因此采用集散型多傳感器數(shù)據(jù)采集系統(tǒng)，不僅結(jié)構(gòu)簡(jiǎn)單、成本低、而且對(duì)環(huán)境要求不高，易組成系統(tǒng)。設(shè)備及物料感知傳感器檢測(cè)與采集技術(shù)傳感器數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)設(shè)備及物料感知自動(dòng)識(shí)別技術(shù)自動(dòng)識(shí)別技術(shù)是利用一定的識(shí)別裝置，通過(guò)識(shí)別裝置與物品之間的接近活動(dòng)，進(jìn)而自動(dòng)獲取相關(guān)信息，并將這些信息提供給后臺(tái)計(jì)算機(jī)處理的一項(xiàng)技術(shù)。一般而言，自動(dòng)識(shí)別技術(shù)主要包括條碼識(shí)別技術(shù)、射頻識(shí)別技術(shù)、光學(xué)字符識(shí)別技術(shù)、磁卡及智能卡識(shí)別技術(shù)、生物識(shí)別技術(shù)、語(yǔ)音識(shí)別與視覺識(shí)別技術(shù)等，如下圖所示。這些技術(shù)都是通過(guò)嵌入式智能終端通過(guò)各種光電感應(yīng)、磁感應(yīng)以及人工智能技術(shù)來(lái)完成相應(yīng)的自動(dòng)識(shí)別功能。面對(duì)智能物料輸送系統(tǒng)，利用自動(dòng)識(shí)別技術(shù)確實(shí)能夠較好的將員工信息、物料信息、加工信息、裝配信息等采集起來(lái)，獲取當(dāng)前生產(chǎn)狀態(tài)下的實(shí)時(shí)數(shù)據(jù)，進(jìn)一步提高整個(gè)系統(tǒng)的感知能力。設(shè)備及物料感知自動(dòng)識(shí)別技術(shù)自動(dòng)識(shí)別技術(shù)分類面對(duì)智能物料輸送系統(tǒng)，利用自動(dòng)識(shí)別技術(shù)確實(shí)能夠較好的將員工信息、物料信息、加工信息、裝配信息等采集起來(lái)，獲取當(dāng)前生產(chǎn)狀態(tài)下的實(shí)時(shí)數(shù)據(jù)，進(jìn)一步提高整個(gè)系統(tǒng)的感知能力。設(shè)備及物料感知自動(dòng)化設(shè)備標(biāo)準(zhǔn)化接口采集技術(shù)在整個(gè)物料輸送系統(tǒng)中，工業(yè)自動(dòng)化設(shè)備提供標(biāo)準(zhǔn)接口，如RS232、RS485、CAN、Ethernet、OPC、IO信號(hào)，用戶可直接采集數(shù)據(jù)。OPC作為國(guó)際通用通訊規(guī)范，解決了設(shè)備間互聯(lián)互通問(wèn)題，采用C/S模式，方便系統(tǒng)集成與二次開發(fā)。多數(shù)設(shè)備留有此接口，連接后可實(shí)現(xiàn)數(shù)據(jù)采集。大型系統(tǒng)中，觸摸屏等顯示設(shè)備通過(guò)人工輸入完成數(shù)據(jù)交互，這部分?jǐn)?shù)據(jù)也可采集。設(shè)備及物料感知智能物料輸送感知系統(tǒng)的實(shí)例設(shè)計(jì)多AGV系統(tǒng)實(shí)現(xiàn)RFID信息感知和多源信息綜合調(diào)度，通過(guò)Zigbee網(wǎng)絡(luò)感知AGV狀態(tài)，支持視覺和磁導(dǎo)引巡航，提高系統(tǒng)運(yùn)作效率。智能摩擦輸送線由16個(gè)獨(dú)立電機(jī)驅(qū)動(dòng)單元組成，通過(guò)無(wú)線組網(wǎng)上傳狀態(tài)信息，OPC和CAN總線控制多條懸掛線作業(yè)，閱讀器讀取電子標(biāo)簽信息，控制中心實(shí)現(xiàn)智能化管控和故障預(yù)判。EMS輸送線能自主充電，移動(dòng)靈活，適用于空間快速轉(zhuǎn)移。視覺移載平臺(tái)通過(guò)視覺定位和傳感器感知托盤位置、物料信息，實(shí)現(xiàn)AGV與空中輸送線的中間傳遞。工件檢測(cè)/裝配設(shè)備通過(guò)智能傳感器和RFID檢測(cè)產(chǎn)品質(zhì)量，選擇合適的質(zhì)量檢測(cè)標(biāo)準(zhǔn)。網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)實(shí)時(shí)整體化監(jiān)控物料輸送過(guò)程，結(jié)合現(xiàn)場(chǎng)數(shù)據(jù)，提高智能物料輸送系統(tǒng)的感知管控能力。以實(shí)驗(yàn)室設(shè)施為基礎(chǔ)，整合多AGV輸送系統(tǒng)、智能摩擦輸送線、EMS輸送線、視覺移載平臺(tái)、工件檢測(cè)/裝配設(shè)備、網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)，構(gòu)建智能化物料輸送感知系統(tǒng)。04PARTFOUR環(huán)境感知環(huán)境感知人類社會(huì)的生產(chǎn)生活離不開對(duì)周圍環(huán)境參數(shù)信息的獲取和利用。環(huán)境中存在著大量人類感興趣的信息，比如溫度、濕度、氣體組分濃度、加速度、振動(dòng)、磁場(chǎng)、光照強(qiáng)度等典型參數(shù)，而對(duì)這些環(huán)境量的感知是信息獲取和利用的重要方式與前提。在制造系統(tǒng)中同樣如此。因此，環(huán)境感知系統(tǒng)應(yīng)運(yùn)而生，它利用各類感知傳感器將環(huán)境中的目標(biāo)參數(shù)轉(zhuǎn)化為儀器設(shè)備可以識(shí)別測(cè)量的電信號(hào)，從而對(duì)環(huán)境信息進(jìn)行有效利用。環(huán)境感知環(huán)境感知智能微系統(tǒng)環(huán)境感知系統(tǒng)常用于資源受限環(huán)境，要求微型化、低功耗、低成本和智能化。MEMS傳感器陣列作為關(guān)鍵單元，其準(zhǔn)確性和穩(wěn)定性至關(guān)重要。但環(huán)境因素如化學(xué)反應(yīng)、外部干擾等易影響敏感特性，導(dǎo)致基線漂移或故障，影響系統(tǒng)性能。由于MEMS傳感器陣列的小型化和集成化特點(diǎn)，以及惡劣環(huán)境下使用故障概率較高。因此，采用包含故障檢測(cè)、隔離、恢復(fù)和漂移補(bǔ)償功能的自檢測(cè)自校正技術(shù)，實(shí)時(shí)在線監(jiān)測(cè)MEMS傳感器陣列工作狀態(tài)，并進(jìn)行故障或漂移校正是必要的。環(huán)境感知環(huán)境感知系統(tǒng)自檢測(cè)環(huán)境感知智能微系統(tǒng)利用MEMS氣體傳感器陣列來(lái)檢測(cè)氣體組分和濃度，為氣體識(shí)別和濃度預(yù)測(cè)提供數(shù)據(jù)。但MEMS氣體傳感器陣列可能因環(huán)境干擾或人為因素出現(xiàn)故障，影響檢測(cè)準(zhǔn)確性。為此，建立故障檢測(cè)模型是關(guān)鍵，該模型通過(guò)分析正常工作狀態(tài)下的傳感器數(shù)據(jù)來(lái)訓(xùn)練，以便快速識(shí)別異常。在數(shù)據(jù)采集過(guò)程中，電壓波動(dòng)和人為干擾可能導(dǎo)致數(shù)據(jù)集中出現(xiàn)異常和噪聲。因此，實(shí)施數(shù)據(jù)預(yù)處理至關(guān)重要，它能夠提高數(shù)據(jù)質(zhì)量，確保模型訓(xùn)練使用的數(shù)據(jù)顯示真實(shí)應(yīng)用情況，從而提升故障檢測(cè)模型的性能和可靠性。環(huán)境感知環(huán)境感知系統(tǒng)自檢測(cè)

環(huán)境感知環(huán)境感知系統(tǒng)自檢測(cè)在傳感器故障檢測(cè)中，機(jī)器學(xué)習(xí)方法如SVM、PCA、KNN和ANN各有優(yōu)勢(shì)和局限。SVM能準(zhǔn)確檢測(cè)異常但不適合自檢測(cè)自校正。KNN在搜索鄰居節(jié)點(diǎn)時(shí)存儲(chǔ)需求大，且難以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。ANN計(jì)算復(fù)雜度高，需要多個(gè)模型。相比之下，PCA通過(guò)簡(jiǎn)化統(tǒng)計(jì)量進(jìn)行故障檢測(cè)，計(jì)算簡(jiǎn)單、速度快，且易于集成到自校正流程中。PCA本身是一種降維技術(shù)，能將多維變量轉(zhuǎn)換為低維不相關(guān)變量，同時(shí)保留原始數(shù)據(jù)的主要信息。05PARTFIVE人員感知人員感知人員行為感知概述人類行為涵蓋身體、心理和社會(huì)活動(dòng)能力，涉及生命全階段的發(fā)展。在人機(jī)交互中，人員行為識(shí)別通過(guò)技術(shù)手段識(shí)別和理解人類與機(jī)器或系統(tǒng)交互時(shí)的行為和意圖。這涉及分析用戶與機(jī)器人或界面的互動(dòng)，以提高系統(tǒng)響應(yīng)性和適應(yīng)性，增強(qiáng)用戶友好性和交互效率。目前，研究人員采用傳感器和數(shù)據(jù)分析技術(shù)，如機(jī)器視覺、3D傳感器、邊緣計(jì)算和多模態(tài)數(shù)據(jù)融合，以有效識(shí)別和理解人員行為。人員感知機(jī)器視覺機(jī)器視覺技術(shù)結(jié)合攝像頭和圖像處理算法分析人類行為。通過(guò)深度學(xué)習(xí)算法，實(shí)時(shí)識(shí)別人員行為，如姿態(tài)、手勢(shì)、面部表情。應(yīng)用場(chǎng)景包括監(jiān)控系統(tǒng)異常檢測(cè)、自動(dòng)駕駛行人和車輛識(shí)別。3D傳感器如Kinect和LiDAR，捕捉三維空間中的人類行為。通過(guò)光信號(hào)構(gòu)建環(huán)境和人物的三維模型，在VR和AR中有重要應(yīng)用，如VR游戲中捕捉玩家全身動(dòng)作。邊緣計(jì)算邊緣計(jì)算在數(shù)據(jù)源附近處理數(shù)據(jù)，減少傳輸延遲，提高實(shí)時(shí)處理效率。在行為感知中，邊緣計(jì)算快速分析傳感器數(shù)據(jù)并實(shí)時(shí)響應(yīng)，如智能家居系統(tǒng)監(jiān)測(cè)家庭成員行為并自動(dòng)調(diào)整家電。多模態(tài)數(shù)據(jù)融合多模態(tài)數(shù)據(jù)融合整合不同類型傳感器數(shù)據(jù)，提高行為識(shí)別準(zhǔn)確性和魯棒性。例如，結(jié)合視覺、音頻、壓力傳感器數(shù)據(jù)，系統(tǒng)更全面地理解和識(shí)別人的行為和意圖。人員行為感知概述協(xié)作機(jī)器人與人機(jī)協(xié)作裝配近年來(lái)，制造業(yè)中協(xié)作機(jī)器人出貨量大幅增長(zhǎng)。2020年全球出貨量?jī)H2,000余臺(tái)，預(yù)計(jì)2026年將超47,000臺(tái)。增長(zhǎng)歸因于其高度精確性和通過(guò)機(jī)器學(xué)習(xí)提升性能的能力。協(xié)作機(jī)器人支持工人執(zhí)行體力、認(rèn)知和危險(xiǎn)操作，如減輕工作量、減輕精神壓力、處理危險(xiǎn)材料。其功能和設(shè)計(jì)日益依賴對(duì)人類行為的精確感知，這一發(fā)展推動(dòng)銷量增長(zhǎng)。具備感知能力的協(xié)作機(jī)器人可在無(wú)安全柵欄環(huán)境中與工人直接合作，改變操作模式。集成先進(jìn)視覺系統(tǒng)和傳感器，實(shí)時(shí)監(jiān)測(cè)工人動(dòng)作和位置，提高操作靈活性和生產(chǎn)效率，同時(shí)增強(qiáng)工作環(huán)境安全性，使機(jī)器人更有效地支持人類。人員感知人機(jī)工程學(xué)的發(fā)展人員感知人機(jī)環(huán)境交互科學(xué)旨在實(shí)現(xiàn)人與機(jī)器、環(huán)境的和諧結(jié)合，使設(shè)計(jì)適應(yīng)人的生理和心理特點(diǎn)，提高生產(chǎn)效率、安全、健康和舒適度。此技術(shù)不僅增強(qiáng)工作環(huán)境的安全性，也符合人體工程學(xué)原則。人員行為感知技術(shù)通過(guò)感知人員狀態(tài)調(diào)整協(xié)作機(jī)器人的協(xié)作方式。研究采用Kinect攝像頭捕捉工人關(guān)節(jié)角度，評(píng)估整體人體工程學(xué)狀態(tài)（REBA）。檢測(cè)到不良姿勢(shì)后，通過(guò)算法實(shí)時(shí)調(diào)整機(jī)器人位置，為人類提供最佳姿勢(shì)。該方法優(yōu)化了工人姿態(tài)，降低了肌肉骨骼疾病風(fēng)險(xiǎn)?；谌藛T行為感知和人體工程學(xué)的協(xié)作機(jī)器人末端位置優(yōu)化人員行為感知與安全監(jiān)控在高風(fēng)險(xiǎn)制造環(huán)境中，采用先進(jìn)的圖像識(shí)別和傳感技術(shù)對(duì)工人的行為和位置進(jìn)行持續(xù)監(jiān)控至關(guān)重要。這樣的監(jiān)控能夠?qū)崟r(shí)識(shí)別并預(yù)防潛在的安全隱患，從而提高工作場(chǎng)所的整體安全性。這些技術(shù)結(jié)合了深度學(xué)習(xí)方法，如MaskR-CNN（用于對(duì)象檢測(cè)和分割）和MediaPipeHolistic（用于姿態(tài)估計(jì)和手勢(shì)識(shí)別），使系統(tǒng)能夠精確識(shí)別人機(jī)交互中的異常行為。人員感知基于視覺的行為感知方法基于視覺的行為感知方法，是指利用計(jì)算機(jī)視覺技術(shù)，通過(guò)分析圖像或視頻數(shù)據(jù)，識(shí)別人類的行為和動(dòng)作。這種方法利用攝像頭等視覺傳感器捕捉到的圖像信息，結(jié)合圖像處理和機(jī)器學(xué)習(xí)算法，來(lái)解讀人類的行為模式。視覺感知能夠提供豐富的空間和時(shí)間信息，使得系統(tǒng)可以對(duì)人類的動(dòng)作和情境進(jìn)行詳細(xì)的分析，所以在行為識(shí)別領(lǐng)域中具有重要作用?；谝曈X的行為感知主要分為基于骨架的方法和基于RGB圖像的方法。人員感知基于骨架的方法基于骨架的方法常用深度學(xué)習(xí)技術(shù)，如CNN和LSTM。CNN提取圖像特征，LSTM捕捉時(shí)間序列數(shù)據(jù)。結(jié)合這些算法，系統(tǒng)分析關(guān)節(jié)點(diǎn)位置和運(yùn)動(dòng)軌跡，識(shí)別不同行為和動(dòng)作。使用時(shí)，系統(tǒng)先通過(guò)圖像處理分析視頻幀，識(shí)別關(guān)節(jié)點(diǎn)如頭部、肩膀等。然后構(gòu)建人體骨架模型，通過(guò)分析關(guān)節(jié)點(diǎn)位置和軌跡識(shí)別行為和動(dòng)作。人員感知基于骨架的人員行為識(shí)別方法基于RGB的方法基于RGB圖像的行為分析：核心方法：使用圖像或視頻幀的像素值，結(jié)合深度學(xué)習(xí)模型（如CNN），自動(dòng)提取和分類特征。RGB圖像因其豐