無序散亂的工件,機器人如何能夠精準的抓取

1、機器人如何快速精準的抓取無序散亂工件？-3D視覺目標識別與定位0引言為什么要從無序到有序？因為人類的大部分行為都在為熵減而奮斗。具體到離散制造業(yè)，即使到自動化程度已經(jīng)很高的今天，仍然擺脫不了為“有序”而做岀的大量投入。因為一條從毛坯到成品的自動化制造生產(chǎn)線仍然需要不少的“緩沖”，以避免由于某個環(huán)節(jié)的故障導致全線停產(chǎn)的尷尬。換一種思路，在生產(chǎn)線上可以將產(chǎn)品橫平豎直的擺放整齊，但是生產(chǎn)過程對于精度的追求是無止境的，只要有X,Y,Z,Rx,Ry,Rz中任何一個值發(fā)生了變化，對于工業(yè)機器人或者一個自 動執(zhí)行機構而言，仍然是“無序”的狀態(tài)。因此，從無序到有序，是一個永恒的需求。這里，只討論工業(yè)機器人和機

2、器視覺之間如何協(xié)作得以實現(xiàn)從無序到有序的跨越。人，作為目前為止最為復雜的智能體來實現(xiàn)這個過程較為容易，除了力有不足亦或是精度不夠，實現(xiàn)其過程是輕而易舉的。眼睛獲取圖像數(shù)據(jù)，通過大腦分析、定位獲得物體的位姿信息，大腦指揮執(zhí)行機構一手，去實現(xiàn)抓取并放置到既定位置。在維納1948年的控制論中，類似的流程被用來直觀的詮釋“ Cybernetics ”的內涵，這也是工業(yè)自動化不斷發(fā)展，孜孜以求的目標所在。眼睛，大腦，手是實現(xiàn)上述過程的關鍵三點，在機器人-機器視覺系統(tǒng)中，視覺傳感器，識別與定位算法，機器人則作為對應。機器視覺誕生伊始，這一問題即被關注，在經(jīng)典著作RobotVision(Berthold K

3、.P . Horn,1986) 提到“One of the remaining obstacles to the widespread in troducti on ofin dustrial robotsis their in ability to deal with other parts that are notprecisely positioned”。簡而言之，在一個典型的無序抓取( Random Bin Picking, RBP )系統(tǒng)中，需要解決一下問題：獲得質量上佳的圖像數(shù)據(jù)，含三維點云和灰度信息(暫不考慮顏色信息)識別目標并確定目標物體的姿態(tài)，獲得抓取點的X,Y,Z,Rx,R

4、y,Rz信息手眼標定，將視覺傳感器獲取的坐標信息統(tǒng)一到機器人坐標系下軌跡規(guī)劃，使得機器人抓取的路徑避開障礙點（料框，立柱等）和自身的奇異點1工廠現(xiàn)狀離散制造業(yè)中，一個部件或者總成通常由多個零件組裝而成，組裝過程的來料往往是成批次的，隨機放置于流轉箱中或者是有序放置于托盤/萃盤上，這是無序到有序的一個需求點。除此之外，零件中的金屬件在裝配之前通常需要經(jīng)過多道工序，例如：澆/壓鑄 熱處理 車削 磨削表面處理。其中車削和磨削工藝就需要精確的將來料件放到加工夾具，而其前道工序通常是無序狀態(tài)，是極為典型的無序抓取上料的需求場景圖1.無序散亂的工件2如何進行無序到有序在這里，雖然機器人是一個極為重要的因素

5、，為了簡化，我們將多軸（通常為6軸）機器人作為一個執(zhí)行機構考慮，而對其性能和功能的表述均略過。如此，則回歸到引言中提到的四個有關視覺方面的問題，下面的內容將分別簡述。2.1 3D成像良好的數(shù)據(jù)是后續(xù)分析的基礎，所謂"garbage in, garbage out”。因此，能提供高精度，高完整性的三維數(shù)據(jù)是實現(xiàn)RBP的前提。3D成像原理多樣，從模擬人眼機理的雙目視覺，到基于三角法的各種技術路線，包括結構光和線激光兩大主流，甚至到如今的時間飛行（TOF）原理均有多種產(chǎn)品可用。目前市面上可商業(yè)化的，用于工業(yè)RBP的3D成像傳感器仍然以線激光和面結構光為主。其中，線激光由于每一次只能獲得一條

6、線上的點云數(shù)據(jù)，所以需要直線模組帶著傳感器運動掃描，適應程度較低。為了解決這一問題，有廠商采用了多線激光，并用電機帶動激光旋轉實現(xiàn)掃描而不是讓整個成像傳感器運動的方法，但是該方法的掃描速度較慢，通常需要1-2秒時間。圖2-1單線激光原理圖圖2-2多線激光原理圖圖2-3面結構光原理圖漸被用到精度要求較低的場景，DOE方式在消費級產(chǎn)品中占據(jù)主流。漸被用到精度要求較低的場景，DOE方式在消費級產(chǎn)品中占據(jù)主流?；诿娼Y構光的3D成像需要用到編碼結構光或者散斑結構光，結構光的投射方法又分為DMD ( Digital Micromirror Device )，MEMS(Micro-Electro Mech

7、anical Systems)振鏡產(chǎn)生條紋光或者利用 DOE ( Diffraction optical device )產(chǎn)生散斑結構光。目前，高精度工業(yè)級3D相機以DMD產(chǎn)生編碼結構光為主， MEMS振鏡方式由于其體積小，功耗低，成本低等原因逐漸被用到精度要求較低的場景，DOE方式在消費級產(chǎn)品中占據(jù)主流。圖3.散亂的剎車盤經(jīng)過高精度3D成像后獲得的點云數(shù)據(jù)DMD原理產(chǎn)生結構光)2.2識別與定位在計算機視覺領域，識別與定位耗費數(shù)千萬工程師的無數(shù)日夜和美好年華，推動它不斷前進。但是，在工業(yè)3D無序抓取中，這一問題變得有所不同。截止目前，雖然有眾多的目標識別方法被提岀來，例如基于模型的方法 (Di

8、stante. Arcangelo, etc. 1988)，基于特征的方法(Diyi Liu, etc.2018)，甚至基于機器學習的方法( Harada, Kensuke, etc.2018)也越來越受到關注，但是基于模型的方法仍然被大多數(shù)系統(tǒng)所使用。因為工業(yè)生產(chǎn)場景，在既定時間區(qū)間內通常只生產(chǎn)同一種產(chǎn)品，而且該方法還能避免形狀類似的其它型號混入而造成設備故障。除此之外，在工業(yè)生產(chǎn)中，被抓取的零件通常都是基于設計模型而生產(chǎn)，其3D數(shù)據(jù)模型不難獲得也是這一方法生命力較強的原因之一。 而其它的方法雖然在智能化方面有所表現(xiàn)，但是在可靠性方面目前仍然未達到 工業(yè)生產(chǎn)的要求圖4.不同產(chǎn)品的目標識別結果

9、（基于零件的3D模型）在RBP應用中，只識別到產(chǎn)品的形狀和輪廓還是遠遠不夠的，還得需要一套較為智能的算法來判斷哪一個零件是“抓取友好”的，即能夠被機器人夾爪方便的抓取而不影響其它工件，同時機器人的姿態(tài)不至于碰到障礙物，這就涉及到下一個問題，路徑的規(guī)劃與避障。2.3路徑規(guī)劃與避障機器人的路徑規(guī)劃是一個自機器人誕生之日起都被研究且必須攻克的問題。不過，與許多工程問題一樣，在工程實踐和產(chǎn)品應用中，需求與挑戰(zhàn)總是層出不窮。在速度要求并不苛刻的場景中，路徑規(guī)劃的唯一目的是避開機器人的奇異點以避免機器人在運動中自我鎖死和避開周邊的障礙物?？傮w上，這些算法采用了基于先驗知識的仿真甚至窮舉法，在工程實踐中會有

10、更多的優(yōu)化來減少對算力的需求。特別地，針對路徑規(guī)劃問題，Iversen, Thomas Fridolin等（2017）在論文Benchmarking motion planning algorithms for bin-picking applications中的成果值得一讀。2.4手眼標定3D傳手眼標定為解決機器人坐標和3D成像系統(tǒng)自身坐標的統(tǒng)一問題，畢竟，在工程師將感器和機器人強制組合之前，他們彼此互不相識。2D視覺機器人定位是一個理論研究和工程應用均已成熟的技術，其中手眼標定被充分的研究，許多工程師都將九點標定法（及其衍生方法） 奉為圭臬，因為該方法確實在工程應用中屢試不爽。在RBP應用

11、中，由于涉及到更多的參數(shù)需要標定，其難度大大增加。在現(xiàn)有的商用產(chǎn)品中，都采用了自有體系的標定方法和算法，其方便程度和能夠獲得的精度不一，說明該技術方向仍然需要不斷完善。就筆者了解，利用抓取物本身標定，通過迭代計算的方法可以獲得更好的精度， 當然其過程較為耗時。而利用小球的標定方法也能夠取得良好的結果。不過，仍然期待有更加簡潔易用，精度更高的標定方法岀現(xiàn)。感襦工業(yè)料器人圖5.基于小球的3D手眼標定3 一個典型的3D無序抓?。≧BP系統(tǒng)在這里，給讀者描述一個更為直觀的RBP系統(tǒng)構成。首先，需要一臺精度滿足要求的工業(yè)級3D相機，如圖6所示。掃描速度5Hz視野范國930mm*610mm工作橫1350n

12、nn600mm重宜精度0.3 irm抓取猜度圖6.用于RBP的工業(yè)級3D相機該3D相機具有很好的精度，其重復精度達到了微米級。由于在一定景深范圍內，非線性和其它噪聲的影響，其測量精度下降了兩個數(shù)量級，在一個RBP系統(tǒng)中，手眼標定同樣會引入誤差，包括機器人本身的誤差，最終的抓取精度達到2mm，當然，這仍然是一個目前為止很好的表現(xiàn)圖8-a中用3D相機拍攝隨F面，用一個實驗系統(tǒng)，更為直觀的展示這一系統(tǒng)的動態(tài)過程8-b中，機器人獲得命機擺放的轉向節(jié)，其中條紋狀即為編碼結構光投射到物體上的效果。圖令，要動手了。圖8-C中，機器人成功地獲得它想要的目標。就像這樣，在圖8-d中，機器人在RBP系統(tǒng)的指揮下將

13、所有萬向節(jié)抓得一個不剩圖8. 3D無序抓?。≧BP ）案例4 結語有人將 RBP 稱為機器人應用領域的一座圣杯，在今天看來，似乎有些美麗的夸張，因為我們的手已經(jīng)觸摸到圣杯的金座，那么我們的另一座圣杯還在前方。早在1984年，Daniel V . Edson在報到GE工廠的"bin-picking "機器人的時候，那是一個科幻的存在， 用"highly sophisticated 來描述這一機器視覺系統(tǒng)，然而今天，我們有大量的工程師都在為RBP 貢獻力量，雖然在工程實踐中有無數(shù)的挑戰(zhàn)，但是在我們眼中，已經(jīng)不足以用“highly sophisticated ”來形容，也許是俗語“會者不