《機器人基礎(chǔ)與數(shù)字孿生系統(tǒng)》 課件第7章 人機共融的數(shù)字孿生系統(tǒng)

第7章人機共融的數(shù)字孿生系統(tǒng)【7.1結(jié)構(gòu)化環(huán)境建模】【7.1.1人-機孿生系統(tǒng)架構(gòu)】

基于數(shù)字孿生五維模型實現(xiàn)協(xié)作機器人狀態(tài)監(jiān)測系統(tǒng)的構(gòu)建?？梢詫崿F(xiàn)物理實體到虛擬實體的雙向通訊，將實時的人機最小安全距離對應(yīng)不同安全等級，給機器人實體發(fā)送控制信號從而實現(xiàn)不同的控制策略，以虛擬實體控制真實的物理實體。(1)數(shù)據(jù)層：機械臂的多源監(jiān)測數(shù)據(jù)均通過MySQL數(shù)據(jù)庫存儲至云端。引入Redis緩存數(shù)據(jù)庫，提高處理效率，為安全性保障提供數(shù)據(jù)基礎(chǔ)。(2)虛擬模型層：保持機械臂的物理實體與機械臂數(shù)字孿生模型的高度一致性。(3)連接層：在數(shù)據(jù)通訊技術(shù)方面，主要采用串口通訊和TCP/IP協(xié)議簇通訊。(4)功能服務(wù)層：主要實現(xiàn)數(shù)據(jù)可視化、安全狀態(tài)評估和虛擬模型的運動跟隨?！?.1結(jié)構(gòu)化環(huán)境建?！俊?.1.2機械臂虛擬模型制作與簡化】

定義模型父子關(guān)系：為了讓數(shù)字模型滿足機器人運動學(xué)，實時呈現(xiàn)機器人實體的位姿，按照物理實體各自由度定義模型父子關(guān)系，按自由度劃分模型，通過對機器人各關(guān)節(jié)變量的輸入，對每一個自由度單獨控制?！?.1結(jié)構(gòu)化環(huán)境建模】【7.1.2機械臂虛擬模型制作與簡化】

模型簡化優(yōu)化算法：按照一定的手段對模型中的邊折疊代價進行衡量，折疊代價越小的邊簡化后的模型越接近原模型。采用優(yōu)化的基于二次誤差矩陣的邊折疊算法對數(shù)字孿生模型進行簡化，算法步驟如右圖所示?！?.1結(jié)構(gòu)化環(huán)境建?！俊?.1.2機械臂虛擬模型制作與簡化】

模型簡化優(yōu)化算法：對兔子模型和機器人模型進行簡化，對比原算法和優(yōu)化算法：【7.1結(jié)構(gòu)化環(huán)境建?！俊?.1.

3機械臂虛實模型的快速映射】

模型簡化優(yōu)化算法：

DH坐標(biāo)系可視作機械臂的骨骼模型，在已知各連桿幾何尺寸的前提下，只需要實時測量機械臂實體6個關(guān)節(jié)角的位置和速度，即可實現(xiàn)機械臂虛實模型的快速映射。以右圖機械臂作為建模實例。建立如右圖所示的DH坐標(biāo)系。利用機械臂各關(guān)節(jié)內(nèi)置的碼盤，能實時測量各關(guān)節(jié)的位置和速度，由此更新機械臂數(shù)字孿生模型的空間位置和速度?！?.1結(jié)構(gòu)化環(huán)境建?！俊?.1.4模型與數(shù)據(jù)融合的虛實運動跟隨】

模型與數(shù)據(jù)融合：控制模型運動有兩種實現(xiàn)方式，一種是使用菜單欄工具通過鼠標(biāo)控制模型運動，一般在調(diào)試時使用，可擴展性低；另一種是使用腳本，通過運行腳本控制模型，這種方式相對鼠標(biāo)控制較為復(fù)雜，需要手動編寫腳本，但是優(yōu)點在于可擴展性強，能夠?qū)崿F(xiàn)更復(fù)雜的運行控制?！?.2非結(jié)構(gòu)化環(huán)境的視覺重建】【7.2.1人體骨骼模型的處理】

人體骨骼模型識別：使用Azure-Kinect深度相機，獲取關(guān)鍵點信息。將已有的SDK移植到Unity的C#腳本中，并進行相應(yīng)的模型構(gòu)建，以三維形式來顯示獲得的骨骼模型數(shù)據(jù)?！?.2非結(jié)構(gòu)化環(huán)境的視覺重建】【7.2.1人體骨骼模型的處理】

骨骼關(guān)鍵點數(shù)據(jù)處理：采用了霍爾特雙參數(shù)指數(shù)平滑算法消除關(guān)鍵點抖動，且以骨骼長度為約束條件篩選人體骨骼關(guān)鍵點坐標(biāo)，極大提高了AzureKinect相機獲取關(guān)鍵點空間位置的準(zhǔn)確率，進而提升了人機協(xié)作過程中的安全感知精度。平滑效果如圖所示。【7.2非結(jié)構(gòu)化環(huán)境的視覺重建】【7.2.1人體骨骼模型的處理】

實現(xiàn)動作跟蹤效果【7.2非結(jié)構(gòu)化環(huán)境的視覺重建】【7.2.2虛擬現(xiàn)實交互系統(tǒng)】

VR場景：選用的虛擬現(xiàn)實設(shè)備是HTC廠家的HTCVIVECosmos系列，設(shè)備由一個頭戴式設(shè)備和兩個操作手柄組成。

瞬移功能是通過獲取瞬移點的坐標(biāo)，然后將角色的坐標(biāo)轉(zhuǎn)換為瞬移點的坐標(biāo)來實現(xiàn)的。未接觸到按鈕時按鈕呈現(xiàn)白色，當(dāng)接觸之后呈現(xiàn)黃色，按下的瞬間按鈕會呈現(xiàn)紅色?！?.3人-機安全交互關(guān)鍵技術(shù)】【7.3.1安全感知算法】

最小安全距離感知：針對數(shù)字孿生環(huán)境中的機器人孿生體和操作者孿生體，采用基于三維偏移量的最小安全距離實時感知算法，能實時快速地計算人機協(xié)作中的最小安全距離。機械臂關(guān)節(jié)段的定義關(guān)系人體骨骼關(guān)節(jié)的定義關(guān)系人機最小距離函數(shù)上式滿足條件其中和是當(dāng)前計算距離的兩段關(guān)節(jié)上滿足式(4)的條件參數(shù)式(4)式(5)【7.3人-機安全交互關(guān)鍵技術(shù)】【7.3.2人-機數(shù)字孿生系統(tǒng)的協(xié)同構(gòu)建】

信息物理集成子系統(tǒng)：連接著真實場景和虛擬場景且實現(xiàn)該兩者的數(shù)據(jù)交互，是實現(xiàn)以實促虛、以虛促實的基礎(chǔ)。通過RGB-D視覺相機采集人體骨骼信息，通過機械臂內(nèi)置傳感器采集關(guān)節(jié)角度信息，然后將采集的數(shù)據(jù)傳入服務(wù)器，由此實現(xiàn)人機協(xié)作數(shù)字孿生模型的重構(gòu)?！?.3人-機安全交互關(guān)鍵技術(shù)】【7.3.2人-機數(shù)字孿生系統(tǒng)的協(xié)同構(gòu)建】

數(shù)字孿生子系統(tǒng)：數(shù)字孿生子系統(tǒng)是將真實物理場景下的對象實體通過信息物理集成子系統(tǒng)的數(shù)據(jù)進行渲染，并在仿真環(huán)境中展示。對機械臂和操作者的虛實映射數(shù)字孿生子系統(tǒng)架構(gòu)正常情況與發(fā)生碰撞【7.3人-機安全交互關(guān)鍵技術(shù)】【7.3.2人-機數(shù)字孿生系統(tǒng)的協(xié)同構(gòu)建】

虛擬現(xiàn)實子系統(tǒng)：操作者通過佩戴VR眼鏡，能對真實場景下不存在的機器人進行模擬預(yù)覽。通過在虛擬環(huán)境中放置虛擬機器人，能對工作場景進行預(yù)覽，并監(jiān)測人機協(xié)作的最小安全距離。虛擬現(xiàn)實子系統(tǒng)虛擬機械臂與人體協(xié)同作業(yè)模擬【7.3人-機安全交互關(guān)鍵技術(shù)】【7.3.2人-機數(shù)字孿生系統(tǒng)的協(xié)同構(gòu)建】