智能機器人原理與應用 課件 第13-15章 家庭智能空間服務機器人日常工具功用性認知、家庭智能服務機器人雜亂環(huán)境中推抓技能學習、室內環(huán)境自適應智能商用服務機器人系統(tǒng)

智能機器人原理與應用“智能檢測技術與模式識別”研究所13家庭智能空間服務機器人日常工具功用性認知指在日常生活中，人們用刀削蘋果、用錘子敲擊釘子，選擇不同工具完成不同任務的依據是工具本身的特性決定的。如果選擇時去除這種依據，那么相應的任務就不能很好的完成，因為人類在發(fā)明工具的同時賦予其不同特性以更好地完成某一類任務。這種工具所賦有的特性我們稱之為功用性(Affordance)。功用性是工具價值的體現(xiàn)，了解工具功用性是發(fā)掘其價值的有效途徑。13.1家庭日常工具的功用性部件檢測系統(tǒng)框架本章提出的工具部件功用性快速檢測方法分為離線學習和在線檢測兩個階段，如圖13.1所示。離線學習階段：首先，分別構建工具部件功用性邊緣檢測器和工具部件功用性檢測器，然后，利用功用性邊緣檢測器對訓練數(shù)據集進行檢測得到對應概率圖，在概率圖中用一系列閾值篩選出可能區(qū)域，利用工具部件功用性檢測器對可能區(qū)域進行檢測，評估檢測結果以確定coarse-to-fine閾值。在線檢測階段：根據待檢測功用性及圖像深度信息計算相應特征矩陣，利用工具部件功用性邊緣檢測器檢測功用性區(qū)域邊緣；利用工具部件功用性對應的coarse-to-fine閾值篩選出較精確功用性區(qū)域；計算選出區(qū)域對應的特征矩陣，利用工具部件功用性檢測器進行功用性檢測。圖13.1基于SRF的工具部件功用性快速檢測整體流程1)特征描述表13.1中列出了不同功用性模型所選取的特征及其維度。這里，不同功用性邊緣檢測選用的特征不盡相同，選取依據是該特征對表征該功用性區(qū)域邊緣有效且顯著。13.2功用性部件檢測模型離線訓練13.2.1功用性部件邊緣檢測器構建GeometricFeatures/DimensionTheObjectiveAffordancegraspcontaincutpoundscoopsupportwrap-graspOrientedGradientHistograms/4DGradientMagnitude/1DMeanCurvatures/1DShapeIndex/1DCurvedness/1D√

√√√√√√√√√√√√√√√√√√√√√√√√√√√

√√表13.1工具部件各功用性邊緣檢測模型特征選取步驟1由訓練數(shù)據集中的深度圖像計算各通道特征值，在各個特征通道中采用滑動窗口機制隨機提取一定數(shù)量的特征塊及標記圖中相應的標記塊，分別加入特征集和標記集。步驟2對所有標記塊進行主成分分析，判定其對應樣本為正樣本或負樣本。步驟3隨機選擇特征參與構建決策樹。步驟4利用樣本集構建決策樹。在每個分裂節(jié)點處，從特征中隨機選擇維特征作為樣本集分裂閾值，選取對應信息增益最大的特征值為該節(jié)點閾值，相應的輸入樣本集被分裂成兩個子樣本集作為子節(jié)點的輸入。步驟5在樣本集分裂過程中，當輸入樣本集取得的最大信息增益小于預設值或樣本個數(shù)不超過8個時停止分裂，這個節(jié)點就成為葉子節(jié)點，所有樣本停止分裂。步驟6分析步驟5中葉子節(jié)點的輸入樣本集所對應標記集，得到標記塊作為此葉子節(jié)點的內容，所有樣本都到達葉子節(jié)點則此決策樹構建完成，不需要剪枝。步驟7從步驟1到步驟6重復8次，生成8棵決策樹組合形成一個SRF，即為該種功用性邊緣檢測模型。步驟8重復以上步驟，訓練其它功用性邊緣檢測模型，將7種功用性邊緣檢測模型聯(lián)合構成工具部件功用性邊緣檢測器。13.2功用性部件檢測模型離線訓練13.2.1功用性部件邊緣檢測器構建算法13.2功用性部件檢測模型離線訓練13.2.2功用性部件內部檢測器構建1)特征描述與功用性邊緣檢測器構建方法類似，功用性檢測器的構建同樣基于SRF并針對每種功用性訓練相應的檢測模型。不同之處在于，這里所選特征除上節(jié)中梯度幅值、平均曲率、方向梯度直方圖、形狀指數(shù)和曲度外，為精確描述工具部件功用性，還選擇3維表面法向量(SurfaceNormals)和1維高斯曲率(GaussianCurvatures)。本文訓練工具部件功用性檢測模型主要基于7類特征的21個特征通道：表面法向量3個、梯度幅值2個、高斯曲率2個、平均曲率2個、方向梯度直方圖8個、形狀指數(shù)2個和曲度2個，除表面法向量外其余特征均在圖像原始尺度和1/2原始尺度下各取一次得到。與訓練工具部件功用性邊緣檢測模型方式類似，功用性檢測模型同樣基于結構隨機森林離線學習得到，且訓練數(shù)據集由RGB-D圖像和標記圖像組成，訓練樣本包含特征集和標記集兩部分。與訓練功用性邊緣檢測模型的標記圖像不同，訓練功用性檢測模型的標記圖像是對整個功用性區(qū)域做標記，目的在于對整個功用性區(qū)域進行檢測。算法輸入為由特征集和標記集共同組成的樣本集，輸出為工具部件功用性檢測器。由于功用性檢測模型與功用性邊緣檢測模型都是基于結構隨機森林構建，其SRF學習過程相同，這里不再贅述。在完成7種功用性檢測模型的訓練后，將其聯(lián)合起來構成工具部件功用性檢測器。13.2功用性部件檢測模型離線訓練13.2.2功用性部件內部檢測器構建算法如前所述，每種功用性分別對應一個功用性邊緣檢測模型，同樣地，針對不同的邊緣檢測模型選取不同的coarse-to-fine閾值，其算法描述如下：輸入：訓練數(shù)據集中的幅RGB-D圖像。輸出：閾值。步驟1利用功用性邊緣檢測器依次對幅圖像進行某種功用性的邊緣檢測得到其概率圖，在一系列閾值(取值從0到1，每次增量為0.01)下獲取目標區(qū)域。步驟2用工具部件功用性檢測器對步驟1得到的區(qū)域進行功用性檢測。步驟3對步驟2的檢測結果進行評估，取m幅圖像評估平均值記為，這樣得到不同閾值的對應關系，取最大值所對應的閾值即為此種功用性區(qū)域檢測的閾值。步驟4重復步驟1到步驟3，完成其它功用性區(qū)域檢測的閾值選取。13.2功用性部件檢測模型離線訓練13.2.3Coarse-to-fine閾值選取12.3工具功用性部件在線檢測在線檢測過程算法描述如下：輸入：待檢測RGB-D圖像，待檢測功用性類別。輸出：概率圖，其中每個像素的值代表該像素點屬于目標功用性區(qū)域的概率。步驟1根據待檢測功用性種類選用相應邊緣檢測模型，繼而確定對應幾何特征種類，根據深度圖像計算得到特征矩陣。步驟2從特征矩陣讀入檢測樣本，檢測樣本只包含特征集，并且記錄樣本在圖像中的位置信息。步驟3功用性邊緣檢測模型中對待檢測樣本分類，利用葉子節(jié)點中內容信息對樣本在圖像中相應像素位置點進行投票，綜合所有決策樹結果得到功用性邊緣檢測的概率圖。步驟4選擇目標功用性對應coarse-to-fine閾值，對步驟3得到的概率圖進行處理，濾除噪聲，篩選出精確功用性區(qū)域邊界，確定目標功用性矩形區(qū)域。步驟5計算步驟4選定區(qū)域對應的特征矩陣，采用滑動窗口機制讀入檢測樣本，并記錄樣本在圖像中的位置信息。步驟6功用性檢測模型對所有檢測樣本進行分類，利用葉子節(jié)點中內容信息對樣本在圖像中相應像素位置點進行投票，綜合所有決策樹結果得到最終功用性檢測的概率圖。13.4工具功用性部件實驗13.4.1實驗數(shù)據集本文實驗選用AustinMyers等人的方法中數(shù)據集，該數(shù)據集是目前比較完備的工具部件功用性數(shù)據集，采集了包含廚房、園藝等共計17大類105種家庭日常工具的RGB-D信息，涵蓋了grasp、cut、scoop、contain、pound、support和wrap-grasp共7類功用性。每種工具在近300個不同視角下進行采集，如此產生了超過30000組的RGB-D數(shù)據，其中有1/3的數(shù)據進行了功用性標記。在實驗過程中，利用標記的數(shù)據完成離線訓練和在線測試，相應訓練數(shù)據和測試數(shù)據比例約為4:1。圖13.3(a)中列舉了部分工具及其最主要功用性語義描述，圖13.3(b)列舉了不同工具的不同部件所對應的功用性標記。圖13.3RGB-D數(shù)據集中部分對象(a)為對應功用性，(b)為目標部件功用性檢測結果13.4工具功用性部件實驗13.4.2評價方法及結果分析本文采用兩種方法對本文方法和AustinMyers等人的方法對功用性檢測結果進行評價。離線訓練階段，學習得到某功用性的邊緣檢測模型及其功用性檢測模型(均為由8棵決策樹構成的隨機森林)，繼而由這兩個模型學習該功用性的coarse-to-fine閾值。依次訓練得到各功用性的coarse-to-fine閾值分別為grasp0.57、cut0.38、scoop0.43、contain0.51、pound0.72、support0.59、wrap-grasp0.53。在線檢測階段，工具部件邊緣檢測器對各種工具功用性區(qū)域邊緣進行檢測，效果如圖13.4(b)所示；利用離線學習得到的各類工具相應的coarse-to-fine閾值加以濾波，篩選出精確功用性區(qū)域，效果如圖13.4(c)所示；工具部件功用性檢測器對篩選出區(qū)域進行功用性檢測，效果如圖13.4(d)所示。圖13.4(e)是AustinMyers等人的方法基于SRF方法的功用性檢測模型對相同圖像的功用性檢測結果。對比可見，本文方法在背景濾除方面效果顯著。13.4工具功用性部件實驗13.4.2評價方法及結果分析圖13.4本文方法和AustinMyers等人的方法在單一場景下對不同工具7種功用性檢測效果。(a)為待檢測單一場景圖像，(b)為功用性邊緣檢測器檢測結果，(c)為coarse-to-fine閾值濾波結果,(d)本文最終檢測結果，(e)AustinMyers等人的方法檢測結果13.4工具功用性部件實驗13.4.2評價方法及結果分析圖13.5給出了復雜場景下本文方法和AustinMyers等人的方法方法對不同功用性的檢測效果。對比(d)和(e)可以很容易看出，本文方法結果(d)過濾掉了AustinMyers等人的方法結果(e)中的噪聲干擾，直接找到了目標功用性部件。在抓取檢測中，本文方法和AustinMyers等人的方法方法均未有效地檢測出杯子把手，究其原因主要在于近距離觀察物體可以清晰的分辨物體的輪廓結構，而距離較遠時物體輪廓結構甚至整個物體都變得模糊，導致邊緣檢測及功用性檢測效果不佳?？傮w而言，針對復雜場景本文所提方法具有更好的功用性檢測效果。圖13.5本文方法和AustinMyers等人的方法在復雜場景下對不同功用性的檢測效果。(a)為待檢測復雜場景圖像，(b)為功用性邊緣檢測器檢測結果，(c)為coarse-to-fine閾值濾波結果，(d)本文最終檢測結果，(e)AustinMyers等人的方法檢測結果13.4工具功用性部件實驗13.4.2評價方法及結果分析圖13.6是使用傳統(tǒng)方法對本文提出方法和AustinMyers使用SRF方法進行功用性檢測的評價統(tǒng)計結果，精度、召回率和值依據式(13.2)、(13.3)計算得到。從圖中可以看出在精度和召回率方面，本文所提方法較AustinMyers等人的方法中SRF方法均有不同程度的提高，在值的對比上本文方法的優(yōu)勢更加明顯。圖13.6本文方法和AustinMyers等人的方法SRF方法對各種功用性檢測結果的精度、召回率和F-beta對比圖北京信息科技大學自動化學院“智能檢測技術與模式識別”研究所問答互動環(huán)節(jié)北京信息科技大學自動化學院智能機器人原理與應用“智能檢測技術與模式識別”研究所14家庭智能服務機器人雜亂環(huán)境中推抓技能學習雜亂環(huán)境中機器人推動與抓取技能自主學習問題被學者廣泛研究，實現(xiàn)二者之間的協(xié)同是提升抓取效率的關鍵，本文提出一種基于生成對抗網絡與模型泛化的深度強化學習算法GARL-DQN。首先，將生成對抗網絡嵌入到傳統(tǒng)DQN中，訓練推動與抓取之間的協(xié)同進化；其次，將MDP中部分參數(shù)基于目標對象公式化，借鑒事后經驗回放機制(HER)提高經驗池樣本利用率；然后，針對圖像狀態(tài)引入隨機(卷積)神經網絡來提高算法的泛化能力；最后，設計了12個測試場景，在抓取成功率與平均運動次數(shù)指標上與其他4種方法進行對比，在規(guī)則物塊場景中兩個指標分別為91.5%和3.406；在日常工具場景中兩個指標分別為85.2%和8.6，驗證了GARL-DQN算法在解決機器人推抓協(xié)同及模型泛化問題上的有效性。14.1家庭智能空間服務機器人操作技能框架本文提出一種機器人自監(jiān)督學習方法GARL-DQN，用于訓練雜亂場景中機器人推抓之間的協(xié)同。首先，將兩個RGB-D相機采集到的當前環(huán)境中的圖像狀態(tài)信息送入經驗池中，并通過重力方向正投影構建RGB、Depth以及Mask目標掩碼高度圖。其次，將上述高度圖經過特征提取網絡進行特征提取。將提取到的特征經過隨機網絡層處理，以提高該算法的泛化性。然后，將特征輸入到推動與抓取網絡中用于生成推動與抓取功用性圖。最后，將抓取網絡作為判別器，推動網絡作為生成器，評估當前狀態(tài)是否可以對目標物體執(zhí)行抓取，以便在推動與抓取之間進行選擇。兩個網絡交替訓練，提高訓練速度?；贕ARL-DQN的深度強化學習機器人操作技能框架如圖14.1所示。圖14.1基于GARL-DQN的深度強化學習機器人操作技能框架模型泛化與遷移學習密切相關，用于從源任務轉移知識來提高目標任務的性能。然而，強化學習與監(jiān)督學習不同的是，將源任務上預先訓練的模型進行微調以適應目標任務往往是無益的。因此，本小節(jié)構建了一種隨機卷積網絡來增強GARL-DQN算法的泛化能力。算法具體如下：引入一個隨機網絡

，將其先驗參數(shù)進行初始化，對強化學習模型的初始狀態(tài)用網絡層

進行處理并將處理后的結果輸入到卷積神經網絡中。在每一輪迭代后，該卷積神經網絡都會重新初始化網絡

的權重，使其可以在有噪聲的特征空間上學習。14.2GARL-DQN算法設計14.2.1GARL-DQN的泛化模型建模為了實現(xiàn)推抓之間的協(xié)同，在訓練環(huán)境中，機器人通過RGB-D相機采集到當前時刻的圖像狀態(tài)信息，分別經過視覺特征提取網絡與隨機卷積網絡

提取特征，作為抓取網絡算法的輸入。該算法是異策略算法，將目標策略與行為策略分開訓練，在保證探索的同時求得全局最優(yōu)解。將面向目標的抓取網絡表示為

，在訓練場景中隨機指定目標物體

并將抓取獎勵表示為

,

的定義方式如下：14.2GARL-DQN算法設計14.2.2GARL-DQN抓取網絡目標重標記策略可分為以下兩種情況：若機器人未抓取到任何物體則認為是失敗的回合，不存入經驗池中；若機器人抓取到非目標物體或者為移動遮擋物所做的抓取動作，將非目標物體標記為，并對樣本元組進行轉換存儲到經驗池中。本章將推動動作作為抓取動作的輔助動作，目標為減小目標物體周圍的“空間占有率”。但本文的目標為減少機器人的總運動次數(shù)，故應盡可能地降低推動動作的頻率?？紤]到機器人推抓之間的相互作用復雜且耦合度較高，故將基于目標的推動網絡作為生成器，使得動作價值函數(shù)不斷逼近抓取網絡學習到的閾值，由抓取網絡作為判別器來判斷當前狀態(tài)是否適合抓取。14.2GARL-DQN算法設計14.2.3GARL-DQN的推動網絡建模本節(jié)給出抓取網絡與推動網絡之間的生成對抗網絡建模使得該算法可以更好地擬合出動作參數(shù)，學習到最優(yōu)的推抓位置參數(shù)與角度參數(shù)?；趦蓚€網絡之間的零和博弈，將目標設置為一個狀態(tài)的收益分布而不是收益均值，將平均回報向量轉化為回報分布函數(shù)。將動作價值函數(shù)表示為隨機變量，建立期望值與期望函數(shù)之間的關系：

，將定義在分布上的貝爾曼算子表示為

，最終得到最終得到貝爾曼方程如式(1)與式(2)所示：

（1）

（2）14.2GARL-DQN算法設計14.2.3GARL-DQN的生成對抗網絡建模本章目標為最小化輸出與真實分布之間的距離。一方面，推動網絡的目標為產生最優(yōu)狀態(tài)-動作值分布的現(xiàn)實樣本，另一方面，抓取網絡旨在將真實樣本與從推動網絡輸出的樣本進行對比，判斷當前時刻狀態(tài)是否達到抓取閾值。在每個回合中，推動網絡接收當前時刻狀態(tài)，在對分布估計中的每個動作返回一個樣本，執(zhí)行最優(yōu)動作。然后，機器人接收環(huán)境獎勵值并轉換到狀態(tài)，將元組保存到經驗池中

。每次更新時，從經驗池均勻采樣,并根據公式更新抓取網絡和判別網絡。

14.2GARL-DQN算法設計14.2.3GARL-DQN的生成對抗網絡建模14.3實驗14.3.1實驗環(huán)境搭建為驗證本章算法對于機器人目標物體抓取任務的性能，在V-REP3.5.0動力學仿真軟件中模擬該任務的實驗場景。該軟件內部的運動學模塊可準確地模擬真實機器人的運動軌跡，同時具有重力等物理引擎可模擬真實物體屬性。使用RGB-D相機采集工作空間狀態(tài)信息，該相機可以提供RGB圖像以及每個像素的深度信息，并將深度值快速轉換為點云信息用于3D感知。仿真實驗環(huán)境如圖14.2所示。工作空間中配置了裝有RG2夾具的UR5機械臂模型，并在工作空間正上方與斜上方45°的位置均安裝RGB-D相機，該相機會在每次機械臂執(zhí)行完動作后采集圖像信息，提供完整且大小為640×480的深度信息。圖14.2仿真環(huán)境場景14.3實驗14.3.2訓練階段為驗證推動與抓取操作之間的協(xié)同性，工作空間中被隨機初始化為m個隨機目標塊和n個不同形狀的基本塊，目標塊形狀與顏色隨機匹配，在前1000回合中基本塊的個數(shù)為3，后1500回合訓練中基本塊個數(shù)為8。并將該算法與以下基線方法進行比較：RAND：不經過監(jiān)督訓練而采取隨機像素點抓?。籊rasp-Only：是一種貪婪的確定性抓取策略，它使用單個FCN網絡進行抓取，該網絡使用二分類(來自試錯)的監(jiān)督。在此策略下的機器人僅執(zhí)行抓取動作；VPG：在輸入中通過添加目標掩碼來學習面向目標的推動與抓取策略，是一種使用并行結構作為目標不可知任務預測推動與抓取的功用性圖的方法，在目標掩碼中根據最大Q值執(zhí)行推動或抓取動作。GIT：一種深度強化學習方法，使用目標分割網絡提取特征來增強機器人感知，基于DQN二分類器進行機器人推動與抓取訓練。14.3實驗14.3.2訓練階段將機器人執(zhí)行動作的最大閾值設置為30，當動作數(shù)超過閾值或所有目標物體均被成功抓取時，則重置環(huán)境。計算每50次迭代中的平均成功抓取率并繪制曲線。該過程中目標物體被隨機指定，訓練2500次后繪制訓練性能對比如圖14.3所示。圖14.3訓練階段抓取成功率對比14.3實驗14.3.3測試階段測試階段設置了兩種實驗場景，與上述四種方法進行對比。規(guī)則物塊場景中目標物體被其他基本塊緊緊包圍，目標塊與訓練時相同，用于驗證推抓之間的協(xié)同；日常工具場景中物體為訓練過程中從未見過的物體，用于驗證算法的泛化能力。（1）規(guī)則物塊場景下的算法效率驗證本節(jié)設計了如圖6所示的8個測試案例，每個場景包含一個目標物體。對每個案例進行30輪實驗，若機器人在5次內成功抓取目標物體，則記為一輪成功案例，旨在保證抓取成功率的同時，減少平均運動次數(shù)。與上述4種方法對比如圖7和圖8所示。由于每個測試場景中目標物體分布不同，故本文算法表現(xiàn)略顯不同，表14.1中展示了不同方法的平均性能對比。平均移動次數(shù)定義為方法抓取成功率(%)平均運動次數(shù)（次）RAND17.54.7750.60Grasping-only35.04.3250.98VPG70.04.0250.83GIT87.53.6750.90OURS(GARL-DQN)91.53.4060.50表14.1規(guī)則物塊案例平均表現(xiàn)

14.3實驗14.3.3測試階段（2）日常工具場景下的模型泛化能力驗證本節(jié)設置了如圖9所示的4個測試案例，每個場景中包含不同高度和形狀復雜的日常工具，場景中每個物體被依次設置為目標物體，直接應用訓練階段訓練好的模型進行測試，用于驗證GARL-DQN算法的泛化能力。抓取閾值設置為目標物體的數(shù)量。表14.2展示了本方法與其他4種方法的平均性能對比。方法抓取成功率(%)平均運動次數(shù)（次）RAND15.515.14Grasping-only34.212.63VPG52.410.81GIT61.39.85OURS(GARL-DQN)85.28.60表14.2日常工具案例平均表現(xiàn)14.3實驗14.3.4測試階段結果分析由規(guī)則物塊構建的8種測試場景模擬了真實世界中目標物體被緊緊包圍的場景，由于沒有足夠空間供抓取，用于檢驗GARL-DQN算法中的推抓協(xié)同。表14.1展示了8個測試案例的表現(xiàn)，RAND和Grasping-only兩種方法在每個測試案例中都具有較高的運動次數(shù)和較低的成功率，抓取成功率在10~35%之間，但運動次數(shù)在4.3以上。VPG方法對于每個測試案例有不同的表現(xiàn)，可以體現(xiàn)出來推動動作對抓取動作的影響，減少了運動次數(shù)，抓取成功率在60~75%之間，運動次數(shù)在4.0左右。GIT采用二分類器來訓練推抓之間的協(xié)同作用，每個測試案例的抓取成功率都有提高，同時減少了運動次數(shù)，抓取成功率在85%以上，運動次數(shù)在3.6左右。而本文采取基于生成對抗網絡的GARL-DQN訓練框架，以3.4次的平均運動次數(shù)實現(xiàn)了91.5%的抓取成功率，性能達到最優(yōu)。14.3實驗14.3.4測試階段結果分析表14.2中展示了日常工具場景中不同算法的表現(xiàn)，用于驗證GARL-DQN算法的泛化能力。RAND和Grasping-only兩種方法策略的完成率很低，即使能夠完成任務，其平均抓取成功率也保持在15-30%之間。總體成功率仍然較低，對于日常工具場景的泛化能力依然較弱。RADN隨機選擇動作，忽略了雜波環(huán)境對目標的影響，從而導致在面對目標運動時出現(xiàn)過多錯誤動作。Grasping-only對于目標物體采取僅抓取策略，雖然對目標周圍的雜波環(huán)境有一定改善，但影響較小導致該算法成功率較低。VPG方法僅依靠預測動作的Q值選擇動作，不能有效判斷目標所處的雜波狀態(tài)，有較多錯誤抓取動作和冗余推動動作，導致抓取成功率僅在50%左右，較規(guī)則物塊場景成功率有明顯降低，原因在于其僅依賴DQN無法實現(xiàn)良好的算法遷移，當機器人面對新環(huán)境時，無法很好地將模型應用在新場景中，故導致抓取率降低。同時，平均運動次數(shù)將近11次，即無法在一輪中實現(xiàn)全部目標物體的抓取。GIT使用動作二分類器來協(xié)調機器人的推抓動作，不再根據最大Q值進行動作選擇，目標物體抓取成功率達到了61%，平均運動次數(shù)為9.85。但其推抓之間的協(xié)同性較差，易使得推動動作成為冗余動作。本文將DQN與生成對抗網絡以及模型泛化思想結合起來形成GARL-DQN算法，較好的解決了推動與抓取之間的協(xié)同作用，使得平均運動次數(shù)減少到8.6次，基本在一個回合中抓取到所有目標物體。同時，引入隨機網絡使得模型泛化能力大大提高，在日常工具場景中的抓取成功率也可達到85%以上，均優(yōu)于其他算法。北京信息科技大學自動化學院“智能檢測技術與模式識別”研究所問答互動環(huán)節(jié)智能機器人原理與應用“智能檢測技術與模式識別”研究所15室內環(huán)境自適應智能商用服務機器人系統(tǒng)近年來，人工智能、自然語言處理、計算機視覺和機器學習等技術的發(fā)展為智能服務機器人的興起提供了支持，智能服務機器人得以發(fā)--展。智能服務機器人現(xiàn)有產品技術在室內復雜環(huán)境下仍然面臨智能性與適應性不足的突出挑戰(zhàn)，在核心算法、關鍵技術和產業(yè)化應用方面均需要有所創(chuàng)新才可能實現(xiàn)服務機器人的智能化和商用化。目前已有的智能商用服務機器人有用于銀行、餐廳、商場、醫(yī)院的服務機器人，例如送餐機器人，迎賓機器人，酒店機器人，導購機器人，銀行柜臺機器人，巡檢機器人等。本章以北京云跡科技有限公司設計開發(fā)的智能商用服務機器人為例，對智能商用服務機器人的應用進行解讀，并進行實際展示。15.1服務機器人研究發(fā)展概況人口老齡化趨勢加快及公共服務需求的持續(xù)旺盛，促使智能服務機器人需求急劇上升，對于目前智能服務行業(yè)，促使我們重點推進服務機器人產品的研制及應用，拓展服務機器人產品系列，提升性能、質量和安全性，推動產品高端化智能化發(fā)展。隨著AI、5G及物聯(lián)網和云計算技術的快速發(fā)展，在感知、決策、執(zhí)行等狹義機器人技術基礎上，先進傳感、AI芯片、機器視覺、語音識別、NLP、知識圖譜及深度學習等新興技術與服務機器人深度融合發(fā)展，智能算法與技術中臺的重要性凸顯，如圖15.1所示，為服務機器人核心模塊和技術。圖15.1

服務機器人核心塊和技術“機器人云服務”用于用戶服務云端管理、機器人資源優(yōu)化調度及服務大數(shù)據分析，以實現(xiàn)機器人服務的網絡化、數(shù)據化、智能化。結合了云服務，服務機器人的運行流程更加高效，始于用戶或業(yè)務邏輯觸發(fā)服務需求，經過語言/動作/屏幕指令/APP程序等多種人機交互形式，機器人感知并理解用戶意圖，進而進行任務規(guī)劃和調度執(zhí)行，最終向用戶提供所需服務，如圖15.2所示。15.1服務機器人研究發(fā)展概況圖15.2

智能機器人云服務服務機器人與工業(yè)機器人系統(tǒng)構成類似，如圖15.3所示，由于二者的應用場景及用途不同，相應的技術需求存在巨大差異：1）服務機器人由于非結構化環(huán)境的不確定性，往往需要更多源的傳感器組合，且有更高的環(huán)境感知與運動控制算法要求；2）服務機器人具有更復雜的業(yè)務邏輯，更強調人機交互的智能性、友好性、及時性，更強調機器人云平臺的應用，以實現(xiàn)云端智能；3）由于運行復雜算法和適應復雜環(huán)境的需要，服務機器人有更高的計算性能要求；4）公共服務型機器人，對感知系統(tǒng)和機械結構的精度要求低于工業(yè)機器人和特種服務機器人，但對性價比及能耗的要求更高；5）服務機器人對環(huán)境中其他設備有更多的物聯(lián)與調度需求，且更加強調自主協(xié)同與多機協(xié)作。15.1服務機器人研究發(fā)展概況15.1服務機器人研究發(fā)展概況圖15.3服務機器人的系統(tǒng)構成15.1服務機器人研究發(fā)展概況服務機器人雖然功能各異，但基本技術架構仍存共性，它們主要由五大核心技術組成，分別是底層硬件、基礎軟件、智能算法、技術中臺和業(yè)務應用。如圖15.4所示，底層硬件主要包括環(huán)境感知、運動控制、人機交互相關零部件與主控硬件和通信模塊；基礎軟件主要包括機器人操作系統(tǒng)與算法引擎；智能算法主要包括SLAM、運動控制、任務規(guī)劃、智能交互算法與機器學習技術；技術中臺主要包括IOT、場景化大數(shù)據、領域知識圖譜及云服務平臺技術；業(yè)務應用主要包括底盤與整機設計、場景化服務方案、智能化部署運營及機器人即服務（RaaS）技術。底層硬件與基礎軟件是機器人的重要基礎，智能算法是機器人的關鍵核心，技術中臺是提升智能算法和實現(xiàn)業(yè)務應用的必要條件，業(yè)務應用則是針對場景和用戶提供高效機器人服務的重要途徑。15.1服務機器人研究發(fā)展概況圖15.4服務機器人技術架構15.2.1“云跡科技”智能服務機器人1.智能服務機器人智能服務機器人現(xiàn)有產品技術在室內復雜環(huán)境下仍然面臨智能性與適應性不足的突出挑戰(zhàn)，亟需在核心算法、關鍵技術和應用系統(tǒng)實現(xiàn)創(chuàng)新，以推動智能服務機器人技術進步與產業(yè)發(fā)展。智能服務機器人產品已有許多，如“云跡科技”智能服務機器人，在室內環(huán)境下的應用效果顯著，可以部分甚至全部代替人力，實現(xiàn)了較高程度上的智能自主，極大提高了服務效率。下面我們將簡單介紹代表性的“云跡科技”室內環(huán)境智能服務機器人產品，從實際應用角度分析室內環(huán)境下智能商用服務機器人的技術需求。15.2室內智能商用服務機器人的技術難點15.2.1“云跡科技”智能服務機器人2.酒店數(shù)字運營系統(tǒng)-HDOS“云跡科技”公司開發(fā)推出了應用于酒店、樓宇等室內環(huán)境的多款智能服務機器人產品及配套智慧化服務系統(tǒng)，其自主研發(fā)的智能服務系統(tǒng)——酒店數(shù)字運營系統(tǒng)（HotelDigitalOperationSystem），英文縮寫為HDOS。它是由AI語音客服、住中服務小程序、送物機器人、智能前置倉和輔助通知硬件組成。如圖15.5所示，送物機器人在無人智能服務整套流程中實現(xiàn)自動化配送功能。15.2室內智能商用服務機器人的技術難點圖15.5智能機器人—送物機器人15.2.1“云跡科技”智能服務機器人3.

HDOS與智能機器人在酒店場景中，HDOS的應用能夠分擔酒店總機電話接聽任務量，實現(xiàn)AI自主應答電話問詢、智能分配服務任務、調動機器人和前置倉自主完成接送物等功能，實現(xiàn)酒店在住中服務的全數(shù)字化服務，如圖15.6所示。15.2室內智能商用服務機器人的技術難點圖15.6HDOS與智能機器人酒店智能服務機器人在HDOS中扮演著由線上轉線下的關鍵部分，HDOS將住客、員工、管理者、機器人、AI語音客服連接起來，通過住客需求端的數(shù)字化，完成任務分發(fā)，任務執(zhí)行。這樣減少了完成客戶服務過程中不必要的冗長信息傳遞，減少服務過程中遺漏和出錯，大大提高了服務效率，減輕人力負擔。15.2室內智能商用服務機器人的技術難點15.2.1“云跡科技”智能服務機器人3.

HDOS與智能機器人室內環(huán)境的封閉性、高動態(tài)性和不確定性問題以及商用情況下的高性能、易操作、安全性需求，對室內智能商用服務機器人的要求更為苛刻。例如非結構化環(huán)境下的高精度混合定位建圖技術、基于自主深度學習引擎的目標識別與動態(tài)避障技術、地形自適應的伺服驅動與控制技術、多機器人自主協(xié)同與優(yōu)化調度技術以及場景化多模態(tài)人機交互與意圖理解技術。為了使得服務機器人能夠根據不同的室內環(huán)境如酒店、樓宇、社區(qū)等場景，提供智能化、便捷化的服務體驗，也需要一種智能服務機器人技術平臺。15.2室內智能商用服務機器人的技術難點15.2.2室內智能商用服務機器人1.技術難點高精度定位導航：在環(huán)境感知、定位精度、定位速度、定位穩(wěn)定性等方面，酒店與樓宇等跨樓層室內復雜環(huán)境存在的空間特征稀疏、動態(tài)擾動、地面擾動給機器人高精度定位與導航帶來了難題。機器視覺與動態(tài)避障：如何在復雜環(huán)境中實現(xiàn)高精度的目標檢測和跟蹤，如何在動態(tài)環(huán)境中實現(xiàn)高效的路徑規(guī)劃和避障，室內環(huán)境目標的多樣性、動態(tài)性、不確定性以及光照變化給機器人帶來的場景理解與動態(tài)避障等困難需要解決。伺服驅動控制：如何實現(xiàn)高精度的運動控制，如何提高機器人的操作精度和驅動力控制，復雜環(huán)境給機器人的高通過性與高穩(wěn)定性運動控制帶來的技術問題。15.2室內智能商用服務機器人的技術難點15.2.2室內智能商用服務機器人2.技術需求-以“云跡科技”智能服務機器人產品為例模塊化與輕量化設計：如何實現(xiàn)機器人模塊化與重構技術，如何提高機器人輕量化設計技術，尤其是復雜環(huán)境對機器人模塊化與輕量化的高要求等問題。智能物聯(lián)與協(xié)同調度：如何實現(xiàn)多機器人協(xié)同技術，在人機共存環(huán)境中，應用機器人群組通過跨樓層自主乘梯完成智能導引、物品配送等多樣化任務，為了達到“少人工干預、高用戶滿意度”服務指標，給機器人協(xié)同與群組調度帶來了技術難題。人機交互：如何使用人機交互技術，通過屏幕、語音等方式與用戶進行交互，在特定場景下，機器人與用戶的交互過程中，因語音識別不準確、意圖表達個性化與多樣性、新詞匯與新說法等諸多問題帶來的用戶意圖理解障礙。15.2室內智能商用服務機器人的技術難點15.2.2室內智能商用服務機器人2.技術需求-以“云跡科技”智能服務機器人產品為例15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)圖15.7關鍵技術框架本節(jié)所介紹的智能服務機器人有著多個核心功能，如圖15.7所示。下面將介紹智能商用服務機器人系統(tǒng)的總體架構和各個模塊的功能，包括環(huán)境感知、運動控制、人機交互、任務規(guī)劃和云平臺等。這些模塊共同實現(xiàn)了智能商用服務機器人在室內復雜環(huán)境中的自主導航、智能服務和遠程協(xié)同管理等功能。酒店、樓宇等室內場景是一種典型的非結構化環(huán)境，局部環(huán)境特征稀疏，且存在動態(tài)擾動與地面擾動，給服務機器人的高精度定位與導航帶來技術挑戰(zhàn)，如下：1）不同樓層客房走廊、電梯廳等區(qū)域相似度高，部分區(qū)域環(huán)境特征不明顯，影響定位與導航的精度；2）人員、推車等不確定性物體在場景中移動帶來動態(tài)擾動，影響定位與導航的穩(wěn)定性；3）局部地面的坡坎、坑洼及材質差異帶來地面擾動，影響定位與導航的準確性。針對這些問題，如果使用基于多源異構信息的高精度混合定位建圖及導航技術，定位與建圖數(shù)據動態(tài)修正、回環(huán)檢測優(yōu)化及數(shù)據存儲壓縮，能夠顯著提升機器人定位導航的精度、速度及可靠性。這種方法定位精度非常高，能夠達到厘米級別，并且具有高達99.95%的定位成功率，建圖運行速度也非?？?。此外，建圖閉環(huán)的耗時很短，即在智能機器人定位建圖（SLAM）中，檢測并修正機器人的軌跡和地圖的一種方法，當機器人回到之前訪問過的地方時，它可以通過匹配當前的觀測和歷史的數(shù)據，發(fā)現(xiàn)自己已經形成了一個環(huán)路，它就可以利用這個環(huán)路信息來消除累積的誤差，從而提高定位和建圖的精度。最后，該技術還能有效地減少場景地圖數(shù)據的存儲需求。15.3.1高精度定位導航技術15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)1）針對機器人感知場景建圖精度的要求，可以采用特定主控單元設計視覺特征結合3D點云的建圖方式，即在一種特殊的硬件設備上，利用視覺傳感器和激光雷達等設備采集的數(shù)據，提取場景中的視覺特征，并與三維點云；數(shù)據相結合，構建出場景的三維模型。有效提升了機器人建圖的穩(wěn)定性和準確性，這種建圖方式可以用于機器人導航、自動駕駛、增強現(xiàn)實等領域，提高對環(huán)境的感知和理解能力；2）針對傳統(tǒng)SLAM系統(tǒng)缺少對場景語義化認知的問題，可以結合視覺語義識別和場景SLAM數(shù)據，構建了能夠針對關鍵場景信息識別并儲存的地圖構建技術，就是在同時定位和地圖構建（SLAM）的過程中，利用視覺或其他傳感器獲取場景中的特征點或物體，并將其作為關鍵信息存儲在地圖中，以便于后續(xù)的定位和導航。這樣可以提高地圖的精度，增強對環(huán)境的理解和交互能力，從而使得機器人可以更多維度地認知環(huán)境；15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.1高精度定位導航技術1.非結構化環(huán)境SLAM建圖技術3）針對機器人運行環(huán)境時而發(fā)生變化的情況，可以使用環(huán)境地圖的增量修正方式，通過其自學習能力，優(yōu)化機器人對場景的認知，如圖15.8所示，結合了SLAM技術與視覺語義識別，對動態(tài)場景即非結構化環(huán)境精確的構建地圖模型，并對環(huán)境地圖修正,通過視覺識別，檢測到由障礙物或者行人，會在地圖上動態(tài)更新顯示出來，再通過動態(tài)避障技術解決動態(tài)干擾問題；4）針對場景內SLAM數(shù)據與機器人間同步的要求，可以使用自組網進行SLAM數(shù)據分享和同步，以實現(xiàn)場景內的機器人間地圖認知的一致和歷史數(shù)據共享。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.1高精度定位導航技術1.非結構化環(huán)境SLAM建圖技術圖15.8地圖動態(tài)修正1）該技術融合了藍牙、超帶寬、Wi-Fi結合激光、視覺特征等多源異構數(shù)據定位機器人位置，結合SLAM地圖的場景語義信息以實時糾正機器人在運行中的定位累計誤差，并應用多源數(shù)據環(huán)境特征建模方法，自動生成環(huán)境指紋特征，環(huán)境指紋特征是指在不同的環(huán)境中，無線信號或其他環(huán)境特征的空間差異性。環(huán)境指紋特征可以用來描述和識別特定位置，建立位置-指紋關系數(shù)據庫，實現(xiàn)對用戶位置的定位，有效提升了環(huán)境特征密度與重定位準確度；2）在空間定位系統(tǒng)中加入模擬人類決策算法，即利用機器學習的方法，根據已知的數(shù)據和特征，構建能夠模擬和預測人類決策過程的算法。使用卷積神經網絡模型進行環(huán)境可視區(qū)域的劃分，提升定位系統(tǒng)自優(yōu)化能力，使得機器人能夠依據所處區(qū)域類型調整移動決策，提升移動效率。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.1高精度定位導航技術2.多源異構傳感器融合定位技術1）在用以機器人導航的地圖圖層之外，疊加障礙物態(tài)勢、任務、人類活動頻繁度圖層，使機器人能夠快速定位有效路徑和進行其他物聯(lián)決策，實現(xiàn)自主導航；2）實時調取群體歷史數(shù)據，使機器人可以借助群體智能在移動過程中優(yōu)化導航決策，提前規(guī)避擁堵路段、危險區(qū)域，提高機器人自主協(xié)同、優(yōu)化決策的能力。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.1高精度定位導航技術3.實時優(yōu)化的自主導航技術酒店、樓宇等室內場景中動靜態(tài)目標的多樣性、動態(tài)性、不確定性，以及環(huán)境的光照變化，給機器人在本體算力和能耗受限條件下，實現(xiàn)高性能、低功耗的視覺目標識別與動態(tài)避障，帶來技術挑戰(zhàn)。針對這些問題，可以使用面向移動終端的輕量化深度學習引擎框架，以及面向酒店場景的小型化視覺目標識別算法集，目標識別算法可基于深度學習框架快速優(yōu)化升級，就能夠實現(xiàn)服務機器人在低成本移動硬件平臺上的精準識別目標與靈活避障能力，機器人自主避障平均成功率達99.99%。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.2機器視覺與動態(tài)避障技術機器視覺是機器人實現(xiàn)環(huán)境感知和動態(tài)避障的關鍵技術，而深度學習引擎是實現(xiàn)高精度機器視覺算法的重要基礎?？梢酝ㄟ^構建應用于機器視覺的輕量化深度學習模型訓練及推理引擎，并且支持業(yè)界主流的多種深度學習網絡結構，讓企業(yè)能夠快速研發(fā)和升級適用于不同業(yè)務場景的視覺感知優(yōu)化算法，同時顯著降低對硬件性能的依賴。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)1.用于機器視覺的深度學習引擎技術15.3.2機器視覺與動態(tài)避障技術1）應用多種類型的視覺傳感器對真實業(yè)務場景下的危險區(qū)域、禁行區(qū)域及人群、路標等數(shù)百類常見目標，以及機器人艙內物品、貨柜商品等變化目標，進行在線采集與高質量標注，為視覺算法設計構建了大規(guī)模訓練樣本；2）利用可融入訓練框架的量化加速技術，實現(xiàn)模型訓練與量化加速一體，提升模型生產效率；15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)2.視覺目標動態(tài)檢測跟蹤及避障技術15.3.2機器視覺與動態(tài)避障技術3）基于深度學習引擎、量化加速、模型壓縮技術和自主構建的視覺樣本數(shù)據集，可以實現(xiàn)可在線優(yōu)化升級的機器人視覺避障、人體檢測與重識別、人體關節(jié)與行為分析及特定物體識別等一系列目標檢測跟蹤與場景理解算法，持續(xù)提升機器人的場景理解與靈活避障能力。如圖15.9所示，通過這項技術訓練后的智能機器人，能夠實時對環(huán)境做出感知，當前方人通過，能檢測到并完成避讓。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)2.視覺目標動態(tài)檢測跟蹤及避障技術15.3.2機器視覺與動態(tài)避障技術圖15.9環(huán)境感知和動態(tài)避障酒店、樓宇等室內應用場景，要求機器人能夠適應多種復雜地形，且具有高通過性和穩(wěn)定性，給機器人的運動控制帶來技術挑戰(zhàn)，如下：1）酒店、樓宇的地面，普遍存在瓷磚、地板、地膠、地毯（長毛/短毛）等多種地面材質，以及局部坡坎、溝槽（線槽、電梯門）等多種復雜地形；2）走廊過道狹窄要求機器人底盤尺寸盡可能?。ǜ咄ㄟ^性），一定的倉體容積要求導致機器人本體質心高，搭載物品后質心進一步上移，機器人移動過程中質心發(fā)生動態(tài)變化。針對這些問題，可以采用基于優(yōu)化控制的高精度FOC電機驅動技術，實現(xiàn)基于低算力ARM處理器的多輪協(xié)同驅動控制系統(tǒng)，在降低成本的同時有效提升了機器人的運動控制能力。此處的FOC是磁場定向控制，也被稱作矢量控制，其借助于微控制器所提供的數(shù)學處理能力，為了在永磁同步電機中使轉矩生成和磁化功能去耦合，可執(zhí)行使用數(shù)學變換的高級控制策略，這樣的去耦合轉矩和磁化控制通常被稱為轉子磁通定向控制，即為FOC。FOC是目前無刷直流電機（BLDC）和永磁同步電機（PMSM）高效控制的最優(yōu)方法之一,在通過精確地控制磁場大小與方向，使得電機的運動轉矩平穩(wěn)、噪聲小、效率高，并且具有高速的動態(tài)響應。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.3伺服驅動控制技術1）基于優(yōu)化控制的高精度FOC（磁場定向控制）電機驅動技術，可以實現(xiàn)基于可替代性強的ARM處理器的多輪協(xié)同驅動控制系統(tǒng)，即利用多個電機分別驅動車輛的各個輪子，并通過控制器協(xié)調各個電機的轉速和扭矩，實現(xiàn)車輛的高效、穩(wěn)定和靈活的運行，多輪協(xié)同驅動控制系統(tǒng)可以提高車輛的能量利用率、安全性和操縱性，提升了機器人的移動能力；2）基于預測控制和模糊控制的自適應運動控制參數(shù)模型，即是一種利用預測控制和模糊控制的優(yōu)勢，通過這個模型來實現(xiàn)運動控制參數(shù)的自適應調節(jié)。通過CAN總線通信，可精準調控底盤的運動方向與速度，可針對不同地形自動調整懸掛，實現(xiàn)了更強的爬坡越障能力和窄道通過性，提升了底盤穩(wěn)定性和響應度；3）高穩(wěn)定性的輪轂電機控制電路，即一種用于控制輪轂電機的電子換相器，它根據位置傳感器的信號，控制定子繞組的通電順序和時間，產生旋轉磁場，驅動轉子旋轉，支持過壓、欠壓、過流、堵轉、編碼器故障等保護功能。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)1.高精度伺服驅動控制技術15.3.3伺服驅動控制技術基于多傳感器融合的電機異常診斷和整機運行狀態(tài)監(jiān)測模型，能夠自動識別被控過程參數(shù)、自動調整控制參數(shù)、自動適應被控過程參數(shù)變化，能夠基于數(shù)萬臺機器人大量真實運行數(shù)據的特征自學習，實現(xiàn)云端協(xié)同計算和異常處理策略共享，優(yōu)化伺服驅動的控制水平。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)2.自學習監(jiān)測診斷及控制技術15.3.3伺服驅動控制技術針對復雜環(huán)境對機器人模塊化與輕量化的高要求，可以采用高性能機器人主控模塊、高安全性機器人電源管理模塊、多形態(tài)物聯(lián)模塊及地形自適應底盤結構相關的設計方法，使用多種型號的低成本、穩(wěn)定性、高通過性輪式移動機器人底盤，有效提升了機器人模塊化、輕量化及地形自適應能力，能夠克服一定坡度，越過小障礙物。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.4模塊化與輕量化設計技術具有支撐機器人處理復雜環(huán)境下任務的高性能、高擴展性的主控模塊，通過這項技術能夠實現(xiàn)：滿足復雜算法對硬件資源性能的要求，具備CPU、GPU、NPU資源；集成4G、5G通訊功能，同Wi-Fi等本地上網模式，實現(xiàn)各種通訊之間的快速切換；具備豐富的外設及傳感器接口，集成超聲、紅外傳感的功能模塊接口處理，支持音頻陣列接口的擴展；對USB等接口設備可自動保護和可控的異常斷電保護重啟；支持板間和內部的安全通訊加密，支持TPM，支持獨立加密芯片，支持安全啟動，增加移動機器人的身份認證功能。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.4模塊化與輕量化設計技術1.高性能機器人主控模塊設計技術適用于機器人的高安全性電源管理模塊，具體功能包括：具備各路電壓、電流檢查保護功能；具備軟起動功能模塊，適配對各種電流啟動的需求；具備電池CAN通信接口，實時監(jiān)控電池內部多種參數(shù)；電池接入防反接，過流，欠壓，過沖等各方面的安全管理；增加軟硬件浮充保護功能，避免長期充電引入的安全風險。2.高安全性機器人電源管理模塊設計技術一種針對不同類型的物聯(lián)網設備，集成多種芯片和功能的通信模塊設計技術，通過這項技術實現(xiàn)機器人與電梯、閘機、門禁、電話、貨柜等多種形態(tài)設備進行物聯(lián)的軟硬件模塊，具備以下技術特點：多鏈路，支持4G、LoRa、藍牙等多種通信；自動故障診斷，故障類型明細分析，提前預警；自帶ups功能，斷電報警；先進的AES加密方案，防破解，防重放；具備物聯(lián)網云平臺接口。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.4模塊化與輕量化設計技術3.多形態(tài)物聯(lián)模塊設計技術采用低重心、緩沖擊、高穩(wěn)定的多輪底盤結構設計，4腳輪保證底盤的穩(wěn)定性，并輔助2個帶懸掛機械結構的驅動輪提供穩(wěn)定可靠的抓地力，利用2個導輪輔助增強底盤越障能力，保證了對各種地面材質（瓷磚、地板、地膠、地毯等）及局部坡坎、溝槽地形的自適應性。4.地形自適應底盤結構設計技術在酒店、樓宇等室內場景中，應用多個服務機器人跨樓層配送物品，機器人及配套設備資源有限，任務不確定且高并發(fā)，給實現(xiàn)人工干預少、用戶滿意度高的服務效果帶來極大挑戰(zhàn)。可以采用一套適用于酒店場景的多機器人自主協(xié)同與優(yōu)化調度的技術框架，實現(xiàn)了“資源使用”與“服務質量”兩個維度上的綜合最優(yōu)。實際場景中，智能機器人有著毫秒級快速的自主協(xié)同決策速率，通過云端調度計算，支持十萬級大規(guī)模多種機器人在不同場景的多任務智能調度。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.5智能物聯(lián)與協(xié)同調度技術1）通過這項技術構建了機器人物聯(lián)網云平臺，對各種規(guī)格、型號的機器人與物聯(lián)設備進行統(tǒng)一管理，基于可視化的設備接入及調試工具，可實現(xiàn)產品管理、設備管理、實時診斷、在線調試、在線運維、OTA固件升級；2）支持實時查看設備數(shù)量、在線設備、離線設備及異常設備的數(shù)據。支持實時查看設備運行狀態(tài)，對設備進行遠程控制。可設置設備的告警規(guī)則，當告警觸發(fā)時，可查看設備告警消息；3）可從不同維度統(tǒng)計應用數(shù)據趨勢，自動調整設備應用策略，從而提升多設備物聯(lián)與機器人服務效率。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)1.多設備智能物聯(lián)技術15.3.5智能物聯(lián)與協(xié)同調度技術1）機器人端端自主協(xié)同和云端中央調度相結合的多設備協(xié)同調度架構，采用交通規(guī)則、區(qū)域流量、倉體運力三級優(yōu)化調度策略，能夠自動編排任務、動態(tài)匹配資源，實現(xiàn)多機器人多任務的優(yōu)化調度；2）多機器人自主協(xié)同與路徑規(guī)劃技術，通過自組網通信實現(xiàn)多機器人間場景全局與區(qū)域態(tài)勢、任務與運行狀態(tài)的實時共享，基于群體智能和行為樹技術實現(xiàn)高效的任務協(xié)同與路徑規(guī)劃。群體智能是一種模擬自然界中的社會性動物（如螞蟻、鳥類、魚群等）的群體行為和協(xié)作機制，來解決復雜優(yōu)化問題的人工智能技術。行為樹是一種用于描述智能體（如游戲角色、機器人等）的行為邏輯和狀態(tài)轉換的樹形結構，它可以方便地進行編輯、擴展和復用。群體智能和行為樹技術可以結合起來，實現(xiàn)多智能體自主協(xié)作仿真以及實物驗證的軟件平臺系統(tǒng)，用于多機器人群體行為決策、路徑規(guī)劃、狀態(tài)顯示等。如圖15.10所示，多個機器人通過協(xié)同調度技術完成電梯的進出。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)2.多設備協(xié)同調度技術15.3.5智能物聯(lián)與協(xié)同調度技術15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)2.多設備協(xié)同調度技術15.3.5智能物聯(lián)與協(xié)同調度技術圖15.10多機器人調度15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.6人機交互技術在酒店場景的人機交互過程中，用戶語音識別不準確、意圖表達個性化與多樣性、新詞匯與新說法等諸多問題，顯著加大了用戶意圖理解的難度，給酒店機器人智能化服務帶來技術挑戰(zhàn)?？梢酝ㄟ^采用基于深度學習的多模態(tài)人機交互技術架構，多線索模塊深度神經網絡的意圖理解算法，使用酒店客戶個性化服務知識圖譜，實現(xiàn)集服務機器人與AI客服于一體的酒店數(shù)字化服務系統(tǒng)。可理解多項用戶意圖，意圖理解成功率高達99%，并且該方法能夠不斷更新對用戶意圖的理解。15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.6人機交互技術1）基于深度學習的多模態(tài)人機交互技術架構，實現(xiàn)融合語音、視覺、觸屏等多通道多模態(tài)的輸入，統(tǒng)一進行語義表示的交互技術，可以利用更多信息，豐富人機交互能力；2）人機交互的響應結果也通過語音、圖像等模式反饋，提升機器人人機交互的用戶體驗。1.機器人多模態(tài)融合智能交互技術15.3云跡室內智能商用服務機器人關鍵技術及實現(xiàn)15.3.6人機交互技術1）使用酒店場景的用戶個性化語義理解知識圖譜，即一種利用知識圖譜技術來提高用戶的語義理解能力和個性化推薦效果的方法。知識圖譜是一種用于表示實體、概念、關系等多維度語義信息的結構化數(shù)據模型。用戶個性化語義理解知識圖譜可以應用于文本、視頻等多模態(tài)數(shù)據的深度分析，為用戶提供更準確、更豐富、更有價值的內容推薦；2）采用中文分詞、句法和實體識別的自然語言處理一體化方法，大幅提升了非特定人群語義理解效果；3）采用基于多線索模塊的深度學習對話管理方法，如圖15.11所示，實現(xiàn)融合上下文信息的多輪對話能力，支持截斷、復述、補充、追問等多種對話交互模式。2.場景化知識圖譜與語義理解技術圖15.11客戶意圖語義理解15.4云跡-以機器人為中心的智慧化服務系統(tǒng)集成15.4.1各類智能機器人圖15.12“云跡”智能機器人15.4云跡-以機器人為中心的智慧化服務系統(tǒng)集成15.4.1各類智能機器人RUN潤具備高精度的定位導航系統(tǒng)，采用SLAM算法進行立體化的自主定位與地圖構建；結合激光雷達與視覺傳感，精準檢測周邊環(huán)境；應用多傳感器全方位感知周圍環(huán)境，靈活避讓行人與障礙物；基于實際運行數(shù)據的沉淀與學習，定位導航算法可靠性不斷提升。還具有完整的智能創(chuàng)建地圖、自主乘坐電梯、自主通過閘機門禁、自主避障、自動撥打電話及自主回充等基礎功能。潤在酒店應用場景中提供安全、便捷的跨樓層送物服務，還可以提供智能引領服務。1.

智能送物機器人——RUN潤（如圖15.12-a所示）格格具有上下兩個艙體，可同時配送多種類型的物品，例如文件資料、餐食、藥品、工具、及外賣與快遞等內外部物品。依托內外部智能傳感器，格格可識別客房開門，并自動打開艙內；通過艙內視覺識別，可自動識別艙內物品取出并自動關閉艙門，從而實現(xiàn)無接觸取物，支持語音交互與多輪對話。格格廣泛應用于酒店、樓宇、社區(qū)、醫(yī)院及體育場館等多種場景。2.

智能雙艙配送機器人——格格（如圖15.12-b所示）15.4云跡-以機器人為中心的智慧化服務系統(tǒng)集成15.4.1各類智能機器人云帆可實現(xiàn)更高效的人機交互，依托自主研發(fā)的6輪差速驅動、主動懸掛式移動底盤，云帆具備自主導航、自主避障、自動回充及自主乘梯、自主過閘等智能物聯(lián)能力。云帆主要應用于政府與企業(yè)機構及會展行業(yè)。3.

智能迎賓講解機器人——云帆（如圖15.12-c所示）針對科技防疫，非接觸式智能測溫與身份識別的防疫機器人被推出。該機器人測溫精度±0.3℃，支持高精度戴口罩人臉識別，以高效確認人員身份。該機器人廣泛應用于人員密集、流動性大的重點場所和單位的出入口，實現(xiàn)科學精準的常態(tài)化疫情防控。4.

智能測溫防疫機器人（如圖15.12-d所示）該機器人采用霧化形式對室內外空間進行消毒，通過干霧霧化的微米級顆粒，對空氣和物表進行高效、深度、無縫消毒，優(yōu)越的滲透擴散能力，實現(xiàn)無需人工、定時定點、24小時無人的高頻效消殺，代替重復繁瑣、需注重細節(jié)的消殺作業(yè)。該機器人能夠自主導航，靈活避障，可任意設定路線、軌跡等，對于重污染區(qū)域循環(huán)消殺，直到所有區(qū)域消殺完成。5.

智能環(huán)境消殺機器人（如圖15.12-e所示）15.4云跡-以機器人為中心的智慧化服務系統(tǒng)集成15.4.1各類智能機器人Water水滴是具備完整成熟的感知、認知及定位導航能力的輪式機器人平臺，該平臺具有四大核心優(yōu)勢：1）可完全脫離人獨立自主工作，自主充電，實現(xiàn)7x24