2024具身智能發(fā)展報告

具身智能發(fā)展報告(2024年)前言AI賦予“身體”，使其能夠與物理世界產(chǎn)生交互，并在交互中主動探索世界、認(rèn)識世界、改AIAI雜的物理世界中進(jìn)一步延伸和拓展AI具身智能將在技術(shù)涌現(xiàn)式創(chuàng)新和突破下，實現(xiàn)“一腦多形”，即讓一個智能系統(tǒng)適配各種形態(tài)的物理實體，如智能機器人、智能車輛等；實現(xiàn)“一機多用”，即讓一個機器設(shè)備可以靈活地執(zhí)行多種任務(wù)，適應(yīng)多樣化的場景需求。未來具身智能將從工業(yè)協(xié)作生產(chǎn)到柔性制造，從家務(wù)助手到醫(yī)療護(hù)理，從災(zāi)難救援到太空探索，深入融入人類社會。但當(dāng)前其仍面臨技術(shù)能力不足，數(shù)據(jù)短缺，以及工程實現(xiàn)復(fù)雜等一系列挑戰(zhàn)。本報告從AI目錄一、全球具身智能發(fā)展態(tài)勢 1（一）具身智能的概念與內(nèi)涵 2（二）具身智能發(fā)展歷程 7（三）全球具身智能提速發(fā)展 14二、具身智能技術(shù)突破，重塑智能邊界 15（一）感知模塊—賦予機器感官，實現(xiàn)多模態(tài)感知泛化 17（二）決策模塊—提升機器腦力，實現(xiàn)人類思維模擬 19（三）行動模塊—提升機器自主行動能力，實現(xiàn)精細(xì)動作執(zhí)行 21（四）反饋模塊—拓展機器交互通道，實現(xiàn)自主學(xué)習(xí)演進(jìn) 23（五）支撐要素—本體、數(shù)據(jù)和軟硬件底座共同構(gòu)成具身智能發(fā)展基礎(chǔ).25（六）安全與隱私保障—確保具身智能執(zhí)行安全可信 29三、具身智能在各領(lǐng)域的應(yīng)用前景 29（一）工業(yè)制造領(lǐng)域：打破人機協(xié)作瓶頸，實現(xiàn)智能化柔性適配 30（二）自動駕駛領(lǐng)域：適應(yīng)開放交通環(huán)境，實現(xiàn)安全可靠智能駕駛 31（三）物流運輸領(lǐng)域：優(yōu)化倉儲物流產(chǎn)線，實現(xiàn)高效貨物運轉(zhuǎn) 32（四）家庭服務(wù)領(lǐng)域：解放人類雙手束縛，實現(xiàn)全場景的智能家務(wù)服務(wù).34（五）醫(yī)療康養(yǎng)領(lǐng)域：應(yīng)對老齡化問題，實現(xiàn)擬人化交互服務(wù) 35（六）其他領(lǐng)域：從賦能到變革，推動各行各業(yè)創(chuàng)新與轉(zhuǎn)型 36四、具身智能發(fā)展所面臨的挑戰(zhàn) 38（一）技術(shù)挑戰(zhàn) 38（二）應(yīng)用挑戰(zhàn) 41（三）標(biāo)準(zhǔn)與合規(guī)挑戰(zhàn) 44五、邁向未來，具身智能迎來無限可能 45（一）技術(shù)創(chuàng)新發(fā)展，推動具身智能持續(xù)進(jìn)化 45（二）產(chǎn)業(yè)跨界整合，開辟更廣闊的市場空間 46（三）體系重構(gòu)加速，引發(fā)更深層次社會思考 47圖目錄圖1 國內(nèi)外專家有關(guān)具身智能的觀點 3圖2 具身智能的“三要素”概念內(nèi)涵示意圖 6圖3 具身智能發(fā)展歷程 13圖4 具身智能技術(shù)體系 16圖5 具身智能產(chǎn)業(yè)鏈?zhǔn)疽鈭D 43具身智能發(fā)展報告（2024具身智能發(fā)展報告（2024年）PAGEPAGE10一、全球具身智能發(fā)展態(tài)勢1950年，圖靈在其經(jīng)典論文《ComputingMachineryandIntelligence1/（續(xù)，這兩條路徑逐漸演變成了離身智能（DisembodiedArtificialIntelligence2）和具身智能（EmbodiedArtificialIntelligenceChatGPT為代表的離身智能實現(xiàn)智能涌現(xiàn)。自其推出之后，數(shù)字世界的AI技術(shù)逐步展現(xiàn)出逼近人類甚至超越人類的思維能力。加利福尼亞大學(xué)圣迭戈分校的研究團(tuán)隊在交互式雙人圖靈測試中發(fā)現(xiàn)，人們無法區(qū)分3AI可以增強智能體的感知、知識理解和思維能力，但無法取代“行萬里路”所帶來的體驗。就像人類在真實世界中的親身體驗和勞動，AI2023BengioLeCunAI的終極挑戰(zhàn)是通過具身圖靈測試，即復(fù)現(xiàn)生物體的感覺運動能力，包括4（一）具身智能的概念與內(nèi)涵具身智能從字面可理解為“具身化的人工智能”，“具身”是前提，即具有身體且能通過交互、感知、行動等能力來執(zhí)行任務(wù)，具身本體的形態(tài)不必限制在外觀上的“人形”，同時身體的形態(tài)也不能作為判斷是否屬于“具身智能”的依據(jù)。根據(jù)使用用途和場景的不同，具身智能可以有多種形態(tài)。例如，通用智能機器人，大型的工業(yè)設(shè)備加上AI能。“智能”是核心，、SoraAI技術(shù)的最新進(jìn)展，實現(xiàn)AI技術(shù)嵌入到物理實體如機器人上，可顯著提升對環(huán)境的感知、交互和任務(wù)執(zhí)行能力。先前的智能機器人，更側(cè)重于執(zhí)行特定的任務(wù)。而具身智能更強調(diào)在環(huán)境中交互能力，智能表現(xiàn)在物理實體能以“第一人稱”主動進(jìn)行感知、理解、推理、規(guī)劃到移動和操作等任務(wù)。來源：公開信息整理圖1國內(nèi)外專家有關(guān)具身智能的觀點具身智能的發(fā)展主要來自于兩個領(lǐng)域的交叉融合，一方面機器人的通用智能需要借助人工智能，另一方面人工智能走向物理世界需要一個身體，同時涉及到包括機械工程自動化、嵌入系統(tǒng)控制優(yōu)化、認(rèn)知科學(xué)、神經(jīng)科學(xué)等多個學(xué)科的融合。這也導(dǎo)致了當(dāng)前對具身智能這一概念的界定，不同專家的說法略有差異，一類觀點強調(diào)具身交互對智能的影響。清華大學(xué)教授劉華平等在《基于形態(tài)的具身智能研究：歷史回顧與前沿進(jìn)展》中總結(jié)：具身智能在身體與環(huán)境相互作用中，通過信息感知與物理操作過程可以連續(xù)、動態(tài)地產(chǎn)生智能。上海交通大學(xué)教授盧策吾曾表示通過智能體與環(huán)境的交互5為通用人工智能（AGI）的未來發(fā)展需要具備具身實體，與真實物理世界交互以完成各種任務(wù)。但普遍認(rèn)可：智能不僅體現(xiàn)在處理信息和解決問題的能力上，還體現(xiàn)在對其周圍環(huán)境的感知、理解和操。當(dāng)前，針對具身智能各家觀點百花齊放，但都明確了“智能”的AI具身智能與人形機器人、智能體等的概念辨析實際上，人工智能領(lǐng)域的快速發(fā)展使得大模型、智能體等技術(shù)理解等能力，這僅能模擬大腦皮層部分功能分區(qū)的智力表現(xiàn)。20245”L4ChatGPTSiri等；也可以存在于物理世界的智能實體，如智能機器人。具身智能則強調(diào)智能體的具體形態(tài)和環(huán)境之間的交互作用，通過行動的物理交互能夠感知和改變環(huán)境，通過行動反饋能不斷學(xué)習(xí)和適應(yīng)環(huán)境。具身智能的主要存在形式是物理世來源：中國信息通信研究院圖2具身智能的“三要素”概念內(nèi)涵示意圖對具身智能可以用“三個要素”來對其概念內(nèi)涵進(jìn)行理解。如2所示，具身智能同時需要具備“本體+環(huán)境+智能”三要素，首力，并讓感知與行動更緊密地連接在一起。強調(diào)不僅通過算法和計（二）具身智能發(fā)展歷程具身智能與離身智能相互補充、協(xié)作發(fā)展共同促進(jìn)了對智能的理解、模擬與擴展，從具身智能與離身智能兩類研究范式在歷史上多次交鋒的角度出發(fā)，整體發(fā)展歷程如圖3所示。“機器人”和“人工智能”兩種屬性，同時鏈接物理和虛擬兩個世界。從人工智能視角看，1956年AI概念誕生以來，智能的發(fā)展主要由符號主義與連接主義主導(dǎo)，兩種范式從不同的側(cè)面模擬人類的大腦，在以互聯(lián)網(wǎng)信息處理為代表的領(lǐng)域取得了極大的成功。與符號主義強調(diào)“表示”和連接主義強調(diào)“計算”的離身智能不同，基于行為主義的“具身智能”更側(cè)重關(guān)注“交互”，即智能受腦、身體與環(huán)境協(xié)同影響，并由身體與環(huán)境相互作用中，通過信息感知與物。的通用性成為發(fā)力點，探索機器人的自適應(yīng)性和智能性成為重點，伴隨著硬件制造和軟件技術(shù)等方面的進(jìn)步，以及產(chǎn)業(yè)鏈各環(huán)節(jié)的相互促進(jìn)，具身智能將賦予機器人更多的智慧，不斷拓寬機器人的智能邊界和自主行動能力，使其更好地理解世界、自然化人機交互和高效執(zhí)行任務(wù)，引領(lǐng)機器人進(jìn)入通用智能新代際。結(jié)合人工智能的演進(jìn)歷程，具身智能的發(fā)展大致可以分為三個10-910-0，（2022）。AI三大學(xué)派，尚未形成成熟的智能理論。1956年達(dá)特AI19861988年（RodneyAI該階段“具身”機器人進(jìn)行早期實驗性嘗試，關(guān)注“邏輯規(guī)則19541960s1960年首臺工業(yè)機器人Unimate（GeneralMotors）1968年，斯坦福研究院（SRI）界上第一臺移動機器人Shakey1973。1970s1980s1985Epson“AIBO”1990人Kismet19801991AI2016AlphaGo（年提出模仿學(xué)習(xí)，聚焦讓機器人模仿人類行為的研究，通過讓機器人直接模仿專家行為，可以快速、穩(wěn)定地使其掌握技能，而不依賴于過多探索。三是形態(tài)計算，將物理形態(tài)的影響引入對智能體感知、學(xué)2004年CPaul該階段“具身”機器人快速發(fā)展，關(guān)注“行為主義”架構(gòu)的仿1990年，麻省理工學(xué)院制作一款模仿人頭部的機器人Kismet，具有聽覺，視1991Genghis，可以自主行走。1999年，日本索尼公司推出犬型機器人愛寶（AIBO）。2002iRobot公司推出第一款家用掃地機器人2010BostonDynamics會（2022-2022以來，以ChatGPT環(huán)境感知和任務(wù)決策等關(guān)鍵能力。例如，2023模型利用ChatGPTPaLM-E具身多模態(tài)語言模型，將真實世界的連續(xù)傳感器模態(tài)融入大語言模（LargeLanguageModels，LLMs）2024為導(dǎo)航任務(wù)中語言描述、視覺觀察對象以及運動軌跡等不同階段的任務(wù)需求設(shè)計了統(tǒng)一的指令輸入方案，讓LLMs能夠直接生成運動方向、對象位置等行動信息。探索具備通用智能，能夠像人類一樣執(zhí)行任務(wù)的具身機器人成“2023示EAI是能理解、推理、并與物理世界互動的智能系統(tǒng)，是人工智20243OpenAI與人形機器人初創(chuàng)公司Figure合作推出了Figure01交流并且可以執(zhí)行多樣化任務(wù)。8Figure02的大腦升級和本體的巧妙設(shè)計，如配有全方位攝像頭、仿生靈巧手725款人形機器人亮相，同時在該大會上，加持了NoematrixBrain207。7https:///h5/article/detail.do?artId=231170具身智能發(fā)展報告（2024年）圖3具身智能發(fā)展歷程

來源：中國信息通信研究院13具身智能發(fā)展報告（2024具身智能發(fā)展報告（2024年）PAGEPAGE14（三）全球具身智能提速發(fā)展位。20244月，美國高校聯(lián)合發(fā)布新版“國家機器人路線圖”，日本8。在人口老齡化的背景下持續(xù)聚焦機器人應(yīng)用以升級制造業(yè)生產(chǎn)和替代人類服務(wù)。2024年豐田研究所推出軟機器人Punyo駛為核心的具身智能技術(shù)創(chuàng)新。2023年發(fā)布機器人產(chǎn)業(yè)發(fā)展戰(zhàn)略，2030年在各領(lǐng)域推生產(chǎn)力的典型代表，成為各省布局產(chǎn)業(yè)規(guī)劃的關(guān)注重點。2024中關(guān)任務(wù)學(xué)習(xí)和多任務(wù)遷移發(fā)展。20235月，英偉達(dá)發(fā)布多模態(tài)具身智能系統(tǒng)2023年8月谷歌DeepMind推出機器人模型RoboticsTransformer-語言-動作大模型LanguageActionModels，VLAs），10機器人大模型。20242月，英偉達(dá)宣布成立通用具身智能體研究實驗室4S通過AppBuilder平臺接入百度文心大模型進(jìn)行任務(wù)調(diào)度AI+20244Optimus年Optimus9。二、具身智能技術(shù)突破，重塑智能邊界具身智能技術(shù)的發(fā)展從前期模塊化的AI算法集成，逐漸轉(zhuǎn)向大模大圖4具身智能技術(shù)體系

來源：中國信息通信研究院4GPT的出現(xiàn)讓ChatGPT、造具備通用智能的具身智能基礎(chǔ)模型。（一）感知模塊—賦予機器感官，實現(xiàn)多模態(tài)感知泛化感知模塊的具體實現(xiàn)從集成不同的AI算法，逐漸轉(zhuǎn)向使用多模態(tài)模型來處理和融合多維傳感數(shù)據(jù)。感知模塊需要對來自RGB攝像先前，通過組合各個AI算法來執(zhí)行不同的感知任務(wù)，實現(xiàn)針對3DAI么物體和目標(biāo)位置在哪里。常見解決方案是采用計算機視覺技術(shù)如YOLOSLAM技術(shù)生成環(huán)境的三維地FoundationModels，VFMs），CLIP、MVP、R3M等，幫助大模型獲取預(yù)訓(xùn)練好的視覺表達(dá)，提供視覺輔助信息。EmbCLIP、CLIPort、RoboFlamingoLanguage可被LLMs動態(tài)學(xué)習(xí)作為VFMs、VLMs3D-VLA11在VLM3D20241月UCLA提出多模具身智能大模型3D（二）決策模塊—提升機器腦力，實現(xiàn)人類思維模擬PixelNav利用多模態(tài)12。3D12/abs/2309.10309景中，人工編程決策可以發(fā)揮作用。例如人工編寫的A*算法和Dijkstra算法，廣泛用于完成簡單的導(dǎo)航和路徑規(guī)劃任務(wù)。通過預(yù)編算法的強化學(xué)習(xí)方法在具13LLMsLLM-Planner14提出了高級和低級兩層的任務(wù)規(guī)劃策略，其中高級規(guī)劃器利用LLM對用戶的任務(wù)描述生成自然語言規(guī)劃，低級規(guī)劃器將子任務(wù)轉(zhuǎn)化為行動指令。LLM+P15能直接將任務(wù)規(guī)劃轉(zhuǎn)化為機器能夠理解的規(guī)劃領(lǐng)域定義語言（PDDL）描述。二是利用LLMs的代碼生成能力，替代人類的復(fù)雜編程環(huán)節(jié)。CodeasPolicies16LLMs生成任務(wù)策略APILLMsMonologue17將視覺的檢測結(jié)果整合到LLMs的提示詞中進(jìn)行規(guī)劃或重新規(guī)劃。PHYSOBJECTS18利用LLMs生成初始規(guī)劃，并通過查詢?nèi)粘Ｎ矬w的），在VLMs3D3D（三行動模塊—20Transformer架構(gòu)結(jié)合，應(yīng)對泛化性挑戰(zhàn)。21。Transformer對多模態(tài)數(shù)據(jù)的通用表達(dá)Q-Transformer采用強化學(xué)習(xí)方法在大規(guī)模多樣化的真實世界數(shù)據(jù)集上訓(xùn)練TransformerLLMs自主設(shè)計的獎勵83%22。熱力圖等三是視覺語言動作大模型實現(xiàn)了從語言到可執(zhí)行動作指令的直VLAs是對LLMs和VLMs使用LLMs發(fā)布VIMA24采用模仿學(xué)習(xí)的范式將VLMs谷歌131726。（四反饋模塊主要依賴大模型來加速反饋經(jīng)驗的學(xué)習(xí)，形成閉環(huán)的優(yōu)LanGWM27將不及VLMsRobot2829。當(dāng)LLMsSayCan30（五支撐要素—366公里/小時的擬人化穩(wěn)在手的操作能力和腳的移動能力上具有最高的自由度和最強的通用長期器的集成等仍需不斷地提升，例如英國ShadowRobot公司推出的Shadowdexteroushand個自由度，配備指端觸覺傳感器，但仍然不能實現(xiàn)與人手相當(dāng)?shù)腅mbodiedScan中提出更大、更真3D132萬條的靈巧機械手抓取數(shù)據(jù)集10%31。22能數(shù)據(jù)集Open，并用于訓(xùn)練通用具身智能大模型具身智能數(shù)據(jù)按采集方式主要分為真實數(shù)據(jù)和仿真數(shù)據(jù)兩大類。01的性能的GPU顯卡和大量的計算資源支持。長期來看，真實數(shù)據(jù)對處1N的深度應(yīng)用。例如微小差異都會影響策略的有效性。斯坦福大學(xué)家務(wù)機器人MobileALOHA32。Unity3DOmniverse、Gazebo3DROS2是目前廣泛使用的機器人操作系統(tǒng)，通過標(biāo)準(zhǔn)化的接口ROS2集成英特爾的OpenVINOIsaacSim和斯坦福大學(xué)的3D落地部署階段，AI模型的推理和計算，需要并行計算、低比特量化、模型壓縮、3D3D通用計算平臺為具身智能系統(tǒng)的復(fù)雜計算和可靠運行提供有力33NVIDIAJetsonNanoJetsonAGXOrin模組在邊緣端的計算能力，可與內(nèi)置GPU的服務(wù)器相比。在數(shù)據(jù)流處理層面，需Isaac機器人平臺通過適配ROS2軟件生態(tài)，引入數(shù)據(jù)分布服務(wù)（DataDistributionService，DDS）（六）安全與隱私保障—確保具身智能執(zhí)行安全可信清華大學(xué)提出人機協(xié)同框架3D三、具身智能在各領(lǐng)域的應(yīng)用前景具身智能通過模擬人類大腦的“智能”和不同形態(tài)的機器人“身的重要一步。相比于傳統(tǒng)基于AI視覺及特定場景預(yù)訓(xùn)練的機器人，。（一工業(yè)制造領(lǐng)域具身智能有望成為新型工業(yè)化的關(guān)鍵核心和有效ChatGPT的能力擴展到機器人領(lǐng)域，通過自然語言和ChatGPTChatGPT來控制機械臂、無人機、移動機器人性的安全控制動作，降低錯誤發(fā)生概率。例如，香港理工大學(xué)利用LLMs發(fā)那科CRX系列協(xié)作機器人在感知到機器人本體與人類或其他物體具身智能工業(yè)機器人將能夠替代人類成為工業(yè)生產(chǎn)線上最柔性的執(zhí)Optimus人形（二Autopilot通過車載傳感器自動駕能和智能水平。特斯拉創(chuàng)始人馬斯克宣布將推出無人駕駛出租車Robotaxi（三由其投資的公司AgilityRoboticsDigit，綜合CapraRobotics公司最新推出的HircusBrightpicks公司推出的自動移動機器人（AMR）可以無縫進(jìn)行商品訂單識別和揀選具24小時待機，隨時投入生產(chǎn)，同時憑借公司AgilityRobotics的Digit長達(dá)7.5小時，并在任務(wù)執(zhí)行時實現(xiàn)了100%的自主性，據(jù)稱其工作效率已達(dá)到人類速度的75%，任務(wù)完成成功率高達(dá)97%。（四（類任務(wù)等。例如，1XOpenAI公司已經(jīng)在深度合作，開發(fā)一EVE，可以實現(xiàn)對人類日常工作環(huán)境的認(rèn)知家務(wù)。20242月，美國谷歌和斯坦福聯(lián)合推出家務(wù)服務(wù)機器人MobileALOHAC5，集掃地、洗地、20244AstribotS120244月，越韁科技發(fā)布LOVOT會呈現(xiàn)不同的性格2023年，在日1（五AISTParo治療機器人，被用于老年護(hù)理和兒童醫(yī)院，提供情機器人輔助肩關(guān)節(jié)置換手術(shù)的ROSA?Shoulder迪士感表達(dá)的肢體動作。韓國公司Hyodol推出專門為老年人服務(wù)的AI持下能夠與老人進(jìn)行完整對話。二是提供人性化的服務(wù)體驗。美國GlidanceGlide，采用完全人性化的設(shè)計，它不會中保持控制和主動性。20242月，日本豐田研究所發(fā)布軟體人體機器人Punyo（六（NASA）的3