2024具身智能發(fā)展報(bào)告

具身智能發(fā)展報(bào)告(2024年)前言AI賦予“身體”，使其能夠與物理世界產(chǎn)生交互，并在交互中主動(dòng)探索世界、認(rèn)識世界、改AIAI雜的物理世界中進(jìn)一步延伸和拓展AI具身智能將在技術(shù)涌現(xiàn)式創(chuàng)新和突破下，實(shí)現(xiàn)“一腦多形”，即讓一個(gè)智能系統(tǒng)適配各種形態(tài)的物理實(shí)體，如智能機(jī)器人、智能車輛等；實(shí)現(xiàn)“一機(jī)多用”，即讓一個(gè)機(jī)器設(shè)備可以靈活地執(zhí)行多種任務(wù)，適應(yīng)多樣化的場景需求。未來具身智能將從工業(yè)協(xié)作生產(chǎn)到柔性制造，從家務(wù)助手到醫(yī)療護(hù)理，從災(zāi)難救援到太空探索，深入融入人類社會(huì)。但當(dāng)前其仍面臨技術(shù)能力不足，數(shù)據(jù)短缺，以及工程實(shí)現(xiàn)復(fù)雜等一系列挑戰(zhàn)。本報(bào)告從AI目錄一、全球具身智能發(fā)展態(tài)勢 1（一）具身智能的概念與內(nèi)涵 2（二）具身智能發(fā)展歷程 7（三）全球具身智能提速發(fā)展 14二、具身智能技術(shù)突破，重塑智能邊界 15（一）感知模塊—賦予機(jī)器感官，實(shí)現(xiàn)多模態(tài)感知泛化 17（二）決策模塊—提升機(jī)器腦力，實(shí)現(xiàn)人類思維模擬 19（三）行動(dòng)模塊—提升機(jī)器自主行動(dòng)能力，實(shí)現(xiàn)精細(xì)動(dòng)作執(zhí)行 21（四）反饋模塊—拓展機(jī)器交互通道，實(shí)現(xiàn)自主學(xué)習(xí)演進(jìn) 23（五）支撐要素—本體、數(shù)據(jù)和軟硬件底座共同構(gòu)成具身智能發(fā)展基礎(chǔ).25（六）安全與隱私保障—確保具身智能執(zhí)行安全可信 29三、具身智能在各領(lǐng)域的應(yīng)用前景 29（一）工業(yè)制造領(lǐng)域：打破人機(jī)協(xié)作瓶頸，實(shí)現(xiàn)智能化柔性適配 30（二）自動(dòng)駕駛領(lǐng)域：適應(yīng)開放交通環(huán)境，實(shí)現(xiàn)安全可靠智能駕駛 31（三）物流運(yùn)輸領(lǐng)域：優(yōu)化倉儲(chǔ)物流產(chǎn)線，實(shí)現(xiàn)高效貨物運(yùn)轉(zhuǎn) 32（四）家庭服務(wù)領(lǐng)域：解放人類雙手束縛，實(shí)現(xiàn)全場景的智能家務(wù)服務(wù).34（五）醫(yī)療康養(yǎng)領(lǐng)域：應(yīng)對老齡化問題，實(shí)現(xiàn)擬人化交互服務(wù) 35（六）其他領(lǐng)域：從賦能到變革，推動(dòng)各行各業(yè)創(chuàng)新與轉(zhuǎn)型 36四、具身智能發(fā)展所面臨的挑戰(zhàn) 38（一）技術(shù)挑戰(zhàn) 38（二）應(yīng)用挑戰(zhàn) 41（三）標(biāo)準(zhǔn)與合規(guī)挑戰(zhàn) 44五、邁向未來，具身智能迎來無限可能 45（一）技術(shù)創(chuàng)新發(fā)展，推動(dòng)具身智能持續(xù)進(jìn)化 45（二）產(chǎn)業(yè)跨界整合，開辟更廣闊的市場空間 46（三）體系重構(gòu)加速，引發(fā)更深層次社會(huì)思考 47圖目錄圖1 國內(nèi)外專家有關(guān)具身智能的觀點(diǎn) 3圖2 具身智能的“三要素”概念內(nèi)涵示意圖 6圖3 具身智能發(fā)展歷程 13圖4 具身智能技術(shù)體系 16圖5 具身智能產(chǎn)業(yè)鏈?zhǔn)疽鈭D 43具身智能發(fā)展報(bào)告（2024具身智能發(fā)展報(bào)告（2024年）PAGEPAGE10一、全球具身智能發(fā)展態(tài)勢1950年，圖靈在其經(jīng)典論文《ComputingMachineryandIntelligence1/（續(xù)，這兩條路徑逐漸演變成了離身智能（DisembodiedArtificialIntelligence2）和具身智能（EmbodiedArtificialIntelligenceChatGPT為代表的離身智能實(shí)現(xiàn)智能涌現(xiàn)。自其推出之后，數(shù)字世界的AI技術(shù)逐步展現(xiàn)出逼近人類甚至超越人類的思維能力。加利福尼亞大學(xué)圣迭戈分校的研究團(tuán)隊(duì)在交互式雙人圖靈測試中發(fā)現(xiàn)，人們無法區(qū)分3AI可以增強(qiáng)智能體的感知、知識理解和思維能力，但無法取代“行萬里路”所帶來的體驗(yàn)。就像人類在真實(shí)世界中的親身體驗(yàn)和勞動(dòng)，AI2023BengioLeCunAI的終極挑戰(zhàn)是通過具身圖靈測試，即復(fù)現(xiàn)生物體的感覺運(yùn)動(dòng)能力，包括4（一）具身智能的概念與內(nèi)涵具身智能從字面可理解為“具身化的人工智能”，“具身”是前提，即具有身體且能通過交互、感知、行動(dòng)等能力來執(zhí)行任務(wù)，具身本體的形態(tài)不必限制在外觀上的“人形”，同時(shí)身體的形態(tài)也不能作為判斷是否屬于“具身智能”的依據(jù)。根據(jù)使用用途和場景的不同，具身智能可以有多種形態(tài)。例如，通用智能機(jī)器人，大型的工業(yè)設(shè)備加上AI能?！爸悄堋笔呛诵模?、SoraAI技術(shù)的最新進(jìn)展，實(shí)現(xiàn)AI技術(shù)嵌入到物理實(shí)體如機(jī)器人上，可顯著提升對環(huán)境的感知、交互和任務(wù)執(zhí)行能力。先前的智能機(jī)器人，更側(cè)重于執(zhí)行特定的任務(wù)。而具身智能更強(qiáng)調(diào)在環(huán)境中交互能力，智能表現(xiàn)在物理實(shí)體能以“第一人稱”主動(dòng)進(jìn)行感知、理解、推理、規(guī)劃到移動(dòng)和操作等任務(wù)。來源：公開信息整理圖1國內(nèi)外專家有關(guān)具身智能的觀點(diǎn)具身智能的發(fā)展主要來自于兩個(gè)領(lǐng)域的交叉融合，一方面機(jī)器人的通用智能需要借助人工智能，另一方面人工智能走向物理世界需要一個(gè)身體，同時(shí)涉及到包括機(jī)械工程自動(dòng)化、嵌入系統(tǒng)控制優(yōu)化、認(rèn)知科學(xué)、神經(jīng)科學(xué)等多個(gè)學(xué)科的融合。這也導(dǎo)致了當(dāng)前對具身智能這一概念的界定，不同專家的說法略有差異，一類觀點(diǎn)強(qiáng)調(diào)具身交互對智能的影響。清華大學(xué)教授劉華平等在《基于形態(tài)的具身智能研究：歷史回顧與前沿進(jìn)展》中總結(jié)：具身智能在身體與環(huán)境相互作用中，通過信息感知與物理操作過程可以連續(xù)、動(dòng)態(tài)地產(chǎn)生智能。上海交通大學(xué)教授盧策吾曾表示通過智能體與環(huán)境的交互5為通用人工智能（AGI）的未來發(fā)展需要具備具身實(shí)體，與真實(shí)物理世界交互以完成各種任務(wù)。但普遍認(rèn)可：智能不僅體現(xiàn)在處理信息和解決問題的能力上，還體現(xiàn)在對其周圍環(huán)境的感知、理解和操。當(dāng)前，針對具身智能各家觀點(diǎn)百花齊放，但都明確了“智能”的AI具身智能與人形機(jī)器人、智能體等的概念辨析實(shí)際上，人工智能領(lǐng)域的快速發(fā)展使得大模型、智能體等技術(shù)理解等能力，這僅能模擬大腦皮層部分功能分區(qū)的智力表現(xiàn)。20245”L4ChatGPTSiri等；也可以存在于物理世界的智能實(shí)體，如智能機(jī)器人。具身智能則強(qiáng)調(diào)智能體的具體形態(tài)和環(huán)境之間的交互作用，通過行動(dòng)的物理交互能夠感知和改變環(huán)境，通過行動(dòng)反饋能不斷學(xué)習(xí)和適應(yīng)環(huán)境。具身智能的主要存在形式是物理世來源：中國信息通信研究院圖2具身智能的“三要素”概念內(nèi)涵示意圖對具身智能可以用“三個(gè)要素”來對其概念內(nèi)涵進(jìn)行理解。如2所示，具身智能同時(shí)需要具備“本體+環(huán)境+智能”三要素，首力，并讓感知與行動(dòng)更緊密地連接在一起。強(qiáng)調(diào)不僅通過算法和計(jì)（二）具身智能發(fā)展歷程具身智能與離身智能相互補(bǔ)充、協(xié)作發(fā)展共同促進(jìn)了對智能的理解、模擬與擴(kuò)展，從具身智能與離身智能兩類研究范式在歷史上多次交鋒的角度出發(fā)，整體發(fā)展歷程如圖3所示。“機(jī)器人”和“人工智能”兩種屬性，同時(shí)鏈接物理和虛擬兩個(gè)世界。從人工智能視角看，1956年AI概念誕生以來，智能的發(fā)展主要由符號主義與連接主義主導(dǎo)，兩種范式從不同的側(cè)面模擬人類的大腦，在以互聯(lián)網(wǎng)信息處理為代表的領(lǐng)域取得了極大的成功。與符號主義強(qiáng)調(diào)“表示”和連接主義強(qiáng)調(diào)“計(jì)算”的離身智能不同，基于行為主義的“具身智能”更側(cè)重關(guān)注“交互”，即智能受腦、身體與環(huán)境協(xié)同影響，并由身體與環(huán)境相互作用中，通過信息感知與物。的通用性成為發(fā)力點(diǎn)，探索機(jī)器人的自適應(yīng)性和智能性成為重點(diǎn)，伴隨著硬件制造和軟件技術(shù)等方面的進(jìn)步，以及產(chǎn)業(yè)鏈各環(huán)節(jié)的相互促進(jìn)，具身智能將賦予機(jī)器人更多的智慧，不斷拓寬機(jī)器人的智能邊界和自主行動(dòng)能力，使其更好地理解世界、自然化人機(jī)交互和高效執(zhí)行任務(wù)，引領(lǐng)機(jī)器人進(jìn)入通用智能新代際。結(jié)合人工智能的演進(jìn)歷程，具身智能的發(fā)展大致可以分為三個(gè)10-910-0，（2022）。AI三大學(xué)派，尚未形成成熟的智能理論。1956年達(dá)特AI19861988年（RodneyAI該階段“具身”機(jī)器人進(jìn)行早期實(shí)驗(yàn)性嘗試，關(guān)注“邏輯規(guī)則19541960s1960年首臺工業(yè)機(jī)器人Unimate（GeneralMotors）1968年，斯坦福研究院（SRI）界上第一臺移動(dòng)機(jī)器人Shakey1973。1970s1980s1985Epson“AIBO”1990人Kismet19801991AI2016AlphaGo（年提出模仿學(xué)習(xí)，聚焦讓機(jī)器人模仿人類行為的研究，通過讓機(jī)器人直接模仿專家行為，可以快速、穩(wěn)定地使其掌握技能，而不依賴于過多探索。三是形態(tài)計(jì)算，將物理形態(tài)的影響引入對智能體感知、學(xué)2004年CPaul該階段“具身”機(jī)器人快速發(fā)展，關(guān)注“行為主義”架構(gòu)的仿1990年，麻省理工學(xué)院制作一款模仿人頭部的機(jī)器人Kismet，具有聽覺，視1991Genghis，可以自主行走。1999年，日本索尼公司推出犬型機(jī)器人愛寶（AIBO）。2002iRobot公司推出第一款家用掃地機(jī)器人2010BostonDynamics會(huì)（2022-2022以來，以ChatGPT環(huán)境感知和任務(wù)決策等關(guān)鍵能力。例如，2023模型利用ChatGPTPaLM-E具身多模態(tài)語言模型，將真實(shí)世界的連續(xù)傳感器模態(tài)融入大語言模（LargeLanguageModels，LLMs）2024為導(dǎo)航任務(wù)中語言描述、視覺觀察對象以及運(yùn)動(dòng)軌跡等不同階段的任務(wù)需求設(shè)計(jì)了統(tǒng)一的指令輸入方案，讓LLMs能夠直接生成運(yùn)動(dòng)方向、對象位置等行動(dòng)信息。探索具備通用智能，能夠像人類一樣執(zhí)行任務(wù)的具身機(jī)器人成“2023示EAI是能理解、推理、并與物理世界互動(dòng)的智能系統(tǒng)，是人工智20243OpenAI與人形機(jī)器人初創(chuàng)公司Figure合作推出了Figure01交流并且可以執(zhí)行多樣化任務(wù)。8Figure02的大腦升級和本體的巧妙設(shè)計(jì)，如配有全方位攝像頭、仿生靈巧手725款人形機(jī)器人亮相，同時(shí)在該大會(huì)上，加持了NoematrixBrain207。7https:///h5/article/detail.do?artId=231170具身智能發(fā)展報(bào)告（2024年）圖3具身智能發(fā)展歷程

來源：中國信息通信研究院13具身智能發(fā)展報(bào)告（2024具身智能發(fā)展報(bào)告（2024年）PAGEPAGE14（三）全球具身智能提速發(fā)展位。20244月，美國高校聯(lián)合發(fā)布新版“國家機(jī)器人路線圖”，日本8。在人口老齡化的背景下持續(xù)聚焦機(jī)器人應(yīng)用以升級制造業(yè)生產(chǎn)和替代人類服務(wù)。2024年豐田研究所推出軟機(jī)器人Punyo駛為核心的具身智能技術(shù)創(chuàng)新。2023年發(fā)布機(jī)器人產(chǎn)業(yè)發(fā)展戰(zhàn)略，2030年在各領(lǐng)域推生產(chǎn)力的典型代表，成為各省布局產(chǎn)業(yè)規(guī)劃的關(guān)注重點(diǎn)。2024中關(guān)任務(wù)學(xué)習(xí)和多任務(wù)遷移發(fā)展。20235月，英偉達(dá)發(fā)布多模態(tài)具身智能系統(tǒng)2023年8月谷歌DeepMind推出機(jī)器人模型RoboticsTransformer-語言-動(dòng)作大模型LanguageActionModels，VLAs），10機(jī)器人大模型。20242月，英偉達(dá)宣布成立通用具身智能體研究實(shí)驗(yàn)室4S通過AppBuilder平臺接入百度文心大模型進(jìn)行任務(wù)調(diào)度AI+20244Optimus年Optimus9。二、具身智能技術(shù)突破，重塑智能邊界具身智能技術(shù)的發(fā)展從前期模塊化的AI算法集成，逐漸轉(zhuǎn)向大模大圖4具身智能技術(shù)體系

來源：中國信息通信研究院4GPT的出現(xiàn)讓ChatGPT、造具備通用智能的具身智能基礎(chǔ)模型。（一）感知模塊—賦予機(jī)器感官，實(shí)現(xiàn)多模態(tài)感知泛化感知模塊的具體實(shí)現(xiàn)從集成不同的AI算法，逐漸轉(zhuǎn)向使用多模態(tài)模型來處理和融合多維傳感數(shù)據(jù)。感知模塊需要對來自RGB攝像先前，通過組合各個(gè)AI算法來執(zhí)行不同的感知任務(wù)，實(shí)現(xiàn)針對3DAI么物體和目標(biāo)位置在哪里。常見解決方案是采用計(jì)算機(jī)視覺技術(shù)如YOLOSLAM技術(shù)生成環(huán)境的三維地FoundationModels，VFMs），CLIP、MVP、R3M等，幫助大模型獲取預(yù)訓(xùn)練好的視覺表達(dá)，提供視覺輔助信息。EmbCLIP、CLIPort、RoboFlamingoLanguage可被LLMs動(dòng)態(tài)學(xué)習(xí)作為VFMs、VLMs3D-VLA11在VLM3D20241月UCLA提出多模具身智能大模型3D（二）決策模塊—提升機(jī)器腦力，實(shí)現(xiàn)人類思維模擬PixelNav利用多模態(tài)12。3D12/abs/2309.10309景中，人工編程決策可以發(fā)揮作用。例如人工編寫的A*算法和Dijkstra算法，廣泛用于完成簡單的導(dǎo)航和路徑規(guī)劃任務(wù)。通過預(yù)編算法的強(qiáng)化學(xué)習(xí)方法在具13LLMsLLM-Planner14提出了高級和低級兩層的任務(wù)規(guī)劃策略，其中高級規(guī)劃器利用LLM對用戶的任務(wù)描述生成自然語言規(guī)劃，低級規(guī)劃器將子任務(wù)轉(zhuǎn)化為行動(dòng)指令。LLM+P15能直接將任務(wù)規(guī)劃轉(zhuǎn)化為機(jī)器能夠理解的規(guī)劃領(lǐng)域定義語言（PDDL）描述。二是利用LLMs的代碼生成能力，替代人類的復(fù)雜編程環(huán)節(jié)。CodeasPolicies16LLMs生成任務(wù)策略APILLMsMonologue17將視覺的檢測結(jié)果整合到LLMs的提示詞中進(jìn)行規(guī)劃或重新規(guī)劃。PHYSOBJECTS18利用LLMs生成初始規(guī)劃，并通過查詢?nèi)粘Ｎ矬w的），在VLMs3D3D（三行動(dòng)模塊—20Transformer架構(gòu)結(jié)合，應(yīng)對泛化性挑戰(zhàn)。21。Transformer對多模態(tài)數(shù)據(jù)的通用表達(dá)Q-Transformer采用強(qiáng)化學(xué)習(xí)方法在大規(guī)模多樣化的真實(shí)世界數(shù)據(jù)集上訓(xùn)練TransformerLLMs自主設(shè)計(jì)的獎(jiǎng)勵(lì)83%22。熱力圖等三是視覺語言動(dòng)作大模型實(shí)現(xiàn)了從語言到可執(zhí)行動(dòng)作指令的直VLAs是對LLMs和VLMs使用LLMs發(fā)布VIMA24采用模仿學(xué)習(xí)的范式將VLMs谷歌131726。（四反饋模塊主要依賴大模型來加速反饋經(jīng)驗(yàn)的學(xué)習(xí)，形成閉環(huán)的優(yōu)LanGWM27將不及VLMsRobot2829。當(dāng)LLMsSayCan30（五支撐要素—366公里/小時(shí)的擬人化穩(wěn)在手的操作能力和腳的移動(dòng)能力上具有最高的自由度和最強(qiáng)的通用長期器的集成等仍需不斷地提升，例如英國ShadowRobot公司推出的Shadowdexteroushand個(gè)自由度，配備指端觸覺傳感器，但仍然不能實(shí)現(xiàn)與人手相當(dāng)?shù)腅mbodiedScan中提出更大、更真3D132萬條的靈巧機(jī)械手抓取數(shù)據(jù)集10%31。22能數(shù)據(jù)集Open，并用于訓(xùn)練通用具身智能大模型具身智能數(shù)據(jù)按采集方式主要分為真實(shí)數(shù)據(jù)和仿真數(shù)據(jù)兩大類。01的性能的GPU顯卡和大量的計(jì)算資源支持。長期來看，真實(shí)數(shù)據(jù)對處1N的深度應(yīng)用。例如微小差異都會(huì)影響策略的有效性。斯坦福大學(xué)家務(wù)機(jī)器人MobileALOHA32。Unity3DOmniverse、Gazebo3DROS2是目前廣泛使用的機(jī)器人操作系統(tǒng)，通過標(biāo)準(zhǔn)化的接口ROS2集成英特爾的OpenVINOIsaacSim和斯坦福大學(xué)的3D落地部署階段，AI模型的推理和計(jì)算，需要并行計(jì)算、低比特量化、模型壓縮、3D3D通用計(jì)算平臺為具身智能系統(tǒng)的復(fù)雜計(jì)算和可靠運(yùn)行提供有力33NVIDIAJetsonNanoJetsonAGXOrin模組在邊緣端的計(jì)算能力，可與內(nèi)置GPU的服務(wù)器相比。在數(shù)據(jù)流處理層面，需Isaac機(jī)器人平臺通過適配ROS2軟件生態(tài)，引入數(shù)據(jù)分布服務(wù)（DataDistributionService，DDS）（六）安全與隱私保障—確保具身智能執(zhí)行安全可信清華大學(xué)提出人機(jī)協(xié)同框架3D三、具身智能在各領(lǐng)域的應(yīng)用前景具身智能通過模擬人類大腦的“智能”和不同形態(tài)的機(jī)器人“身的重要一步。相比于傳統(tǒng)基于AI視覺及特定場景預(yù)訓(xùn)練的機(jī)器人，。（一工業(yè)制造領(lǐng)域具身智能有望成為新型工業(yè)化的關(guān)鍵核心和有效ChatGPT的能力擴(kuò)展到機(jī)器人領(lǐng)域，通過自然語言和ChatGPTChatGPT來控制機(jī)械臂、無人機(jī)、移動(dòng)機(jī)器人性的安全控制動(dòng)作，降低錯(cuò)誤發(fā)生概率。例如，香港理工大學(xué)利用LLMs發(fā)那科CRX系列協(xié)作機(jī)器人在感知到機(jī)器人本體與人類或其他物體具身智能工業(yè)機(jī)器人將能夠替代人類成為工業(yè)生產(chǎn)線上最柔性的執(zhí)Optimus人形（二Autopilot通過車載傳感器自動(dòng)駕能和智能水平。特斯拉創(chuàng)始人馬斯克宣布將推出無人駕駛出租車Robotaxi（三由其投資的公司AgilityRoboticsDigit，綜合CapraRobotics公司最新推出的HircusBrightpicks公司推出的自動(dòng)移動(dòng)機(jī)器人（AMR）可以無縫進(jìn)行商品訂單識別和揀選具24小時(shí)待機(jī)，隨時(shí)投入生產(chǎn)，同時(shí)憑借公司AgilityRobotics的Digit長達(dá)7.5小時(shí)，并在任務(wù)執(zhí)行時(shí)實(shí)現(xiàn)了100%的自主性，據(jù)稱其工作效率已達(dá)到人類速度的75%，任務(wù)完成成功率高達(dá)97%。（四（類任務(wù)等。例如，1XOpenAI公司已經(jīng)在深度合作，開發(fā)一EVE，可以實(shí)現(xiàn)對人類日常工作環(huán)境的認(rèn)知家務(wù)。20242月，美國谷歌和斯坦福聯(lián)合推出家務(wù)服務(wù)機(jī)器人MobileALOHAC5，集掃地、洗地、20244AstribotS120244月，越韁科技發(fā)布LOVOT會(huì)呈現(xiàn)不同的性格2023年，在日1（五AISTParo治療機(jī)器人，被用于老年護(hù)理和兒童醫(yī)院，提供情機(jī)器人輔助肩關(guān)節(jié)置換手術(shù)的ROSA?Shoulder迪士感表達(dá)的肢體動(dòng)作。韓國公司Hyodol推出專門為老年人服務(wù)的AI持下能夠與老人進(jìn)行完整對話。二是提供人性化的服務(wù)體驗(yàn)。美國GlidanceGlide，采用完全人性化的設(shè)計(jì)，它不會(huì)中保持控制和主動(dòng)性。20242月，日本豐田研究所發(fā)布軟體人體機(jī)器人Punyo（六（NASA）的3