【中銀國(guó)際】智能體專題報(bào)告之一：智能體打開智駕與機(jī)器人的星辰大海

計(jì)算機(jī)|證券研究報(bào)告—行業(yè)深度2023年12月28日智能體專題報(bào)告之一具身智能由智能體（AIagent）和物理實(shí)體（本體）組成。智能體是自主完成設(shè)定目標(biāo)的代理，能迭代學(xué)習(xí)與環(huán)境互動(dòng)。智能體形式包括自動(dòng)駕駛汽車、機(jī)器人等。大模型AI算力投建之下，智能體有望成為消化算力的殺手級(jí)應(yīng)用。智能體賦能之下，人工代碼量能大幅減少并對(duì)未預(yù)先編程的場(chǎng)景進(jìn)行操作。從產(chǎn)業(yè)落地進(jìn)程看，我們判斷未來1-3年內(nèi)自動(dòng)駕駛有望先行落地，搭載智能體的機(jī)器人則在5年期具備商業(yè)化看點(diǎn)。建議關(guān)注整體解決方案和產(chǎn)業(yè)鏈廠商投資機(jī)會(huì)。相關(guān)研究報(bào)告《口岸信息化行業(yè)點(diǎn)評(píng)》20231108《數(shù)據(jù)要素行業(yè)事件點(diǎn)評(píng)》20231025《自動(dòng)駕駛行業(yè)事件點(diǎn)評(píng)》20231024中銀國(guó)際證券股份有限公司具備證券投資咨詢業(yè)務(wù)資格計(jì)算機(jī)證券分析師：楊思睿證券投資咨詢業(yè)務(wù)證書編號(hào)：S13005180聯(lián)系人：劉桐彤tongtong.liu@智能體能夠以自動(dòng)駕駛汽車、機(jī)器人等多種形式落地，或?qū)⒄Q生生成式AI殺手級(jí)應(yīng)用。智能體（AIAgents)是一個(gè)可以通過行動(dòng)能力自主完成設(shè)定的目標(biāo)的代理，能夠不斷迭代學(xué)習(xí)與環(huán)境相互適應(yīng)。智能體與“相關(guān)研究報(bào)告《口岸信息化行業(yè)點(diǎn)評(píng)》20231108《數(shù)據(jù)要素行業(yè)事件點(diǎn)評(píng)》20231025《自動(dòng)駕駛行業(yè)事件點(diǎn)評(píng)》20231024中銀國(guó)際證券股份有限公司具備證券投資咨詢業(yè)務(wù)資格計(jì)算機(jī)證券分析師：楊思睿證券投資咨詢業(yè)務(wù)證書編號(hào)：S13005180聯(lián)系人：劉桐彤tongtong.liu@智能體與物理實(shí)體結(jié)合，能夠大大減少人工代碼量并且對(duì)未預(yù)先編程的場(chǎng)景進(jìn)行操作。區(qū)別于CV、NLP等傳統(tǒng)深度學(xué)習(xí)模型，與“本體”耦合后的智能體不依靠被動(dòng)數(shù)據(jù)投喂，能夠?qū)崿F(xiàn)1）擺脫傳統(tǒng)機(jī)器人依靠工程師代碼進(jìn)行控制的模式，以微軟《ChatGPTforRobotics:DesignPrinciplesandModelAbilities》為例，操控者只需準(zhǔn)備好機(jī)器人底層的函數(shù)庫(kù)，并將任務(wù)目標(biāo)告訴chatgpt，chatgpt即可自動(dòng)完成代碼并指揮具身智能機(jī)器人行動(dòng)。（2）對(duì)從未見過的對(duì)象或場(chǎng)景執(zhí)行操作任務(wù)。依托大模型的涌現(xiàn)能力，具身的智能體能夠從原始訓(xùn)練數(shù)據(jù)中自動(dòng)學(xué)習(xí)并發(fā)現(xiàn)新的、更高層次的特征和模式，在僅僅依靠網(wǎng)絡(luò)數(shù)據(jù)知識(shí)的情況下就可以完成沒有預(yù)先編程的新場(chǎng)景。n自動(dòng)駕駛：端到端大模型存在平臺(tái)級(jí)DriveGPT機(jī)會(huì)。自動(dòng)駕駛落地進(jìn)程快于機(jī)器人，未來1-3年內(nèi)L4、L5級(jí)別的自動(dòng)駕駛技術(shù)有望實(shí)現(xiàn)，而搭載智能體的機(jī)器人則會(huì)在未來5-10年出現(xiàn)。特斯拉FSDV12采用端到端訓(xùn)練方法，與Chatgpt訓(xùn)練模式類似。相比V11，V12代碼量減少99%。同時(shí)，端到端相比分模塊的技術(shù)范式具備更高性能范式。當(dāng)端到端系統(tǒng)達(dá)到與現(xiàn)有技術(shù)水平相當(dāng)?shù)臅r(shí)間點(diǎn)時(shí)，將會(huì)快速超越傳統(tǒng)技術(shù)棧。通過對(duì)比特斯拉FSD和Waymo，我們認(rèn)為端到端技術(shù)奇點(diǎn)已經(jīng)臨近。n機(jī)器人：生成式大模型有望加快底層通用平臺(tái)建設(shè)，打造RobotGPT需要大模型模擬數(shù)據(jù)支持。目前針對(duì)機(jī)器人的不同技能仍需要不同的大模型。而機(jī)器人底層平臺(tái)發(fā)展相對(duì)落后的原因在于多數(shù)研究者仍使用相對(duì)落后的ResNet18深度學(xué)習(xí)架構(gòu)，而非在生成模型的巨大數(shù)據(jù)集上進(jìn)行模型訓(xùn)練。但隨著大模型的迅速發(fā)展，RobotGPT進(jìn)程有望加快。打造RobotGPT的關(guān)鍵是解決數(shù)據(jù)稀缺問題。相比真實(shí)數(shù)據(jù)，仿真數(shù)據(jù)同樣具備完善的數(shù)據(jù)分布，涵蓋commoncase和cornercase，并且能夠以較低成本獲取數(shù)據(jù)，從而規(guī)避數(shù)據(jù)隱私和安全問題。n建議關(guān)注自動(dòng)駕駛平臺(tái)級(jí)機(jī)會(huì)以及工業(yè)仿真環(huán)節(jié)。自動(dòng)駕駛層面，端到端技術(shù)奇點(diǎn)臨近，建議關(guān)注商湯科技（UniAD端到端大模型）；機(jī)器人層面，仿真數(shù)據(jù)有望加快RobotGPT迭代進(jìn)程，建議關(guān)注中科曙光（新一代工業(yè)仿真云平臺(tái)“力源·久宇”）、索辰科技（CAE仿真軟件）、軟通動(dòng)力（iSSMeta數(shù)字仿真推演平臺(tái)）。評(píng)級(jí)面臨的主要風(fēng)險(xiǎn)n技術(shù)迭代不及預(yù)期；數(shù)據(jù)采集不及預(yù)期。2023年12月28日智能體專題報(bào)告之一2智能體：自動(dòng)駕駛汽車與人形機(jī)器人的智能大腦 4智能體不依靠被動(dòng)數(shù)據(jù)投喂，具備自主學(xué)習(xí)的能力 4智能體帶動(dòng)機(jī)器人實(shí)現(xiàn)升維進(jìn)階 5藍(lán)海市場(chǎng)前景廣闊，產(chǎn)業(yè)端加速落地 8藍(lán)海市場(chǎng)前景廣闊，5年市場(chǎng)規(guī)模復(fù)合增速有望超50% 8產(chǎn)業(yè)端加速落地，GEMINI有望接入機(jī)器人 9端到端大模型與數(shù)據(jù)模擬兩大方向值得關(guān)注 端到端大模型有望打造自動(dòng)駕駛領(lǐng)域DRIVEGPT 機(jī)器人：海量數(shù)據(jù)模擬需求有望釋放 2023年12月28日智能體專題報(bào)告之一3 4 4 5 5 6 6 7 8 9 9 10 12 13 14 14 15 16 16 17 17 18 18 19 20 20 21 21 22 222023年12月28日智能體專題報(bào)告之一4智能體：自動(dòng)駕駛汽車與人形機(jī)器人的智能大腦智能體是自主完成設(shè)定的目標(biāo)的代理，能夠不斷迭代學(xué)習(xí)以與環(huán)境相互適應(yīng)。根據(jù)MoPaaS創(chuàng)始人和CEO魯為民博士在《大語言模型時(shí)代的智能體(I)：什么是智能體？》一文中的定義，智能體（AIAgents或Agents)是一個(gè)可以通過行動(dòng)能力自主完成設(shè)定的目標(biāo)的代理。智能體具備一些類似人的智能能力和行為，比如學(xué)習(xí)、推理、決策和執(zhí)行能力。智能體具備感知、觀測(cè)、決策和執(zhí)行四大模塊，通過反饋來感知環(huán)境及其動(dòng)態(tài)變化，并將行動(dòng)策略反饋?zhàn)饔糜诃h(huán)境，以實(shí)現(xiàn)不斷迭代學(xué)習(xí)與環(huán)境相互適應(yīng)。圖表1.智能體不斷迭代學(xué)習(xí)以與環(huán)境相互適應(yīng)資料來源：魯為民《大語言模型時(shí)代的智能體(I)：什么是智能體？》，自動(dòng)駕駛汽車、人形機(jī)器人都可成為智能體的載體。根據(jù)智元機(jī)器人CTO、首席架構(gòu)師稚暉君的定義，智能體與“本體”耦合后，即形成具備物理實(shí)體的、且能夠在復(fù)雜環(huán)境中執(zhí)行任務(wù)的智能系統(tǒng)。其中本體作為實(shí)際的執(zhí)行者（通常是具有物理實(shí)體的機(jī)器人），在物理或者虛擬世界進(jìn)行感知和任務(wù)執(zhí)行；而智能體則承擔(dān)智能核心的作用，負(fù)責(zé)感知、理解、決策、控制等工作。盧策吾教授在機(jī)器之心AI科技年會(huì)上發(fā)表的《具身智能是通往AGI值得探索的方向》中提到，智能體通過感知器和執(zhí)行器與環(huán)境進(jìn)行交互，能夠?qū)崿F(xiàn)獲取信息、理解問題等功能，并根據(jù)環(huán)境的變化做出相應(yīng)的決策和行動(dòng)。根據(jù)選擇的不同具身方法，智能體能夠以機(jī)器人、自動(dòng)駕駛汽車等多種形式表現(xiàn)。圖表2.智能體和物理實(shí)體耦合后形成具身智能資料來源：盧策吾《具身智能是通往AGI值得探索的方向》，中銀證券2023年12月28日智能體專題報(bào)告之一5智能體相比傳統(tǒng)深度學(xué)習(xí)模型具備自主學(xué)習(xí)的能力。CV、NLP等傳統(tǒng)深度學(xué)習(xí)模型主要通過第三視角以互聯(lián)網(wǎng)圖像、視頻或文本等數(shù)據(jù)集進(jìn)行學(xué)習(xí)，其訓(xùn)練主要依靠被動(dòng)數(shù)據(jù)投喂。而具身的智能體以第一視角進(jìn)行感知，并與環(huán)境交互，不依靠被動(dòng)數(shù)據(jù)投喂，具備主動(dòng)學(xué)習(xí)的能力以及較強(qiáng)的泛化性。1963年，麻省理工學(xué)院教授理查德·赫爾德通過對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)：當(dāng)貓的腳被綁住放進(jìn)盒子里時(shí)，即使其能正常觀察環(huán)境，但并不能發(fā)育出正常的視覺能力；而另一只可以自由行走的貓?jiān)谕耆嗤沫h(huán)境下，則發(fā)育出了正常的視覺能力，因而他認(rèn)為只有“具身”的訓(xùn)練，才能真正學(xué)習(xí)與理解外部的環(huán)境與信息。圖表3.具身的智能體以第一視角進(jìn)行學(xué)習(xí)資料來源：盧策吾《具身智能是通往AGI值得探索的方向》，中銀證券由智能體賦能的機(jī)器人以任務(wù)完成為導(dǎo)向，相比傳統(tǒng)機(jī)器人大大減少了編程的需要。傳統(tǒng)模式下，機(jī)器人以程序執(zhí)行為導(dǎo)向，通常需要經(jīng)過任務(wù)定義、將任務(wù)分解為動(dòng)作、編寫程序以及執(zhí)行任務(wù)等流程。工程師需要構(gòu)建高低級(jí)指令代碼，并且隨時(shí)更改代碼以修正機(jī)器人行動(dòng)，整個(gè)過程耗時(shí)長(zhǎng)且成本昂貴。而搭載智能體的機(jī)器人以任務(wù)目標(biāo)為導(dǎo)向，不僅僅是機(jī)械地完成程序。具身的智能體可以根據(jù)環(huán)境變化，對(duì)行動(dòng)細(xì)節(jié)進(jìn)行實(shí)時(shí)修正，其自主學(xué)習(xí)能力能夠消除在特定條件下為特定任務(wù)反復(fù)編程的需要。圖表4.搭載智能體后的機(jī)器人無需進(jìn)行大量編程資料來源：Microsoft《ChatGPTforRobotics:DesignPrinciplesandModelAbiliti2023年12月28日智能體專題報(bào)告之一6微軟在《ChatGPTforRobotics:DesignPrinciplesandModelAbilities》中提出，大語言模型（LLM）能給機(jī)器人提供常識(shí)，非工程師也可對(duì)機(jī)器人進(jìn)行控制。操控者只需準(zhǔn)備好機(jī)器人底層的函數(shù)庫(kù)，并對(duì)其進(jìn)行描述。將任務(wù)目標(biāo)告訴ChatGPT后，ChatGPT即可自動(dòng)完成代碼并應(yīng)用在具身智能機(jī)器人上。以居家機(jī)器人為例，設(shè)計(jì)者只需寫出機(jī)器人進(jìn)行物品定位、移動(dòng)到某一位置、抓取物體以及做飯的函數(shù)庫(kù)，然后告知ChatGPT相應(yīng)函數(shù)的作用以及要到達(dá)的目標(biāo)，ChatGPT就會(huì)自動(dòng)寫出相應(yīng)代碼。圖表5.ChatGPT可自動(dòng)完成代碼并應(yīng)用在具身智能機(jī)器人上資料來源：Microsoft《ChatGPTforRobotics:DesignPrinciplesandModelAbiliti搭載智能體后機(jī)器人涌現(xiàn)能力顯著提升，可完成沒有預(yù)先編程的新場(chǎng)景。7月谷歌DeepMind推出機(jī)andImagemodel（PaLI-X）和PathwaysLanguagemodelEmbodied（PaLM-E）為支柱，通過輸入圖像生成一系列自然語言文本的標(biāo)記。RT-2可用于執(zhí)行視覺問答、圖像字幕或?qū)ο笞R(shí)別等任務(wù)。RT-2展現(xiàn)了較好的涌現(xiàn)能力，即從原始訓(xùn)練數(shù)據(jù)中自動(dòng)學(xué)習(xí)并發(fā)現(xiàn)新的、更高層次的特征和模式的能力。圖表6.搭載智能體后機(jī)器人涌現(xiàn)能力顯著提升中銀證券在谷歌具身智能試驗(yàn)中，機(jī)器人對(duì)從未見過的對(duì)象或場(chǎng)景上執(zhí)行操作任務(wù)，在僅依據(jù)網(wǎng)絡(luò)數(shù)據(jù)知識(shí)的情況下，機(jī)器人可完成諸如“拿起即將從桌上掉下來的袋子”或“將香蕉移動(dòng)到2加1的和”等任務(wù)。實(shí)驗(yàn)結(jié)果顯示，RT-2對(duì)于未曾見過的情景的平均成功率達(dá)60%，相比RT-1提升了3倍以上。2023年12月28日智能體專題報(bào)告之一7圖表7.RT-2涌現(xiàn)成功率達(dá)60%2023年12月28日智能體專題報(bào)告之一8藍(lán)海市場(chǎng)前景廣闊，產(chǎn)業(yè)端加速落地具身智能體市場(chǎng)空間廣闊，5年市場(chǎng)規(guī)模CAGR有望超50%。智能體目前仍處于發(fā)展初期階段，其與機(jī)器人、自動(dòng)駕駛、智能傳感器和智能設(shè)備、增強(qiáng)現(xiàn)實(shí)（AR）和虛擬現(xiàn)實(shí)（VR）等多個(gè)行業(yè)相關(guān)，市場(chǎng)空間廣闊。以人形機(jī)器人市場(chǎng)規(guī)模進(jìn)行參考，據(jù)MarketsandMarkets測(cè)算，到2028年全球人形機(jī)器人市場(chǎng)規(guī)模將達(dá)到138億美元，復(fù)合增長(zhǎng)率預(yù)計(jì)為50.2%。圖表8.2023年-2028年人型機(jī)器人市場(chǎng)規(guī)模及增速資料來源：MarketsandMarkets，中銀證券政策密集催化。2023年以來，多項(xiàng)智能體相關(guān)政策陸續(xù)發(fā)布。5月，北京市發(fā)布《北京市促進(jìn)通用人工智能創(chuàng)新發(fā)展的若干措施（2023-2025年征求意見稿）》，提出要探索具身智能、通用智能體和類腦智能等通用人工智能新路徑。同期，上海發(fā)布《上海市推動(dòng)制造業(yè)高質(zhì)量發(fā)展三年行動(dòng)計(jì)劃(2023-2025年)》，提出要瞄準(zhǔn)人工智能技術(shù)前沿，建設(shè)國(guó)際算法創(chuàng)新基地，加快人形機(jī)器人創(chuàng)新發(fā)展。湖北、深圳、廣東等省市紛紛加快布局，促進(jìn)產(chǎn)業(yè)高速發(fā)展。政策帶動(dòng)下，智能體產(chǎn)業(yè)進(jìn)入快車道。2023年12月28日智能體專題報(bào)告之一9圖表9.智能體相關(guān)政策(2023-2024）》資料來源：上海市、北京市、深圳市、廣東省、湖北省人民政府，成都市經(jīng)濟(jì)和信息化局，中銀證券英偉達(dá)推出多模態(tài)具身智能系統(tǒng)NvidiaVIMA。英偉達(dá)創(chuàng)始人黃仁勛在ITFWorld2023半導(dǎo)體大會(huì)上表示，AI下一個(gè)浪潮將是“具身智能”，具身智能將開啟新的應(yīng)用和市場(chǎng)，如智能機(jī)器人、智能醫(yī)療、智能教育等。目前英偉達(dá)已推出多模態(tài)具身智能系統(tǒng)NvidiaVIMA，并在NVIDIAAI上運(yùn)行。NvidiaVIMA能在視覺文本提示的指導(dǎo)下，執(zhí)行復(fù)雜任務(wù)，如在虛擬環(huán)境中搭建樂高積木、在真實(shí)環(huán)境中操作機(jī)器人手臂等。圖表10.VIMA在NVIDIAAI上運(yùn)行資料來源：英偉達(dá)官網(wǎng)，中銀證券2023年12月28日智能體專題報(bào)告之一10谷歌打造“通才”AI模型PaLM-E。3月，谷歌聯(lián)合柏林工業(yè)大學(xué)團(tuán)隊(duì)發(fā)布PaLM-E（PathwaysLanguageModelwithEmbodied參數(shù)量高達(dá)5620億。PaLM-E是PaLM-540B語言模型與ViT-22B視覺Transformer模型的結(jié)合，它基于谷歌現(xiàn)有的“PaLM”大語言模型(類似于ChatGPT背后的技術(shù)）。谷歌通過添加感官信息和機(jī)器人控制，使PaLM“具身化”。PaLM-E可以連續(xù)觀察圖像信息或傳感器數(shù)據(jù)，并將它們編碼為一系列與語言標(biāo)記大小相同的向量，使得模型以與處理語言相同的方式“理解”感官信息。同時(shí)，PaLM-E還借鑒了谷歌之前在ViT-22B視覺Transformer模型上的工作。ViT-22B接受過各類視覺任務(wù)的訓(xùn)練，如圖像分類、對(duì)象檢測(cè)、語義分割和圖像字幕。作為多模態(tài)具身視覺語言模型（VLM），PaLM-E不僅可以理解圖像，還能理解、生成語言，還可以執(zhí)行各種復(fù)雜的機(jī)器人指令而無需重新訓(xùn)練。當(dāng)被要求執(zhí)行“把抽屜里的薯片拿給我”的任務(wù)的時(shí)候，PaLM-E首先對(duì)機(jī)器人相機(jī)的數(shù)據(jù)進(jìn)行分析，而非對(duì)場(chǎng)景進(jìn)行預(yù)處理（消除了人類預(yù)處理或注釋數(shù)據(jù)的需要以實(shí)現(xiàn)更自主的機(jī)器人控制。隨后PaLM-E引導(dǎo)機(jī)器人從廚房取出薯片袋，當(dāng)研究人員從機(jī)器人拿走薯片后，機(jī)器人仍然能找到薯片并再次抓取它們。圖表11.搭載PaLM-E的機(jī)器人無需對(duì)場(chǎng)景進(jìn)行預(yù)處理Gemini具備強(qiáng)泛化能力，有望成為機(jī)器人智能體。12月6日，谷歌原生多模態(tài)大模型Gemini發(fā)布。Gemini可泛化并無縫理解、操作和組合不同類型的信息，包括文本、代碼、音頻、圖像和視頻。它包括三種量級(jí)：能力最強(qiáng)的GeminiUltra，適用于多任務(wù)的GeminiPro以及適用于特定任務(wù)和端側(cè)的GeminiNano。其中Ultra版可用于大型數(shù)據(jù)中心等，屬于處理高復(fù)雜度任務(wù)的模型；Pro版則用于各種擴(kuò)展任務(wù)，屬于日常使用模型，目前已搭載于谷歌的對(duì)話機(jī)器人Bard中；Nano版則是應(yīng)用于智能手機(jī)等移動(dòng)設(shè)備終端上的模型。與BERT等模型相比，Gemini具有更多的參數(shù)和更深的網(wǎng)絡(luò)結(jié)構(gòu)，此外Gemini還采用了更先進(jìn)的訓(xùn)練方法，例如知識(shí)蒸餾和自監(jiān)督學(xué)習(xí)等，模型泛化能力顯著提升。在GLUE和SQuAD等多項(xiàng)自然語言處理基測(cè)試中，Gemini分別取得了94.1%和93.3%的準(zhǔn)確率。谷歌人工智能高管哈薩比斯在接受雜志W(wǎng)ired采訪時(shí)表示，谷歌DeepMind已經(jīng)在研究如何將Gemini與機(jī)器人技術(shù)結(jié)合起來，與世界進(jìn)行物理互動(dòng)。2023年12月28日智能體專題報(bào)告之一11圖表12.Gemini性能顯著提升資料來源：DanHendrycks官方Twitter，中銀證券阿里千問大模型有望接入工業(yè)機(jī)器人。在第六屆數(shù)字中國(guó)建設(shè)峰會(huì)上，阿里巴巴董事會(huì)主席兼CEO、阿里云智能集團(tuán)CEO張勇透露:阿里云工程師正在實(shí)驗(yàn)將千問大模型接入工業(yè)機(jī)器人。接入千問大模型后，在釘釘對(duì)話框輸入人類語言，操作者即可遠(yuǎn)程指揮機(jī)器人工作。通過釘釘對(duì)話框向機(jī)器人發(fā)送“我渴了，找點(diǎn)東西喝吧。”的指令后，千問大模型在后臺(tái)自動(dòng)編寫代碼發(fā)給機(jī)器人。機(jī)器人對(duì)周邊環(huán)境進(jìn)行識(shí)別，在找到水后，自動(dòng)完成移動(dòng)、抓取、配送等一系列動(dòng)作，并順利遞送給工程師。圖表13.千問大模型遠(yuǎn)程指揮機(jī)器人工作資料來源：阿里云《阿里云物聯(lián)網(wǎng)工程師正在實(shí)驗(yàn)將千問大模型接入工業(yè)機(jī)器人》，中銀證券國(guó)內(nèi)首款開源鴻蒙機(jī)器人發(fā)布。12月5日，國(guó)內(nèi)首款可跳躍的開源鴻蒙人形機(jī)器人在深圳發(fā)布，該款機(jī)器人人形機(jī)器人KUAVO（夸父）由樂聚自主研發(fā)，重量約45kg，全身自由度26個(gè)，步速最高可達(dá)4.6km/h，快速連續(xù)跳躍高度超過20cm，是國(guó)內(nèi)首款可跳躍、可適應(yīng)多地形行走、并且可實(shí)現(xiàn)量產(chǎn)的開源鴻蒙人形機(jī)器人。目前，夸父已進(jìn)入全面量產(chǎn)階段，并在科研教育和特種作業(yè)領(lǐng)域率先實(shí)現(xiàn)商業(yè)化落地。樂聚機(jī)器人也有望因此成為國(guó)內(nèi)首家實(shí)現(xiàn)大機(jī)器人量產(chǎn)交付單位。2023年12月28日智能體專題報(bào)告之一12圖表14.國(guó)內(nèi)首款開源鴻蒙機(jī)器人發(fā)布2023年12月28日智能體專題報(bào)告之一13端到端大模型與數(shù)據(jù)模擬兩大方向值得關(guān)注自動(dòng)駕駛智能體短期內(nèi)有望快速落地，機(jī)器人智能體接力打開中長(zhǎng)期想象空間。根據(jù)北京智源人工智能研究院院長(zhǎng)、北大多媒體信息處理國(guó)家重點(diǎn)實(shí)驗(yàn)室主任黃鐵軍在2023STIC科技創(chuàng)變者大會(huì)上的演講，隨著技術(shù)迭代速度加快，1-3年內(nèi)L4、L5級(jí)別的自動(dòng)駕駛技術(shù)有望實(shí)現(xiàn)，而搭載智能體的機(jī)器人則會(huì)在未來5-10年出現(xiàn)，并對(duì)制造業(yè)進(jìn)行顛覆與替代，同時(shí)進(jìn)入普通家庭ToC場(chǎng)景。我們認(rèn)為短期內(nèi)，自動(dòng)駕駛有望成為具身智能體的首個(gè)落地方向，端到端大模型技術(shù)有望快速超越現(xiàn)有范式，奇點(diǎn)已經(jīng)臨近；中長(zhǎng)期生成式模型的快速迭代有望加快RobotRPT進(jìn)程，產(chǎn)業(yè)存在大量模擬數(shù)據(jù)需求。特斯拉FSDV12采用端到端訓(xùn)練方法，與ChatGPT訓(xùn)練模式類似。ChatGPT采用端到端的訓(xùn)練方法，其關(guān)鍵基礎(chǔ)是生成式大規(guī)模語言模型。ChatGPT以生成式的自監(jiān)督學(xué)習(xí)為基礎(chǔ)，在大量的未標(biāo)注文本數(shù)據(jù)上訓(xùn)練模型，使其能夠?qū)W習(xí)語言的普遍規(guī)律和語言結(jié)構(gòu)。而特斯拉FSDV12同樣采用端到端訓(xùn)練方法，與ChatGPT技術(shù)路徑一致。在常規(guī)自動(dòng)駕駛系統(tǒng)開發(fā)中，探測(cè)、跟蹤、靜態(tài)環(huán)境建圖、高精地圖定位等子模塊分別由不同的團(tuán)隊(duì)分擔(dān)，各團(tuán)隊(duì)負(fù)責(zé)各自模塊的結(jié)果輸出，因此各個(gè)模塊之間存在明顯的界限和區(qū)隔，使得模塊容易存在局部最優(yōu)，而非全局最優(yōu)的情況。而端到端的設(shè)計(jì)則是將各個(gè)模塊用可微分的方式連接起來，使任務(wù)得到了聯(lián)合和全局優(yōu)化。除此之外，端到端前期不需海量代碼或提前設(shè)計(jì)規(guī)則，只需不斷輸入人類駕駛數(shù)據(jù)，系統(tǒng)就能不斷更新迭代。圖表15.經(jīng)典范式和端到端范式之間的差異注：虛線箭頭表示在傳統(tǒng)范式下，每個(gè)組件的輸出直接輸入到后續(xù)單元；實(shí)線箭頭表示端到端模式下，任務(wù)從感知輸入到?jīng)Q策模塊后，繼續(xù)反向傳播以實(shí)現(xiàn)全局優(yōu)化2023年12月28日智能體專題報(bào)告之一14FSDV12神經(jīng)網(wǎng)絡(luò)取代傳統(tǒng)分模塊設(shè)計(jì)。特斯拉宣布已開始向員工推出完全自動(dòng)駕駛（FSD）V12版本。特斯拉FSDV12使用全球各地?cái)?shù)百萬特斯拉車身視頻作為訓(xùn)練材料來模仿人類司機(jī)的駕駛決策，采用“光子進(jìn)入，控制輸出（photonin,controlsout）”。目前常見自動(dòng)駕駛系統(tǒng)多采用分模塊設(shè)計(jì)，即分為感知、決策、控制三個(gè)模塊。車輛通過傳感器感知周遭環(huán)境，確定車輛位置、速度、加速度，并根據(jù)識(shí)別出來的語義進(jìn)行行駛路線的規(guī)劃和橫縱向的決策，最后通過轉(zhuǎn)向和制動(dòng)機(jī)構(gòu)控制車輛行駛，各任務(wù)內(nèi)部采用各自的算法模型，感知、決策與控制之間界限明確。而特斯拉將規(guī)劃和控制由代碼改成了神經(jīng)網(wǎng)絡(luò)形式，與感知層的神經(jīng)網(wǎng)絡(luò)合并成了一個(gè)大網(wǎng)絡(luò)，僅利用一套神經(jīng)網(wǎng)絡(luò)就能處理所有輸入信號(hào)，并輸出駕駛決策。圖表16.特斯拉FSDv12神經(jīng)網(wǎng)絡(luò)架構(gòu)資料來源：2022TeslaAIDay視頻，中銀證券FSDV12代碼量相比V11減少99%。相比V11，V12最主要的更新在于其99%決策都是由神經(jīng)網(wǎng)絡(luò)給出，這一更新減少了車機(jī)系統(tǒng)對(duì)代碼的依賴，使其更加接近人類司機(jī)的決策過程。這是特斯拉首次放棄代碼，使用神經(jīng)網(wǎng)絡(luò)進(jìn)行車輛控制。與V11相比，V11使用超過30萬行代碼，依靠工程師硬核編碼對(duì)車輛進(jìn)行控制。而FSDV12則可通過神經(jīng)網(wǎng)絡(luò)控制轉(zhuǎn)向、加速和制動(dòng)。目前，F(xiàn)SDV12的C++代碼只有2000行。圖表17.特斯拉FSDv11神經(jīng)網(wǎng)絡(luò)架構(gòu)資料來源：2021TeslaAIDay視頻，中銀證券2023年12月28日智能體專題報(bào)告之一15具備核心數(shù)據(jù)積累，影子模式有望支撐神經(jīng)網(wǎng)絡(luò)加速訓(xùn)練。特斯拉影子模式的運(yùn)作方式是在有人駕駛狀態(tài)下，運(yùn)行自動(dòng)駕駛系統(tǒng)和傳感器，系統(tǒng)雖不參與車輛控制，但仍持續(xù)進(jìn)行模擬決策，并把決策與駕駛員行為進(jìn)行對(duì)比。兩者不一致時(shí)，系統(tǒng)將場(chǎng)景判定為“極端工況”，進(jìn)而觸發(fā)數(shù)據(jù)回傳。因而特斯拉的使用用戶越多,收集的數(shù)據(jù)就越多。圖表18.特斯拉影子模式示意圖資料來源：2019TeslaAutonomyDay視頻，中銀證券大模型的訓(xùn)練依賴海量數(shù)據(jù)的提供，提供的數(shù)據(jù)越多，訓(xùn)練質(zhì)量就越優(yōu)異。在特斯拉2023年股東大會(huì)上，馬斯克透露FSD累計(jì)行駛里程已經(jīng)接近2億英里。據(jù)LexFriedman發(fā)布的數(shù)據(jù)顯示，截至2020年1月16日，特斯拉的所有汽車行駛里程達(dá)到191億英里，其中自動(dòng)駕駛里程為22億英里。相比之下，同時(shí)期Waymo路測(cè)里程約為1000萬英里，特斯拉于數(shù)據(jù)儲(chǔ)備方面具明顯優(yōu)勢(shì)。馬斯克發(fā)現(xiàn)，當(dāng)輸入超過100萬個(gè)視頻后，基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)駕駛系統(tǒng)開始表現(xiàn)良好。目前FSDV12已使用包含1000萬個(gè)視頻的數(shù)據(jù)集。并且特斯拉在全球各地近200萬輛的車隊(duì)，每天也會(huì)提供約1600億幀視頻用于訓(xùn)練。特斯拉預(yù)計(jì)，未來用于訓(xùn)練的視頻將達(dá)到數(shù)十億幀。2023年12月28日智能體專題報(bào)告之一16圖表19.特斯拉影子模式加速數(shù)據(jù)采集奇點(diǎn)臨近，端到端系統(tǒng)有望超越現(xiàn)有范式。根據(jù)小鵬XPILOT總監(jiān)PatrickLiu在CVPR2023上的演講，分模塊的方式允許開發(fā)人員以最少的努力快速工作，但通常會(huì)導(dǎo)致自動(dòng)駕駛性能上限為80%，而端到端以全局最優(yōu)為導(dǎo)向，相比傳統(tǒng)分模塊的范式具備更高上限。然而在端到端系統(tǒng)起步初期，需要重復(fù)多次才能不斷突破性能天花板。從圖中我們可以看出，當(dāng)端到端系統(tǒng)達(dá)到現(xiàn)有技術(shù)水平的時(shí)間點(diǎn)后，將會(huì)快速超越技術(shù)棧。圖表20.端到端系統(tǒng)有望超越現(xiàn)有范式資料來源：PatrickLangechuanLiu'stalkatCVPR23E2EADWorkshop，中銀證券在8月26日馬斯克45分鐘直播試駕中，F(xiàn)SDBetaV12在面對(duì)之前從未見過的建筑、道路標(biāo)志時(shí)能夠進(jìn)行識(shí)別，并輕松繞過障礙物。對(duì)于同樣未經(jīng)過編程的環(huán)形交叉路口概念，F(xiàn)SDV12順利完成轉(zhuǎn)彎行駛。只需輸入目的地地址，F(xiàn)SDV12就可自動(dòng)行駛到達(dá)目的地，并將車停到合適的位置。YouTube博主CallasEV將特斯拉FSD與Waymo進(jìn)行了長(zhǎng)距離駕駛對(duì)比。從同一地點(diǎn)出發(fā)到同一終點(diǎn)，Waymo全程用時(shí)54分42秒，而特斯拉的路線用時(shí)僅為26分27秒，用時(shí)不到Waymo的一半。2023年12月28日智能體專題報(bào)告之一17圖表21.特斯拉路線用時(shí)僅為Waymo一半資料來源：Youtube頻道CallasEV，中銀證券UniAD成為國(guó)內(nèi)首個(gè)端到端自動(dòng)駕駛大模型。6月21日，全球人工智能和計(jì)算機(jī)視覺領(lǐng)域頂級(jí)國(guó)際會(huì)議CVPR2023宣布由上海人工智能實(shí)驗(yàn)室、武漢大學(xué)及商湯科技聯(lián)合發(fā)表的論文《以路徑規(guī)劃為導(dǎo)向的自動(dòng)駕駛》（Planning-orientedAutonomousDriving，UniAD）獲最佳論文獎(jiǎng)。在UniAD中，研究人員首次將感知、預(yù)測(cè)和規(guī)劃等三大類主任務(wù)、六小類子任務(wù)（目標(biāo)檢測(cè)、目標(biāo)跟蹤、場(chǎng)景建圖、軌跡預(yù)測(cè)、柵格預(yù)測(cè)和路徑規(guī)劃）整合到一個(gè)基于Transformer的端到端網(wǎng)絡(luò)框架下，實(shí)現(xiàn)了全棧關(guān)鍵任務(wù)駕駛通用模型。在nuScenes真實(shí)場(chǎng)景數(shù)據(jù)集下，UniAD的所有任務(wù)均達(dá)到領(lǐng)域最佳性能（State-of-the-art，SOTA尤其是預(yù)測(cè)和規(guī)劃效果方面。其中，多目標(biāo)跟蹤準(zhǔn)確率超越SOTA20%，車道線預(yù)測(cè)準(zhǔn)確率提升30%，預(yù)測(cè)運(yùn)動(dòng)位移和規(guī)劃的誤差則分別降低38%和28%。圖表22.UniAD網(wǎng)絡(luò)架構(gòu)機(jī)器人領(lǐng)域尚未形成底層通用大模型。根據(jù)達(dá)闥機(jī)器人創(chuàng)始人、董事長(zhǎng)兼CEO黃曉慶9月20日在2023亞布力智能制造發(fā)展論壇上的發(fā)言，RobotGPT是智能制造領(lǐng)域需要的各種垂直的、從事各種生產(chǎn)的通用機(jī)器人的大腦，可以傳承各種長(zhǎng)期積累的工作經(jīng)驗(yàn)，且不需要人類編程，只需要人類以自然語言的方式來進(jìn)行記錄。但當(dāng)下機(jī)器人在不同的技能情況下仍需要不同的大模型，底層通用平臺(tái)尚未形成。目前機(jī)器人領(lǐng)域主流的具身智能大模型主要包括谷歌PaLM-E、RoboticTransformer以及LM-Nav等，這些大模型各自針對(duì)不同細(xì)分場(chǎng)景。2023年12月28日智能體專題報(bào)告之一18圖表23.主流機(jī)器人智能體對(duì)比模型架構(gòu)入RT-2被主要應(yīng)用于控制場(chǎng)景，具備較+視覺導(dǎo)航模型（VNM）銀證券PaLM-E在規(guī)劃方面優(yōu)勢(shì)突出。PaLM-E能夠進(jìn)行長(zhǎng)期推理規(guī)劃，抵抗任務(wù)期間可能發(fā)生的中斷。在處理機(jī)器人任務(wù)時(shí)，PaLM-E獲取到用戶使用自然語言定義的長(zhǎng)期任務(wù)目標(biāo)后，會(huì)根據(jù)當(dāng)前機(jī)器人的狀態(tài)和感知信息，生成逐步的低級(jí)文本指令，并交由下游控制模塊執(zhí)行。根據(jù)每一步的執(zhí)行結(jié)果及場(chǎng)景的變化，機(jī)器人會(huì)重新對(duì)下一步進(jìn)行規(guī)劃。在谷歌視頻演示中，當(dāng)研究人員從機(jī)器人手中抓取薯片并移動(dòng)它們時(shí)，機(jī)器人能夠再次找到薯片并抓取它們。圖表24.PaLM-E在在規(guī)劃方面優(yōu)勢(shì)突出RoboticTransformer主要針對(duì)控制場(chǎng)景。RoboticTransformer2（RT-2）是視覺語言行動(dòng)（VLA）模型，它從網(wǎng)絡(luò)和機(jī)器人數(shù)據(jù)中學(xué)習(xí)，并將這些知識(shí)轉(zhuǎn)化為通用指令以控制機(jī)器人。RT-2具備較強(qiáng)的思維鏈能力，可以完成多步驟邏輯推理，能夠用復(fù)雜文本指令直接操控機(jī)械臂，中間不再需要將其轉(zhuǎn)化成簡(jiǎn)單指令，通過自然語言就可得到最終的行動(dòng)。在面對(duì)圖像輸入時(shí)，RT-2模型在輸入圖像數(shù)據(jù)后會(huì)首先輸出語言規(guī)劃結(jié)果，再把語言規(guī)劃結(jié)果分解成動(dòng)作，控制機(jī)器人完成。RT-2在物流、制造、安保等領(lǐng)域應(yīng)用廣泛。2023年12月28日智能體專題報(bào)告之一19圖表25.RT-2架構(gòu)LM-Nav主要針對(duì)導(dǎo)航場(chǎng)景。LM-Nav主要基于大型語言模型（LLM）、視覺和語言模型（VLM）以及視覺導(dǎo)航模型（VNM）。其中VNM負(fù)責(zé)根據(jù)環(huán)境中的觀測(cè)值構(gòu)建拓?fù)鋱D，LLM用于提取指令中的地標(biāo)，VLM對(duì)所描述的地標(biāo)和圖像的聯(lián)合概率分布進(jìn)行推斷。之后系統(tǒng)利用VLM的概率分布和VNM推斷的圖連接性，從環(huán)境中檢索出最優(yōu)指令路徑，并由VNM進(jìn)行執(zhí)行。在沒有微調(diào)的情況下，LMNav可實(shí)現(xiàn)無需對(duì)機(jī)器人導(dǎo)航數(shù)據(jù)進(jìn)行人工注釋。2023年12月28日智能體專題報(bào)告之一20圖表26.LM-Nav架構(gòu)銀證券RobotGPT與ChatGPT技術(shù)路徑相似，生成模型有望加快RobotGPT進(jìn)程。RobotGPT不需人類編程，只需人類用自然語言的方式來進(jìn)行記錄。根據(jù)《RobotGPT:FromChatGPTtoRobotIntelligence》，RobotGPT框架圖思路類似于ChatGPT：ChatGPT的原理可理解為文字-文字的接龍，而RobotGPT原理是文字/語言/各類傳感器接收的信號(hào)-動(dòng)作接龍，兩者皆是通過深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)構(gòu)建端對(duì)端圖表27.RobotGPT架構(gòu)2023年12月28日智能體專題報(bào)告之一21OpenAI領(lǐng)投的人形機(jī)器人公司1XTechnologiesAI副總裁EricJang在《我們?nèi)绾巫寵C(jī)器人更像生成模型？》中提到，機(jī)器人相比生成式模型發(fā)展相對(duì)落后的原因在于大多數(shù)研究者仍在使用相對(duì)落后的ResNet18深度學(xué)習(xí)架構(gòu)，而非在生成模型的巨大的數(shù)據(jù)集上進(jìn)行模型訓(xùn)練。但隨著生成模型的迅速發(fā)展，RobotGPT進(jìn)程有望加快。2018年6月，OpenAI發(fā)布GPT-1模型，參數(shù)達(dá)1.1億。同年11月，GPT-2模型發(fā)布，參數(shù)提升至15億。2020年5月，GPT-3的beta版本推出，模型參數(shù)迅速提升至1750億。隨后大模型發(fā)展開始進(jìn)入到百花齊放階段。2021年1月，谷歌推出SwitchTransformer，參數(shù)量達(dá)1.6萬億，是史上首個(gè)萬億級(jí)語言模型；同年12月，谷歌推出了1.2萬億參數(shù)的通用稀疏語言模型GLaM。2022年5月，MetaAI發(fā)布超大規(guī)模語言模型-OPT-175B，是參數(shù)超過千億級(jí)別的開放模型。2023年12月，谷歌Gemini原生多模態(tài)大模型發(fā)布，模型分為Ultra、Pro和Nano三個(gè)規(guī)格，目前GeminiPro模型已整合到GoogleAIStudio和VertexAI中，可供企業(yè)在開發(fā)中使用。圖表28.2020年以來大模型發(fā)展歷程資料來源：RebeccaLi,etal.《CurrentBestPracticesforTrainin生成模型正逐步運(yùn)用到機(jī)器人大模型中。2023年7月，斯坦福大學(xué)李飛飛團(tuán)隊(duì)發(fā)布VoxPoser系統(tǒng)，將大模型ChatGPT4+VLM，接入至機(jī)器人，可在無需額外數(shù)據(jù)和訓(xùn)練的情況下，將復(fù)雜指令轉(zhuǎn)化為具體的行動(dòng)規(guī)劃。在給定環(huán)境信息和要執(zhí)行的自然語言指令后，LLM（大語言模型）直接相應(yīng)內(nèi)容編寫代碼，并將所生成代碼與VLM（視覺語言模型）進(jìn)行交互，指導(dǎo)系統(tǒng)生成相應(yīng)操作指示地圖，即3DValueMap，最后，運(yùn)動(dòng)規(guī)劃器合成6-DoF動(dòng)作，整個(gè)流程無需對(duì)模型進(jìn)行任何額外的訓(xùn)練。圖表29.VoxPoser的現(xiàn)實(shí)運(yùn)用場(chǎng)景證券2023年12月28日智能體專題報(bào)告之一22打造RobotGPT的關(guān)鍵是解決數(shù)據(jù)稀缺問題。RobotGPT的泛化能力與LLM大模型的贗本數(shù)量直接相關(guān)。根據(jù)《PaLM-E:AnEmbodiedMultimodalLanguageModel》，谷歌PaLM-E62B的LLM相對(duì)于8B的LLM體現(xiàn)了更好的out-of-distribution泛化性，LLM數(shù)據(jù)量的提升顯著增強(qiáng)了RObotGPT泛化性。目前通過大模型的涌現(xiàn)能力和思維鏈能力，可以使部分任務(wù)零樣本學(xué)習(xí)到，但Voxposer機(jī)器人還是局限在桌面上進(jìn)行操作，如果要實(shí)現(xiàn)更廣闊空間的擴(kuò)展，仍需要高質(zhì)量數(shù)據(jù)做支撐。圖表30.大模型參數(shù)與訓(xùn)練數(shù)據(jù)規(guī)模呈正相關(guān)數(shù)據(jù)仿真有望成為產(chǎn)業(yè)突破關(guān)鍵。區(qū)別于非具身智能，具身智能需要實(shí)際部署到真實(shí)環(huán)境中，才能夠采集數(shù)據(jù)，但目前探索真實(shí)環(huán)境成本高昂且需要海量數(shù)據(jù)。智元機(jī)器人CTO、首席架構(gòu)師稚暉君在接受媒體甲子光年的采訪中表示，現(xiàn)在LLM的預(yù)訓(xùn)練通常需要web-scale級(jí)別的數(shù)據(jù)，而具身智能的場(chǎng)景更為復(fù)雜，數(shù)據(jù)獲取難度進(jìn)一步加大。而數(shù)據(jù)仿真具備完善的數(shù)據(jù)分布，不僅涵蓋commoncase，同時(shí)也涵蓋大量cornercase，尤其是現(xiàn)實(shí)中獲取難度極大，獲取代價(jià)極高的數(shù)據(jù)。其數(shù)據(jù)成本低且可以規(guī)避數(shù)據(jù)隱私和安全問題。根據(jù)《Willwerunoutofdata?AnanalysisofthelimitsofscalingdatasetsinMachineLearning》文中預(yù)測(cè)，2026年文本數(shù)據(jù)將被訓(xùn)練完，而圖像數(shù)據(jù)將在2040年左右耗盡。根據(jù)Gartner的預(yù)測(cè)，2026年模型訓(xùn)練數(shù)據(jù)中的50%將由合成數(shù)據(jù)構(gòu)成；2030年合成數(shù)據(jù)的質(zhì)量將全面超過人類標(biāo)注的真實(shí)數(shù)據(jù)。數(shù)據(jù)仿真或?qū)⒊蔀楫a(chǎn)業(yè)突破關(guān)鍵。圖表31.合成數(shù)據(jù)將成為人工智能中使用的主要數(shù)據(jù)形式2023年12月28日智能體專題報(bào)告之一23投資建議智能體應(yīng)用落地：短期自動(dòng)駕駛有望快速落地，中長(zhǎng)期具身智能機(jī)器人成長(zhǎng)可期。根據(jù)北京智源人工智能研究院院長(zhǎng)黃鐵軍在2023STIC科技創(chuàng)變者大會(huì)上的發(fā)言，1-3年內(nèi)L4、L5級(jí)別的自動(dòng)駕駛技術(shù)就能實(shí)現(xiàn)，而搭載具身智能的機(jī)器人則會(huì)在未來5-10年出現(xiàn)。我們認(rèn)為短期內(nèi)，自動(dòng)駕駛有望成為具身智能體的首個(gè)落地方向。自動(dòng)駕駛層面：端到端大模型技術(shù)有望快速超越現(xiàn)有范式，奇點(diǎn)已經(jīng)臨近。UniAd大模型是國(guó)內(nèi)首個(gè)端到端自動(dòng)駕駛大模型，將感知