人形機(jī)器人感知硬件專題研究：人形機(jī)器人的五類感官和硬件支撐

人形機(jī)器人感知硬件專題研究：人形機(jī)器人的五類感官和硬件支撐人形機(jī)器人加速發(fā)展，感知能力愈發(fā)重要人形機(jī)器人迅速迭代，國(guó)內(nèi)外廠商加速布局特斯拉機(jī)器人迭代迅速，歷時(shí)8個(gè)月便可執(zhí)行復(fù)雜動(dòng)作。2022年10月，在特斯拉AIDay上，特斯拉機(jī)器人Optimus首次亮相，當(dāng)時(shí)還需要人工推出，僅能完成簡(jiǎn)單的肢體動(dòng)作。而在2023年3月的投資者日中，Optimus便展現(xiàn)了步行以及組裝機(jī)器人的工作能力。到2023年5月的股東大會(huì)上，Optimus已經(jīng)可以實(shí)現(xiàn)對(duì)物品的抓取等復(fù)雜動(dòng)作。馬斯克提出，Optimus將面向應(yīng)用場(chǎng)景進(jìn)行快速迭代，預(yù)計(jì)在特定應(yīng)用場(chǎng)景將快速推出量產(chǎn)機(jī)型。我們認(rèn)為特斯拉強(qiáng)大的汽車供應(yīng)鏈有望加速Optimus量產(chǎn)實(shí)現(xiàn)。特斯拉強(qiáng)大的供應(yīng)鏈及解決方案有望加速人形機(jī)器人量產(chǎn)進(jìn)程。目前人形機(jī)器人商業(yè)化量產(chǎn)的瓶頸主要可歸結(jié)為技術(shù)、成本和應(yīng)用場(chǎng)景三個(gè)方面。但特斯拉在三大瓶頸方面均有特有優(yōu)勢(shì)。1）技術(shù)方面，擁有FSD自動(dòng)駕駛技術(shù)以及DOJOD1超級(jí)計(jì)算芯片的特斯拉在人形運(yùn)動(dòng)控制、硬件執(zhí)行器、運(yùn)動(dòng)規(guī)劃算法等方面正在進(jìn)行廣泛深入的底層研究；2）成本方面：研發(fā)團(tuán)隊(duì)在設(shè)計(jì)階段已充分考慮量產(chǎn)階段的降本可行性，例如高度集成的電池、6種執(zhí)行器等，強(qiáng)大供應(yīng)鏈保障有望降低量產(chǎn)成本；3）應(yīng)用場(chǎng)景：特斯拉汽車工廠將為人形機(jī)器人提供巨大的試驗(yàn)田，早期版本的機(jī)器人將在工廠中進(jìn)行大量訓(xùn)練，并不斷迭代，解決了大多數(shù)廠商早期尋找應(yīng)用場(chǎng)景這一大難題。傳統(tǒng)機(jī)器人公司技術(shù)迭代速度較慢，且并未面向應(yīng)用場(chǎng)景設(shè)計(jì)機(jī)器人，供應(yīng)鏈問(wèn)題也導(dǎo)致機(jī)器人造價(jià)十分昂貴。以大家熟知的波士頓動(dòng)力

Atlas為例，根據(jù)波士頓動(dòng)力官網(wǎng)，波士頓動(dòng)力的Atlas擁有近40年的發(fā)展歷史，1983年-2013年，從麻省理工LegLab走出來(lái)的Atlas基本完成了簡(jiǎn)單的肢體動(dòng)作和行走能力，2016年Atlas開(kāi)始具有簡(jiǎn)單的物體搬運(yùn)功能，并且沒(méi)有靈巧手，2019年Atlas行走能力進(jìn)一步增強(qiáng)，可實(shí)現(xiàn)后空翻等動(dòng)作，并且能夠識(shí)別復(fù)雜地形，2021年，Atlas具有一定的工作能力，用簡(jiǎn)單的靈巧手搬運(yùn)物體。目前，發(fā)展了40年的Atlas仍然沒(méi)有明確的應(yīng)用場(chǎng)景，且售價(jià)十分昂貴，達(dá)到200萬(wàn)美元以上。特斯拉或在機(jī)器人行業(yè)再次帶來(lái)鲇魚(yú)效應(yīng)?；仡櫺履茉雌囋谥袊?guó)市場(chǎng)的發(fā)展史，特斯拉這條“鲇魚(yú)”對(duì)于我國(guó)新能源汽車升級(jí)與降本帶來(lái)巨大推動(dòng)作用。2019年1月，特斯拉上海工廠奠基，2020年1月，特斯拉上海工廠新車交付，國(guó)產(chǎn)版Model3售價(jià)下調(diào)，扣除補(bǔ)貼后，基礎(chǔ)版車型售價(jià)從35.58萬(wàn)元下調(diào)至29.9萬(wàn)元，低廉的售價(jià)以及優(yōu)良的性能對(duì)我國(guó)新能源車廠商帶來(lái)了巨大沖擊，迫使我國(guó)新能源車廠商降本提效，加速了新能源車行業(yè)的發(fā)展，同時(shí)也推動(dòng)了我國(guó)消費(fèi)者對(duì)新能源車的接受度提高。因此，我們認(rèn)為特斯拉在機(jī)器人行業(yè)中也將扮演這條“鲇魚(yú)”，極快的迭代速度以及可預(yù)期的低廉的售價(jià)將迫使老牌機(jī)器人廠商加速發(fā)展。國(guó)內(nèi)外巨頭紛紛參股或設(shè)立人形機(jī)器人研發(fā)公司?，F(xiàn)有人形機(jī)器人產(chǎn)品主要為日本本田ASIMO、美國(guó)波士頓動(dòng)力Atlas、美國(guó)AgilityRobot、優(yōu)必選Walkers、中國(guó)小米CyberOne、以及特斯拉Optimus等。其中，日本本田、小米及特斯拉皆研發(fā)了自己的人形機(jī)器人。而波士頓動(dòng)力相繼輾轉(zhuǎn)谷歌、軟銀后，目前被現(xiàn)代公司收購(gòu)。美國(guó)AgilityRobot的2022年B+輪融資的投資者中，出現(xiàn)了亞馬遜及索尼。國(guó)內(nèi)外巨頭紛紛下場(chǎng)加碼人形機(jī)器人，人形機(jī)器人有望迎來(lái)快速發(fā)展。國(guó)內(nèi)外機(jī)器人創(chuàng)業(yè)公司也紛紛推出人形機(jī)器人或產(chǎn)品。國(guó)內(nèi)機(jī)器人行業(yè)創(chuàng)業(yè)公司如追覓科技、達(dá)闥科技等先后推出自己的雙足人形機(jī)器人，國(guó)內(nèi)四足機(jī)器人領(lǐng)先企業(yè)宇樹(shù)科技也在加入到人形機(jī)器人的研發(fā)中，騰訊RoboticsX實(shí)驗(yàn)室推出自研機(jī)器人靈巧手“TRX-Hand”和機(jī)械臂“TRX-Arm”，為其后續(xù)在機(jī)器人行業(yè)的發(fā)展作出鋪墊，華為于2023年6月注冊(cè)成立東莞極目機(jī)器有限公司，正式進(jìn)軍機(jī)器人領(lǐng)域，注冊(cè)資本8.7億元。國(guó)外方面，OpenAI

在A2輪領(lǐng)投挪威人形機(jī)器人公司1XTechnologies，旨在將其強(qiáng)大的AI系統(tǒng)與實(shí)體機(jī)器人結(jié)合起來(lái)，從而為AGI的發(fā)展奠定基礎(chǔ)。人形機(jī)器人浪潮下，類人型機(jī)器人也迎來(lái)快速發(fā)展，但人形機(jī)器人仍然是各大廠商的主要目標(biāo)。隨著人形機(jī)器人浪潮襲來(lái)，類人型機(jī)器人如四足機(jī)器人也迎來(lái)了快速發(fā)展，成為各大廠商的必爭(zhēng)之地，早在2021年3月騰訊便發(fā)布多模態(tài)四足機(jī)器人Max，并在2022年8月推出Max二代，小米于2021年8月發(fā)布第一代四足機(jī)器人鐵蛋，小鵬鵬行機(jī)器也于2022年7月發(fā)布首款四足機(jī)器人。此外一些在機(jī)器人領(lǐng)域深耕多年的創(chuàng)業(yè)公司也擁有自己的標(biāo)桿四足機(jī)器人產(chǎn)品，例如宇樹(shù)科技的A1、云深處的絕影X20、蔚藍(lán)科技的E系列、優(yōu)寶特的YoBoGo。國(guó)外較為出名的四足機(jī)器人有波士頓動(dòng)力的Spot、IIT的HyQReal。但人形機(jī)器人相較于仿人形機(jī)器人仍有較大優(yōu)勢(shì)：（1）仿生步態(tài)下運(yùn)動(dòng)能力較傳統(tǒng)履帶/四輪/雙輪機(jī)器人大幅提升；（2）靈巧手可實(shí)現(xiàn)雙手配合和工具替換，較工業(yè)機(jī)器人技能更廣；（3）依靠算法能力實(shí)現(xiàn)復(fù)雜環(huán)境識(shí)別并實(shí)施決策。預(yù)計(jì)到2027年，全球人形機(jī)器人市場(chǎng)規(guī)模將達(dá)到141億美元。根據(jù)優(yōu)必選招股書(shū)，弗若斯特沙利文預(yù)計(jì)2026年全球智能服務(wù)機(jī)器人產(chǎn)品及解決方案的市場(chǎng)規(guī)模將達(dá)到676億美元，2021年到2026年CAGR達(dá)到25%。而根據(jù)StratisticsMarketResearchConsulting數(shù)據(jù)，全球人形機(jī)器人市場(chǎng)規(guī)模將在2027年達(dá)到141億美元，2020年到2027年CAGR達(dá)到58%。人形機(jī)器人是具身智能的重要載體，AI發(fā)展賦能機(jī)器人感知人工智能的下一個(gè)浪潮將是具身智能。在ITFWorld2023半導(dǎo)體大會(huì)上，英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，人工智能的下一個(gè)浪潮將是具身智能，即能理解、推理、并與物理世界互動(dòng)的智能系統(tǒng)。具身智能是具有身體體驗(yàn)的智能。1950年，圖靈在他的論文“ComputingMachineryandIntelligence”中首次提出了具身智能的概念。之后的幾十年里，大家都覺(jué)得這是一個(gè)很重要的概念，但是由于技術(shù)限制，具身智能并未有很好的發(fā)展。從認(rèn)知的角度來(lái)看，人類是第一人稱視角的智能，用1963年的實(shí)驗(yàn)來(lái)說(shuō)明，有兩只貓，一直貓被綁起來(lái)，只能看這個(gè)世界，另一只貓可以主動(dòng)去走。被動(dòng)的貓是一種旁觀的智能，而主動(dòng)的貓是具身的智能。到最后，這只旁觀的貓失去了行走能力。當(dāng)機(jī)器可以主動(dòng)感知世界時(shí)，人工智能也就變成了第一人稱的智能，也就無(wú)限接近于人類。具身智能由具身感知、具身想象和具身執(zhí)行三個(gè)基礎(chǔ)模塊構(gòu)成。上海交通大學(xué)盧策吾教授在機(jī)器之心AI科技年會(huì)中提出了PIE方案，即具身感知（Perception）、具身想象（Imagination）和具身執(zhí)行（Execution）。PIE方案幫助機(jī)器模擬了人類的思維及行動(dòng)方式，即機(jī)器人首先需要識(shí)別物體，然后通過(guò)交互感知物體，再通過(guò)數(shù)字孿生進(jìn)行仿真模擬，利用最好的結(jié)果去執(zhí)行。盧教授也演示了機(jī)器人如何抓取被打碎的陶瓷瓶碎片，對(duì)于不規(guī)整的碎片，機(jī)器人總是能成功抓取。作為具身智能的大腦，多模態(tài)大模型更符合人類大腦接受與處理信息的方式。從人類接受信息的角度看，我們所接收到真實(shí)世界的信息來(lái)自于多模態(tài)的數(shù)據(jù)源，如語(yǔ)音、文本、圖像等，而單模態(tài)預(yù)訓(xùn)練模型只涵蓋了單一模態(tài)的信息，無(wú)法對(duì)人類的信息獲取、環(huán)境感知、知識(shí)學(xué)習(xí)與表達(dá)的主動(dòng)學(xué)習(xí)過(guò)程進(jìn)行有效表達(dá)，不同模態(tài)之間的隱式交互信息并未被充分利用與學(xué)習(xí)?！癎PT一小步，多模態(tài)AI的一大步”，GPT-4支持圖片和文本類信息同時(shí)輸入。GPT-4是由OpenAI發(fā)布的大型多模態(tài)模型，它不僅能與用戶一起生成、編輯，完成創(chuàng)意的迭代和技術(shù)寫(xiě)作任務(wù)，更重要的是，它還能讀懂圖片。多模態(tài)感知是實(shí)現(xiàn)通用人工智能的必要條件，無(wú)論是知識(shí)/能力獲取還是與現(xiàn)實(shí)物理世界的交互，這也是其與上一代GPT的主要區(qū)別。在GPT-4中，多模態(tài)輸入的圖像和文本基于Transformer作為通用接口，圖形感知模塊與語(yǔ)言模塊對(duì)接進(jìn)行進(jìn)一步計(jì)算?；赥ransformer技術(shù)，GPT-1只有12層，而到了GPT-3，則增加到96層。GPT-4增加了額外的視覺(jué)語(yǔ)言模塊，理論上具有更大的模型尺寸和輸入窗口。語(yǔ)言方面，以ChatGPT為代表的大模型已具備協(xié)助機(jī)器人處理語(yǔ)言，從而可以高效地對(duì)感知信息進(jìn)行交互，如人類通過(guò)自然語(yǔ)言對(duì)機(jī)器人進(jìn)行調(diào)試。根據(jù)微軟SaiVemprala等最新的論文：“目前的機(jī)器人需要專門(mén)的工程師不斷編寫(xiě)新的代碼來(lái)修正機(jī)器人的行為，而我們使用ChatGPT的目標(biāo)是讓非技術(shù)用戶參與到修正過(guò)程中，通過(guò)高級(jí)語(yǔ)言命令與語(yǔ)言模型交互，無(wú)縫部署各種平臺(tái)和任務(wù)。”如果付諸實(shí)踐，AI有望幫助編寫(xiě)新代碼和規(guī)范來(lái)糾正機(jī)器人的行為，因此允許了不懂技術(shù)的廣大用戶提供反饋，輕松地與機(jī)器人互動(dòng)，直到用戶對(duì)機(jī)器人的處理解決方案滿意為止，再將這個(gè)代碼部署到機(jī)器人上，一個(gè)調(diào)試就結(jié)束了。視覺(jué)方面，谷歌推出ViT統(tǒng)一了CV和NLP框架，用于圖像識(shí)別。ViT模型將語(yǔ)言模型的transformer架構(gòu)用于視覺(jué)模型，代替了傳統(tǒng)的CNN，統(tǒng)一了CV和NLP的架構(gòu)。2020年10月，谷歌推出VisionTransformer（ViT）模型，證明了不使用CNN，直接將Transformer結(jié)構(gòu)應(yīng)用于視覺(jué)模型也可以很好地執(zhí)行圖像分類任務(wù)。Transformer將句子中的每個(gè)詞（token）并行輸入編碼器，ViT直接將圖像拆分為多個(gè)塊，將每個(gè)塊的位置和包含的圖像信息當(dāng)做是一個(gè)詞，輸入到編碼器中，訓(xùn)練好的編碼器可以將圖像輸出為一個(gè)包含了圖像特征的編碼，類似于在語(yǔ)言模型中將一句話輸出為一個(gè)包含了語(yǔ)言信息的編碼，之后通過(guò)MLP層將編碼器的輸出轉(zhuǎn)化為不同分類的概率。信息處理方面，算法模型與軟硬件一起集成為可供機(jī)器人“思考”的“大腦”。如谷歌發(fā)布RoboCat，其基于谷歌的多模態(tài)模型Gato，可以在模擬和物理環(huán)境中處理語(yǔ)言、圖像和動(dòng)作。通過(guò)將Gato的架構(gòu)與一個(gè)大型訓(xùn)練數(shù)據(jù)集結(jié)合起來(lái)，該數(shù)據(jù)集由各種機(jī)器人手臂的圖像序列和動(dòng)作組成，可以解決數(shù)百種不同的任務(wù)。RoboCat先通過(guò)機(jī)器視覺(jué)觀察由人工操作的機(jī)械臂完成任務(wù)，搜集數(shù)據(jù)后通過(guò)在物理和虛擬環(huán)境中進(jìn)行練習(xí)，通過(guò)練習(xí)生成新的訓(xùn)練數(shù)據(jù)，合并進(jìn)入訓(xùn)練集，用于新版本的訓(xùn)練，從而學(xué)會(huì)此次任務(wù)。學(xué)會(huì)此次任務(wù)的RoboCat可被移植到新的機(jī)械臂上，對(duì)新的機(jī)械臂進(jìn)行微調(diào)后執(zhí)行相同的任務(wù)，RoboCat在幾小時(shí)內(nèi)觀察1000次人工演示后，可以靈巧的指揮新手臂抓取齒輪，成功率高達(dá)86%。RoboCat的出現(xiàn)為未來(lái)更加通用的機(jī)器人出現(xiàn)打下基礎(chǔ)。人工智