開(kāi)了很多次項(xiàng)目會(huì)我聽(tīng)到最多的一句話是視覺(jué)識(shí)別都這么準(zhǔn)了為什么機(jī)器人一上手干活還是翻車說(shuō)真的目標(biāo)檢測(cè)跑到95%以上的mAP6D姿態(tài)估計(jì)也算得挺準(zhǔn)機(jī)械臂就是抓不住、推不倒、放不穩(wěn)。以前我以為是手眼標(biāo)定不夠精細(xì)后來(lái)才意識(shí)到真正的問(wèn)題根本不是看得不夠清楚而是從「看」到「做」之間缺了一整層?xùn)|西。最近行業(yè)內(nèi)高頻出現(xiàn)的三個(gè)詞——WMWorld Model、WAMWorld Action Model和VLAVision-Language-Action Model本質(zhì)上都在補(bǔ)這個(gè)東西。只是它們的補(bǔ)法完全不同一個(gè)側(cè)重想一個(gè)側(cè)重想完再做還有一個(gè)干脆把看和做直接縫在一起。這篇文章我會(huì)圍繞這三種機(jī)器人模型把原理、網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練方式、評(píng)測(cè)方法和落地選型全部拉通講一遍。不管你是剛進(jìn)具身智能方向的研究生還是已經(jīng)在做機(jī)器人系統(tǒng)集成、準(zhǔn)備從經(jīng)典方案切向端到端模型的工程師這篇文章應(yīng)該都能幫你把路線理清楚。1. 從「看」到「做」的最后一公里為什么卡了這么多年1.1 傳統(tǒng)機(jī)器人技術(shù)棧的三層割裂經(jīng)典機(jī)器人系統(tǒng)的路線非常清晰感知模塊負(fù)責(zé)看規(guī)劃模塊負(fù)責(zé)想路線控制模塊負(fù)責(zé)動(dòng)手。拿最簡(jiǎn)單的抓取桌上的紅色杯子這個(gè)任務(wù)來(lái)說(shuō)感知模塊輸出杯子的類別和6D位姿規(guī)劃模塊根據(jù)當(dāng)前機(jī)械臂位姿和杯子位姿算出一條無(wú)碰撞軌跡控制模塊用PID或者M(jìn)PC去跟蹤這條軌跡。聽(tīng)起來(lái)嚴(yán)絲合縫真正跑起來(lái)問(wèn)題一個(gè)接一個(gè)。我見(jiàn)過(guò)最多的翻車現(xiàn)場(chǎng)是這樣的感知模塊說(shuō)杯子在某個(gè)坐標(biāo)但那個(gè)坐標(biāo)本身帶3毫米誤差、1度左右的姿態(tài)誤差規(guī)劃模塊拿著這個(gè)坐標(biāo)按剛體假設(shè)規(guī)劃軌跡底層控制再因?yàn)槟Σ?、重力補(bǔ)償不準(zhǔn)產(chǎn)生一點(diǎn)跟蹤殘差。三者誤差沒(méi)有互相抵消而是層層疊加。最后機(jī)械臂到地方一看夾爪開(kāi)口尺寸就比杯子寬一兩厘米直接撞過(guò)去把杯子懟飛。這種問(wèn)題的根源是模塊之間用非常窄的接口傳遞信息。感知模塊不知道下一步是抓取還是推開(kāi)規(guī)劃模塊不知道杯子是玻璃的還是塑料的控制模塊更不知道任務(wù)目標(biāo)是穩(wěn)穩(wěn)端起來(lái)還是把水倒掉。信息在每一層都發(fā)生了丟失。這是傳統(tǒng)系統(tǒng)架構(gòu)的天花板不是調(diào)參能解決的。1.2 感知-規(guī)劃-控制之間到底丟掉了什么往深了說(shuō)傳統(tǒng)三層架構(gòu)丟掉的是三類關(guān)鍵信息。第一類是物理常識(shí)。杯子放在桌子邊緣旁邊就是垃圾桶機(jī)器人能不能判斷我這一推可能導(dǎo)致杯子掉下去傳統(tǒng)感知模塊給不了這個(gè)信息規(guī)劃模塊也不會(huì)主動(dòng)去模擬這個(gè)后果。第二類是上下文意圖。同樣的視覺(jué)畫(huà)面把杯子遞給我和把杯子放回柜子對(duì)應(yīng)的動(dòng)作軌跡完全不同。傳統(tǒng)架構(gòu)里任務(wù)指令只被當(dāng)成一個(gè)字符串傳給任務(wù)調(diào)度器視覺(jué)模塊和規(guī)劃模塊都不真正理解它語(yǔ)言和動(dòng)作之間沒(méi)有形成共享表征。第三類是時(shí)序一致性。真實(shí)世界是連續(xù)的物體不是靜止不動(dòng)的。傳統(tǒng)感知模塊通常做單幀檢測(cè)規(guī)劃模塊輸出開(kāi)環(huán)軌跡一旦環(huán)境發(fā)生變化整個(gè)鏈路就斷掉了。缺少一個(gè)未來(lái)的世界會(huì)怎樣演化的內(nèi)部預(yù)測(cè)能力機(jī)器人就只能在問(wèn)題發(fā)生以后作反應(yīng)沒(méi)辦法提前預(yù)判。1.3 三個(gè)縮寫詞三種解題思路WM、WAM、VLA這三類模型分別對(duì)應(yīng)了三條不同的解題路線。WMWorld Model世界模型解決的核心問(wèn)題是給定當(dāng)前狀態(tài)和動(dòng)作模型能否預(yù)測(cè)未來(lái)狀態(tài)它讓機(jī)器人具備想象能力能在內(nèi)部模擬環(huán)境的動(dòng)態(tài)變化。它的輸出不是動(dòng)作而是世界下一步會(huì)怎樣。WAMWorld Action Model世界動(dòng)作模型是在世界模型基礎(chǔ)上往前走了一步不僅預(yù)測(cè)環(huán)境狀態(tài)的變化還把智能體自身的動(dòng)作也納入顯式建模。你可以把它理解成世界動(dòng)力學(xué)模型策略模型的合體模型內(nèi)部同時(shí)處理環(huán)境會(huì)怎樣變和我該怎么做。VLAVision-Language-Action Model視覺(jué)-語(yǔ)言-動(dòng)作模型則走了另一條路用自然語(yǔ)言作為中間變量把視覺(jué)觀測(cè)直接映射到動(dòng)作輸出。語(yǔ)言在這里不僅是任務(wù)指令更是連接視覺(jué)特征和動(dòng)作語(yǔ)義的橋梁。它不再受限于感知模塊輸出什么結(jié)構(gòu)給規(guī)劃模塊而是端到端地學(xué)習(xí)看到什么、接到什么指令、輸出什么動(dòng)作。這三者不是互相競(jìng)爭(zhēng)的關(guān)系而是對(duì)應(yīng)機(jī)器人內(nèi)部不同的抽象層次。能把它們徹底搞清楚再去讀具身智能方向的論文、選型落地思路會(huì)清晰很多。2. WM世界模型與其說(shuō)預(yù)測(cè)下一幀不如說(shuō)在學(xué)物理直覺(jué)2.1 世界模型回答的本質(zhì)問(wèn)題世界模型的本質(zhì)就是狀態(tài)轉(zhuǎn)移模型給定當(dāng)前系統(tǒng)狀態(tài)、智能體動(dòng)作預(yù)測(cè)下一個(gè)時(shí)間步的狀態(tài)。放到機(jī)器人場(chǎng)景里狀態(tài)可能是關(guān)節(jié)角度、末端位姿、物體的坐標(biāo)也可能是從視覺(jué)觀測(cè)里編碼出來(lái)的隱變量動(dòng)作可能是機(jī)械臂的關(guān)節(jié)力矩也有可能是夾爪的開(kāi)合指令。很多入門者會(huì)把世界模型理解成視頻預(yù)測(cè)模型認(rèn)為只要學(xué)會(huì)了預(yù)測(cè)下一幀畫(huà)面就算建好了世界模型。這是一個(gè)常見(jiàn)的誤區(qū)。像素級(jí)預(yù)測(cè)只是世界模型的一種監(jiān)督信號(hào)不是目的本身。我們真正想要的是模型能夠把握環(huán)境內(nèi)部的因果規(guī)律比如手推杯子杯子會(huì)沿推動(dòng)方向滑行、杯子到桌子邊緣以后繼續(xù)推會(huì)先產(chǎn)生傾斜然后掉下去。我在實(shí)際項(xiàng)目里更傾向于把世界模型拆成三個(gè)能力來(lái)看狀態(tài)預(yù)測(cè)能力給定當(dāng)前狀態(tài)和動(dòng)作序列預(yù)測(cè)未來(lái)狀態(tài)軌跡。代價(jià)/獎(jiǎng)勵(lì)預(yù)測(cè)能力預(yù)測(cè)某個(gè)動(dòng)作序列會(huì)帶來(lái)什么樣的后果、獲得多少獎(jiǎng)勵(lì)、產(chǎn)生多大碰撞風(fēng)險(xiǎn)。反事實(shí)想象能力在腦海里推演如果我不抓這個(gè)杯子而是推開(kāi)它會(huì)發(fā)生什么。2.2 內(nèi)部表征從像素到隱空間中的物理規(guī)律早年間做世界模型大家特別喜歡直接預(yù)測(cè)視頻幀。但像素級(jí)預(yù)測(cè)的問(wèn)題很明顯第一是計(jì)算量巨大一張256乘256的RGB圖像已經(jīng)夠訓(xùn)練吃力的了更別說(shuō)連續(xù)預(yù)測(cè)幾十幀第二是像素里大量細(xì)節(jié)根本不影響下游決策比如背景紋理、物體表面的花紋預(yù)測(cè)得再準(zhǔn)也沒(méi)有意義。現(xiàn)在主流做法是在**隱空間latent space**里做預(yù)測(cè)。視覺(jué)編碼器把高維圖像壓縮成一個(gè)緊湊的隱狀態(tài)世界模型在這個(gè)隱空間里學(xué)習(xí)狀態(tài)轉(zhuǎn)移最后用解碼器把預(yù)測(cè)結(jié)果映射回像素或者狀態(tài)空間。這個(gè)思路很大程度上來(lái)自強(qiáng)化學(xué)習(xí)領(lǐng)域的Dreamer系列模型。Dreamer的訓(xùn)練方式非常典型先用一個(gè)編碼器把歷史觀測(cè)編碼成隱狀態(tài)再用一個(gè)序列模型去預(yù)測(cè)未來(lái)隱狀態(tài)同時(shí)訓(xùn)練動(dòng)作模型去最大化想象中的獎(jiǎng)勵(lì)。整個(gè)過(guò)程中模型真正學(xué)到的不是下一幀畫(huà)面長(zhǎng)什么樣而是在什么狀態(tài)下采取什么動(dòng)作會(huì)導(dǎo)致什么樣的狀態(tài)變化。這就是一種物理直覺(jué)的雛形。打個(gè)比方你閉上眼睛把手機(jī)拋起來(lái)再接住你能完成這個(gè)動(dòng)作不是因?yàn)槟銓?shí)時(shí)看到了手機(jī)在哪而是大腦里有一個(gè)簡(jiǎn)化的物理模型在高速推演拋物線。機(jī)器人有了世界模型就相當(dāng)于擁有了這種閉眼推演的能力。2.3 世界模型在機(jī)器人里的三個(gè)常見(jiàn)用法第一個(gè)用法是模型預(yù)測(cè)控制MPC。模型預(yù)測(cè)控制本身不依賴學(xué)習(xí)得到的模型也可以做比如可以基于解析動(dòng)力學(xué)方程來(lái)做但真實(shí)機(jī)器人往往存在摩擦、間隙、柔性變形等難以建模的部分。學(xué)習(xí)型世界模型的價(jià)值在于它能從數(shù)據(jù)里補(bǔ)償這些動(dòng)力學(xué)偏差滾動(dòng)預(yù)測(cè)未來(lái)狀態(tài)軌跡再選擇一條代價(jià)最小的軌跡執(zhí)行。第二個(gè)用法是離線強(qiáng)化學(xué)習(xí)的數(shù)據(jù)增強(qiáng)。強(qiáng)化學(xué)習(xí)樣本效率低很大一部分原因是在真實(shí)環(huán)境里試錯(cuò)成本太高。有了世界模型智能體可以在想象的軌跡里做策略更新在同一個(gè)批次數(shù)據(jù)上反復(fù)腦補(bǔ)各種可能。Dreamer系列就是用這種方式在多個(gè)連續(xù)控制任務(wù)上大幅提升樣本效率的。第三個(gè)用法是Sim2Real遷移的誤差補(bǔ)償。仿真環(huán)境里訓(xùn)練好的策略搬到真實(shí)機(jī)器人上往往會(huì)因?yàn)閯?dòng)力學(xué)差異而表現(xiàn)下降。一個(gè)常見(jiàn)做法是用真實(shí)機(jī)器人上采集到的少量軌跡數(shù)據(jù)微調(diào)世界模型再基于微調(diào)后的世界模型做進(jìn)一步規(guī)劃或策略學(xué)習(xí)相當(dāng)于把仿真模型校準(zhǔn)到真實(shí)世界。部署世界模型時(shí)有一個(gè)經(jīng)驗(yàn)訓(xùn)練數(shù)據(jù)里一定要包含足夠的非典型狀態(tài)。我見(jiàn)過(guò)很多團(tuán)隊(duì)只讓世界模型學(xué)成功軌跡上的數(shù)據(jù)結(jié)果模型對(duì)手碰到杯子邊緣導(dǎo)致杯子歪了這類意外場(chǎng)景完全沒(méi)有預(yù)測(cè)能力。用得好的世界模型必須見(jiàn)過(guò)足夠多的失敗樣例才能真正理解物理邊界在哪。3. WAM世界動(dòng)作模型從環(huán)境會(huì)怎樣變到我該怎么做3.1 WAM對(duì)WM的擴(kuò)展WAM這個(gè)縮寫不像WM和VLA那么普及但它的思路在最近一年里出現(xiàn)得越來(lái)越頻繁。世界動(dòng)作模型的核心主張是純粹的世界模型只負(fù)責(zé)預(yù)測(cè)環(huán)境演化不負(fù)責(zé)做決策這在很多場(chǎng)景下不夠用。真實(shí)機(jī)器人任務(wù)里環(huán)境和智能體是耦合在一起的機(jī)械臂推杯子杯子動(dòng)了這個(gè)動(dòng)既包含環(huán)境狀態(tài)變化也包含了智能體動(dòng)作施加的效果。把二者割裂開(kāi)建模信息和效率都會(huì)打折扣。WAM把世界模型和動(dòng)作策略放在同一個(gè)模型里聯(lián)合建?！容敵鰧?duì)下一狀態(tài)的預(yù)測(cè)也輸出當(dāng)前策略推薦的動(dòng)作。你可以理解成世界模型負(fù)責(zé)提供想象空間動(dòng)作預(yù)測(cè)頭負(fù)責(zé)在這個(gè)想象空間里尋找最優(yōu)應(yīng)對(duì)方式。3.2 顯式動(dòng)作建模與閉環(huán)WAM和WM最核心的差別在顯式動(dòng)作建模這個(gè)點(diǎn)上。世界模型內(nèi)部通常不關(guān)心智能體動(dòng)作的語(yǔ)義動(dòng)作對(duì)于它只是一個(gè)輸入變量WAM則把動(dòng)作當(dāng)作模型需要生成的核心目標(biāo)和狀態(tài)預(yù)測(cè)目標(biāo)一起聯(lián)合訓(xùn)練。這樣一來(lái)模型內(nèi)部天然形成了一個(gè)閉環(huán)輸入歷史狀態(tài)序列模型預(yù)測(cè)未來(lái)狀態(tài)分布和動(dòng)作概率執(zhí)行機(jī)構(gòu)按動(dòng)作執(zhí)行后新的觀測(cè)再反饋進(jìn)模型。這種設(shè)計(jì)帶來(lái)的直接好處是響應(yīng)速度。VLA這類端到端模型如果做得不夠輕量推理頻率可能只有10赫茲、20赫茲這對(duì)高速動(dòng)態(tài)任務(wù)來(lái)說(shuō)遠(yuǎn)遠(yuǎn)不夠。WAM因?yàn)榘循h(huán)境動(dòng)態(tài)和策略耦合得很緊在許多連續(xù)控制任務(wù)上可以做到更高頻率的動(dòng)作輸出同時(shí)用世界模型部分做短時(shí)預(yù)測(cè)來(lái)填補(bǔ)控制間隙。不過(guò)要潑一盆冷水目前在公開(kāi)論文里WAM并沒(méi)有一個(gè)像VLA里RT-2或者OpenVLA那樣公認(rèn)的標(biāo)準(zhǔn)實(shí)現(xiàn)。它更多是一種架構(gòu)思想不同工作里會(huì)演化出世界模型策略頭世界動(dòng)作聯(lián)合預(yù)測(cè)器等多種變形。讀文獻(xiàn)的時(shí)候看到World Action Model這個(gè)詞一定要去確認(rèn)它內(nèi)部到底預(yù)測(cè)什么、怎么訓(xùn)練不要默認(rèn)所有WAM都是同一種結(jié)構(gòu)。3.3 WAM的典型網(wǎng)絡(luò)結(jié)構(gòu)我結(jié)合自己做過(guò)的原型項(xiàng)目說(shuō)一下比較典型的WAM結(jié)構(gòu)長(zhǎng)什么樣大致可以拆成四個(gè)部分觀測(cè)編碼器把RGB圖像、深度圖、本體關(guān)節(jié)角度編碼為一個(gè)緊湊的觀測(cè)特征。世界動(dòng)力學(xué)模塊接收當(dāng)前隱狀態(tài)和動(dòng)作預(yù)測(cè)下一個(gè)隱狀態(tài)設(shè)計(jì)上比較接近WM里的序列模型。動(dòng)作預(yù)測(cè)頭根據(jù)當(dāng)前的隱狀態(tài)和目標(biāo)輸出動(dòng)作分布。動(dòng)作空間是連續(xù)關(guān)節(jié)坐標(biāo)或力矩一般用高斯分布或混合高斯分布建模。狀態(tài)預(yù)測(cè)輔助頭額外預(yù)測(cè)未來(lái)的關(guān)鍵狀態(tài)比如目標(biāo)物體的6D位姿用來(lái)在訓(xùn)練時(shí)給模型提供更強(qiáng)的狀態(tài)監(jiān)督。訓(xùn)練時(shí)損失函數(shù)一般有三項(xiàng)第一項(xiàng)是狀態(tài)重建損失要求模型生成的未來(lái)隱狀態(tài)能被解碼回接近真實(shí)的狀態(tài)第二項(xiàng)是動(dòng)作模仿?lián)p失讓動(dòng)作預(yù)測(cè)頭對(duì)齊專家軌跡里的動(dòng)作標(biāo)簽第三項(xiàng)是一致性損失確保同一個(gè)狀態(tài)的不同觀測(cè)視角編碼得到的隱狀態(tài)一致。我在訓(xùn)練WAM時(shí)踩過(guò)一個(gè)大坑如果狀態(tài)重建損失權(quán)重設(shè)得太低模型會(huì)快速塌縮成一個(gè)純行為克隆模型完全忽略對(duì)世界動(dòng)態(tài)的建模但如果權(quán)重設(shè)得太高動(dòng)作預(yù)測(cè)頭又學(xué)不到東西策略表現(xiàn)很差。我最后是用課程學(xué)習(xí)的方式先讓世界動(dòng)力學(xué)模塊單獨(dú)學(xué)幾百個(gè)epoch再把動(dòng)作預(yù)測(cè)頭打開(kāi)聯(lián)合訓(xùn)練效果比一開(kāi)始就端到端硬訓(xùn)穩(wěn)定很多。4. VLA視覺(jué)-語(yǔ)言-動(dòng)作模型一句話讓機(jī)器人上手干活4.1 VLA的核心思想語(yǔ)言作為中間變量VLA是當(dāng)前具身智能領(lǐng)域最出圈的一個(gè)方向原因是它把多模態(tài)大模型的成熟技術(shù)直接搬到了機(jī)器人控制上。一個(gè)典型的VLA網(wǎng)絡(luò)由三個(gè)部分構(gòu)成視覺(jué)編碼器負(fù)責(zé)把圖像變成視覺(jué)token大語(yǔ)言模型負(fù)責(zé)理解指令并融合視覺(jué)信息動(dòng)作頭負(fù)責(zé)把推理結(jié)果映射成動(dòng)作輸出。語(yǔ)言在VLA里承擔(dān)的作用非常特殊。它不只是指令輸入更是一種共享語(yǔ)義空間。舉個(gè)例子把紅色杯子放到托盤上這句話里紅色杯子讓模型把視覺(jué)注意力放到目標(biāo)物體上放到托盤上讓模型激活過(guò)去在類似指令下學(xué)到的動(dòng)作模式。哪怕模型沒(méi)有見(jiàn)過(guò)當(dāng)前這張桌子的具體布局只要語(yǔ)言指令里的語(yǔ)義與訓(xùn)練數(shù)據(jù)里的任務(wù)有重合它就能做一定程度的遷移。這也是VLA相比傳統(tǒng)機(jī)器人系統(tǒng)的最大優(yōu)勢(shì)指令泛化和跨任務(wù)復(fù)用。傳統(tǒng)系統(tǒng)每加一個(gè)新任務(wù)基本要重寫任務(wù)邏輯和約束VLA只需要換一句自然語(yǔ)言指令模型就能嘗試在已有經(jīng)驗(yàn)里組合出對(duì)應(yīng)的行為。4.2 從RT-2到OpenVLA再到π0VLA在怎么演進(jìn)如果只看2023年之后的VLA發(fā)展可以拉一條很清晰的線。RT-2是Google的經(jīng)典工作做法是把機(jī)器人動(dòng)作離散成token和圖像token一起送入視覺(jué)語(yǔ)言模型把下一動(dòng)作token當(dāng)作下一句詞來(lái)生成。RT-2證明了用大規(guī)模互聯(lián)網(wǎng)圖文數(shù)據(jù)預(yù)訓(xùn)練的模型可以直接遷移到機(jī)器人控制上但離散化動(dòng)作空間帶來(lái)的問(wèn)題也很明顯動(dòng)作精度不足高頻執(zhí)行時(shí)會(huì)抖動(dòng)。OpenVLA是開(kāi)源社區(qū)最重要的里程碑之一7B參數(shù)規(guī)模視覺(jué)部分用預(yù)訓(xùn)練的視覺(jué)編碼器語(yǔ)言部分用LLaMA-2在Open X-Embodiment等大規(guī)?？缇呱頂?shù)據(jù)集上訓(xùn)練。它的最大價(jià)值不是性能而是把VLA訓(xùn)練的門檻從大公司專屬拉到了普通實(shí)驗(yàn)室也能跑的水平。很多個(gè)人開(kāi)發(fā)者就是靠OpenVLA進(jìn)入這個(gè)領(lǐng)域的。π0也就是業(yè)界常說(shuō)的Pi系列由Physical Intelligence提出動(dòng)作頭不再走離散token而是引入了Flow Matching技術(shù)直接生成連續(xù)的動(dòng)作分布。這個(gè)改動(dòng)的意義很實(shí)際連續(xù)動(dòng)作生成的頻率更高、控制更平穩(wěn)更適合真實(shí)機(jī)械臂高頻控制。π0同時(shí)也在模型架構(gòu)上吸收了更多機(jī)器人狀態(tài)的輸入比如關(guān)節(jié)角度、夾爪開(kāi)度實(shí)用性比第一代VLA強(qiáng)不少。另外值得提一句的是VLA已經(jīng)不局限于機(jī)械臂操作。最近NVIDIA開(kāi)源的Alpamayo就是面向輔助駕駛場(chǎng)景的VLA推理模型把視覺(jué)語(yǔ)言動(dòng)作的框架用到了車輛控制上。這說(shuō)明VLA作為一種通用范式正在從桌面操作走向更廣闊的物理世界交互場(chǎng)景。4.3 訓(xùn)練VLA離不開(kāi)的真實(shí)步驟與Libero測(cè)試很多朋友拿到一個(gè)VLA模型以后第一反應(yīng)是趕緊部署到真機(jī)。我強(qiáng)烈建議先別這么干先在仿真環(huán)境里把模型跑熟、把評(píng)測(cè)流程建立起來(lái)再上真機(jī)。在LiBero上做VLA測(cè)試是目前比較標(biāo)準(zhǔn)的一條路徑。LiBero是一個(gè)基于MuJoCo物理引擎的桌面操作benchmark包含了多個(gè)長(zhǎng)程任務(wù)比如把黑色碗放進(jìn)柜子把左邊盤子放到洗碗架上。它特別適合用來(lái)衡量VLA在長(zhǎng)期任務(wù)上的表現(xiàn)因?yàn)槿蝿?wù)里往往有多個(gè)物體、多步操作模型光學(xué)會(huì)單步動(dòng)作是不夠的。具體操作步驟大致如下下載LiBero數(shù)據(jù)集和對(duì)應(yīng)的benchmark代碼倉(cāng)庫(kù)里面包含HDF5格式的軌跡數(shù)據(jù)字段主要有觀測(cè)圖像、關(guān)節(jié)狀態(tài)、語(yǔ)言指令和動(dòng)作真值。創(chuàng)建conda環(huán)境安裝依賴重點(diǎn)確認(rèn)PyTorch版本和MuJoCo版本的兼容性。加載一個(gè)預(yù)訓(xùn)練好的VLA模型先用LiBero自帶的評(píng)估腳本跑一遍確認(rèn)模型能正常加載和推理。針對(duì)某一個(gè)大類任務(wù)做微調(diào)把訓(xùn)練集換成LiBero對(duì)應(yīng)子任務(wù)的軌跡數(shù)據(jù)訓(xùn)練幾個(gè)epoch后再回到評(píng)測(cè)腳本上測(cè)成功率。評(píng)測(cè)時(shí)不要只盯著一個(gè)指標(biāo)。LiBero的官方評(píng)估腳本里除了任務(wù)成功率還有平均完成步數(shù)、單步動(dòng)作誤差、不同初始位姿下的穩(wěn)定性等維度。我自己測(cè)試的時(shí)候發(fā)現(xiàn)一個(gè)模型可能在固定初始位姿下成功率接近滿分但把物體初始位置稍微挪一下成功率立刻掉一半。這說(shuō)明模型過(guò)擬合了初始布局并沒(méi)有真正學(xué)會(huì)任務(wù)的語(yǔ)義目標(biāo)。訓(xùn)練VLA的數(shù)據(jù)組裝也是個(gè)關(guān)鍵活。一份可用的VLA訓(xùn)練樣本通常包括當(dāng)前視覺(jué)觀測(cè)、語(yǔ)言指令、機(jī)器人狀態(tài)和動(dòng)作標(biāo)簽。訓(xùn)練流程一般分兩段先在圖文數(shù)據(jù)和視頻數(shù)據(jù)上做視覺(jué)語(yǔ)言預(yù)訓(xùn)練讓模型具備視覺(jué)理解和語(yǔ)言對(duì)齊能力再在大規(guī)模機(jī)器人軌跡數(shù)據(jù)上做微調(diào)讓模型學(xué)會(huì)把語(yǔ)義理解映射成動(dòng)作。開(kāi)源數(shù)據(jù)集里Open X-Embodiment是目前覆蓋面最廣的跨機(jī)器人數(shù)據(jù)集幾乎所有開(kāi)源VLA都會(huì)在它上面訓(xùn)練。但要注意跨數(shù)據(jù)集的機(jī)器人構(gòu)型差異很大如果不做統(tǒng)一的動(dòng)作空間歸一化訓(xùn)練會(huì)非常不穩(wěn)定。5. WM/WAM/VLA橫向?qū)Ρ炔皇峭毁惖朗擎湕l的三段5.1 核心維度對(duì)比表很多人在選模型時(shí)容易把WM、WAM、VLA放在一個(gè)擂臺(tái)上比誰(shuí)強(qiáng)誰(shuí)弱這個(gè)視角本身就是錯(cuò)的。它們解決的不是同一個(gè)問(wèn)題更像是從看到想再到做這條鏈條上的三段。我用一張表把核心維度拉通對(duì)比維度WM世界模型WAM世界動(dòng)作模型VLA視覺(jué)-語(yǔ)言-動(dòng)作模型核心問(wèn)題世界下一步會(huì)怎樣基于世界變化我該怎么做接到這條指令我該執(zhí)行什么動(dòng)作主要輸入歷史狀態(tài)序列、動(dòng)作序列歷史狀態(tài)序列、動(dòng)作、任務(wù)目標(biāo)視覺(jué)觀測(cè)、語(yǔ)言指令、機(jī)器人狀態(tài)主要輸出未來(lái)狀態(tài)預(yù)測(cè)/隱表征未來(lái)狀態(tài)預(yù)測(cè)動(dòng)作分布動(dòng)作序列離散token或連續(xù)動(dòng)作訓(xùn)練數(shù)據(jù)視頻、傳感器流、部分狀態(tài)數(shù)據(jù)視頻動(dòng)作軌跡狀態(tài)標(biāo)簽跨具身機(jī)器人數(shù)據(jù)圖文語(yǔ)料語(yǔ)言能力一般沒(méi)有視具體設(shè)計(jì)而定核心能力必不可少推理頻率高隱空間預(yù)測(cè)很快較高動(dòng)作輸出可與狀態(tài)預(yù)測(cè)耦合通常偏低大模型推理開(kāi)銷大典型代表Dreamer系列、各類latent world model文獻(xiàn)中暫無(wú)統(tǒng)一頭部實(shí)現(xiàn)多為架構(gòu)模塊RT-2、OpenVLA、π0、Alpamayo最擅長(zhǎng)場(chǎng)景規(guī)劃、想象、模型預(yù)測(cè)控制動(dòng)態(tài)環(huán)境下閉環(huán)決策跨任務(wù)語(yǔ)義泛化、指令操作這張表里最值得關(guān)注的是推理頻率這一行。很多人只看成功率忽略了控制頻率結(jié)果模型推一次動(dòng)作要100毫秒機(jī)械臂已經(jīng)走出一大截了。VLA里面的7B大模型版本不做量化推理速度很難上去WM一般只要跑一個(gè)小型序列模型推理開(kāi)銷低很多WAM介于兩者之間。5.2 典型適用場(chǎng)景與選型建議選型判斷在我看來(lái)可以按三條路徑走。如果你主要做運(yùn)動(dòng)規(guī)劃、軌跡優(yōu)化、Sim2Real遷移這類任務(wù)你更需要的是環(huán)境動(dòng)態(tài)的精確描述這時(shí)候應(yīng)該選WM。它能幫你做MPC的前向預(yù)測(cè)也能在離線強(qiáng)化學(xué)習(xí)里當(dāng)數(shù)據(jù)增強(qiáng)器用世界模型來(lái)擴(kuò)充經(jīng)驗(yàn)池。如果你做的是動(dòng)態(tài)環(huán)境里的實(shí)時(shí)決策比如機(jī)械臂要避開(kāi)移動(dòng)的障礙物、抓取緩慢運(yùn)動(dòng)的目標(biāo)那WAM這種世界動(dòng)態(tài)動(dòng)作預(yù)測(cè)聯(lián)合建模的思路會(huì)更匹配。它比純WM多了動(dòng)作生成能力比VLA更容易做到實(shí)時(shí)閉環(huán)。如果你做的是多任務(wù)、多指令的泛化操作例如把抽屜里的螺絲刀拿出來(lái)把綠色杯子放到柜子第二層那不要糾結(jié)直接上VLA。語(yǔ)言指令帶來(lái)的泛化能力是前兩類模型沒(méi)法比的。但前提是你得接受它的數(shù)據(jù)量需求和控制頻率限制。5.3 三種模型能否組合使用可能有人會(huì)問(wèn)能不能把三種模型組合到同一個(gè)系統(tǒng)里我的答案是可以而且這可能是工程上最現(xiàn)實(shí)的方案。一個(gè)實(shí)際可行的組合方式是用VLA作為高層任務(wù)規(guī)劃器它根據(jù)自然語(yǔ)言指令輸出一系列高層動(dòng)作意圖比如先接近杯子再抓取然后移動(dòng)到托盤上方同時(shí)用WM作為環(huán)境預(yù)測(cè)器在VLA每個(gè)動(dòng)作意圖執(zhí)行之前推演這個(gè)動(dòng)作可能會(huì)導(dǎo)致什么后果提前規(guī)避碰撞風(fēng)險(xiǎn)底層控制器用MPC或傳統(tǒng)控制方法去執(zhí)行具體軌跡。如果系統(tǒng)控制頻率還滿足不了動(dòng)態(tài)環(huán)境下修正要求再加上一層輕量WAM做短時(shí)閉環(huán)糾偏。我有一個(gè)親測(cè)有效的經(jīng)驗(yàn)VLA模型的輸出不要直接作為底層目標(biāo)位置而是先經(jīng)過(guò)一個(gè)安全過(guò)濾層。安全過(guò)濾層可以用規(guī)則實(shí)現(xiàn)也可以用輕量WM實(shí)現(xiàn)目標(biāo)是判斷VLA輸出的動(dòng)作是否會(huì)導(dǎo)致碰撞、超出關(guān)節(jié)限位等危險(xiǎn)情況。這樣既能保住VLA的泛化能力又能避免端到端模型偶爾犯低級(jí)錯(cuò)誤帶來(lái)的安全問(wèn)題。6. 落地上手之前先避開(kāi)這些坑6.1 數(shù)據(jù)閉環(huán)是最大瓶頸很多團(tuán)隊(duì)買來(lái)機(jī)械臂以后第一反應(yīng)是找開(kāi)源模型下載一個(gè)OpenVLA拿真機(jī)跑跑完發(fā)現(xiàn)效果遠(yuǎn)不如論文里展示的那么好。原因很簡(jiǎn)單開(kāi)源VLA訓(xùn)練時(shí)所用的機(jī)器人構(gòu)型和你的不一定一致數(shù)據(jù)分布也不一樣。想讓模型在你的機(jī)器人上表現(xiàn)好幾乎必然要在自有數(shù)據(jù)上做微調(diào)。數(shù)據(jù)閉環(huán)難在哪里首先是采集成本。真實(shí)機(jī)器人遙操作采集軌跡一個(gè)人熟練操作一天可能只能采幾百條有效軌跡對(duì)于需要上萬(wàn)乃至幾十萬(wàn)條樣本的VLA微調(diào)來(lái)說(shuō)遠(yuǎn)遠(yuǎn)不夠。其次是數(shù)據(jù)一致性。不同操作員操作習(xí)慣不同動(dòng)作分布差異很大模型學(xué)到的策略會(huì)被操作員風(fēng)格帶偏。我的建議是先用開(kāi)源數(shù)據(jù)把模型跑起來(lái)確認(rèn)基礎(chǔ)設(shè)施沒(méi)有問(wèn)題再開(kāi)始采集自有數(shù)據(jù)。采集時(shí)盡量固定操作員、固定場(chǎng)景光照、固定目標(biāo)物體等到模型能穩(wěn)定復(fù)現(xiàn)基本任務(wù)以后再逐步增加場(chǎng)景多樣性。不要一上來(lái)就追求多樣化數(shù)據(jù)和環(huán)境噪聲太大后期排查問(wèn)題會(huì)非常痛苦。6.2 評(píng)測(cè)指標(biāo)別只看任務(wù)成功率評(píng)測(cè)VLA模型時(shí)只報(bào)一個(gè)任務(wù)成功率是最常見(jiàn)的誤區(qū)。我在LiBero上一開(kāi)始也是這么干的后面發(fā)現(xiàn)成功率波動(dòng)極大換一個(gè)隨機(jī)種子、把物體初始位置平移幾厘米成功率能差十幾個(gè)百分點(diǎn)。后來(lái)我形成了一套固定的評(píng)測(cè)習(xí)慣每個(gè)任務(wù)至少跑50個(gè)episode覆蓋5組以上的隨機(jī)初始位姿不能只跑固定初始條件。除了成功率額外記錄平均完成步數(shù)、干預(yù)率人類需要介入糾正模型的頻率和單步動(dòng)作誤差。分階段統(tǒng)計(jì)而不是只報(bào)最終成功率。比如一個(gè)長(zhǎng)程任務(wù)里模型到底是第一步拿物體就失敗還是最后放置階段失敗這決定了后續(xù)優(yōu)化方向完全不一樣。評(píng)測(cè)這一塊真的值得多花時(shí)間。我在不止一個(gè)項(xiàng)目里見(jiàn)過(guò)大家為了趕節(jié)點(diǎn)只測(cè)了十幾個(gè)episode看著成功率挺高一上真機(jī)或者換場(chǎng)景就露餡。評(píng)測(cè)流程本身也是項(xiàng)目資產(chǎn)可以沉淀成一套腳本每次模型迭代后自動(dòng)跑回歸這是一筆非常劃算的投資。6.3 個(gè)人/小團(tuán)隊(duì)從哪個(gè)模型入門給想入門的個(gè)人開(kāi)發(fā)者或者小團(tuán)隊(duì)一個(gè)直接的建議第一個(gè)接觸的模型優(yōu)先選OpenVLA。原因很現(xiàn)實(shí)它開(kāi)源徹底、社區(qū)活躍、資料齊全而且7B參數(shù)正好是個(gè)人GPU服務(wù)器能扛住的量級(jí)。你可以先跑通LiBero上的評(píng)測(cè)再采集少量自有數(shù)據(jù)微調(diào)完整走一遍數(shù)據(jù)處理-微調(diào)-評(píng)測(cè)-部署的流程。這個(gè)流程的價(jià)值比模型本身更大。如果你對(duì)強(qiáng)化學(xué)習(xí)和連續(xù)控制更感興趣可以考慮從DreamerV3這類世界模型入手。它不需要語(yǔ)言數(shù)據(jù)在仿真環(huán)境里就能跑適合理解世界模型隱空間預(yù)測(cè)這套核心機(jī)制。項(xiàng)目周期短實(shí)驗(yàn)反饋快對(duì)建立直覺(jué)非常有幫助。WAM目前不建議作為第一個(gè)項(xiàng)目原因我說(shuō)過(guò)它沒(méi)有標(biāo)準(zhǔn)實(shí)現(xiàn)不同論文里結(jié)構(gòu)差異很大需要具備足夠的模型設(shè)計(jì)和調(diào)試能力才能駕馭。等你把WM和VLA都跑熟了再去看WAM相關(guān)的文獻(xiàn)會(huì)輕松很多。我自己的體會(huì)是模型選型永遠(yuǎn)服務(wù)于你真正要解決的問(wèn)題。如果你的機(jī)器人大部分時(shí)間在一個(gè)相對(duì)固定的環(huán)境里做重復(fù)任務(wù)傳統(tǒng)方案加一個(gè)輕量WM做預(yù)測(cè)補(bǔ)償性價(jià)比可能比上VLA要高得多如果你的目標(biāo)是讓機(jī)器人能聽(tīng)懂人話、應(yīng)對(duì)各種口味的任務(wù)那VLA這一條路是繞不開(kāi)的只是要做好吃數(shù)據(jù)、調(diào)模型的長(zhǎng)期準(zhǔn)備。最后再分享一個(gè)實(shí)操小技巧不管用哪種模型第一版上線前先給機(jī)器人加一個(gè)急停邏輯和動(dòng)作范圍的硬約束VLA這種端到端模型偶爾會(huì)給你“驚喜”沒(méi)有兜底的系統(tǒng)再好的模型也不敢放手用。