開了很多次項目會我聽到最多的一句話是視覺識別都這么準了為什么機器人一上手干活還是翻車說真的目標檢測跑到95%以上的mAP6D姿態(tài)估計也算得挺準機械臂就是抓不住、推不倒、放不穩(wěn)。以前我以為是手眼標定不夠精細后來才意識到真正的問題根本不是看得不夠清楚而是從「看」到「做」之間缺了一整層東西。最近行業(yè)內(nèi)高頻出現(xiàn)的三個詞——WMWorld Model、WAMWorld Action Model和VLAVision-Language-Action Model本質(zhì)上都在補這個東西。只是它們的補法完全不同一個側重想一個側重想完再做還有一個干脆把看和做直接縫在一起。這篇文章我會圍繞這三種機器人模型把原理、網(wǎng)絡結構、訓練方式、評測方法和落地選型全部拉通講一遍。不管你是剛進具身智能方向的研究生還是已經(jīng)在做機器人系統(tǒng)集成、準備從經(jīng)典方案切向端到端模型的工程師這篇文章應該都能幫你把路線理清楚。1. 從「看」到「做」的最后一公里為什么卡了這么多年1.1 傳統(tǒng)機器人技術棧的三層割裂經(jīng)典機器人系統(tǒng)的路線非常清晰感知模塊負責看規(guī)劃模塊負責想路線控制模塊負責動手。拿最簡單的抓取桌上的紅色杯子這個任務來說感知模塊輸出杯子的類別和6D位姿規(guī)劃模塊根據(jù)當前機械臂位姿和杯子位姿算出一條無碰撞軌跡控制模塊用PID或者MPC去跟蹤這條軌跡。聽起來嚴絲合縫真正跑起來問題一個接一個。我見過最多的翻車現(xiàn)場是這樣的感知模塊說杯子在某個坐標但那個坐標本身帶3毫米誤差、1度左右的姿態(tài)誤差規(guī)劃模塊拿著這個坐標按剛體假設規(guī)劃軌跡底層控制再因為摩擦、重力補償不準產(chǎn)生一點跟蹤殘差。三者誤差沒有互相抵消而是層層疊加。最后機械臂到地方一看夾爪開口尺寸就比杯子寬一兩厘米直接撞過去把杯子懟飛。這種問題的根源是模塊之間用非常窄的接口傳遞信息。感知模塊不知道下一步是抓取還是推開規(guī)劃模塊不知道杯子是玻璃的還是塑料的控制模塊更不知道任務目標是穩(wěn)穩(wěn)端起來還是把水倒掉。信息在每一層都發(fā)生了丟失。這是傳統(tǒng)系統(tǒng)架構的天花板不是調(diào)參能解決的。1.2 感知-規(guī)劃-控制之間到底丟掉了什么往深了說傳統(tǒng)三層架構丟掉的是三類關鍵信息。第一類是物理常識。杯子放在桌子邊緣旁邊就是垃圾桶機器人能不能判斷我這一推可能導致杯子掉下去傳統(tǒng)感知模塊給不了這個信息規(guī)劃模塊也不會主動去模擬這個后果。第二類是上下文意圖。同樣的視覺畫面把杯子遞給我和把杯子放回柜子對應的動作軌跡完全不同。傳統(tǒng)架構里任務指令只被當成一個字符串傳給任務調(diào)度器視覺模塊和規(guī)劃模塊都不真正理解它語言和動作之間沒有形成共享表征。第三類是時序一致性。真實世界是連續(xù)的物體不是靜止不動的。傳統(tǒng)感知模塊通常做單幀檢測規(guī)劃模塊輸出開環(huán)軌跡一旦環(huán)境發(fā)生變化整個鏈路就斷掉了。缺少一個未來的世界會怎樣演化的內(nèi)部預測能力機器人就只能在問題發(fā)生以后作反應沒辦法提前預判。1.3 三個縮寫詞三種解題思路WM、WAM、VLA這三類模型分別對應了三條不同的解題路線。WMWorld Model世界模型解決的核心問題是給定當前狀態(tài)和動作模型能否預測未來狀態(tài)它讓機器人具備想象能力能在內(nèi)部模擬環(huán)境的動態(tài)變化。它的輸出不是動作而是世界下一步會怎樣。WAMWorld Action Model世界動作模型是在世界模型基礎上往前走了一步不僅預測環(huán)境狀態(tài)的變化還把智能體自身的動作也納入顯式建模。你可以把它理解成世界動力學模型策略模型的合體模型內(nèi)部同時處理環(huán)境會怎樣變和我該怎么做。VLAVision-Language-Action Model視覺-語言-動作模型則走了另一條路用自然語言作為中間變量把視覺觀測直接映射到動作輸出。語言在這里不僅是任務指令更是連接視覺特征和動作語義的橋梁。它不再受限于感知模塊輸出什么結構給規(guī)劃模塊而是端到端地學習看到什么、接到什么指令、輸出什么動作。這三者不是互相競爭的關系而是對應機器人內(nèi)部不同的抽象層次。能把它們徹底搞清楚再去讀具身智能方向的論文、選型落地思路會清晰很多。2. WM世界模型與其說預測下一幀不如說在學物理直覺2.1 世界模型回答的本質(zhì)問題世界模型的本質(zhì)就是狀態(tài)轉(zhuǎn)移模型給定當前系統(tǒng)狀態(tài)、智能體動作預測下一個時間步的狀態(tài)。放到機器人場景里狀態(tài)可能是關節(jié)角度、末端位姿、物體的坐標也可能是從視覺觀測里編碼出來的隱變量動作可能是機械臂的關節(jié)力矩也有可能是夾爪的開合指令。很多入門者會把世界模型理解成視頻預測模型認為只要學會了預測下一幀畫面就算建好了世界模型。這是一個常見的誤區(qū)。像素級預測只是世界模型的一種監(jiān)督信號不是目的本身。我們真正想要的是模型能夠把握環(huán)境內(nèi)部的因果規(guī)律比如手推杯子杯子會沿推動方向滑行、杯子到桌子邊緣以后繼續(xù)推會先產(chǎn)生傾斜然后掉下去。我在實際項目里更傾向于把世界模型拆成三個能力來看狀態(tài)預測能力給定當前狀態(tài)和動作序列預測未來狀態(tài)軌跡。代價/獎勵預測能力預測某個動作序列會帶來什么樣的后果、獲得多少獎勵、產(chǎn)生多大碰撞風險。反事實想象能力在腦海里推演如果我不抓這個杯子而是推開它會發(fā)生什么。2.2 內(nèi)部表征從像素到隱空間中的物理規(guī)律早年間做世界模型大家特別喜歡直接預測視頻幀。但像素級預測的問題很明顯第一是計算量巨大一張256乘256的RGB圖像已經(jīng)夠訓練吃力的了更別說連續(xù)預測幾十幀第二是像素里大量細節(jié)根本不影響下游決策比如背景紋理、物體表面的花紋預測得再準也沒有意義?，F(xiàn)在主流做法是在**隱空間latent space**里做預測。視覺編碼器把高維圖像壓縮成一個緊湊的隱狀態(tài)世界模型在這個隱空間里學習狀態(tài)轉(zhuǎn)移最后用解碼器把預測結果映射回像素或者狀態(tài)空間。這個思路很大程度上來自強化學習領域的Dreamer系列模型。Dreamer的訓練方式非常典型先用一個編碼器把歷史觀測編碼成隱狀態(tài)再用一個序列模型去預測未來隱狀態(tài)同時訓練動作模型去最大化想象中的獎勵。整個過程中模型真正學到的不是下一幀畫面長什么樣而是在什么狀態(tài)下采取什么動作會導致什么樣的狀態(tài)變化。這就是一種物理直覺的雛形。打個比方你閉上眼睛把手機拋起來再接住你能完成這個動作不是因為你實時看到了手機在哪而是大腦里有一個簡化的物理模型在高速推演拋物線。機器人有了世界模型就相當于擁有了這種閉眼推演的能力。2.3 世界模型在機器人里的三個常見用法第一個用法是模型預測控制MPC。模型預測控制本身不依賴學習得到的模型也可以做比如可以基于解析動力學方程來做但真實機器人往往存在摩擦、間隙、柔性變形等難以建模的部分。學習型世界模型的價值在于它能從數(shù)據(jù)里補償這些動力學偏差滾動預測未來狀態(tài)軌跡再選擇一條代價最小的軌跡執(zhí)行。第二個用法是離線強化學習的數(shù)據(jù)增強。強化學習樣本效率低很大一部分原因是在真實環(huán)境里試錯成本太高。有了世界模型智能體可以在想象的軌跡里做策略更新在同一個批次數(shù)據(jù)上反復腦補各種可能。Dreamer系列就是用這種方式在多個連續(xù)控制任務上大幅提升樣本效率的。第三個用法是Sim2Real遷移的誤差補償。仿真環(huán)境里訓練好的策略搬到真實機器人上往往會因為動力學差異而表現(xiàn)下降。一個常見做法是用真實機器人上采集到的少量軌跡數(shù)據(jù)微調(diào)世界模型再基于微調(diào)后的世界模型做進一步規(guī)劃或策略學習相當于把仿真模型校準到真實世界。部署世界模型時有一個經(jīng)驗訓練數(shù)據(jù)里一定要包含足夠的非典型狀態(tài)。我見過很多團隊只讓世界模型學成功軌跡上的數(shù)據(jù)結果模型對手碰到杯子邊緣導致杯子歪了這類意外場景完全沒有預測能力。用得好的世界模型必須見過足夠多的失敗樣例才能真正理解物理邊界在哪。3. WAM世界動作模型從環(huán)境會怎樣變到我該怎么做3.1 WAM對WM的擴展WAM這個縮寫不像WM和VLA那么普及但它的思路在最近一年里出現(xiàn)得越來越頻繁。世界動作模型的核心主張是純粹的世界模型只負責預測環(huán)境演化不負責做決策這在很多場景下不夠用。真實機器人任務里環(huán)境和智能體是耦合在一起的機械臂推杯子杯子動了這個動既包含環(huán)境狀態(tài)變化也包含了智能體動作施加的效果。把二者割裂開建模信息和效率都會打折扣。WAM把世界模型和動作策略放在同一個模型里聯(lián)合建?！容敵鰧ο乱粻顟B(tài)的預測也輸出當前策略推薦的動作。你可以理解成世界模型負責提供想象空間動作預測頭負責在這個想象空間里尋找最優(yōu)應對方式。3.2 顯式動作建模與閉環(huán)WAM和WM最核心的差別在顯式動作建模這個點上。世界模型內(nèi)部通常不關心智能體動作的語義動作對于它只是一個輸入變量WAM則把動作當作模型需要生成的核心目標和狀態(tài)預測目標一起聯(lián)合訓練。這樣一來模型內(nèi)部天然形成了一個閉環(huán)輸入歷史狀態(tài)序列模型預測未來狀態(tài)分布和動作概率執(zhí)行機構按動作執(zhí)行后新的觀測再反饋進模型。這種設計帶來的直接好處是響應速度。VLA這類端到端模型如果做得不夠輕量推理頻率可能只有10赫茲、20赫茲這對高速動態(tài)任務來說遠遠不夠。WAM因為把環(huán)境動態(tài)和策略耦合得很緊在許多連續(xù)控制任務上可以做到更高頻率的動作輸出同時用世界模型部分做短時預測來填補控制間隙。不過要潑一盆冷水目前在公開論文里WAM并沒有一個像VLA里RT-2或者OpenVLA那樣公認的標準實現(xiàn)。它更多是一種架構思想不同工作里會演化出世界模型策略頭世界動作聯(lián)合預測器等多種變形。讀文獻的時候看到World Action Model這個詞一定要去確認它內(nèi)部到底預測什么、怎么訓練不要默認所有WAM都是同一種結構。3.3 WAM的典型網(wǎng)絡結構我結合自己做過的原型項目說一下比較典型的WAM結構長什么樣大致可以拆成四個部分觀測編碼器把RGB圖像、深度圖、本體關節(jié)角度編碼為一個緊湊的觀測特征。世界動力學模塊接收當前隱狀態(tài)和動作預測下一個隱狀態(tài)設計上比較接近WM里的序列模型。動作預測頭根據(jù)當前的隱狀態(tài)和目標輸出動作分布。動作空間是連續(xù)關節(jié)坐標或力矩一般用高斯分布或混合高斯分布建模。狀態(tài)預測輔助頭額外預測未來的關鍵狀態(tài)比如目標物體的6D位姿用來在訓練時給模型提供更強的狀態(tài)監(jiān)督。訓練時損失函數(shù)一般有三項第一項是狀態(tài)重建損失要求模型生成的未來隱狀態(tài)能被解碼回接近真實的狀態(tài)第二項是動作模仿?lián)p失讓動作預測頭對齊專家軌跡里的動作標簽第三項是一致性損失確保同一個狀態(tài)的不同觀測視角編碼得到的隱狀態(tài)一致。我在訓練WAM時踩過一個大坑如果狀態(tài)重建損失權重設得太低模型會快速塌縮成一個純行為克隆模型完全忽略對世界動態(tài)的建模但如果權重設得太高動作預測頭又學不到東西策略表現(xiàn)很差。我最后是用課程學習的方式先讓世界動力學模塊單獨學幾百個epoch再把動作預測頭打開聯(lián)合訓練效果比一開始就端到端硬訓穩(wěn)定很多。4. VLA視覺-語言-動作模型一句話讓機器人上手干活4.1 VLA的核心思想語言作為中間變量VLA是當前具身智能領域最出圈的一個方向原因是它把多模態(tài)大模型的成熟技術直接搬到了機器人控制上。一個典型的VLA網(wǎng)絡由三個部分構成視覺編碼器負責把圖像變成視覺token大語言模型負責理解指令并融合視覺信息動作頭負責把推理結果映射成動作輸出。語言在VLA里承擔的作用非常特殊。它不只是指令輸入更是一種共享語義空間。舉個例子把紅色杯子放到托盤上這句話里紅色杯子讓模型把視覺注意力放到目標物體上放到托盤上讓模型激活過去在類似指令下學到的動作模式。哪怕模型沒有見過當前這張桌子的具體布局只要語言指令里的語義與訓練數(shù)據(jù)里的任務有重合它就能做一定程度的遷移。這也是VLA相比傳統(tǒng)機器人系統(tǒng)的最大優(yōu)勢指令泛化和跨任務復用。傳統(tǒng)系統(tǒng)每加一個新任務基本要重寫任務邏輯和約束VLA只需要換一句自然語言指令模型就能嘗試在已有經(jīng)驗里組合出對應的行為。4.2 從RT-2到OpenVLA再到π0VLA在怎么演進如果只看2023年之后的VLA發(fā)展可以拉一條很清晰的線。RT-2是Google的經(jīng)典工作做法是把機器人動作離散成token和圖像token一起送入視覺語言模型把下一動作token當作下一句詞來生成。RT-2證明了用大規(guī)模互聯(lián)網(wǎng)圖文數(shù)據(jù)預訓練的模型可以直接遷移到機器人控制上但離散化動作空間帶來的問題也很明顯動作精度不足高頻執(zhí)行時會抖動。OpenVLA是開源社區(qū)最重要的里程碑之一7B參數(shù)規(guī)模視覺部分用預訓練的視覺編碼器語言部分用LLaMA-2在Open X-Embodiment等大規(guī)?？缇呱頂?shù)據(jù)集上訓練。它的最大價值不是性能而是把VLA訓練的門檻從大公司專屬拉到了普通實驗室也能跑的水平。很多個人開發(fā)者就是靠OpenVLA進入這個領域的。π0也就是業(yè)界常說的Pi系列由Physical Intelligence提出動作頭不再走離散token而是引入了Flow Matching技術直接生成連續(xù)的動作分布。這個改動的意義很實際連續(xù)動作生成的頻率更高、控制更平穩(wěn)更適合真實機械臂高頻控制。π0同時也在模型架構上吸收了更多機器人狀態(tài)的輸入比如關節(jié)角度、夾爪開度實用性比第一代VLA強不少。另外值得提一句的是VLA已經(jīng)不局限于機械臂操作。最近NVIDIA開源的Alpamayo就是面向輔助駕駛場景的VLA推理模型把視覺語言動作的框架用到了車輛控制上。這說明VLA作為一種通用范式正在從桌面操作走向更廣闊的物理世界交互場景。4.3 訓練VLA離不開的真實步驟與Libero測試很多朋友拿到一個VLA模型以后第一反應是趕緊部署到真機。我強烈建議先別這么干先在仿真環(huán)境里把模型跑熟、把評測流程建立起來再上真機。在LiBero上做VLA測試是目前比較標準的一條路徑。LiBero是一個基于MuJoCo物理引擎的桌面操作benchmark包含了多個長程任務比如把黑色碗放進柜子把左邊盤子放到洗碗架上。它特別適合用來衡量VLA在長期任務上的表現(xiàn)因為任務里往往有多個物體、多步操作模型光學會單步動作是不夠的。具體操作步驟大致如下下載LiBero數(shù)據(jù)集和對應的benchmark代碼倉庫里面包含HDF5格式的軌跡數(shù)據(jù)字段主要有觀測圖像、關節(jié)狀態(tài)、語言指令和動作真值。創(chuàng)建conda環(huán)境安裝依賴重點確認PyTorch版本和MuJoCo版本的兼容性。加載一個預訓練好的VLA模型先用LiBero自帶的評估腳本跑一遍確認模型能正常加載和推理。針對某一個大類任務做微調(diào)把訓練集換成LiBero對應子任務的軌跡數(shù)據(jù)訓練幾個epoch后再回到評測腳本上測成功率。評測時不要只盯著一個指標。LiBero的官方評估腳本里除了任務成功率還有平均完成步數(shù)、單步動作誤差、不同初始位姿下的穩(wěn)定性等維度。我自己測試的時候發(fā)現(xiàn)一個模型可能在固定初始位姿下成功率接近滿分但把物體初始位置稍微挪一下成功率立刻掉一半。這說明模型過擬合了初始布局并沒有真正學會任務的語義目標。訓練VLA的數(shù)據(jù)組裝也是個關鍵活。一份可用的VLA訓練樣本通常包括當前視覺觀測、語言指令、機器人狀態(tài)和動作標簽。訓練流程一般分兩段先在圖文數(shù)據(jù)和視頻數(shù)據(jù)上做視覺語言預訓練讓模型具備視覺理解和語言對齊能力再在大規(guī)模機器人軌跡數(shù)據(jù)上做微調(diào)讓模型學會把語義理解映射成動作。開源數(shù)據(jù)集里Open X-Embodiment是目前覆蓋面最廣的跨機器人數(shù)據(jù)集幾乎所有開源VLA都會在它上面訓練。但要注意跨數(shù)據(jù)集的機器人構型差異很大如果不做統(tǒng)一的動作空間歸一化訓練會非常不穩(wěn)定。5. WM/WAM/VLA橫向?qū)Ρ炔皇峭毁惖朗擎湕l的三段5.1 核心維度對比表很多人在選模型時容易把WM、WAM、VLA放在一個擂臺上比誰強誰弱這個視角本身就是錯的。它們解決的不是同一個問題更像是從看到想再到做這條鏈條上的三段。我用一張表把核心維度拉通對比維度WM世界模型WAM世界動作模型VLA視覺-語言-動作模型核心問題世界下一步會怎樣基于世界變化我該怎么做接到這條指令我該執(zhí)行什么動作主要輸入歷史狀態(tài)序列、動作序列歷史狀態(tài)序列、動作、任務目標視覺觀測、語言指令、機器人狀態(tài)主要輸出未來狀態(tài)預測/隱表征未來狀態(tài)預測動作分布動作序列離散token或連續(xù)動作訓練數(shù)據(jù)視頻、傳感器流、部分狀態(tài)數(shù)據(jù)視頻動作軌跡狀態(tài)標簽跨具身機器人數(shù)據(jù)圖文語料語言能力一般沒有視具體設計而定核心能力必不可少推理頻率高隱空間預測很快較高動作輸出可與狀態(tài)預測耦合通常偏低大模型推理開銷大典型代表Dreamer系列、各類latent world model文獻中暫無統(tǒng)一頭部實現(xiàn)多為架構模塊RT-2、OpenVLA、π0、Alpamayo最擅長場景規(guī)劃、想象、模型預測控制動態(tài)環(huán)境下閉環(huán)決策跨任務語義泛化、指令操作這張表里最值得關注的是推理頻率這一行。很多人只看成功率忽略了控制頻率結果模型推一次動作要100毫秒機械臂已經(jīng)走出一大截了。VLA里面的7B大模型版本不做量化推理速度很難上去WM一般只要跑一個小型序列模型推理開銷低很多WAM介于兩者之間。5.2 典型適用場景與選型建議選型判斷在我看來可以按三條路徑走。如果你主要做運動規(guī)劃、軌跡優(yōu)化、Sim2Real遷移這類任務你更需要的是環(huán)境動態(tài)的精確描述這時候應該選WM。它能幫你做MPC的前向預測也能在離線強化學習里當數(shù)據(jù)增強器用世界模型來擴充經(jīng)驗池。如果你做的是動態(tài)環(huán)境里的實時決策比如機械臂要避開移動的障礙物、抓取緩慢運動的目標那WAM這種世界動態(tài)動作預測聯(lián)合建模的思路會更匹配。它比純WM多了動作生成能力比VLA更容易做到實時閉環(huán)。如果你做的是多任務、多指令的泛化操作例如把抽屜里的螺絲刀拿出來把綠色杯子放到柜子第二層那不要糾結直接上VLA。語言指令帶來的泛化能力是前兩類模型沒法比的。但前提是你得接受它的數(shù)據(jù)量需求和控制頻率限制。5.3 三種模型能否組合使用可能有人會問能不能把三種模型組合到同一個系統(tǒng)里我的答案是可以而且這可能是工程上最現(xiàn)實的方案。一個實際可行的組合方式是用VLA作為高層任務規(guī)劃器它根據(jù)自然語言指令輸出一系列高層動作意圖比如先接近杯子再抓取然后移動到托盤上方同時用WM作為環(huán)境預測器在VLA每個動作意圖執(zhí)行之前推演這個動作可能會導致什么后果提前規(guī)避碰撞風險底層控制器用MPC或傳統(tǒng)控制方法去執(zhí)行具體軌跡。如果系統(tǒng)控制頻率還滿足不了動態(tài)環(huán)境下修正要求再加上一層輕量WAM做短時閉環(huán)糾偏。我有一個親測有效的經(jīng)驗VLA模型的輸出不要直接作為底層目標位置而是先經(jīng)過一個安全過濾層。安全過濾層可以用規(guī)則實現(xiàn)也可以用輕量WM實現(xiàn)目標是判斷VLA輸出的動作是否會導致碰撞、超出關節(jié)限位等危險情況。這樣既能保住VLA的泛化能力又能避免端到端模型偶爾犯低級錯誤帶來的安全問題。6. 落地上手之前先避開這些坑6.1 數(shù)據(jù)閉環(huán)是最大瓶頸很多團隊買來機械臂以后第一反應是找開源模型下載一個OpenVLA拿真機跑跑完發(fā)現(xiàn)效果遠不如論文里展示的那么好。原因很簡單開源VLA訓練時所用的機器人構型和你的不一定一致數(shù)據(jù)分布也不一樣。想讓模型在你的機器人上表現(xiàn)好幾乎必然要在自有數(shù)據(jù)上做微調(diào)。數(shù)據(jù)閉環(huán)難在哪里首先是采集成本。真實機器人遙操作采集軌跡一個人熟練操作一天可能只能采幾百條有效軌跡對于需要上萬乃至幾十萬條樣本的VLA微調(diào)來說遠遠不夠。其次是數(shù)據(jù)一致性。不同操作員操作習慣不同動作分布差異很大模型學到的策略會被操作員風格帶偏。我的建議是先用開源數(shù)據(jù)把模型跑起來確認基礎設施沒有問題再開始采集自有數(shù)據(jù)。采集時盡量固定操作員、固定場景光照、固定目標物體等到模型能穩(wěn)定復現(xiàn)基本任務以后再逐步增加場景多樣性。不要一上來就追求多樣化數(shù)據(jù)和環(huán)境噪聲太大后期排查問題會非常痛苦。6.2 評測指標別只看任務成功率評測VLA模型時只報一個任務成功率是最常見的誤區(qū)。我在LiBero上一開始也是這么干的后面發(fā)現(xiàn)成功率波動極大換一個隨機種子、把物體初始位置平移幾厘米成功率能差十幾個百分點。后來我形成了一套固定的評測習慣每個任務至少跑50個episode覆蓋5組以上的隨機初始位姿不能只跑固定初始條件。除了成功率額外記錄平均完成步數(shù)、干預率人類需要介入糾正模型的頻率和單步動作誤差。分階段統(tǒng)計而不是只報最終成功率。比如一個長程任務里模型到底是第一步拿物體就失敗還是最后放置階段失敗這決定了后續(xù)優(yōu)化方向完全不一樣。評測這一塊真的值得多花時間。我在不止一個項目里見過大家為了趕節(jié)點只測了十幾個episode看著成功率挺高一上真機或者換場景就露餡。評測流程本身也是項目資產(chǎn)可以沉淀成一套腳本每次模型迭代后自動跑回歸這是一筆非常劃算的投資。6.3 個人/小團隊從哪個模型入門給想入門的個人開發(fā)者或者小團隊一個直接的建議第一個接觸的模型優(yōu)先選OpenVLA。原因很現(xiàn)實它開源徹底、社區(qū)活躍、資料齊全而且7B參數(shù)正好是個人GPU服務器能扛住的量級。你可以先跑通LiBero上的評測再采集少量自有數(shù)據(jù)微調(diào)完整走一遍數(shù)據(jù)處理-微調(diào)-評測-部署的流程。這個流程的價值比模型本身更大。如果你對強化學習和連續(xù)控制更感興趣可以考慮從DreamerV3這類世界模型入手。它不需要語言數(shù)據(jù)在仿真環(huán)境里就能跑適合理解世界模型隱空間預測這套核心機制。項目周期短實驗反饋快對建立直覺非常有幫助。WAM目前不建議作為第一個項目原因我說過它沒有標準實現(xiàn)不同論文里結構差異很大需要具備足夠的模型設計和調(diào)試能力才能駕馭。等你把WM和VLA都跑熟了再去看WAM相關的文獻會輕松很多。我自己的體會是模型選型永遠服務于你真正要解決的問題。如果你的機器人大部分時間在一個相對固定的環(huán)境里做重復任務傳統(tǒng)方案加一個輕量WM做預測補償性價比可能比上VLA要高得多如果你的目標是讓機器人能聽懂人話、應對各種口味的任務那VLA這一條路是繞不開的只是要做好吃數(shù)據(jù)、調(diào)模型的長期準備。最后再分享一個實操小技巧不管用哪種模型第一版上線前先給機器人加一個急停邏輯和動作范圍的硬約束VLA這種端到端模型偶爾會給你“驚喜”沒有兜底的系統(tǒng)再好的模型也不敢放手用。