世界模型和具身智能最近被頻繁放在一起討論已經(jīng)成為具身智能領(lǐng)域一個(gè)清晰的新方向。過去幾年具身智能的研究重心從感知走向決策從模仿走向預(yù)測(cè)而世界模型正好提供了一種讓機(jī)器人先學(xué)習(xí)環(huán)境變化規(guī)律、再基于預(yù)測(cè)執(zhí)行動(dòng)作的框架。對(duì)做機(jī)器人、自動(dòng)駕駛、仿真訓(xùn)練或強(qiáng)化學(xué)習(xí)的工程師來說理解這條技術(shù)路線比單純追一個(gè)熱門詞匯更有價(jià)值。這篇文章會(huì)從世界模型的核心機(jī)制講起說明它和大模型的本質(zhì)區(qū)別再給出一套最小可運(yùn)行的學(xué)習(xí)流程最后集中討論數(shù)據(jù)清洗、訓(xùn)練調(diào)試和真實(shí)場(chǎng)景落地中最容易踩坑的部分。1. 世界模型為什么會(huì)在具身智能里成為新方向1.1 從“感知-決策”到“預(yù)測(cè)-規(guī)劃”的轉(zhuǎn)變具身智能要解決的核心問題是一個(gè)擁有傳感器和運(yùn)動(dòng)機(jī)構(gòu)的實(shí)體如何根據(jù)當(dāng)前的觀察做出合理的動(dòng)作。傳統(tǒng)的做法是訓(xùn)練一個(gè)端到端策略網(wǎng)絡(luò)輸入圖像或狀態(tài)向量輸出動(dòng)作。這種方法在簡(jiǎn)單環(huán)境中可以工作但存在一個(gè)明顯短板它沒有顯式建?！碍h(huán)境下一步會(huì)發(fā)生什么”。真實(shí)場(chǎng)景不是靜態(tài)的。抓取一個(gè)杯子之前手靠近杯子的過程會(huì)改變杯子在圖像里的位置行走時(shí)重心的變化會(huì)影響下一個(gè)瞬間的力矩自動(dòng)駕駛中前車剎車后本車的速度規(guī)劃必須提前考慮未來幾秒的位置關(guān)系。這些場(chǎng)景都需要預(yù)測(cè)能力。世界模型把“預(yù)測(cè)環(huán)境動(dòng)態(tài)”作為模型的核心目標(biāo)讓智能體可以想象未來再基于想象結(jié)果做規(guī)劃。從強(qiáng)化學(xué)習(xí)的角度看這也對(duì)應(yīng)著從 model-free 到 model-based 的轉(zhuǎn)變。model-free 方法直接學(xué)習(xí)策略樣本效率低需要大量試錯(cuò)model-based 方法先學(xué)習(xí)環(huán)境模型再用學(xué)習(xí)到的模型進(jìn)行推演減少真實(shí)交互次數(shù)。世界模型正是 model-based RL 在具身智能中的一種系統(tǒng)化實(shí)現(xiàn)。1.2 世界模型解決的是哪一類問題世界模型擅長(zhǎng)處理三類問題第一類是長(zhǎng)期任務(wù)。任務(wù)越長(zhǎng)積累的錯(cuò)誤越多。世界模型通過顯式預(yù)測(cè)未來狀態(tài)可以讓規(guī)劃器在同一段未來軌跡上反復(fù)優(yōu)化而不是只能依賴當(dāng)前幀做決策。第二類是延遲獎(jiǎng)勵(lì)。某些動(dòng)作不會(huì)立即產(chǎn)生回報(bào)比如“先上樓梯再進(jìn)房間”這個(gè)任務(wù)里上樓梯這個(gè)動(dòng)作本身沒有直接獎(jiǎng)勵(lì)但它改變了后續(xù)狀態(tài)。世界模型能預(yù)測(cè)狀態(tài)變化從而將遠(yuǎn)期獎(jiǎng)勵(lì)與當(dāng)前動(dòng)作連接起來。第三類是安全約束。真實(shí)機(jī)器人不能隨意試錯(cuò)。有了世界模型就可以在模型內(nèi)部做大量模擬只在估算安全時(shí)把動(dòng)作下發(fā)到真實(shí)環(huán)境。下面用一張表說明傳統(tǒng)端到端策略與基于世界模型的方法在工程層面的差異維度傳統(tǒng)端到端策略基于世界模型的方案核心能力感知到動(dòng)作的直接映射感知、預(yù)測(cè)、規(guī)劃的統(tǒng)一對(duì)未來的處理隱式依賴網(wǎng)絡(luò)內(nèi)部表征顯式預(yù)測(cè)下一狀態(tài)或下一段軌跡樣本效率通常較低需要大量真實(shí)交互可用離線數(shù)據(jù)訓(xùn)練模型再用模型做想象訓(xùn)練可解釋性動(dòng)作輸出難以解釋預(yù)測(cè)結(jié)果可以可視化、可以回放硬件依賴高依賴大量真實(shí)環(huán)境采樣可以先用仿真或歷史數(shù)據(jù)訓(xùn)練1.3 世界模型和大模型的邊界不只是“多模態(tài)大模型”“世界模型”這個(gè)詞常常和“大模型”混在一起尤其當(dāng)一段視頻描述、圖像生成或多模態(tài)對(duì)話被冠以世界模型的名頭時(shí)容易造成誤解。嚴(yán)格來說世界模型和大語言模型解決的問題不同。大語言模型的核心是語言序列上的條件概率建模輸入是 token 序列輸出是下一個(gè) token 的概率分布。它擅長(zhǎng)語義關(guān)聯(lián)和知識(shí)推理但它不關(guān)心動(dòng)作向量也不關(guān)心物理狀態(tài)轉(zhuǎn)移。多模態(tài)大模型雖然能看懂圖像和視頻但它預(yù)測(cè)的是“畫面中可能出現(xiàn)什么”而不是“在給定動(dòng)作 a 之后環(huán)境狀態(tài) s 會(huì)變成 s”。世界模型必須建模環(huán)境動(dòng)態(tài)形式化地說它要學(xué)習(xí)的是P(s_{t1} | s_t, a_t)其中 s_t 是環(huán)境狀態(tài)a_t 是智能體動(dòng)作。這條路徑上的每個(gè)環(huán)節(jié)都圍繞狀態(tài)和動(dòng)作展開而不是圍繞文本 token 展開。兩者對(duì)比可以整理成下表對(duì)比維度世界模型大語言模型輸入狀態(tài)序列、動(dòng)作序列文本 token 序列輸出下一狀態(tài)、獎(jiǎng)勵(lì)、重建觀察下一個(gè) token是否顯式建模動(dòng)作是動(dòng)作是核心輸入通常不建模物理動(dòng)作應(yīng)用場(chǎng)景機(jī)器人控制、仿真、自動(dòng)駕駛規(guī)劃文本生成、代碼助手、知識(shí)問答關(guān)注重點(diǎn)環(huán)境動(dòng)態(tài)、物理因果、狀態(tài)轉(zhuǎn)移語義關(guān)聯(lián)、語言模式、知識(shí)表達(dá)理解這個(gè)邊界很重要。如果一個(gè)模型只能預(yù)測(cè)視頻里下一幀大體像什么而沒有狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)的結(jié)構(gòu)化接口那它還不能直接用于具身智能的控制閉環(huán)。2. 理解世界模型的核心機(jī)制2.1 世界模型的四個(gè)基本組件一個(gè)可用的世界模型通常由四個(gè)模塊組成編碼器、動(dòng)力學(xué)模型、獎(jiǎng)勵(lì)模型、解碼器。它們各司其職缺一個(gè)都會(huì)讓系統(tǒng)不完整。編碼器負(fù)責(zé)把高維觀察壓縮成低維潛在狀態(tài)。真實(shí)環(huán)境中觀察可能是 640x480 的圖像、IMU 數(shù)據(jù)、關(guān)節(jié)角度和力矩的組合。直接在高維空間做預(yù)測(cè)計(jì)算量大且容易受到噪聲干擾。編碼器把原始觀察映射到一個(gè)緊湊的潛在向量 z_t。動(dòng)力學(xué)模型負(fù)責(zé)學(xué)習(xí)狀態(tài)轉(zhuǎn)移z_{t1} Dyn(z_t, a_t)。這是世界模型的核心。它輸入潛在狀態(tài)和動(dòng)作輸出預(yù)測(cè)的下一潛在狀態(tài)。如果這個(gè)模塊足夠準(zhǔn)后續(xù)規(guī)劃就有了依據(jù)。獎(jiǎng)勵(lì)模型負(fù)責(zé)預(yù)測(cè)在某個(gè)狀態(tài)下執(zhí)行動(dòng)作能獲得多少獎(jiǎng)勵(lì)。它可以幫助智能體在想象軌跡中評(píng)估動(dòng)作序列而不需要真的執(zhí)行一次。解碼器負(fù)責(zé)從潛在狀態(tài)重建觀察。它的作用有兩個(gè)一是訓(xùn)練時(shí)提供重構(gòu)損失約束編碼器保留足夠信息二是規(guī)劃時(shí)把潛在狀態(tài)還原成可理解的畫面或指標(biāo)方便人工檢查。2.2 從像素到潛在狀態(tài)為什么要在隱空間做預(yù)測(cè)在像素空間直接預(yù)測(cè)下一幀是可行的但工程上并不劃算。圖像像素之間存在大量冗余比如大片同色背景、固定靜態(tài)物體、光照條件。真正決定未來發(fā)展方向的是物體的位置、速度、關(guān)節(jié)角等關(guān)鍵變量。潛在空間把這些變量解耦出來預(yù)測(cè)任務(wù)變得更干凈。整個(gè)流程可以寫成一組公式z_t Encoder(o_t)z_{t1} Dyn(z_t, a_t)r_t Reward(z_t, a_t)\hat{o}{t1} Decoder(z{t1})其中 o_t 表示 t 時(shí)刻的觀察a_t 表示 t 時(shí)刻的動(dòng)作\hat{o}_{t1} 是模型預(yù)測(cè)的下一幀觀察。訓(xùn)練時(shí)同時(shí)優(yōu)化重構(gòu)損失和預(yù)測(cè)損失讓 Decoder 負(fù)責(zé)生成細(xì)節(jié)讓 Dyn 負(fù)責(zé)理解動(dòng)態(tài)規(guī)律。在潛在空間做預(yù)測(cè)還有一個(gè)好處可以去掉對(duì)任務(wù)無用的細(xì)節(jié)讓模型專注于環(huán)境狀態(tài)如何因動(dòng)作而改變。比如抓取任務(wù)中桌子紋理不會(huì)因?yàn)槭忠苿?dòng)而改變潛在空間會(huì)忽略這類靜態(tài)細(xì)節(jié)把維度留給手、物體和接觸狀態(tài)。2.3 訓(xùn)練與規(guī)劃如何配合世界模型訓(xùn)練完成后真正的價(jià)值在于規(guī)劃。規(guī)劃過程可以看作一種“想象中的搜索”從當(dāng)前潛在狀態(tài) z_t 出發(fā)。隨機(jī)或按策略采樣多組候選動(dòng)作序列。用動(dòng)力學(xué)模型在潛在空間展開未來軌跡。用獎(jiǎng)勵(lì)模型累計(jì)每條軌跡的預(yù)測(cè)獎(jiǎng)勵(lì)。選擇累計(jì)獎(jiǎng)勵(lì)最高的動(dòng)作序列執(zhí)行其中的第一步。這個(gè)流程用偽代碼描述如下for hidden in 1..H: 從 z_current 出發(fā) 采樣候選動(dòng)作序列 a_1..a_H for step in 1..H: z_next Dyn(z, a_step) total_reward Reward(z, a_step) z z_next 記錄 (動(dòng)作序列, total_reward) 選擇 total_reward 最高的動(dòng)作序列 執(zhí)行該序列的第一個(gè)動(dòng)作這種思路在學(xué)術(shù)研究中可以追溯到 World Models 系列和 Dreamer 系列。它們的共同點(diǎn)是把環(huán)境動(dòng)力學(xué)、獎(jiǎng)勵(lì)預(yù)測(cè)和策略學(xué)習(xí)統(tǒng)一到同一個(gè)潛在空間里。實(shí)際實(shí)現(xiàn)中不同方法會(huì)針對(duì)規(guī)劃方式做不同取舍比如使用隨機(jī)策略采樣、使用交叉熵方法優(yōu)化動(dòng)作序列或者直接訓(xùn)練一個(gè)策略網(wǎng)絡(luò)來生成動(dòng)作。3. 用最小示例跑通一個(gè)世界模型學(xué)習(xí)流程3.1 環(huán)境準(zhǔn)備與依賴為了讓示例盡量簡(jiǎn)單這里使用 Gymnasium 提供的 Pendulum-v1 環(huán)境。它只有 3 維觀察和 1 維連續(xù)動(dòng)作數(shù)據(jù)集小適合在筆記本電腦上驗(yàn)證世界模型的核心思想。環(huán)境要求如下表組件建議說明操作系統(tǒng)Ubuntu 20.04/22.04多數(shù)機(jī)器人仿真工具以 Linux 為主Python3.9 或 3.10對(duì) PyTorch 和 Gymnasium 兼容性好PyTorch2.x動(dòng)態(tài)圖方便調(diào)試Gymnasium0.28 以上提供統(tǒng)一的環(huán)境接口創(chuàng)建虛擬環(huán)境并安裝依賴python -m venv wm-example source wm-example/bin/activate pip install numpy torch gymnasiumPendulum-v1 的觀察是 3 維向量包含擺角的正弦、余弦和角速度動(dòng)作是連續(xù)數(shù)值表示施加在擺上的力矩。它雖然簡(jiǎn)單但具備完整的環(huán)境動(dòng)態(tài)適合測(cè)試模型是否能學(xué)會(huì)“動(dòng)作如何影響下一狀態(tài)”。3.2 用 Gymnasium 采集環(huán)境數(shù)據(jù)世界模型的訓(xùn)練數(shù)據(jù)來自環(huán)境交互。先創(chuàng)建一個(gè)環(huán)境并隨機(jī)采樣一批轉(zhuǎn)移樣本每條樣本包含 (當(dāng)前觀察, 動(dòng)作, 下一觀察)import gymnasium as gym import numpy as np import torch import torch.nn as nn import torch.nn.functional as F env gym.make(Pendulum-v1) obs_dim env.observation_space.shape[0] # 3 action_dim env.action_space.shape[0] # 1 def collect_data(env, steps3000): records {obs: [], action: [], next_obs: []} obs, _ env.reset(seed42) for _ in range(steps): action env.action_space.sample() next_obs, _, terminated, truncated, _ env.step(action) records[obs].append(obs) records[action].append(action) records[next_obs].append(next_obs) obs next_obs if terminated or truncated: obs, _ env.reset() return {k: np.array(v) for k, v in records.items()} data collect_data(env, steps3000) print(obs shape:, data[obs].shape) print(action shape:, data[action].shape) print(next_obs shape:, data[next_obs].shape)隨機(jī)采樣的數(shù)據(jù)未必是最優(yōu)策略但它覆蓋了環(huán)境在不同狀態(tài)和動(dòng)作下的轉(zhuǎn)移情況足夠讓世界模型先學(xué)習(xí)一個(gè)粗略的環(huán)境動(dòng)態(tài)。實(shí)際項(xiàng)目中通常還會(huì)加入專家演示數(shù)據(jù)、混合策略數(shù)據(jù)或者基于好奇心的探索策略以增加數(shù)據(jù)覆蓋度。3.3 定義世界模型網(wǎng)絡(luò)結(jié)構(gòu)這里用一個(gè)簡(jiǎn)化的潛在動(dòng)力學(xué)模型包含編碼器、動(dòng)力學(xué)網(wǎng)絡(luò)和解碼器。為了控制代碼量獎(jiǎng)勵(lì)模型先略去專注觀察重建和狀態(tài)轉(zhuǎn)移預(yù)測(cè)。latent_dim 16 class Encoder(nn.Module): 觀察 - 潛在狀態(tài) def __init__(self): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, 64), nn.ReLU(), nn.Linear(64, latent_dim) ) def forward(self, obs): return self.net(obs) class Dynamics(nn.Module): 潛在狀態(tài)和動(dòng)作 - 下一潛在狀態(tài) def __init__(self): super().__init__() self.net nn.Sequential( nn.Linear(latent_dim action_dim, 128), nn.ReLU(), nn.Linear(128, latent_dim) ) def forward(self, z, a): x torch.cat([z, a], dim-1) return self.net(x) class Decoder(nn.Module): 潛在狀態(tài) - 重建觀察 def __init__(self): super().__init__() self.net nn.Sequential( nn.Linear(latent_dim, 64), nn.ReLU(), nn.Linear(64, obs_dim) ) def forward(self, z): return self.net(z)這個(gè)結(jié)構(gòu)很簡(jiǎn)單但它完整體現(xiàn)了世界模型的基本路徑觀察壓縮到潛在空間在潛在空間里加上動(dòng)作向量做預(yù)測(cè)再從潛在狀態(tài)恢復(fù)觀察。實(shí)際項(xiàng)目中Encoder 和 Decoder 通常會(huì)換成卷積網(wǎng)絡(luò)或 Transformer以處理圖像輸入。3.4 訓(xùn)練世界模型訓(xùn)練時(shí)損失函數(shù)包含兩部分重構(gòu)損失和潛在狀態(tài)一致性損失。重構(gòu)損失讓 Decoder 能從潛在狀態(tài)還原觀察一致性損失讓動(dòng)力學(xué)模型的預(yù)測(cè)結(jié)果與編碼器對(duì)真實(shí)下一幀的編碼結(jié)果盡量一致。encoder Encoder() dynamics Dynamics() decoder Decoder() optimizer torch.optim.Adam( list(encoder.parameters()) list(dynamics.parameters()) list(decoder.parameters()), lr1e-3 ) obs_data torch.tensor(data[obs], dtypetorch.float32) action_data torch.tensor(data[action], dtypetorch.float32) next_obs_data torch.tensor(data[next_obs], dtypetorch.float32) dataset torch.utils.data.TensorDataset(obs_data, action_data, next_obs_data) loader torch.utils.data.DataLoader(dataset, batch_size64, shuffleTrue) for epoch in range(60): total_loss 0.0 for obs_b, act_b, next_obs_b in loader: z encoder(obs_b) z_next dynamics(z, act_b) obs_pred decoder(z_next) z_next_target encoder(next_obs_b).detach() recon_loss F.mse_loss(obs_pred, next_obs_b) consistency_loss F.mse_loss(z_next, z_next_target) loss recon_loss 0.1 * consistency_loss optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() * len(obs_b) if epoch % 10 0: avg_loss total_loss / len(dataset) print(fepoch {epoch}, avg_loss {avg_loss:.6f})這里有兩個(gè)細(xì)節(jié)值得注意。第一act_b 是連續(xù)動(dòng)作直接拼接進(jìn)動(dòng)力學(xué)網(wǎng)絡(luò)不需要做 one-hot。第二z_next_target 使用了 detach()避免一致性損失把梯度傳回編碼器對(duì)下一幀的編碼過程否則訓(xùn)練會(huì)不穩(wěn)定。3.5 驗(yàn)證模型是否真的學(xué)會(huì)了環(huán)境動(dòng)態(tài)訓(xùn)練結(jié)束后用測(cè)試集評(píng)估預(yù)測(cè)誤差。比絕對(duì)誤差更重要的是與基線對(duì)比如果直接把當(dāng)前觀察當(dāng)作下一觀察的預(yù)測(cè)誤差是多少世界模型的預(yù)測(cè)誤差必須低于這條基線才能說明模型學(xué)到了轉(zhuǎn)移規(guī)律。with torch.no_grad(): # 使用前 256 條樣本作為評(píng)估集 eval_obs obs_data[:256] eval_act action_data[:256] eval_next next_obs_data[:256] z encoder(eval_obs) z_next dynamics(z, eval_act) pred_next decoder(z_next) world_model_error torch.mean((pred_next - eval_next) ** 2, dim1).mean().item() baseline_error torch.mean((eval_obs - eval_next) ** 2, dim1).mean().item() print(f世界模型預(yù)測(cè)誤差: {world_model_error:.6f}) print(f慣性基線誤差: {baseline_error:.6f})正常訓(xùn)練完成后世界模型的預(yù)測(cè)誤差應(yīng)該明顯低于慣性基線。如果兩者接近說明模型沒有學(xué)到動(dòng)作的作用此時(shí)應(yīng)檢查數(shù)據(jù)量、潛在維度或訓(xùn)練輪數(shù)。4. 關(guān)鍵參數(shù)設(shè)計(jì)與實(shí)驗(yàn)記錄4.1 結(jié)構(gòu)參數(shù)世界模型的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)直接決定信息容量。實(shí)際調(diào)參時(shí)可以按下面這張表來定位問題參數(shù)含義常見值取值偏小的影響取值偏大的影響latent_dim潛在狀態(tài)維度16~64信息容量不足預(yù)測(cè)模糊維度噪聲增多訓(xùn)練變慢hidden_size動(dòng)力學(xué)網(wǎng)絡(luò)寬度128~256表達(dá)能力弱欠擬合參數(shù)增多容易過擬合預(yù)測(cè)步長(zhǎng)單次訓(xùn)練展開長(zhǎng)度1~10模型只看短期梯度消失長(zhǎng)程預(yù)測(cè)不穩(wěn)定潛在維度是最需要重點(diǎn)調(diào)試的參數(shù)。維度太小編碼器不得不丟棄重要信息解碼器重建的觀察會(huì)模糊動(dòng)力學(xué)模型也無法區(qū)分相近狀態(tài)。維度太大模型可以把觀察信息原樣保留但潛在空間無法形成緊湊的結(jié)構(gòu)規(guī)劃時(shí)搜索空間指數(shù)增加。4.2 訓(xùn)練超參數(shù)訓(xùn)練超參數(shù)影響訓(xùn)練的穩(wěn)定性和最終精度。下表列出常見超參數(shù)和建議調(diào)節(jié)方式超參數(shù)常見值調(diào)大的效果調(diào)小的效果batch_size64~256梯度更穩(wěn)定但顯存占用高梯度噪聲大方向抖動(dòng)learning_rate1e-4~1e-3收斂快但容易震蕩收斂慢訓(xùn)練時(shí)間增加consistency_weight0.01~1.0隱空間一致性更強(qiáng)一致性約束弱預(yù)測(cè)容易偏離編碼空間consistency_weight 是很多新手容易忽略的參數(shù)。它控制了動(dòng)力學(xué)模型的輸出是否必須落在編碼器認(rèn)識(shí)的潛在空間內(nèi)。權(quán)重為 0 時(shí)動(dòng)力學(xué)模型只受重構(gòu)損失約束可能預(yù)測(cè)到編碼器不認(rèn)識(shí)的潛在狀態(tài)導(dǎo)致解碼結(jié)果怪異。權(quán)重過大時(shí)模型會(huì)把大量精力用于對(duì)齊潛在狀態(tài)反而忽略重構(gòu)精度。建議先在 0.1 左右起步觀察 Loss 曲線再調(diào)整。4.3 實(shí)驗(yàn)記錄建議跑世界模型實(shí)驗(yàn)時(shí)只記錄 Loss 數(shù)值遠(yuǎn)遠(yuǎn)不夠。下面是一份實(shí)驗(yàn)記錄模板記錄項(xiàng)示例數(shù)據(jù)集規(guī)模3000 條隨機(jī)策略采樣環(huán)境版本Pendulum-v1, Gymnasium 1.xlatent_dim16網(wǎng)絡(luò)結(jié)構(gòu)MLP 64-128-64learning_rate1e-3最終 Lossrecon 0.021, consistency 0.038驗(yàn)證誤差世界模型 0.187基線 0.352日志文件路徑logs/exp_20250410_01/當(dāng)前 Git 提交號(hào)7a3f2c9有了這些信息后續(xù)調(diào)參時(shí)才能快速定位是數(shù)據(jù)問題、結(jié)構(gòu)問題還是超參數(shù)問題。5. 數(shù)據(jù)質(zhì)量是具身智能世界模型的瓶頸5.1 為什么具身智能數(shù)據(jù)清洗比普通視覺數(shù)據(jù)集更麻煩許多做視覺感知的團(tuán)隊(duì)轉(zhuǎn)做具身智能時(shí)最先遇到的問題不是模型結(jié)構(gòu)而是數(shù)據(jù)。普通視覺數(shù)據(jù)集是靜態(tài)圖像加標(biāo)簽清洗時(shí)主要處理模糊、遮擋、標(biāo)注錯(cuò)誤。具身智能數(shù)據(jù)則復(fù)雜得多。具身數(shù)據(jù)來自多個(gè)傳感器而且是流式數(shù)據(jù)。視覺傳感器頻率可能是 30Hz關(guān)節(jié)狀態(tài)可能是 100Hz動(dòng)作指令可能是 20Hz。三個(gè)數(shù)據(jù)流各自時(shí)間戳不一致必須先做時(shí)間對(duì)齊才能形成正確的 (觀察, 動(dòng)作, 下一觀察) 樣本。傳感器之間還存在噪聲差異激光雷達(dá)對(duì)距離敏感IMU 有漂移相機(jī)在快速運(yùn)動(dòng)時(shí)會(huì)產(chǎn)生運(yùn)動(dòng)模糊。更麻煩的是動(dòng)作與狀態(tài)變化之間的對(duì)應(yīng)關(guān)系容易被外部因素污染。比如機(jī)械臂執(zhí)行同一個(gè)動(dòng)作放在不同負(fù)載下實(shí)際運(yùn)動(dòng)軌跡不同同一個(gè)視覺觀察可能對(duì)應(yīng)多種真實(shí)狀態(tài)。如果直接把這些樣本混合訓(xùn)練世界模型會(huì)被迫擬合多重映射導(dǎo)致預(yù)測(cè)取平均后變得模糊。5.2 數(shù)據(jù)清洗流程建議一套可落地的具身數(shù)據(jù)清洗流程通常包含五個(gè)階段。第一階段是原始數(shù)據(jù)記錄。記錄時(shí)就要同步保存各傳感器時(shí)間戳、原始動(dòng)作指令、電機(jī)反饋值不要只保存已經(jīng)降采樣后的數(shù)據(jù)。時(shí)間戳是后續(xù)對(duì)齊的唯一依據(jù)。第二階段是時(shí)間對(duì)齊。以控制信號(hào)或動(dòng)作信號(hào)的時(shí)間戳為基準(zhǔn)把視覺和狀態(tài)數(shù)據(jù)做最近鄰對(duì)齊或做線性插值。接受誤差需要根據(jù)傳感器頻率設(shè)定常用閾值是 10ms 到 20ms。import pandas as pd # 假設(shè) action_df 記錄動(dòng)作時(shí)間戳sensor_df 記錄視覺或關(guān)節(jié)狀態(tài) # 以動(dòng)作時(shí)間戳為基準(zhǔn)對(duì)傳感器數(shù)據(jù)做最近鄰對(duì)齊 def align_by_timestamp(action_df, sensor_df, tol_ms20): merged [] for _, row in action_df.iterrows(): t row[timestamp] idx (sensor_df[timestamp] - t).abs().idxmin() nearest sensor_df.loc[idx] if abs(nearest[timestamp] - t) tol_ms: merged.append({**row.to_dict(), **nearest.to_dict()}) return pd.DataFrame(merged)第三階段是異常值檢測(cè)。關(guān)節(jié)角、力矩、速度這類連續(xù)量容易出現(xiàn)跳變。可以用滑窗均值加標(biāo)準(zhǔn)差來檢測(cè)離群值也可以設(shè)定物理上下限。超出實(shí)際物理范圍的樣本應(yīng)剔除否則模型會(huì)學(xué)到錯(cuò)誤的轉(zhuǎn)移關(guān)系。第四階段是狀態(tài)標(biāo)簽補(bǔ)全。真實(shí)環(huán)境不一定能直接看到完整狀態(tài)。比如“物體是否被抓住”這類狀態(tài)往往需要結(jié)合力傳感器、夾爪開度、視覺信息共同推斷。缺標(biāo)簽的數(shù)據(jù)要么人工標(biāo)注要么用規(guī)則或另一個(gè)模型先補(bǔ)全。第五階段是數(shù)據(jù)劃分。不能簡(jiǎn)單隨機(jī)劃分訓(xùn)練集和測(cè)試集。具身數(shù)據(jù)是時(shí)間序列同一個(gè)軌跡內(nèi)的樣本高度相關(guān)。如果隨機(jī)劃分模型會(huì)通過記憶相鄰幀獲得虛高的預(yù)測(cè)精度。應(yīng)該按軌跡劃分保證測(cè)試集中的軌跡與訓(xùn)練集中的軌跡不重疊。5.3 可復(fù)用的數(shù)據(jù)采集檢查清單進(jìn)入正式訓(xùn)練前建議逐項(xiàng)檢查下面這份清單檢查項(xiàng)驗(yàn)收標(biāo)準(zhǔn)時(shí)間戳對(duì)齊所有模態(tài)使用統(tǒng)一時(shí)間基準(zhǔn)對(duì)齊誤差小于傳感器周期傳感器格式各單位統(tǒng)一成標(biāo)準(zhǔn)單位如力矩統(tǒng)一為 N·m速度統(tǒng)一為 rad/s動(dòng)作記錄同時(shí)記錄指令動(dòng)作和實(shí)際反饋動(dòng)作二者不一致時(shí)應(yīng)保留兩組缺失值處理明確缺失值策略丟棄、插值或標(biāo)記不能直接置 0異常樣本剔除后記錄剔除原因保留清洗前后統(tǒng)計(jì)數(shù)量數(shù)據(jù)劃分按軌跡劃分不跨軌跡重疊訓(xùn)練集和測(cè)試集數(shù)據(jù)版本每次清洗后打版本號(hào)記錄清洗腳本和參數(shù)6. 常見問題排查6.1 Loss 下降很快但預(yù)測(cè)效果很差現(xiàn)象訓(xùn)練過程中重建 Loss 很快降到很低但用模型展開未來軌跡時(shí)預(yù)測(cè)結(jié)果很快發(fā)散或者預(yù)測(cè)畫面模糊。可能原因潛在狀態(tài)維度太小編碼器只保留了重建所需信息丟棄了動(dòng)態(tài)預(yù)測(cè)所需的關(guān)鍵信息也可能是數(shù)據(jù)多樣性不足模型只在訓(xùn)練樣本附近有效。檢查方式畫出潛在狀態(tài)分布觀察不同動(dòng)作條件下的潛在狀態(tài)是否可分計(jì)算模型在訓(xùn)練集和測(cè)試集上的預(yù)測(cè)誤差如果訓(xùn)練集誤差遠(yuǎn)低于測(cè)試集說明過擬合。解決方案優(yōu)先調(diào)大 latent_dim再看數(shù)據(jù)是否覆蓋了足夠的初始狀態(tài)和動(dòng)作范圍。數(shù)據(jù)規(guī)模不足時(shí)單純?cè)黾幽Ｐ蛯挾炔粫?huì)生效。預(yù)防建議在訓(xùn)練集之外保留按軌跡劃分的驗(yàn)證集每輪訓(xùn)練都計(jì)算驗(yàn)證集上的預(yù)測(cè)誤差不能只盯訓(xùn)練 Loss。6.2 訓(xùn)練震蕩或出現(xiàn) NaN現(xiàn)象Loss 曲線上下抖動(dòng)或運(yùn)行幾輪后出現(xiàn) NaN?？赡茉?qū)W習(xí)率過高梯度更新步長(zhǎng)過大數(shù)據(jù)中含有 NaN 或無窮值動(dòng)作值范圍過大導(dǎo)致動(dòng)力學(xué)網(wǎng)絡(luò)輸入分布不穩(wěn)定。檢查方式打印每輪梯度的 L2 范數(shù)觀察是否有突然增大檢查數(shù)據(jù)樣本中是否存在 NaN打印動(dòng)作向量的 max、min 和標(biāo)準(zhǔn)差。解決方案先把學(xué)習(xí)率降到 1e-4 量級(jí)對(duì)動(dòng)態(tài)模型接入梯度裁剪例如 max_grad_norm1.0清洗數(shù)據(jù)時(shí)加入 NaN 檢查。torch.nn.utils.clip_grad_norm_( list(encoder.parameters()) list(dynamics.parameters()) list(decoder.parameters()), max_norm1.0 )預(yù)防建議在 DataLoader 后加一個(gè)樣本校驗(yàn)函數(shù)發(fā)現(xiàn) NaN 直接跳過或報(bào)警訓(xùn)練腳本記錄首個(gè)出現(xiàn) NaN 的 epoch便于回溯。6.3 仿真效果好真實(shí)環(huán)境差距大現(xiàn)象在仿真環(huán)境里預(yù)測(cè)誤差很低機(jī)器人策略也表現(xiàn)良好但遷移到真實(shí)環(huán)境后預(yù)測(cè)結(jié)果和實(shí)際行為明顯偏離?？赡茉蚍抡嫫鳑]有完整建模真實(shí)世界中的摩擦力、關(guān)節(jié)柔性、延遲、光照變化和傳感器噪聲世界模型過度擬合仿真環(huán)境中的特定分布。檢查方式用真實(shí)環(huán)境采集一小批數(shù)據(jù)計(jì)算世界模型在真實(shí)數(shù)據(jù)上的重構(gòu)誤差和預(yù)測(cè)誤差與仿真數(shù)據(jù)上的誤差做對(duì)比如果真實(shí)數(shù)據(jù)誤差明顯高則存在 sim-to-real 差距。解決方案在仿真訓(xùn)練中引入 domain randomization隨機(jī)化摩擦系數(shù)、質(zhì)量、光照、延遲用真實(shí)數(shù)據(jù)對(duì)世界模型做少量微調(diào)如果差距來自傳感器噪聲也可以先在輸入端加入高斯噪聲或隨機(jī)遮擋。預(yù)防建議從項(xiàng)目一開始就保留“真實(shí)數(shù)據(jù)快速采集”的通道哪怕只有幾百條樣本也能用于定期評(píng)估世界模型在真實(shí)環(huán)境中的泛化能力。下表匯總?cè)齻€(gè)常見問題的排查要點(diǎn)問題現(xiàn)象首要檢查項(xiàng)常見解決手段訓(xùn)練 Loss 低但驗(yàn)證差潛在維度是否過小增大 latent_dim增加數(shù)據(jù)多樣性Loss 震蕩或 NaN學(xué)習(xí)率、數(shù)據(jù)合法性降低學(xué)習(xí)率梯度裁剪清洗 NaN仿真到真實(shí)差距大真實(shí)數(shù)據(jù)誤差對(duì)比域隨機(jī)化真實(shí)數(shù)據(jù)微調(diào)7. 學(xué)習(xí)路線與工程落地建議7.1 從入門到實(shí)踐的學(xué)習(xí)路線如果準(zhǔn)備系統(tǒng)學(xué)習(xí)世界模型在具身智能中的應(yīng)用不建議直接跳到復(fù)現(xiàn)大型模型按下面這條路線逐步走會(huì)更穩(wěn)。階段目標(biāo)推薦動(dòng)作第一階段掌握強(qiáng)化學(xué)習(xí)和 MDP 基礎(chǔ)學(xué)習(xí)馬爾可夫決策過程、價(jià)值函數(shù)、策略梯度第二階段理解 model-based RL動(dòng)手實(shí)現(xiàn)一個(gè) Dyna-Q 風(fēng)格的小實(shí)驗(yàn)第三階段實(shí)現(xiàn)最小世界模型按本文第三節(jié)代碼在 Pendulum 上跑通第四階段擴(kuò)展到圖像輸入將 Encoder/Decoder 換成卷積網(wǎng)絡(luò)在 CarRacing 或 MineCraft 簡(jiǎn)化環(huán)境上實(shí)驗(yàn)第五階段具身數(shù)據(jù)工程采集真實(shí)或仿真機(jī)器人數(shù)據(jù)做時(shí)間對(duì)齊和清洗第六階段真實(shí)硬件部署從簡(jiǎn)單機(jī)械臂抓取開始先驗(yàn)證預(yù)測(cè)再驗(yàn)證規(guī)劃閉環(huán)每個(gè)階段都應(yīng)該有可運(yùn)行結(jié)果而不是只讀論文。尤其是第三階段把最小世界模型跑通的意義遠(yuǎn)大于瀏覽十篇綜述。關(guān)于“Rust 具身智能”這個(gè)相關(guān)詞也需要說明一下邊界。目前世界模型的研究和訓(xùn)練實(shí)現(xiàn)主要集中在 Python/PyTorch 生態(tài)中Rust 更多出現(xiàn)在實(shí)時(shí)控制、感知中間件、網(wǎng)絡(luò)通信和嵌入式側(cè)。如果你關(guān)注 Rust可以從實(shí)時(shí)控制層和機(jī)器人消息中間件入手但訓(xùn)練和仿真部分依然是 Python 生態(tài)更成熟。實(shí)際團(tuán)隊(duì)中通常是 Python 負(fù)責(zé)算法訓(xùn)練C/Rust 負(fù)責(zé)部署和實(shí)時(shí)控制。7.2 學(xué)習(xí)環(huán)境與生產(chǎn)環(huán)境的差異學(xué)習(xí)環(huán)境里跑通一個(gè)最小示例就夠了數(shù)據(jù)可以隨機(jī)采樣代碼可以單文件不需要考慮版本管理和監(jiān)控。生產(chǎn)環(huán)境完全不同。生產(chǎn)環(huán)境的世界模型系統(tǒng)至少需要區(qū)分訓(xùn)練服務(wù)和規(guī)劃服務(wù)。訓(xùn)練服務(wù)負(fù)責(zé)離線數(shù)據(jù)清洗、模型訓(xùn)練、模型評(píng)估和版本管理規(guī)劃服務(wù)負(fù)責(zé)接收真實(shí)觀察加載最新模型執(zhí)行潛在空間的動(dòng)作搜索返回第一步動(dòng)作。兩條鏈路共享數(shù)據(jù)倉庫和模型倉庫但運(yùn)行節(jié)奏不同。訓(xùn)練服務(wù)可以每小時(shí)跑一輪規(guī)劃服務(wù)必須在毫秒到百毫秒級(jí)別返回動(dòng)作。訓(xùn)練環(huán)境建議使用仿真環(huán)境驗(yàn)證算法和調(diào)參使用離線數(shù)據(jù)訓(xùn)練避免真實(shí)環(huán)境高頻試錯(cuò)每次實(shí)驗(yàn)記錄 Git 提交號(hào)、數(shù)據(jù)版本、參數(shù)和環(huán)境版本生產(chǎn)環(huán)境建議配置外置化模型路徑、參數(shù)、數(shù)據(jù)地址通過配置文件和環(huán)境變量傳入增加日志和監(jiān)控記錄每次預(yù)測(cè)誤差、推理耗時(shí)、動(dòng)作抖動(dòng)率增加回滾機(jī)制模型表現(xiàn)下降時(shí)可自動(dòng)切回上一版本真實(shí)硬件部署前必須在仿真里做異常場(chǎng)景測(cè)試包括通信中斷、傳感器丟失、動(dòng)作超限對(duì)規(guī)劃結(jié)果做邊界檢查任何動(dòng)作下發(fā)前要經(jīng)過安全范圍過濾7.3 一套可復(fù)用的落地檢查清單世界模型項(xiàng)目從算法驗(yàn)證到落地可以按這張清單逐項(xiàng)檢查檢查項(xiàng)驗(yàn)證方式通過標(biāo)準(zhǔn)數(shù)據(jù)有明確版本數(shù)據(jù)目錄帶版本號(hào)清洗腳本可復(fù)現(xiàn)能回溯到每一批訓(xùn)練數(shù)據(jù)的生成方式模型可復(fù)現(xiàn)記錄參數(shù)、隨機(jī)種子、依賴版本同一配置下兩次訓(xùn)練結(jié)果誤差在可接受范圍訓(xùn)練與推理解耦訓(xùn)練離線執(zhí)行模型存為獨(dú)立文件推理服務(wù)不依賴訓(xùn)練代碼預(yù)測(cè)誤差有基線與慣性基線或恒值基線對(duì)比世界模型誤差顯著低于基線規(guī)劃動(dòng)作安全約束動(dòng)作范圍檢查力矩限制越界動(dòng)作被攔截有日志記錄仿真到真實(shí)差距監(jiān)控定期采集真實(shí)數(shù)據(jù)評(píng)估真實(shí)數(shù)據(jù)誤差持續(xù)低于閾值回滾機(jī)制模擬模型劣化并切換版本能恢復(fù)到上一可用版本具身智能的世界模型并不是一條已經(jīng)封裝的現(xiàn)成路線它更像是一組方法論先學(xué)習(xí)環(huán)境規(guī)律在想象中規(guī)劃再返回真實(shí)世界執(zhí)行。對(duì)于剛接觸這個(gè)方向的人建議先把最小示例跑通理解潛在狀態(tài)、動(dòng)力學(xué)預(yù)測(cè)、數(shù)據(jù)清洗三者之間的關(guān)系再逐步增加任務(wù)復(fù)雜度。具備能力判別“什么樣的預(yù)測(cè)意味著模型學(xué)會(huì)了環(huán)境動(dòng)態(tài)”之后再去閱讀更復(fù)雜的系統(tǒng)實(shí)現(xiàn)會(huì)順利很多。