LeRobot 訓(xùn)練監(jiān)控完整指南WandB 指標(biāo)追蹤、Rerun 實(shí)時(shí)可視化與評(píng)估視頻導(dǎo)出【免費(fèi)下載鏈接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning項(xiàng)目地址: https://gitcode.com/GitHub_Trending/le/lerobot策略訓(xùn)練一旦啟動(dòng)你通常只能在終端里翻 loss 數(shù)字機(jī)器人到底學(xué)沒學(xué)會(huì)基本靠猜。本文覆蓋 LeRobot 訓(xùn)練可視化的三個(gè)環(huán)節(jié)按 WandB 指標(biāo)配置、Rerun 實(shí)時(shí)監(jiān)控接入、評(píng)估視頻導(dǎo)出與歸檔的順序展開。LeRobot 訓(xùn)練監(jiān)控能力全景LeRobot 把訓(xùn)練黑盒拆成三條可視化通路WandB 負(fù)責(zé)聚合訓(xùn)練指標(biāo)并歸檔模型工件Rerun 負(fù)責(zé)遙操作與錄制時(shí)的實(shí)時(shí)觀測流評(píng)估視頻則把策略在仿真環(huán)境里的真實(shí)執(zhí)行過程錄下來供事后回放。三者分別掛在訓(xùn)練主循環(huán)、控制循環(huán)腳本和評(píng)估函數(shù)上你不需要自己搭日志管道。能力解決的問題對應(yīng)源碼路徑WandB 指標(biāo)追蹤loss、學(xué)習(xí)率、成功率等訓(xùn)練曲線無法直觀對比src/lerobot/common/wandb_utils.pyRerun 實(shí)時(shí)可視化遙操作、錄制時(shí)看不到傳感器畫面與關(guān)節(jié)動(dòng)作src/lerobot/utils/visualization_utils.py評(píng)估視頻錄制策略在環(huán)境里執(zhí)行得如何缺乏直觀證據(jù)src/lerobot/scripts/lerobot_eval.py核心操作流程從 WandB 配置到評(píng)估視頻導(dǎo)出三條通路都不需要改動(dòng)訓(xùn)練代碼本身調(diào)用點(diǎn)已內(nèi)置在腳本里你只需要打開配置開關(guān)并理解各自的數(shù)據(jù)流向。配置 WandB 訓(xùn)練指標(biāo)日志W(wǎng)andB 默認(rèn)是關(guān)閉的啟動(dòng)訓(xùn)練后只有本地日志可看。打開它只需在lerobot-train命令上補(bǔ)幾個(gè)參數(shù)可用的鍵值都在 src/lerobot/configs/default.py 的WandBConfig中定義。# 配置定義見 src/lerobot/configs/default.py 的 WandBConfig lerobot-train --policy.typeact --dataset.repo_id... \ --wandb.enabletrue \ --wandb.projectlerobot-training \ --wandb.entityyour-team \ --wandb.modeonline --wandb.add_tagstrue這一步完成后終端里會(huì)打印一條 run 鏈接。WandBLogger在 src/lerobot/common/wandb_utils.py 中實(shí)現(xiàn)enable、project、entity是最常用的三個(gè)鍵mode可選online、offline、disabledadd_tags開啟后每個(gè) run 會(huì)自動(dòng)帶上策略類型、seed、數(shù)據(jù)集名等標(biāo)簽方便事后篩選對比。接入 Rerun 實(shí)時(shí)數(shù)據(jù)流指標(biāo)回答訓(xùn)練得好不好Rerun 回答機(jī)器人此刻在干什么。錄制、遙操作與 rollout 腳本已集成init_visualization和log_visualization_data把 display mode 指定為rerun觀測畫面、標(biāo)量關(guān)節(jié)值和動(dòng)作指令就會(huì)實(shí)時(shí)推送到 Rerun 查看器。# src/lerobot/scripts/lerobot_record.py: 錄制/遙操作控制循環(huán) from lerobot.utils.visualization_utils import init_visualization, log_visualization_data init_visualization(rerun, session_namerecording) ... # 控制循環(huán)內(nèi)每個(gè)時(shí)間步 log_visualization_data(rerun, observationobservation, actionaction)Rerun 后端實(shí)現(xiàn)在 src/lerobot/utils/rerun_visualization.py標(biāo)量進(jìn)時(shí)間序列視圖攝像頭畫面自動(dòng)從 CHW 轉(zhuǎn)成 HWC 并獨(dú)占一個(gè)空間視圖單通道數(shù)組按深度圖渲染。依賴rerun-sdk安裝lerobot[viz]extra 后即可使用。導(dǎo)出評(píng)估視頻并同步到 WandB當(dāng)訓(xùn)練進(jìn)入環(huán)境評(píng)估階段你會(huì)注意到eval_policy_all除了統(tǒng)計(jì)成功率還會(huì)把前幾個(gè) episode 逐幀渲染成 mp4落在輸出目錄的eval子目錄下WandBLogger.log_video再把其中一條上傳到 WandB與該 step 的指標(biāo)自動(dòng)對齊。# src/lerobot/scripts/lerobot_train.py: env_eval 到達(dá)時(shí)觸發(fā) eval_info eval_policy_all( envseval_env, policy..., n_episodescfg.eval.n_episodes, videos_dircfg.output_dir / eval / fvideos_step_{step_id}, max_episodes_rendered4, ) if wandb_logger: wandb_logger.log_video(eval_info[overall][video_paths][0], step, modeeval)n_episodes控制每個(gè)任務(wù)的評(píng)估回合數(shù)max_episodes_rendered控制實(shí)際渲染成視頻的 episode 上限默認(rèn)取 4避免編碼開銷拖慢評(píng)估節(jié)奏。進(jìn)階技巧如果你需要橫向?qū)Ρ榷嘟M超參數(shù)保持add_tags默認(rèn)開啟多個(gè) run 會(huì)帶上策略類型、seed、數(shù)據(jù)集名等標(biāo)簽在 WandB 里按 tag 篩選比按項(xiàng)目翻找快得多。一個(gè)比較省事的思路是訓(xùn)練機(jī)先跑--wandb.modeoffline日志緩存在本地目錄訓(xùn)練結(jié)束后再統(tǒng)一同步斷網(wǎng)環(huán)境也不會(huì)丟數(shù)據(jù)。如果 Rerun 推流在遠(yuǎn)程機(jī)器上卡頓可以給init_visualization傳ip/port指向遠(yuǎn)端 server或在log_visualization_data里打開compress_images壓縮圖像降帶寬。延伸閱讀docs/source/il_robots.mdx在真實(shí)機(jī)器人遙操作與錄制腳本中使用 Rerun 的完整示例src/lerobot/utils/visualization_utils.pyrerun / foxglove 兩種可視化后端的統(tǒng)一分發(fā)入口examples/training/train_with_streaming.py流式訓(xùn)練場景下如何復(fù)用同一套日志配置下一次啟動(dòng)lerobot-train時(shí)不妨順手把wandb.enable打開讓指標(biāo)、實(shí)時(shí)畫面和評(píng)估視頻三條通路同時(shí)工作起來。【免費(fèi)下載鏈接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning項(xiàng)目地址: https://gitcode.com/GitHub_Trending/le/lerobot創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考