EnvHarness 把靜態(tài)環(huán)境「套個殼」就 9 分Google 讓 Agent 訓(xùn)練場自己會進化Hugging Face 每日論文2026-08-21 精選AI 智能體在游戲與網(wǎng)頁里點來點去看似熱鬧背后其實一直被一個老問題卡住——訓(xùn)練用的那些環(huán)境是「一次寫死、永遠不動」的做完一道題就再也教不會新東西了。Google Research 聯(lián)合圣路易斯華盛頓大學(xué)、北卡羅來納大學(xué)教堂山分校的團隊 8 月 21 日公開的 EnvHarness論文 arXiv:2608.19880做了一件反直覺的事不動環(huán)境內(nèi)核、只在外層「套一個可編程殼」就把 Agent 在五個 benchmark 上的成績往上推了一截。同一天這篇論文登上了 Hugging Face 每日論文榜首社區(qū) 246 次點贊比排名第二的論文高一截。靜態(tài)環(huán)境的痛點一個只能交一份作業(yè)的練習(xí)冊LLM Agent 是靠「和環(huán)境反復(fù)交互」學(xué)會做事的環(huán)境對它的意義等同于練習(xí)冊。可是傳統(tǒng)的訓(xùn)練環(huán)境——不管是 ALFWorld 里的家庭機器人任務(wù)、WebArena 里的網(wǎng)頁操作、還是 SWE-bench Verified 里的真實 GitHub Issue——一旦發(fā)布就再也不會變。研究團隊在論文里點出了一個很多人忽略的事實環(huán)境是「看不見 Agent 弱點的」而且 Agent 一旦把題做完環(huán)境就再也不能提供新的訓(xùn)練信號了。過去的補救辦法是「環(huán)境生成」讓另一個 LLM 重新寫一整套新環(huán)境。但這條路要么依賴只能用在某一類任務(wù)的流水線要么需要昂貴又不可靠的驗證器而且生成出來的環(huán)境往往是「另一個靜態(tài)環(huán)境」等于又寫了一份新練習(xí)冊。EnvHarness 的作者們決定換一種問法既然環(huán)境本身沒法改能不能在外層把它「包」起來設(shè)計哲學(xué)把「重塑環(huán)境」變成「組合外殼」EnvHarness 的核心思路是把 Agent harnessAnthropic、OpenAI 都在用的概念的邏輯搬到環(huán)境那一側(cè)。所謂 Agent harness就是給 LLM 套上外部記憶、工具、技能這些插件而不用動它的權(quán)重EnvHarness 同樣給環(huán)境套一個殼、卻不動環(huán)境的代碼。所有改動都通過標準的 reset / step 接口生效作者把這叫「wrapping, not authoring」。這個殼由三種可組合的組件構(gòu)成每一種都對應(yīng)一種常見訓(xùn)練難題。組件名作用解決的具體訓(xùn)練難題Setup改寫環(huán)境的初始狀態(tài)讓 Agent 在不同起點訓(xùn)練避免只會做某一種開局Rule改寫 Agent 能做的動作、能看到的觀察把動作空間收窄到 Agent 當前掌握不好的那一片Link把另一個環(huán)境的任務(wù)嵌入進來跨任務(wù)組合延長訓(xùn)練 horizon因為只在 reset / step 接口上動手原環(huán)境那份「人來寫、人來評」的驗證器被原樣保留——成績的可信度沒有讓步。這就是為什么論文敢同時跨五個完全不同的 benchmark 用同一套代碼。EnvRigger讓一個 Agent 來給另一個 Agent 寫練習(xí)冊把殼搭好是一回事知道「該往哪一層套、套什么」是另一回事。EnvHarness 團隊又做了一個配套組件 EnvRigger它把目標策略當作一個黑盒從三個維度自動判斷「該往哪加殼」。第一步觀察策略在原環(huán)境里跑出來的成功軌跡和失敗軌跡定位 Agent 卡在什么類型的問題上。第二步根據(jù)診斷結(jié)論生成候選的 EnvHarness 組件寫的是真實 Python 代碼不是從模板菜單里挑。第三步用更新后的環(huán)境跑一輪新的 rollout看看 Agent 真的能學(xué)會嗎只有當 Agent 在新環(huán)境里既能學(xué)到新東西、又還能解得開時新環(huán)境才被采用否則就回到第二步再改一輪。反復(fù)執(zhí)行這個診斷—合成—驗證的循環(huán)就形成了論文里強調(diào)的「policy 與 environment 共同進化co-evolution」Agent 進步一點EnvRigger 就把殼再調(diào)一點讓訓(xùn)練場一直能出新的有信息量的信號。實驗數(shù)據(jù)5 個 benchmark 4 個領(lǐng)域跨任務(wù)都好使論文評測覆蓋 5 個 benchmark、4 個領(lǐng)域把訓(xùn)練模式拆成技能學(xué)習(xí)skill-based learning, SL和強化學(xué)習(xí)reinforcement learning, RL兩條線分別跑。底子用的是 GPT-4.1、Claude Sonnet 4-6、o4-mini 這一檔主力模型。Benchmark領(lǐng)域EnvHarness 在 SL 設(shè)置上的提升在 RL 設(shè)置上的提升步數(shù)變化ALFWorld家庭具身任務(wù)最高 9.0 分held-out最高 6.5 分減少 9.8%WebArena網(wǎng)頁瀏覽一致提升一致提升減少 9.8%SWE-bench Verified軟件工程一致提升一致提升減少 9.8%OfficeQA辦公問答一致提升一致提升減少 9.8%SpreadsheetBench電子表格操作一致提升一致提升減少 9.8%值得拆開來看的幾個關(guān)鍵數(shù)字。held-out 實例上最高 9.0 分這是對照基線跑同款 benchmark 訓(xùn)練后、到?jīng)]見過的題目上去測的絕對分差意思是學(xué)到的能力真的遷移了不是過擬合。9.8% 的步數(shù)減少也很反直覺——明明環(huán)境變難了怎么 Agent 反而步數(shù)變少了論文給出的解釋是EnvRigger 把殼調(diào)成了「剛好讓 Agent 卡在它薄弱環(huán)節(jié)」的難度所以每一步都有信息量不再有「在原地打轉(zhuǎn)」的無效步。RL 設(shè)置下最高 6.5 分的提升同樣重要。它說明 EnvHarness 給出的訓(xùn)練信號更穩(wěn)定更適合策略-環(huán)境共同進化的循環(huán)——RL 訓(xùn)練最怕 reward signal 噪聲大EnvRigger 的診斷-合成循環(huán)正好把噪聲壓在最低。為什么這套思路比「換更大模型」更值得做很多團隊遇到 Agent 訓(xùn)練效果不好的第一反應(yīng)是「再訓(xùn)一個更大的底?！沟?EnvHarness 的結(jié)果說明環(huán)境側(cè)的改造也能拿到穩(wěn)定提升而且不依賴新模型。把殼放在外層還有三個隱性收益。第一復(fù)用已有 benchmark 不再是負擔。每個 benchmark 自帶的人類專家驗證器都被原樣保留研究團隊不需要為 EnvHarness 重寫一套評估——這就是為啥同一套代碼能在 5 個完全不同的領(lǐng)域同時跑。第二調(diào)試和審計更容易。當殼是獨立的一層 Python 代碼時調(diào)試時只要把殼打開看 Agent 在原環(huán)境里到底發(fā)生了什么。第三共同進化讓「數(shù)據(jù)不夠」不再卡脖子。在 ALFWorld 這種環(huán)境里原題做完就沒了EnvRigger 會自動出「和原題同分布、但能針對 Agent 弱點」的新題等于把一個固定練習(xí)冊變成了自適應(yīng)教輔。局限與待驗證殼能不能穩(wěn)、好不好抄論文自己也承認了幾條邊界。第一EnvHarness 的具體配置必須針對目標策略和任務(wù)裁剪雖然 EnvRigger 把這件事自動化了但「自動化到什么程度、需不需要人審」取決于環(huán)境本身的復(fù)雜程度——對 OfficeQA 這類扁平文本任務(wù)一鍵就能跑通對 ALFWorld 這類具身任務(wù)還是要寫點領(lǐng)域先驗。第二獨立復(fù)現(xiàn)還很早期。論文結(jié)論目前主要來自團隊自己在 Google Cloud AI Research 上的實驗其他實驗室和工業(yè)團隊的端到端復(fù)現(xiàn)報告還不充分。要把 EnvHarness 真正落地到自家 Agent 流水線里仍然需要先做一次小規(guī)模對照。第三「共同進化」這條曲線目前看到的是「重復(fù)循環(huán)越多、增益越大」但何時收斂、是否會出現(xiàn)殼越來越復(fù)雜但 Agent 不再進步的情況論文里還沒有給出系統(tǒng)性的消融。這跟 RL 訓(xùn)練里 reward hacking 的老問題是一類的下一步工作大概率會沿著這條線展開。為什么這篇值得讀者現(xiàn)在就去看從研究角度看EnvHarness 給「環(huán)境端改造」這條路線補了一塊關(guān)鍵拼圖——過去要么花重金重建環(huán)境、要么訓(xùn)練 LLM 寫環(huán)境前者貴、后者不穩(wěn)。EnvHarness 證明了「不動環(huán)境、用可編程殼層」是第三條可行路徑而且同一天登上 Hugging Face 每日論文榜首說明社區(qū)也認可這個方向。從工程角度看代碼已經(jīng)在 GitHub 上開源google-research/envharness網(wǎng)頁 envharness.com 同步上線。如果你的團隊正在訓(xùn)練 web Agent、辦公 Agent 或具身 Agent這一套接口標準化的殼層可能比再訓(xùn)一遍底模更劃算。讀完論文最值得記住的一點是決定 Agent 訓(xùn)練效率的往往不是模型大小或訓(xùn)練步數(shù)而是「環(huán)境能不能持續(xù)提供新信號」。EnvHarness 把這個被忽視的因素擺到了臺面上并用一種相對輕量的方式給出了解法。對于想入門 Agent 訓(xùn)練的讀者這篇論文是 2026 年 8 月必讀的那一份。