簡(jiǎn)介面向深度強(qiáng)化學(xué)習(xí)與模仿學(xué)習(xí)方向的學(xué)習(xí)者這份代碼包圍繞從專家軌跡中學(xué)習(xí)策略這一主題覆蓋 PPO、AIRL、BC、DRIL、FAIRL、GAIL、GMMIL、PUGAIL、RED 等算法并提供僅狀態(tài)模仿、吸收狀態(tài)指示器與 R1 梯度正則化等實(shí)驗(yàn)選項(xiàng)適合算法復(fù)現(xiàn)、課程項(xiàng)目與基線對(duì)比。壓縮包共 27 個(gè)文件、約 999KB其中 6 個(gè) Python 腳本承擔(dān)訓(xùn)練、評(píng)估與環(huán)境交互邏輯17 張 PNG 匯總各算法訓(xùn)練與測(cè)試回報(bào)曲線2 個(gè) Markdown 文檔說(shuō)明使用方法另附專家軌跡數(shù)據(jù)文件目錄緊湊、模塊邊界清楚。已有 1068 人學(xué)習(xí)讀者可從中獲得可運(yùn)行的模仿學(xué)習(xí)實(shí)驗(yàn)框架、專家軌跡加載與策略優(yōu)化示例、不同算法的結(jié)果對(duì)照?qǐng)D以及排查訓(xùn)練不穩(wěn)定與回報(bào)波動(dòng)的參考思路并據(jù)此理解生成對(duì)抗式模仿與行為克隆的差異。1. 獎(jiǎng)勵(lì)函數(shù)寫不出來(lái)時(shí)imitation-learning 模仿學(xué)習(xí)算法包能接住哪類任務(wù)控制類項(xiàng)目最常見(jiàn)的卡點(diǎn)不在模型大小而在獎(jiǎng)勵(lì)函數(shù)機(jī)械臂要的是平滑軌跡寫個(gè)距離懲罰訓(xùn)練出來(lái)全是抖動(dòng)策略梯度在稀疏獎(jiǎng)勵(lì)下幾乎不更新調(diào)兩周不如人遙操作十分鐘。imitation-learning 這套 Python 實(shí)現(xiàn)的模仿學(xué)習(xí)算法包走的是另一條路——把專家演示當(dāng)監(jiān)督信號(hào)先用行為克隆BC把策略立起來(lái)再用 DAgger 補(bǔ)上分布偏移最后用 GAIL 在環(huán)境里做對(duì)抗式精調(diào)。它面向的是已經(jīng)有腳本專家或遙操作數(shù)據(jù)、但獎(jiǎng)勵(lì)寫不出來(lái)或?qū)懖粶?zhǔn)的 deep-reinforcement-learning 場(chǎng)景判斷自己適不適合標(biāo)準(zhǔn)很樸素你能把一條條軌跡存成(obs, action, next_obs, done)的數(shù)組并且能讓策略真正跑進(jìn)環(huán)境里這套東西就能用。2. 三種范式的代碼骨架BC 打底、DAgger 補(bǔ)偏移、GAIL 做對(duì)抗精調(diào)模仿學(xué)習(xí)算法包最容易讓人誤判的地方是把三個(gè)算法當(dāng)成三選一的替代品。實(shí)際工程里它們是階梯BC 決定你有沒(méi)有一個(gè)能跑的策略DAgger 決定這個(gè)策略在離線和在線之間能不能接住GAIL 決定最終性能能不能逼近專家。這一章按數(shù)據(jù)流順序把三塊骨架拆開(kāi)代碼用最常見(jiàn)的組織方式寫倉(cāng)庫(kù)里的類名函數(shù)名可能不一樣但張量形狀和損失形式是對(duì)得上的。2.1 軌跡容器與數(shù)據(jù)協(xié)議先把專家數(shù)據(jù)對(duì)齊成 (obs, action, next_obs, done)新手翻車十有八九不在算法在數(shù)據(jù)協(xié)議。專家數(shù)據(jù)是離線采的策略數(shù)據(jù)是在線采的如果兩邊字段順序、dtype、done的表示方式不一致后面所有 loss 曲線都沒(méi)有參考價(jià)值。我一般先寫一個(gè)兩種數(shù)據(jù)源共用的環(huán)形緩沖把協(xié)議釘死。import numpy as np class TrajectoryBuffer: 環(huán)形緩沖專家軌跡和策略 rollout 共用同一套字段協(xié)議 def __init__(self, obs_dim, act_dim, capacity200_000): self.capacity capacity self.obs np.zeros((capacity, obs_dim), dtypenp.float32) self.act np.zeros((capacity, act_dim), dtypenp.float32) self.rew np.zeros((capacity, 1), dtypenp.float32) self.next_obs np.zeros((capacity, obs_dim), dtypenp.float32) self.done np.zeros((capacity, 1), dtypenp.float32) # 用 0/1不用 bool self.ptr, self.size 0, 0 def add(self, obs, act, rew, next_obs, done): i self.ptr self.obs[i], self.act[i] obs, act self.rew[i], self.next_obs[i], self.done[i] rew, next_obs, float(done) self.ptr (self.ptr 1) % self.capacity self.size min(self.size 1, self.capacity) def sample(self, batch_size, rngNone): rng rng or np.random idx rng.randint(0, self.size, sizebatch_size) # 有放回采樣夠用且實(shí)現(xiàn)簡(jiǎn)單 return (self.obs[idx], self.act[idx], self.rew[idx], self.next_obs[idx], self.done[idx]) def save(self, path): # 鍵名固定成這五個(gè)評(píng)估腳本和可視化腳本都按這套鍵讀 np.savez_compressed(path, obsself.obs[:self.size], actself.act[:self.size], rewself.rew[:self.size], next_obsself.next_obs[:self.size], doneself.done[:self.size])幾個(gè)參數(shù)值得說(shuō)清。dtypenp.float32不是隨手寫的PyTorch 默認(rèn)張量就是 float32用 float64 存一遍再轉(zhuǎn)一遍幾十萬(wàn)條樣本會(huì)白白多占一倍內(nèi)存而且轉(zhuǎn)換發(fā)生在DataLoader的 worker 里很容易變成隱性瓶頸。done存成 0/1 浮點(diǎn)而不是布爾是為了和rew一起拼成(N, 5)的數(shù)組做批量處理時(shí)類型不打架。capacity給 20 萬(wàn)條是經(jīng)驗(yàn)值連續(xù)動(dòng)作任務(wù)單條軌跡通常幾百到幾千步20 萬(wàn)條大致相當(dāng)于幾百條軌跡覆蓋 GAIL 一輪訓(xùn)練足夠再大就只是拖慢采樣。圖像觀測(cè)要額外注意一點(diǎn)如果環(huán)境返回的是(H, W, C)的 uint8 幀在add之前就要定好是展平還是保留三維。展平省事但卷積策略網(wǎng)絡(luò)就用不上了保留三維則要在obs_dim上寫(C, H, W)并做通道前置。這個(gè)決定一旦寫進(jìn) npz后面改起來(lái)要重采數(shù)據(jù)屬于典型的后悔藥沒(méi)處買。2.2 行為克隆三層 MLP 加 MSE 就夠但輸出頭決定成敗BC 本質(zhì)是監(jiān)督學(xué)習(xí)obs → action的回歸或分類。網(wǎng)絡(luò)不需要深兩層 256 的 tanh MLP 在絕大多數(shù)連續(xù)控制任務(wù)上已經(jīng)夠用真正決定成敗的是輸出頭跟動(dòng)作空間的匹配方式。import torch import torch.nn as nn class PolicyNet(nn.Module): def __init__(self, obs_dim, act_dim, hidden256): super().__init__() self.body nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.head nn.Linear(hidden, act_dim) # 確定性策略直接回歸動(dòng)作均值 def forward(self, obs): return self.head(self.body(obs)) def bc_loss(policy, obs, act, discreteFalse): out policy(obs) if discrete: # 離散動(dòng)作交叉熵act 是 long 型類別索引 return nn.functional.cross_entropy(out, act.long()) # 連續(xù)動(dòng)作MSE 回歸act 需與 out 同量綱 return nn.functional.mse_loss(out, act)nn.Tanh()而不是 ReLU是因?yàn)檫B續(xù)控制的觀測(cè)和動(dòng)作經(jīng)常帶負(fù)值tanh 的對(duì)稱性讓初始階段的梯度分布更均勻如果觀測(cè)是圖像把body換成幾層 stride2 的卷積再接展平即可輸出頭不動(dòng)。連續(xù)動(dòng)作用 MSE 意味著你在擬合條件均值這在高斯策略假設(shè)下等價(jià)于只學(xué)均值不學(xué)方差好處是穩(wěn)定壞處是遇到多峰專家數(shù)據(jù)同一個(gè)狀態(tài)專家有時(shí)左拐有時(shí)右拐會(huì)學(xué)出一個(gè)誰(shuí)都不像的中間動(dòng)作。常見(jiàn)做法是改成高斯頭多輸出一維log_std并用-log_prob當(dāng)損失代價(jià)是訓(xùn)練更容易發(fā)散方差要 clamp 到[-5, 2]這種范圍。動(dòng)作量綱是另一個(gè)高頻坑。環(huán)境action_space是[-1, 1]的話專家數(shù)據(jù)如果來(lái)自力矩控制比如[-20, 20]直接回歸出來(lái)的策略一進(jìn)環(huán)境就會(huì)被 clip 成常量現(xiàn)象是 BC loss 掉得很快但 rollout 一動(dòng)不動(dòng)。落數(shù)據(jù)前統(tǒng)一按(a - low) / (high - low) * 2 - 1歸一化到[-1, 1]評(píng)估時(shí)再反歸一化這一步寫在采集腳本里比寫在訓(xùn)練腳本里安全。2.3 DAgger 的在線聚合把「策略會(huì)走到哪」交給專家重新打標(biāo)BC 的理論誤差隨軌跡長(zhǎng)度平方增長(zhǎng)直覺(jué)解釋就是策略在專家沒(méi)去過(guò)的狀態(tài)上沒(méi)學(xué)過(guò)一旦偏離就再也回不來(lái)。DAgger 的思路很直接——讓當(dāng)前策略自己去跑跑到哪些狀態(tài)就請(qǐng)專家對(duì)這些狀態(tài)重新打標(biāo)簽把新樣本并進(jìn)數(shù)據(jù)集重訓(xùn)。代碼骨架不長(zhǎng)但循環(huán)里三個(gè)順序不能亂。def dagger_loop(env, expert, policy, dataset, iters10, beta00.5, steps_per_iter2000): for it in range(iters): # 1) 用當(dāng)前策略在環(huán)境里采樣收集它真實(shí)訪問(wèn)到的狀態(tài) states [] obs, _ env.reset() for _ in range(steps_per_iter): beta beta0 ** it # 專家介入概率指數(shù)衰減 if np.random.rand() beta: act expert.act(obs) # 專家接管把軌跡拉回可行域 else: with torch.no_grad(): act policy(torch.as_tensor(obs, dtypetorch.float32)).numpy() states.append(obs) obs, _, term, trunc, _ env.step(act) if term or trunc: obs, _ env.reset() # 2) 請(qǐng)專家對(duì)這些“策略自己走出來(lái)的狀態(tài)”打標(biāo)簽 states np.asarray(states, dtypenp.float32) labels expert.label(states) # 支持批量查詢的實(shí)現(xiàn)比逐幀快一個(gè)量級(jí) # 3) 聚合后重訓(xùn)注意是在全量數(shù)據(jù)集上重訓(xùn)而不是只訓(xùn)新樣本 dataset.extend(states, labels) train_bc(policy, dataset, epochs5)beta0控制專家介入強(qiáng)度0.5意味著第一輪一半動(dòng)作由專家給之后每輪減半。有人直接取beta max(0, 1 - it / iters)線性衰減差別不大但指數(shù)衰減在前期更依賴專家適合專家本身很貴的場(chǎng)景。steps_per_iter2000是每輪新采的步數(shù)太小聚合效果不明顯太大則單輪訓(xùn)練時(shí)間壓不住2000 到 5000 之間比較常見(jiàn)。這里有個(gè)實(shí)現(xiàn)細(xì)節(jié)容易被忽略expert.label(states)必須支持批量查詢。如果專家是規(guī)則函數(shù)逐幀調(diào)用兩百次和一次批量調(diào)用在 Python 里的開(kāi)銷差幾十倍如果專家是人那 DAgger 就不適合跑十輪得改成兩三輪加大量增廣。另外train_bc每輪只訓(xùn) 5 個(gè) epoch 是有意的——DAgger 靠的是數(shù)據(jù)分布持續(xù)擴(kuò)張不是單輪把 loss 壓到最低訓(xùn)太多輪會(huì)讓策略過(guò)早過(guò)擬合到舊狀態(tài)分布上。2.4 GAIL 的判別器與獎(jiǎng)勵(lì)整形獎(jiǎng)勵(lì)從哪來(lái)GAIL 解決的是 BC 誤差累積的另一種思路不學(xué)動(dòng)作學(xué)一個(gè)「像專家」的判別器用判別器輸出反向構(gòu)造獎(jiǎng)勵(lì)再拿這個(gè)獎(jiǎng)勵(lì)跑標(biāo)準(zhǔn)策略梯度。判別器輸入是(obs, action)拼接輸出一個(gè) logit專家樣本標(biāo) 1、策略樣本標(biāo) 0。class Discriminator(nn.Module): def __init__(self, obs_dim, act_dim, hidden128): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim act_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), nn.Linear(hidden, 1), ) def forward(self, obs, act): return self.net(torch.cat([obs, act], dim-1)).squeeze(-1) # 輸出 logit def disc_loss(disc, expert_obs, expert_act, policy_obs, policy_act): # 標(biāo)準(zhǔn)二分類交叉熵專家 1策略 0 pos disc(expert_obs, expert_act) neg disc(policy_obs, policy_act) return (nn.functional.binary_cross_entropy_with_logits(pos, torch.ones_like(pos)) nn.functional.binary_cross_entropy_with_logits(neg, torch.zeros_like(neg))) def gail_reward(disc, obs, act, clip10.0): # r -log(1 - D(s,a))D 是判別器給出的“像專家”概率 prob torch.sigmoid(disc(obs, act)) r -torch.log(1.0 - prob 1e-8) return torch.clamp(r, -clip, clip)判別器網(wǎng)絡(luò)刻意比策略網(wǎng)絡(luò)小128 vs 256且只有兩層是為了不讓它太快把策略和專家完全分開(kāi)。獎(jiǎng)勵(lì)取-log(1 - D)而不是直接用D是因?yàn)榍罢咴贒接近 0 時(shí)給的正獎(jiǎng)勵(lì)更平滑策略在早期不至于所有樣本獎(jiǎng)勵(lì)都是 0.001 這個(gè)量級(jí)梯度全被吞掉。clip10.0是給獎(jiǎng)勵(lì)設(shè)上限防止個(gè)別樣本把優(yōu)勢(shì)函數(shù)撐爆。判別器的訓(xùn)練和策略的訓(xùn)練是交替的每一輪先用當(dāng)前策略采一批 rollout更新判別器若干次再用更新后的判別器算獎(jiǎng)勵(lì)、更新策略。這個(gè)「若干次」就是下一章要單獨(dú)說(shuō)的判別器步頻是 GAIL 里最敏感的超參之一。3. 從零跑通一次訓(xùn)練依賴、專家數(shù)據(jù)、配置和日志的四段命令鏈拿到一個(gè)算法包第一件事不是讀完全部源碼是把它跑出第一條非零獎(jiǎng)勵(lì)曲線。這一步跑通了后面所有調(diào)參才有意義跑不通讀源碼也讀不出所以然。下面這條鏈路按「裝環(huán)境 → 采數(shù)據(jù) → 訓(xùn) BC → 訓(xùn) GAIL → 評(píng)估」的順序排腳本名以倉(cāng)庫(kù)里的實(shí)際文件為準(zhǔn)我按常見(jiàn)命名寫對(duì)不上就按功能找對(duì)應(yīng)入口。3.1 依賴裝完之后先驗(yàn)環(huán)境接口對(duì)不對(duì)# 1) 建獨(dú)立解釋器環(huán)境避免和系統(tǒng)里的 torch 版本打架 python -m venv .venv source .venv/bin/activate # Windows 下?lián)Q成 .venv\Scripts\activate # 2) 裝依賴requirements.txt 里通常鎖 numpy / torch / 環(huán)境接口庫(kù) / pyyaml / tensorboard pip install -r requirements.txt # 3) 自檢把算法注冊(cè)表和已安裝的環(huán)境列出來(lái)確認(rèn) BC/DAgger/GAIL 三個(gè)入口都在 python -m pkg.registry --list第三步別省。算法包的入口常掛在注冊(cè)表或getattr動(dòng)態(tài)導(dǎo)入上包名寫錯(cuò)、模塊沒(méi)被__init__.py導(dǎo)出報(bào)錯(cuò)會(huì)出現(xiàn)在訓(xùn)練中段而不是啟動(dòng)時(shí)排查成本翻倍。如果注冊(cè)表能列出三個(gè)算法名且環(huán)境接口庫(kù)能make出你的環(huán)境依賴這一關(guān)就算過(guò)了。提示環(huán)境接口庫(kù)的版本差異主要體現(xiàn)在reset和step的返回值上。老接口reset()只返回obsstep()返回四元組新接口返回(obs, info)和五元組。包里的 rollout 代碼只認(rèn)其中一種版本不對(duì)會(huì)報(bào)「too many values to unpack」這類看似莫名其妙的錯(cuò)。改法很簡(jiǎn)單在采集腳本里加一層適配或者在環(huán)境外面包一個(gè) wrapper不要在算法內(nèi)部到處打補(bǔ)丁。3.2 采集專家軌跡腳本參數(shù)與落盤格式# 采集專家軌跡。--env 換成自己的環(huán)境 id--episodes 決定演示條數(shù) python scripts/collect_demos.py \ --env YourEnv-v0 \ --episodes 60 \ --policy expert_rule_based \ --noise 0.02 \ --out data/expert_60ep.npz--episodes 60不是拍腦袋的數(shù)下一章會(huì)講怎么估第一次跑通先給 20 到 30 條確認(rèn)文件能存下來(lái)、字段對(duì)得上再補(bǔ)量。--noise 0.02是給專家動(dòng)作加的小幅高斯噪聲目的是讓專家數(shù)據(jù)覆蓋一點(diǎn)狀態(tài)鄰域BC 學(xué)出來(lái)的策略不會(huì)在專家軌跡兩側(cè)立刻崩掉。噪聲太大等于污染標(biāo)簽0.01 到 0.05 之間按動(dòng)作量綱調(diào)動(dòng)作在[-1, 1]的話 0.02 合適。落盤之后先做個(gè)形狀檢查比直接開(kāi)訓(xùn)省事得多import numpy as np d np.load(data/expert_60ep.npz) print({k: (d[k].shape, d[k].dtype) for k in d.files}) # 期望看到 obs (N, obs_dim) float32, act (N, act_dim) float32, done 里 1 的個(gè)數(shù)等于軌跡條數(shù)done為 1 的樣本數(shù)應(yīng)該正好等于--episodes多一個(gè)少一個(gè)都說(shuō)明采集循環(huán)里對(duì)terminated和truncated的處理有問(wèn)題。超時(shí)截?cái)嗨悴凰鉪one在不同算法里處理不一樣BC 不在意GAIL 在意——超時(shí)被當(dāng)成終止會(huì)讓價(jià)值函數(shù)學(xué)到「到時(shí)間就沒(méi)價(jià)值」正確做法是用truncated做 bootstrap 而不是當(dāng)終止。3.3 配置文件一次訓(xùn)練里真正要?jiǎng)拥氖畮讉€(gè)鍵algo: gail seed: 0 env_id: YourEnv-v0 demo_path: data/expert_60ep.npz policy: hidden: [256, 256] activation: tanh train: total_steps: 1_000_000 batch_size: 256 lr_policy: 3.0e-4 lr_disc: 1.0e-3 disc_updates: 3 # 每輪策略更新前判別器更新幾次 gamma: 0.99 gae_lambda: 0.95 ent_coef: 0.01 gail: reward_clip: 10.0 disc_hidden: 128total_steps: 1_000_000是環(huán)境交互步數(shù)而不是梯度步數(shù)這個(gè)口徑一定要跟日志對(duì)上否則你會(huì)以為訓(xùn)了很久其實(shí)只采了幾萬(wàn)步。ent_coef: 0.01是熵正則GAIL 里不建議設(shè)太大——獎(jiǎng)勵(lì)本身是從判別器來(lái)的熵太高會(huì)讓策略主動(dòng)往判別器沒(méi)見(jiàn)過(guò)的區(qū)域跑判別器給的獎(jiǎng)勵(lì)全是噪聲訓(xùn)練曲線表現(xiàn)為先漲后崩。3.4 訓(xùn)練與評(píng)估日志里該盯哪幾條曲線# 訓(xùn) BC 先確認(rèn)數(shù)據(jù)管線沒(méi)問(wèn)題 python scripts/train_bc.py --config configs/bc.yaml --demo data/expert_60ep.npz # 訓(xùn) GAIL從 BC 權(quán)重?zé)釂?dòng) python scripts/train_gail.py --config configs/gail.yaml --init runs/bc/policy.pt # 評(píng)估20 條 episode同時(shí)看均值和最差分位數(shù) python scripts/evaluate.py --ckpt runs/gail/policy.pt --episodes 20 --percentile 25日志里至少四條曲線要看episode_return、disc_accuracy、policy_entropy、value_loss。disc_accuracy穩(wěn)定在 0.5 到 0.75 之間是健康區(qū)間說(shuō)明判別器還分不太清一旦沖到 0.95 以上并橫住策略這邊基本拿不到有效梯度獎(jiǎng)勵(lì)曲線會(huì)變成一條緩慢下滑的直線。policy_entropy應(yīng)該緩慢下降而不是斷崖式掉到 0掉太快說(shuō)明策略過(guò)早確定化GAIL 階段就廢了。評(píng)估只看均值是自欺欺人。模仿學(xué)習(xí)的失敗是尾部事件——20 條里 18 條接近專家、2 條完全崩均值可能還不錯(cuò)但上線就是那 2 條在出問(wèn)題。所以評(píng)估腳本里同時(shí)打 25 分位數(shù)--percentile 25就是干這個(gè)的。4. 超參不是玄學(xué)專家軌跡量、判別器步頻與折扣因子的聯(lián)動(dòng)關(guān)系模仿學(xué)習(xí)算法的超參比普通監(jiān)督學(xué)習(xí)少但相互耦合更強(qiáng)。改一個(gè)數(shù)往往要連帶改另一個(gè)不然就是從「不收斂」跳到「過(guò)擬合」再跳回來(lái)。這一章把三個(gè)最影響結(jié)果的量單獨(dú)拎出來(lái)給的都是范圍和判斷依據(jù)不是絕對(duì)最優(yōu)值。4.1 專家軌跡數(shù)量與狀態(tài)維度先算清覆蓋度再談算法BC 的誤差上界大致是O(T2ε)T是軌跡長(zhǎng)度ε是單步監(jiān)督誤差。這個(gè)式子說(shuō)明兩件事軌跡越長(zhǎng)同樣的單步誤差放大得越厲害想降低誤差要么減小ε更好的網(wǎng)絡(luò)/更多數(shù)據(jù)要么打斷誤差累積DAgger。實(shí)操里的估算方式是按狀態(tài)空間覆蓋率不是按條數(shù)。經(jīng)驗(yàn)區(qū)間任務(wù)類型狀態(tài)維度建議專家軌跡條數(shù)備注低維連續(xù)控制10 以內(nèi)20 到 50每條幾百步夠 BC 出可用策略中維帶關(guān)節(jié)角、速度10 到 5050 到 200建議配 DAgger純 BC 容易偏圖像輸入高維200 以上必須做數(shù)據(jù)增廣否則過(guò)擬合背景多模態(tài)專家人遙操作任意200 以上高斯頭或多峰建模MSE 會(huì)學(xué)出平均動(dòng)作表里的數(shù)字是起點(diǎn)不是終點(diǎn)。判斷數(shù)據(jù)夠不夠看 BC 的驗(yàn)證集 loss 和 rollout 表現(xiàn)是否背離驗(yàn)證 loss 很低但 rollout 一開(kāi)始就偏說(shuō)明數(shù)據(jù)覆蓋不夠加數(shù)據(jù)或者上 DAgger驗(yàn)證 loss 本身就高說(shuō)明網(wǎng)絡(luò)容量或者輸入特征有問(wèn)題加數(shù)據(jù)沒(méi)用。4.2 判別器步頻與學(xué)習(xí)率GAIL 最容易失衡的地方disc_updates和lr_disc是一對(duì)聯(lián)動(dòng)參數(shù)。判別器更新太頻繁或?qū)W習(xí)率太高會(huì)迅速把策略和專家分開(kāi)獎(jiǎng)勵(lì)飽和策略梯度消失更新太少判別器跟不上策略變化獎(jiǎng)勵(lì)信號(hào)滯后訓(xùn)練表現(xiàn)為獎(jiǎng)勵(lì)曲線劇烈震蕩。我一般這樣起手lr_disc 1e-3、lr_policy 3e-4判別器學(xué)習(xí)率比策略高 3 倍左右disc_updates 1先跑 20 萬(wàn)步看disc_accuracy。如果它一直在 0.5 附近上不去說(shuō)明判別器太弱把disc_updates提到 3 或者把disc_hidden從 128 加到 256如果它三步之內(nèi)沖到 0.9 以上反過(guò)來(lái)做lr_disc降到 3e-4或者給判別器加梯度懲罰。另一個(gè)常被忽略的旋鈕是reward_clip。判別器輸出經(jīng)過(guò)-log(1-D)之后理論上無(wú)界D → 1時(shí)獎(jiǎng)勵(lì)會(huì)沖到幾十甚至上百優(yōu)勢(shì)估計(jì)直接被個(gè)別樣本主導(dǎo)。reward_clip: 10.0相當(dāng)于給獎(jiǎng)勵(lì)設(shè)了個(gè)硬上限代價(jià)是損失一部分區(qū)分度但換來(lái)的穩(wěn)定性在調(diào)試階段更值錢。4.3 折扣因子與 GAE把信用分配對(duì)上專家軌跡長(zhǎng)度gamma 0.99意味著有效視野大約 100 步0.995大約 200 步0.999大約 1000 步。這個(gè)數(shù)要和專家軌跡的實(shí)際長(zhǎng)度匹配如果專家軌跡平均 300 步收斂到目標(biāo)gamma給 0.99 會(huì)讓價(jià)值函數(shù)看不到后半段策略學(xué)到的是「快速動(dòng)一下」而不是「完整完成任務(wù)」。gae_lambda控制偏差和方差的折中0.95 是通用起點(diǎn)。GAIL 的獎(jiǎng)勵(lì)來(lái)自判別器噪聲比環(huán)境原生獎(jiǎng)勵(lì)大這種情況下把lambda降到 0.9 甚至 0.85 能明顯減小優(yōu)勢(shì)估計(jì)的方差代價(jià)是偏差變大、收斂變慢。判斷依據(jù)是value_loss的波動(dòng)幅度如果它在兩個(gè)數(shù)量級(jí)之間來(lái)回跳先降lambda再考慮降學(xué)習(xí)率。注意gamma改大之后total_steps也要跟著加。視野從 100 步拉到 300 步同樣學(xué)到「完整任務(wù)」需要的數(shù)據(jù)量大致按比例增加只改gamma不改步數(shù)最常見(jiàn)的現(xiàn)象是訓(xùn)練到一半曲線開(kāi)始緩慢下滑看起來(lái)像過(guò)擬合其實(shí)是步數(shù)不夠。4.4 參數(shù)速查表參數(shù)作用起步值什么時(shí)候改lr_policy策略網(wǎng)絡(luò)步長(zhǎng)3e-4曲線震蕩就減半20 萬(wàn)步不動(dòng)就翻倍lr_disc判別器步長(zhǎng)1e-3判別器準(zhǔn)確率過(guò)高就降過(guò)低就升disc_updates每輪判別器更新次數(shù)1 到 3先動(dòng)這個(gè)再動(dòng)學(xué)習(xí)率影響更平滑gamma折扣因子0.99按專家軌跡長(zhǎng)度的 1/3 到 1/2 反推gae_lambda優(yōu)勢(shì)估計(jì)折中0.95value_loss抖動(dòng)大就降到 0.9ent_coef熵正則0.01策略過(guò)早確定化就加大探索過(guò)頭就減小reward_clip判別器獎(jiǎng)勵(lì)上限10.0獎(jiǎng)勵(lì)方差爆炸時(shí)降到 5.0batch_size批量大小256顯存夠就加到 512梯度更穩(wěn)5. 五類翻車現(xiàn)場(chǎng)排查現(xiàn)象、成因和能直接改的那一行算法包的 issue 區(qū)里重復(fù)率最高的不是「怎么實(shí)現(xiàn)」而是「我訓(xùn)出來(lái)不對(duì)」。下面五條按出現(xiàn)頻率排每條都按現(xiàn)象、成因、解決三層寫能直接對(duì)應(yīng)到代碼里改哪一行。5.1 BC 訓(xùn)練 loss 很低rollout 三步就飄現(xiàn)象訓(xùn)練集 MSE 降到 1e-3 量級(jí)進(jìn)環(huán)境跑前三步還行第五步動(dòng)作開(kāi)始抖第十步直接撞墻。成因典型的分布偏移。專家數(shù)據(jù)只覆蓋專家走過(guò)的狀態(tài)策略在專家狀態(tài)上學(xué)得很準(zhǔn)一旦偏出去幾厘米進(jìn)入沒(méi)見(jiàn)過(guò)的狀態(tài)輸出就是網(wǎng)絡(luò)外推的隨機(jī)值誤差按T2放大。解決上 DAgger哪怕只跑兩三輪也有效暫時(shí)不想引入在線專家的話退一步做狀態(tài)增廣——對(duì)專家觀測(cè)加小幅高斯噪聲、對(duì)圖像做隨機(jī)裁剪和亮度擾動(dòng)讓策略在專家軌跡鄰域內(nèi)有定義。噪聲幅度按觀測(cè)標(biāo)準(zhǔn)差的 5% 到 10% 給給大了等于教策略在錯(cuò)誤狀態(tài)上輸出正確動(dòng)作反而更糟。5.2 GAIL 判別器準(zhǔn)確率三步?jīng)_到 0.98獎(jiǎng)勵(lì)曲線變平現(xiàn)象訓(xùn)練前幾千步disc_accuracy迅速逼近 1.0gail_reward均值掉到接近 0 并橫住策略性能不再變化。成因判別器容量或?qū)W習(xí)率相對(duì)策略太強(qiáng)幾乎瞬間就把兩類樣本線性分開(kāi)。獎(jiǎng)勵(lì)函數(shù)變成「策略樣本恒為 -10專家樣本恒為 10」策略拿到的梯度全是常數(shù)等于沒(méi)有獎(jiǎng)勵(lì)。解決先把disc_updates從 3 降到 1再把lr_disc降到 3e-4還不夠就給判別器加梯度懲罰WGAN-GP 那一套或者把disc_hidden從 256 砍到 128。判別器網(wǎng)絡(luò)比策略網(wǎng)絡(luò)小一到兩檔是 GAIL 里比較穩(wěn)的配置習(xí)慣。5.3 觀測(cè)歸一化統(tǒng)計(jì)量隨訓(xùn)練漂移訓(xùn)練中期突然崩現(xiàn)象前 30 萬(wàn)步曲線正常上漲之后突然掉下去再也不回來(lái)重啟同 seed 也不一定復(fù)現(xiàn)。成因觀測(cè)歸一化用了滑動(dòng)統(tǒng)計(jì)量而策略探索到的狀態(tài)分布隨訓(xùn)練不斷擴(kuò)張mean/std跟著漂導(dǎo)致同一個(gè)觀測(cè)在不同時(shí)刻被歸一化成不同值。價(jià)值網(wǎng)絡(luò)學(xué)的是舊分布輸入一變就全亂。解決歸一化統(tǒng)計(jì)量只用專家數(shù)據(jù)算一次然后凍結(jié)寫進(jìn) checkpoint 一起保存。評(píng)估和訓(xùn)練必須用同一份mean/std這一點(diǎn)在加載模型時(shí)最容易漏——只加載了權(quán)重沒(méi)加載統(tǒng)計(jì)量現(xiàn)象是「訓(xùn)練好好的模型評(píng)估時(shí)表現(xiàn)極差」。5.4 專家動(dòng)作和環(huán)境動(dòng)作空間量綱不一致現(xiàn)象BC loss 正常下降但 rollout 里動(dòng)作像是被截?cái)嘤肋h(yuǎn)貼著[-1, 1]的邊界走機(jī)器人只朝一個(gè)方向緩慢移動(dòng)。成因?qū)＜覕?shù)據(jù)來(lái)自力矩控制動(dòng)作范圍是[-20, 20]環(huán)境action_space是[-1, 1]回歸出來(lái)的策略輸出被環(huán)境 clip等于把 95% 的信息丟了。解決采集階段就把專家動(dòng)作按(a - low) / (high - low) * 2 - 1歸一化落盤的 npz 里存歸一化后的值同時(shí)在文件里存一份action_low/action_high。評(píng)估腳本反歸一化后再env.step。這條建議寫進(jìn)采集腳本的注釋里不然下一個(gè)人接手還要再踩一次。5.5 固定 seed 但兩次訓(xùn)練結(jié)果差很多現(xiàn)象seed: 0寫死在配置里同樣的數(shù)據(jù)同樣的超參兩次跑出來(lái)的最終回報(bào)差 30% 以上。成因三處非確定性沒(méi)關(guān)掉——環(huán)境內(nèi)部的隨機(jī)數(shù)生成器沒(méi)設(shè)種子、PyTorch 的 cuDNN 自動(dòng)調(diào)優(yōu)、DataLoader 多 worker 的采樣順序。少關(guān)一處復(fù)現(xiàn)性就沒(méi)了。解決環(huán)境reset(seedcfg.seed)、torch.backends.cudnn.deterministic True、torch.backends.cudnn.benchmark False、DataLoader(..., worker_init_fn...)里給每個(gè) worker 派生種子。調(diào)試階段干脆num_workers0慢一點(diǎn)但結(jié)果可比。這套開(kāi)關(guān)關(guān)掉之后性能可能降幾個(gè)點(diǎn)屬于為了可復(fù)現(xiàn)付的必要成本。6. 再往前一步BC 預(yù)訓(xùn)練接 GAIL 微調(diào)加一個(gè)誤差分箱的驗(yàn)證習(xí)慣從零訓(xùn) GAIL 的探索成本很高尤其是動(dòng)作維度大于 10 的時(shí)候判別器早期的獎(jiǎng)勵(lì)幾乎全是噪聲。更省事的做法是先用 BC 把策略熱啟動(dòng)到一個(gè)「能跑但不精細(xì)」的水平再切 GAIL 微調(diào)。切換時(shí)有兩個(gè)細(xì)節(jié)要改策略學(xué)習(xí)率降到原來(lái)的三分之一到五分之一BC 權(quán)重已經(jīng)很接近解大步長(zhǎng)會(huì)把它們打散判別器從零開(kāi)始訓(xùn)、學(xué)習(xí)率保持原值因?yàn)榕袆e器面對(duì)的是一個(gè)已經(jīng)比較像專家的策略需要足夠強(qiáng)的區(qū)分能力才能提供有效梯度。驗(yàn)證環(huán)節(jié)我習(xí)慣加一個(gè)誤差分箱比只看總回報(bào)有用得多。思路是拿一批專家觀測(cè)喂給策略算每個(gè)樣本的動(dòng)作誤差再按專家動(dòng)作模長(zhǎng)或者狀態(tài)某個(gè)關(guān)鍵維度分箱看誤差集中在哪一段。import numpy as np import torch torch.no_grad() def divergence_by_bin(policy, expert_obs, expert_act, n_bins5): 按專家動(dòng)作模長(zhǎng)分箱統(tǒng)計(jì)策略與專家的動(dòng)作 MSE定位誤差集中區(qū) obs_t torch.as_tensor(expert_obs, dtypetorch.float32) pred policy(obs_t).numpy() err ((pred - expert_act) ** 2).mean(axis1) # 每個(gè)樣本一個(gè)標(biāo)量誤差 key np.linalg.norm(expert_act, axis1) # 用動(dòng)作模長(zhǎng)當(dāng)分箱依據(jù) edges np.quantile(key, np.linspace(0, 1, n_bins 1)) idx np.clip(np.digitize(key, edges[1:-1]), 0, n_bins - 1) return {i: round(float(err[idx i].mean()), 5) for i in range(n_bins) if (idx i).any()}n_bins5按分位數(shù)切保證每箱樣本量接近避免某一箱只有幾個(gè)樣本讓均值失真。輸出里如果誤差集中在最高的那一箱說(shuō)明策略在「大幅度動(dòng)作」上學(xué)得差多半是專家數(shù)據(jù)里大幅動(dòng)作樣本少補(bǔ)采時(shí)要有意識(shí)地多采這類片段如果集中在最低那一箱通常是噪聲問(wèn)題——小幅動(dòng)作的信噪比低專家自己抖一下就被當(dāng)成標(biāo)簽學(xué)走了這時(shí)候該做的是對(duì)專家動(dòng)作做一點(diǎn)平滑再訓(xùn)。配合評(píng)估腳本的 25 分位數(shù)一起看基本能定位八成問(wèn)題分箱誤差均勻但最差分位數(shù)很差是分布偏移分箱誤差本身就偏某一箱是數(shù)據(jù)覆蓋問(wèn)題兩者都正常但環(huán)境回報(bào)上不去那要回頭看獎(jiǎng)勵(lì)整形而不是繼續(xù)調(diào)策略。從那以后我每次跑 GAIL 之前都會(huì)強(qiáng)制先跑一遍 BC 的分箱誤差確認(rèn)失敗狀態(tài)集中在哪一段再?zèng)Q定是補(bǔ)數(shù)據(jù)還是直接上對(duì)抗訓(xùn)練——省下的不是訓(xùn)練時(shí)間是那種「訓(xùn)了兩天不知道錯(cuò)在哪」的消耗。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取