上個(gè)月復(fù)盤一套智能路口信號(hào)控制項(xiàng)目時(shí)統(tǒng)計(jì)到一件讓人很尷尬的事在A路口訓(xùn)練收斂的強(qiáng)化學(xué)習(xí)模型平移到一條相隔不到兩公里、車道布局幾乎一樣、流量只差15%的B路口后平均延誤不降反升了12%。團(tuán)隊(duì)成員開玩笑說“這模型可能只認(rèn)A路口的瀝青顏色”。玩笑歸玩笑這個(gè)尷尬的結(jié)果正好戳中了強(qiáng)化學(xué)習(xí)在交通場(chǎng)景里最疼的一塊軟肋——泛化能力。圈子里默認(rèn)RL學(xué)的是“控制規(guī)律”但真實(shí)項(xiàng)目里模型經(jīng)常是在死記一套場(chǎng)景指紋遇到相似但不完全相同的交通問題決策就崩掉了。標(biāo)題問“連相似的交通問題都失靈研究者怎么辦”我特別能理解這個(gè)疑問因?yàn)檫^去半年我就在這個(gè)泥潭里反復(fù)掙扎。這篇文章不打算灌雞湯而是把我做失效復(fù)現(xiàn)、根因排查、重構(gòu)狀態(tài)表示和訓(xùn)練方案的全過程整理出來包括實(shí)驗(yàn)數(shù)據(jù)、踩過的坑、最后驗(yàn)證泛化能力用的評(píng)估協(xié)議給同樣被困在“一個(gè)路口只能訓(xùn)一個(gè)模型”狀態(tài)里的同行一個(gè)可以照做的參考。1. 相似路口的“近遷移測(cè)試”一次讓我拍桌子的實(shí)驗(yàn)1.1 實(shí)驗(yàn)是怎么設(shè)計(jì)的先說清楚當(dāng)時(shí)那個(gè)讓我“破防”的實(shí)驗(yàn)設(shè)計(jì)。兩個(gè)仿真路口A路口和B路口控制周期相同進(jìn)口道都是四相位車道數(shù)也基本一致。唯一的顯著區(qū)別是B路口的中片區(qū)多了一條右轉(zhuǎn)專用道同時(shí)全天總體流量比A路口低約15%。我當(dāng)時(shí)抱著“這么輕微的變化應(yīng)該沒問題吧”的心態(tài)把訓(xùn)練好的一套PPO權(quán)重直接零樣本加載進(jìn)B路口環(huán)境里測(cè)試不重啟訓(xùn)練不做任何適配。結(jié)果是這樣的指標(biāo)A路口訓(xùn)練收斂值B路口零樣本遷移值相對(duì)變化平均排隊(duì)長(zhǎng)度輛18.627.447.3%平均停車延誤秒/車42.347.412.1%路口總吞吐量輛/小時(shí)18621705-8.4%歸一化回合獎(jiǎng)勵(lì)0.870.71-18.4%最離譜的是這還不是“完全沒見過的新場(chǎng)景”。兩個(gè)路口在拓?fù)渖蠋缀跬瑯?gòu)交通流量差異也不算大按常識(shí)判斷模型應(yīng)該有很高的“近遷移”成功率?？蓴?shù)據(jù)告訴我們策略不僅在B路口沒有保持住最優(yōu)性連最基礎(chǔ)的“別把排隊(duì)搞得更長(zhǎng)”這條底線都沒守住。當(dāng)時(shí)我第一反應(yīng)是獎(jiǎng)勵(lì)函數(shù)計(jì)算有問題檢查了三遍之后才不得不承認(rèn)模型真的“認(rèn)生了”。1.2 “數(shù)據(jù)不夠再訓(xùn)一訓(xùn)”的直覺陷阱遇到這種遷移失敗團(tuán)隊(duì)里最常見的提議就是是不是數(shù)據(jù)量不夠多采集一些B路口的樣本在原有預(yù)訓(xùn)練權(quán)重上繼續(xù)微調(diào)。這個(gè)思路聽起來合理但實(shí)際做出來又給了我一記悶棍。我在A路口預(yù)訓(xùn)練權(quán)重基礎(chǔ)上加入B路口數(shù)據(jù)繼續(xù)做微調(diào)訓(xùn)練訓(xùn)練兩萬(wàn)個(gè)環(huán)境步后B路口的平均延誤確實(shí)降下來了從47.4秒回到44.9秒左右但緊接著A路口的平均延誤卻從42.3秒漲到了46.7秒。也就是說增量數(shù)據(jù)把網(wǎng)絡(luò)參數(shù)拉向了B場(chǎng)景同時(shí)又覆蓋掉了原先已經(jīng)學(xué)好的A場(chǎng)景行為。災(zāi)難性遺忘在連續(xù)微調(diào)里表現(xiàn)得非常干脆。這個(gè)結(jié)果讓我意識(shí)到問題根本不在“數(shù)據(jù)量”。即便我們把兩個(gè)路口的數(shù)據(jù)全部混在一起訓(xùn)練也只是得到一個(gè)在兩個(gè)場(chǎng)景之間“和稀泥”的策略勉強(qiáng)讓A和B都不太好也不太差。真正缺的不是樣本而是模型結(jié)構(gòu)里沒有把“場(chǎng)景特有信息”和“通用決策信息”分開。當(dāng)所有的場(chǎng)景線索都糾纏在一組網(wǎng)絡(luò)權(quán)重里遷移本質(zhì)上是失敗的。2. 場(chǎng)景漂移為什么能騙過強(qiáng)化學(xué)習(xí)模型三層根因2.1 狀態(tài)接口把“幾何指紋”當(dāng)成決策依據(jù)先看當(dāng)時(shí)喂給策略網(wǎng)絡(luò)的狀態(tài)向量。那套模型用的是很常見的結(jié)構(gòu)車道級(jí)排隊(duì)長(zhǎng)度、當(dāng)前信號(hào)相位、相位剩余時(shí)間、各進(jìn)口道通過車輛數(shù)。這些特征聽起來沒問題但它們天然把路口幾何結(jié)構(gòu)滲進(jìn)了數(shù)值里。A路口和B路口車道數(shù)相同但因?yàn)橛杏肄D(zhuǎn)專用道B路口在右轉(zhuǎn)方向上的排隊(duì)分布和A路口完全不同。神經(jīng)網(wǎng)絡(luò)在提取特征時(shí)不會(huì)去區(qū)分“這個(gè)差異對(duì)決策有沒有用”它只會(huì)發(fā)現(xiàn)這些特征能高度辨識(shí)當(dāng)前場(chǎng)景于是把車道特有分布當(dāng)成決策依據(jù)一起學(xué)進(jìn)去了。于是模型學(xué)到的不是“看到某方向排隊(duì)接近飽和就延長(zhǎng)綠燈”而是“當(dāng)右轉(zhuǎn)專用道隊(duì)列特征長(zhǎng)成某個(gè)固定形狀時(shí)延長(zhǎng)綠燈大概率有好處”。換一個(gè)路口幾何特征分布變了策略自然失效。用更直白的話說模型把“這個(gè)路口長(zhǎng)什么樣”和“這個(gè)路口該怎么控制”兩件事揉在了一起。我們以為它學(xué)會(huì)了控制規(guī)律實(shí)際上它在背路口指紋。2.2 獎(jiǎng)勵(lì)尺度的不統(tǒng)一同一個(gè)數(shù)字在不同路口含義完全不同第二個(gè)根因出現(xiàn)在獎(jiǎng)勵(lì)函數(shù)上。那套模型用絕對(duì)排隊(duì)長(zhǎng)度作為主獎(jiǎng)勵(lì)項(xiàng)目標(biāo)是最小化每個(gè)周期內(nèi)各進(jìn)口道的總排隊(duì)車輛數(shù)。在A路口排隊(duì)30輛基本就等于嚴(yán)重?fù)矶乱驗(yàn)檫M(jìn)口道容量就這么大但在B路口由于通行能力不同排隊(duì)30輛可能只是晚高峰的常態(tài)水平。這會(huì)導(dǎo)致什么后果同一個(gè)獎(jiǎng)勵(lì)權(quán)重在A路口能形成“擁堵就往疏”的正確梯度到B路口卻變成了“無(wú)論怎么壓都有30輛排隊(duì)獎(jiǎng)勵(lì)怎么都上不去”。模型在B路口里看到的獎(jiǎng)勵(lì)地形被拉平了梯度信號(hào)弱什么都不做反而是局部最優(yōu)。就算遷移后繼續(xù)訓(xùn)練策略也會(huì)往一個(gè)奇怪的方向偏——不是學(xué)交通控制而是在學(xué)“怎么讓排隊(duì)數(shù)勉強(qiáng)小于那個(gè)絕對(duì)閾值”。獎(jiǎng)勵(lì)數(shù)值的絕對(duì)尺度不歸一是一切遷移失敗里最隱蔽的坑。因?yàn)閱螆?chǎng)景訓(xùn)練時(shí)你根本看不出問題A路口的獎(jiǎng)勵(lì)曲線很漂亮你只會(huì)以為模型學(xué)得不錯(cuò)。2.3 經(jīng)驗(yàn)池分布固化策略擬合的是“場(chǎng)景轉(zhuǎn)移概率”而非“交通流規(guī)律”第三層根因要往強(qiáng)化學(xué)習(xí)的訓(xùn)練機(jī)制里挖。單場(chǎng)景訓(xùn)練時(shí)經(jīng)驗(yàn)回放池里的樣本分布完全由該場(chǎng)景的交通流模式?jīng)Q定。比如A路口早高峰流量大、排隊(duì)飽和時(shí)間長(zhǎng)經(jīng)驗(yàn)池里絕大多數(shù)樣本都是高占用率狀態(tài)B路口流量低15%中等占用率狀態(tài)占大頭。策略網(wǎng)絡(luò)在優(yōu)化時(shí)本質(zhì)上是在擬合“給定狀態(tài)s采取動(dòng)作a后在某個(gè)轉(zhuǎn)移概率下能拿到多少獎(jiǎng)勵(lì)”的條件期望。它擬合的對(duì)象是A路口的轉(zhuǎn)移函數(shù)和獎(jiǎng)勵(lì)分布而不是交通流本身的一般規(guī)律。到了B路口流量分布變了模型大概率會(huì)碰到訓(xùn)練時(shí)很少見的狀態(tài)組合。這些狀態(tài)處于分布外策略輸出的動(dòng)作本質(zhì)上是在做外推自然不可信。這就好比一個(gè)人在暢通馬路上練熟了過馬路你把他丟到車速相近但車距分布完全不同的環(huán)島里他的判斷模型會(huì)被瞬間打亂。不是因?yàn)樗粫?huì)過馬路而是他學(xué)到的“經(jīng)驗(yàn)池”里全是雙向平交路口的樣本沒有環(huán)島的先驗(yàn)。3. 從狀態(tài)接口和獎(jiǎng)勵(lì)函數(shù)下手切斷“記場(chǎng)景”的路徑3.1 策略無(wú)關(guān)狀態(tài)表示無(wú)量綱、幾何無(wú)關(guān)、供需導(dǎo)向既然根因之一是狀態(tài)向量攜帶了大量幾何指紋信息最直接的應(yīng)對(duì)就是重做狀態(tài)接口。我的做法是把原始狀態(tài)全部替換成無(wú)量綱的比值型特征讓策略只看到“供需關(guān)系”和“壓力等級(jí)”不需要知道路口具體長(zhǎng)什么樣。改造后的狀態(tài)向量大概長(zhǎng)這樣各路口的飽和度當(dāng)前到達(dá)流量除以該進(jìn)口道的理論通行能力數(shù)值范圍0到1.2排隊(duì)占用率當(dāng)前排隊(duì)車輛數(shù)除以該進(jìn)口道最大可容納排隊(duì)車輛數(shù)純比例延誤相對(duì)變化率當(dāng)前平均延誤減去自由流延誤再除以自由流延誤反映延誤惡化程度相位進(jìn)度當(dāng)前相位已執(zhí)行時(shí)長(zhǎng)除以該相位最大可選時(shí)長(zhǎng)上一個(gè)周期內(nèi)各方向的綠燈利用率實(shí)際通過車數(shù)除以最大理論通過車數(shù)。構(gòu)造出來的狀態(tài)向量的關(guān)鍵特點(diǎn)是任何一個(gè)路口都能計(jì)算這些值而計(jì)算所用的分母本身已經(jīng)蘊(yùn)含了場(chǎng)景特性。飽和度高意味著這條路已經(jīng)承載不住了飽和度低則意味著還有余量。策略不用再去記住“這個(gè)路口是幾車道”它只需要知道“現(xiàn)在這個(gè)路口的壓力有多大”。我直接用一個(gè)簡(jiǎn)單的Python片段來說明狀態(tài)構(gòu)造邏輯實(shí)際工程中這只是狀態(tài)編碼器一小部分def build_scene_free_state(lane_volume, lane_capacity, queue_len, max_queue, delay, free_flow_delay): saturation lane_volume / max(lane_capacity, 1e-6) occupancy queue_len / max(max_queue, 1e-6) delay_ratio (delay - free_flow_delay) / max(free_flow_delay, 1e-6) return np.array([saturation, occupancy, delay_ratio], dtypenp.float32)最直觀的變化是這個(gè)狀態(tài)向量里的所有數(shù)字在A路口和B路口都有了近似相同的語(yǔ)義。策略不再需要從“車道數(shù)差異”里反向推導(dǎo)交通壓力壓力已經(jīng)直接在輸入端擺好了。3.2 獎(jiǎng)勵(lì)函數(shù)改成“比例化標(biāo)尺”狀態(tài)接口換掉之后獎(jiǎng)勵(lì)函數(shù)也必須同步改造不能繼續(xù)用絕對(duì)排隊(duì)數(shù)或者絕對(duì)延誤做獎(jiǎng)勵(lì)項(xiàng)。我最后用的獎(jiǎng)勵(lì)公式是三個(gè)無(wú)量綱項(xiàng)的加權(quán)組合R -α · |S_current ? S_target| ? β · (delay / free_flow_delay) ? γ · switch_penalty這里S_current是當(dāng)前路口的綜合飽和度S_target是目標(biāo)飽和度一般設(shè)為0.8到0.9之間的理想?yún)^(qū)間delay / free_flow_delay是延誤放大倍數(shù)反映的是“比自由流慢了多少倍”而不是具體的秒數(shù)switch_penalty用來懲罰過于頻繁的相位切換。這樣設(shè)計(jì)的核心好處是獎(jiǎng)勵(lì)函數(shù)各項(xiàng)在不同場(chǎng)景下?lián)碛型粋€(gè)“標(biāo)尺”。A路口晚高峰排隊(duì)30輛可能意味著飽和度接近1.0B路口排隊(duì)30輛可能飽和度只有0.6獎(jiǎng)勵(lì)函數(shù)會(huì)自動(dòng)給出完全不同的評(píng)價(jià)。模型學(xué)到的優(yōu)化目標(biāo)是“把壓力拉回目標(biāo)區(qū)間”而不是“把某個(gè)絕對(duì)數(shù)字壓到最小”。這是整個(gè)泛化改造里性價(jià)比最高的一處調(diào)整改完之后就算不換模型結(jié)構(gòu)B路口的零樣本遷移獎(jiǎng)勵(lì)也回升了不少。3.3 動(dòng)作空間從“指定綠燈時(shí)長(zhǎng)”改成“延長(zhǎng)決策”第三步改造是動(dòng)作空間。舊版本的動(dòng)作輸出的是“下一個(gè)相位的綠燈絕對(duì)時(shí)長(zhǎng)”這意味著網(wǎng)絡(luò)必須學(xué)會(huì)不同路口綠燈時(shí)長(zhǎng)約束的絕對(duì)值差異A路口最大綠燈60秒B路口最大綠燈45秒輸入輸出映射完全不同。這個(gè)設(shè)計(jì)天然讓動(dòng)作層面也綁定了場(chǎng)景。我把動(dòng)作設(shè)計(jì)改成了“保持/結(jié)束當(dāng)前相位以及是否延長(zhǎng)一個(gè)固定決策步長(zhǎng)”。模型只輸出兩個(gè)動(dòng)作繼續(xù)延長(zhǎng)當(dāng)前相位或者切換到下一個(gè)相位。具體延長(zhǎng)多少秒由環(huán)境內(nèi)部的約束參數(shù)處理。這樣改動(dòng)之后動(dòng)作的語(yǔ)義在任意路口都是一樣的——“我現(xiàn)在覺得當(dāng)前相位還需要再等等”還是一個(gè)二分類決策。模型不需要在輸出層去擬合不同路口的絕對(duì)時(shí)長(zhǎng)差異環(huán)境約束又保證了動(dòng)作不會(huì)超過該路口的最大綠燈限制。從實(shí)際效果看這個(gè)改造雖然簡(jiǎn)單卻讓策略在結(jié)構(gòu)變化的路口之間遷移時(shí)少了一個(gè)很大自由度的外推。4. “多世界訓(xùn)練”的組合拳域隨機(jī)化、課程學(xué)習(xí)與場(chǎng)景條件化策略4.1 域隨機(jī)化必須隨機(jī)“結(jié)構(gòu)變體”不能只隨機(jī)參數(shù)光改狀態(tài)、獎(jiǎng)勵(lì)和動(dòng)作還不夠訓(xùn)練數(shù)據(jù)分布還是來自單一路口模型依然會(huì)被單一場(chǎng)景的經(jīng)驗(yàn)池鎖住。要真正逼出泛化能力必須讓訓(xùn)練過程本身就覆蓋多個(gè)“世界”。我用的第一招是域隨機(jī)化即訓(xùn)練時(shí)不斷隨機(jī)環(huán)境的配置。不少文章提域隨機(jī)化時(shí)只隨機(jī)數(shù)值參數(shù)比如車流量乘個(gè)0.7到1.3的系數(shù)駕駛員激進(jìn)程度隨機(jī)取值。這樣做的效果有限因?yàn)槟Ｐ腿匀恢馈奥房谝欢ㄊ撬南辔?、一定沒有右轉(zhuǎn)專用道”這個(gè)隱性前提。我的做法是在參數(shù)隨機(jī)之外加上了結(jié)構(gòu)性變體的隨機(jī)化像車道數(shù)量組合、是否存在右轉(zhuǎn)專用道、相位配置是四相位還是三相位、信號(hào)周期范圍都作為可隨機(jī)項(xiàng)加入訓(xùn)練環(huán)境。初始域隨機(jī)化的配置表大概長(zhǎng)這樣隨機(jī)維度隨機(jī)范圍各進(jìn)口道流量倍率0.6x ~ 1.4x跟車模型的安全距離參數(shù)0.8 ~ 1.5駕駛員激進(jìn)程度隨機(jī)采樣三檔車道數(shù)組合雙向二車道/雙向三車道/雙向四車道相位結(jié)構(gòu)三相位、四相位、帶右轉(zhuǎn)專用道四相位最大綠燈時(shí)長(zhǎng)30秒 ~ 75秒這樣訓(xùn)練時(shí)模型每換一個(gè)episode就身處一個(gè)新“世界”同一套策略權(quán)重必須同時(shí)在各種結(jié)構(gòu)變體上都表現(xiàn)得不錯(cuò)才能獲得穩(wěn)定獎(jiǎng)勵(lì)。模型就失去了“背單一路口指紋”的機(jī)會(huì)。4.2 課程學(xué)習(xí)別讓多任務(wù)一擁而上不過把所有隨機(jī)變體直接同時(shí)丟進(jìn)去前期訓(xùn)練會(huì)非常容易出現(xiàn)梯度震蕩。原因很簡(jiǎn)單不同難度場(chǎng)景的回報(bào)差異太大低難度場(chǎng)景已經(jīng)把獎(jiǎng)勵(lì)推得很高高難度場(chǎng)景還在原地掙扎優(yōu)化方向互相拉扯。我用了課程學(xué)習(xí)來做平滑過渡。訓(xùn)練階段分三級(jí)第一階段用最簡(jiǎn)單的場(chǎng)景組合低流量、雙向二車道、四相位固定結(jié)構(gòu)先把策略學(xué)到能穩(wěn)定處理基礎(chǔ)壓力。第二階段加入中等復(fù)雜度的結(jié)構(gòu)變體比如雙向三車道、帶右轉(zhuǎn)道、流量倍率放寬到0.8到1.2。第三階段才打開全部隨機(jī)域。關(guān)于“難度”的定義我在代碼里按一個(gè)綜合分?jǐn)?shù)排序擁堵狀態(tài)出現(xiàn)頻率、相位數(shù)量、結(jié)構(gòu)變體差異度。每一級(jí)訓(xùn)練中環(huán)境采樣遵循難度越高采樣概率越小的原則防止模型被極端難的高維結(jié)構(gòu)變體直接打懵。課程學(xué)習(xí)在日志里看起來會(huì)犧牲一點(diǎn)前期的單場(chǎng)景峰值分?jǐn)?shù)但它換來的是中后期更平滑的收斂和終局階段更好的泛化。4.3 場(chǎng)景條件化策略把“場(chǎng)景ID”明明白白喂給網(wǎng)絡(luò)第三個(gè)組合拳是給策略網(wǎng)絡(luò)增加一個(gè)“場(chǎng)景描述向量”作為額外輸入。訓(xùn)練時(shí)我們把每個(gè)環(huán)境的靜態(tài)結(jié)構(gòu)配置編碼成一個(gè)向量例如車道數(shù)、相位數(shù)、是否存在右轉(zhuǎn)專用道、當(dāng)前流量倍率拼在狀態(tài)向量后面一起送進(jìn)網(wǎng)絡(luò)。這樣做的好處很直接網(wǎng)絡(luò)可以學(xué)會(huì)一種條件化的映射——看到場(chǎng)景描述向量為“四相位無(wú)右轉(zhuǎn)道”就走A策略分支看到“三相位有右轉(zhuǎn)道”就走B策略分支。訓(xùn)練目標(biāo)是學(xué)習(xí)條件分布π(a|s, c)而不是把所有場(chǎng)景的平均解壓到一個(gè)點(diǎn)。這樣一來不同場(chǎng)景之間的參數(shù)沖突大幅降低域隨機(jī)化訓(xùn)練也不容易顧此失彼。實(shí)現(xiàn)上就是把狀態(tài)拼接一下obs np.concatenate([scene_free_state, scene_embedding], axis-1) action_logits policy_net(obs)需要注意的是加了這個(gè)條件輸入之后初期訓(xùn)練曲線看起來反而變慢了因?yàn)榫W(wǎng)絡(luò)需要額外學(xué)習(xí)“不同場(chǎng)景描述對(duì)應(yīng)不同策略”這個(gè)映射關(guān)系。我一開始差點(diǎn)把它關(guān)掉后來堅(jiān)持訓(xùn)練到中期才看到效果。這個(gè)現(xiàn)象后面還會(huì)再講。5. 驗(yàn)證泛化能力評(píng)估協(xié)議、防騙清單與實(shí)測(cè)數(shù)據(jù)解讀5.1 構(gòu)造“零樣本測(cè)試矩陣”改造做完之后驗(yàn)證階段是最不能糊弄的。很多人說模型泛化了但拿出來的證據(jù)永遠(yuǎn)是一張測(cè)試集獎(jiǎng)勵(lì)曲線圖。我的建議是直接做一個(gè)結(jié)構(gòu)化的“零樣本測(cè)試矩陣”把測(cè)試環(huán)境按難度分成三檔每檔測(cè)五個(gè)以上不同配置測(cè)試類型具體配置示例零樣本要求參數(shù)擾動(dòng)類A路口/流量±15%/周期長(zhǎng)度變化不動(dòng)權(quán)重直接評(píng)估結(jié)構(gòu)微變類三相位改四相位/增加右轉(zhuǎn)專用道/車道數(shù)增減不動(dòng)權(quán)重直接評(píng)估極端模式類行人過街比例提高/公交優(yōu)先觸發(fā)/事故占道不動(dòng)權(quán)重直接評(píng)估報(bào)告的指標(biāo)不直接報(bào)絕對(duì)數(shù)值而是報(bào)“相對(duì)基線規(guī)則比如固定最大綠信比規(guī)則的性能提升比例”。用相對(duì)基線的變化能消掉場(chǎng)景本身難易差異防止你拿一個(gè)本身就很簡(jiǎn)單的場(chǎng)景當(dāng)“泛化成功”的證據(jù)。5.2 三個(gè)容易被“表面上好結(jié)果”騙過去的時(shí)刻第一次做泛化評(píng)估的人很容易被好結(jié)果騙到我自己就上過三次當(dāng)。第一次是在單一路口上反復(fù)調(diào)超參把A路口的獎(jiǎng)勵(lì)曲線調(diào)到近乎完美自我感覺良好。后來?yè)Q了測(cè)試矩陣才發(fā)現(xiàn)這種“完美”完全是和A場(chǎng)景綁定的連參數(shù)擾動(dòng)類的測(cè)試都過不了。第二次是只看訓(xùn)練總獎(jiǎng)勵(lì)曲線不看評(píng)估時(shí)的狀態(tài)分布。后來我把評(píng)估過程中的狀態(tài)做了分布外檢測(cè)發(fā)現(xiàn)訓(xùn)練曲線漂亮只是因?yàn)榻?jīng)驗(yàn)池里塞滿了同一場(chǎng)景樣本評(píng)估時(shí)模型遇到一堆訓(xùn)練中沒見過的狀態(tài)動(dòng)作完全在瞎猜。第三次是對(duì)狀態(tài)加了極小的高斯噪聲做靈敏度測(cè)試結(jié)果策略立刻崩潰。這說明模型記住的不是“狀態(tài)規(guī)律”而是“精確的數(shù)值模板”稍微一點(diǎn)擾動(dòng)就暴露了。這個(gè)測(cè)試做起來成本極低強(qiáng)烈建議每個(gè)做RL交通控制的人都加上。5.3 我現(xiàn)在的評(píng)估流程與實(shí)測(cè)數(shù)據(jù)解讀經(jīng)過以上幾個(gè)版本的改造我現(xiàn)在做RL信號(hào)控制模型評(píng)估時(shí)會(huì)走一套固定流程先跑單場(chǎng)景收斂性實(shí)驗(yàn)確認(rèn)策略在原場(chǎng)景沒有明顯性能倒退再跑參數(shù)擾動(dòng)類零樣本測(cè)試矩陣驗(yàn)證對(duì)流量、周期等數(shù)值漂移的魯棒性然后跑結(jié)構(gòu)微變類測(cè)試觀察增加右轉(zhuǎn)專用道這類結(jié)構(gòu)變化時(shí)的性能保持率最后隨機(jī)挑兩個(gè)在訓(xùn)練中未出現(xiàn)過的極端場(chǎng)景做壓力測(cè)試。這套流程跑完之后再回頭量化改進(jìn)前后的效果。狀態(tài)與獎(jiǎng)勵(lì)改造加上域隨機(jī)化加場(chǎng)景條件化之后我手里項(xiàng)目的零樣本遷移成功率從最初的約四成提升到了七成上下結(jié)構(gòu)微變類場(chǎng)景的平均延誤提升幅度從最初比基線規(guī)則還差變成了比基線規(guī)則領(lǐng)先約15%到20%。參數(shù)擾動(dòng)類的場(chǎng)景表現(xiàn)更穩(wěn)定獎(jiǎng)勵(lì)波動(dòng)幅度比改造前縮小了接近一半。這個(gè)結(jié)果離“一個(gè)模型搞定所有路口”還很遠(yuǎn)但至少它證明了“相似交通問題失靈”不一定是強(qiáng)化學(xué)學(xué)習(xí)的死穴很多時(shí)候是我們把狀態(tài)表示、獎(jiǎng)勵(lì)函數(shù)和訓(xùn)練數(shù)據(jù)分布設(shè)計(jì)成了“單場(chǎng)景定制款”模型沒有機(jī)會(huì)學(xué)到可泛化的決策邏輯。最后分享一個(gè)自己踩過的坑做場(chǎng)景條件化策略時(shí)因?yàn)榧恿藞?chǎng)景嵌入后早期訓(xùn)練曲線明顯變慢我一度想把它回退掉。后來堅(jiān)持多訓(xùn)練了幾十萬(wàn)步模型才逐漸學(xué)會(huì)“看清場(chǎng)景再?zèng)Q策”曲線一下子反超了不加條件時(shí)的版本。強(qiáng)化學(xué)習(xí)項(xiàng)目的迭代最怕的不是模型能力不夠而是評(píng)估標(biāo)準(zhǔn)不統(tǒng)一導(dǎo)致你永遠(yuǎn)在單場(chǎng)景里自嗨。先把狀態(tài)里的“場(chǎng)景指紋”拆掉、獎(jiǎng)勵(lì)換成一個(gè)通用標(biāo)尺、訓(xùn)練時(shí)讓模型見過足夠多的“世界”這是目前我驗(yàn)證過最靠譜的破局順序。