1. 為什么在自動(dòng)駕駛里聊蒙特卡洛搜索樹第一次在自動(dòng)駕駛規(guī)劃模塊的評(píng)審會(huì)上聽到有人提蒙特卡洛搜索樹MCTS我的反應(yīng)是這不是AlphaGo下圍棋用的東西嗎怎么跑到車道上來(lái)了。后來(lái)真正把一段城區(qū)無(wú)保護(hù)左轉(zhuǎn)的決策邏輯拆開看才發(fā)現(xiàn)這個(gè)疑問(wèn)本身問(wèn)得不對(duì)——MCTS從來(lái)不是某個(gè)特定領(lǐng)域的專屬算法它是一套在巨大且不確定的搜索空間里做序貫決策的通用框架。圍棋的狀態(tài)空間大到無(wú)法窮舉自動(dòng)駕駛的交互博弈同樣如此你不知道對(duì)向那臺(tái)車會(huì)不會(huì)搶行不知道旁邊車道那臺(tái)車下一秒會(huì)不會(huì)并線也不知道路口那個(gè)行人會(huì)不會(huì)突然邁步。這種別人也在做決策、而且我看不透他的場(chǎng)景恰恰是MCTS最擅長(zhǎng)處理的地帶。這篇東西不是教科書式的算法推導(dǎo)而是把我自己在做行為決策模塊時(shí)圍繞MCTS踩過(guò)的坑、做過(guò)的取舍、以及最后落地的工程方案完整講一遍。核心關(guān)鍵詞就幾個(gè)蒙特卡洛搜索樹、UCT、rollout、行為決策、博弈交互、置信上界、剪枝。如果你正在做自動(dòng)駕駛的決策規(guī)劃或者對(duì)序貫決策算法怎么從論文落到車上感興趣這篇應(yīng)該能給你省不少試錯(cuò)時(shí)間。我會(huì)從整體設(shè)計(jì)思路講到具體實(shí)現(xiàn)再到實(shí)際調(diào)試中那些文檔里不會(huì)寫的坑盡量做到你看完能直接對(duì)著改自己的代碼。先說(shuō)清楚MCTS在自動(dòng)駕駛里到底解決什么問(wèn)題。傳統(tǒng)的規(guī)則式?jīng)Q策比如有限狀態(tài)機(jī)本質(zhì)上是把什么情況做什么動(dòng)作提前寫死。直行、跟車、換道、左轉(zhuǎn)每個(gè)狀態(tài)配一套觸發(fā)條件。這套東西在結(jié)構(gòu)化高速場(chǎng)景里夠用因?yàn)榻换ズ?jiǎn)單、參與者行為規(guī)范。但一到城區(qū)復(fù)雜路口狀態(tài)機(jī)的組合爆炸就壓不住了對(duì)向車、行人、非機(jī)動(dòng)車、相鄰車道每個(gè)參與者都有多種可能行為狀態(tài)數(shù)呈指數(shù)增長(zhǎng)你根本寫不完規(guī)則。MCTS的價(jià)值在于它不需要你窮舉所有情況而是通過(guò)采樣的方式把計(jì)算資源集中投到看起來(lái)有希望的分支上用有限的算力逼近一個(gè)足夠好的決策。這就是它和窮舉搜索、和純規(guī)則方法的根本區(qū)別。2. 蒙特卡洛搜索樹的核心機(jī)制拆解2.1 四個(gè)階段到底在干什么MCTS的經(jīng)典流程分四步選擇、擴(kuò)展、模擬、回溯。很多人背得滾瓜爛熟但真到用的時(shí)候說(shuō)不清每一步為什么這么設(shè)計(jì)。我用自動(dòng)駕駛左轉(zhuǎn)博弈的場(chǎng)景把它串一遍。選擇階段從根節(jié)點(diǎn)出發(fā)每次挑一個(gè)子節(jié)點(diǎn)往下走挑的依據(jù)是UCT公式。這個(gè)公式是MCTS的靈魂它把利用和探索兩件事捏在一起。利用就是選當(dāng)前看起來(lái)勝率高的分支探索就是給訪問(wèn)次數(shù)少的分支一點(diǎn)機(jī)會(huì)。公式長(zhǎng)這樣UCT Q/N c * sqrt(ln(N_parent) / N)Q是累計(jì)收益N是訪問(wèn)次數(shù)c是探索常數(shù)。第一項(xiàng)Q/N是平均收益代表利用第二項(xiàng)是探索項(xiàng)訪問(wèn)次數(shù)越少這項(xiàng)越大。c控制兩者的平衡c大偏探索c小偏利用。在自動(dòng)駕駛里這個(gè)c的取值非常講究后面我會(huì)專門講。擴(kuò)展階段走到一個(gè)還有未展開子節(jié)點(diǎn)的節(jié)點(diǎn)時(shí)生成一個(gè)新節(jié)點(diǎn)。在圍棋里就是落一子在自動(dòng)駕駛里就是執(zhí)行一個(gè)動(dòng)作——加速、減速、保持、左轉(zhuǎn)一點(diǎn)、右轉(zhuǎn)一點(diǎn)。這里的關(guān)鍵是動(dòng)作空間怎么定義定義粗了決策不精細(xì)定義細(xì)了樹爆炸。模擬階段也叫rollout從新節(jié)點(diǎn)開始用一套快速策略一路走到終局得到一個(gè)收益值。圍棋里是隨機(jī)落子到終局自動(dòng)駕駛里則是用簡(jiǎn)化模型快速推演未來(lái)幾秒的演化。這一步是MCTS算力消耗的大頭也是工程上最需要優(yōu)化的地方?；厮蓦A段把模擬得到的收益沿著路徑往回傳更新每個(gè)節(jié)點(diǎn)的Q和N。這樣下一次選擇時(shí)好分支的Q/N會(huì)更高自然被優(yōu)先選到。注意四步里最容易出問(wèn)題的是模擬階段。很多人直接照搬圍棋的隨機(jī)rollout結(jié)果在自動(dòng)駕駛里完全不可用因?yàn)檐囕v運(yùn)動(dòng)有動(dòng)力學(xué)約束隨機(jī)動(dòng)作根本走不出合理軌跡。這個(gè)坑我在第三節(jié)會(huì)詳細(xì)講怎么填。2.2 UCT公式里那個(gè)c到底怎么調(diào)c這個(gè)探索常數(shù)理論上有個(gè)推薦值sqrt(2)但那是針對(duì)收益歸一化到[0,1]且獎(jiǎng)勵(lì)分布比較規(guī)整的場(chǎng)景。自動(dòng)駕駛的收益函數(shù)往往不是這個(gè)量級(jí)而且不同場(chǎng)景下收益的方差差別很大。我實(shí)測(cè)下來(lái)的經(jīng)驗(yàn)是c不能設(shè)成固定值要跟收益的量綱掛鉤。具體做法是先把收益歸一化。比如把安全、效率、舒適三個(gè)維度的加權(quán)得分映射到[0,1]區(qū)間然后c取0.5到1.5之間。城區(qū)復(fù)雜交互場(chǎng)景c取大一點(diǎn)鼓勵(lì)探索因?yàn)閷?duì)手行為不確定性高多試幾個(gè)分支更穩(wěn)妥高速巡航場(chǎng)景c取小一點(diǎn)因?yàn)榻换ズ?jiǎn)單快速收斂到最優(yōu)跟車策略更重要。還有一個(gè)更細(xì)的點(diǎn)c可以隨搜索深度衰減。淺層節(jié)點(diǎn)多探索深層節(jié)點(diǎn)多利用。因?yàn)樵酵钐幠M的誤差越大過(guò)度探索深層分支意義不大。我一般讓c從根節(jié)點(diǎn)的1.2線性衰減到葉節(jié)點(diǎn)的0.6左右實(shí)測(cè)決策穩(wěn)定性有明顯提升。2.3 收益函數(shù)怎么設(shè)計(jì)才不翻車MCTS最終選哪個(gè)動(dòng)作取決于收益函數(shù)怎么定義。這是整個(gè)算法里最玄學(xué)也最考驗(yàn)工程經(jīng)驗(yàn)的部分。自動(dòng)駕駛的收益至少要覆蓋三個(gè)維度安全、效率、舒適。安全維度核心指標(biāo)是碰撞風(fēng)險(xiǎn)和最小安全距離。我一般用負(fù)的碰撞概率加上一個(gè)距離懲罰項(xiàng)距離越近懲罰越大而且是非線性增長(zhǎng)接近碰撞時(shí)懲罰急劇上升。效率維度用通行時(shí)間或者速度保持度衡量鼓勵(lì)盡快通過(guò)路口。舒適維度用加速度變化率、 jerk、方向盤轉(zhuǎn)角變化率來(lái)懲罰避免決策出來(lái)的軌跡讓乘客難受。難點(diǎn)在于三個(gè)維度的權(quán)重怎么定。我的做法是分層加權(quán)安全是硬約束權(quán)重給到壓倒性的大一旦有碰撞風(fēng)險(xiǎn)其他維度得分再高也直接判負(fù)效率和舒適在安全滿足的前提下做權(quán)衡城區(qū)擁堵場(chǎng)景效率權(quán)重高一點(diǎn)高速巡航舒適權(quán)重高一點(diǎn)。這個(gè)權(quán)重不是拍腦袋定的是拿大量仿真場(chǎng)景跑回歸調(diào)出來(lái)的后面實(shí)操部分我會(huì)講怎么調(diào)。3. 把MCTS落到自動(dòng)駕駛決策模塊的完整方案3.1 動(dòng)作空間設(shè)計(jì)離散還是連續(xù)這是落地第一個(gè)要拍板的事。圍棋是離散的361個(gè)點(diǎn)選一個(gè)。自動(dòng)駕駛的動(dòng)作空間本質(zhì)是連續(xù)的——加速度連續(xù)、曲率連續(xù)。直接上連續(xù)空間MCTS的擴(kuò)展和模擬都會(huì)變得極其復(fù)雜。我的選擇是離散化加動(dòng)作原語(yǔ)。具體做法把動(dòng)作拆成橫向和縱向兩組原語(yǔ)?？v向原語(yǔ)包括急減速、緩減速、保持、緩加速、急加速五檔對(duì)應(yīng)加速度大概-3、-1.5、0、1.5、3 m/s2。橫向原語(yǔ)包括左轉(zhuǎn)大、左轉(zhuǎn)小、保持、右轉(zhuǎn)小、右轉(zhuǎn)大五檔對(duì)應(yīng)曲率變化。兩組組合起來(lái)是25個(gè)動(dòng)作但實(shí)際不會(huì)全用根據(jù)當(dāng)前場(chǎng)景裁剪掉明顯不合理的比如已經(jīng)在最左車道就不會(huì)有左轉(zhuǎn)動(dòng)作。為什么用五檔而不是更細(xì)因?yàn)樵偌?xì)下去相鄰檔位的收益差異會(huì)被模擬噪聲淹沒MCTS根本區(qū)分不出來(lái)反而浪費(fèi)算力。五檔是實(shí)測(cè)下來(lái)既能保證決策精度、又不至于讓樹爆炸的平衡點(diǎn)。當(dāng)然如果你的算力充裕可以做到七檔但收益提升很有限。3.2 模擬策略從隨機(jī)到啟發(fā)式前面說(shuō)了直接隨機(jī)rollout在自動(dòng)駕駛里不可用。我的方案是啟發(fā)式快速模擬。具體講從擴(kuò)展節(jié)點(diǎn)開始不再隨機(jī)選動(dòng)作而是用一套簡(jiǎn)化的規(guī)則策略推演默認(rèn)保持當(dāng)前動(dòng)作如果預(yù)測(cè)到碰撞風(fēng)險(xiǎn)就減速如果前方空曠就加速。這套規(guī)則比完整決策模塊簡(jiǎn)單得多但比隨機(jī)強(qiáng)太多能在毫秒級(jí)推演出未來(lái)3到5秒的演化。模擬的步長(zhǎng)也有講究。太細(xì)比如0.1秒一步5秒要模擬50步算力吃不消太粗比如1秒一步又會(huì)漏掉關(guān)鍵的動(dòng)態(tài)變化。我一般用0.2到0.5秒的變步長(zhǎng)交互激烈時(shí)用0.2秒平穩(wěn)時(shí)用0.5秒。模擬的終止條件也要設(shè)計(jì)好要么到達(dá)預(yù)測(cè)時(shí)域終點(diǎn)要么發(fā)生碰撞要么進(jìn)入一個(gè)明確的終局狀態(tài)比如完成左轉(zhuǎn)。提示模擬策略的質(zhì)量直接決定MCTS的上限。我見過(guò)有人為了省算力用純隨機(jī)模擬結(jié)果搜索出來(lái)的決策還不如規(guī)則方法。啟發(fā)式模擬雖然寫起來(lái)麻煩但這是繞不過(guò)去的投入。3.3 樹的規(guī)?？刂婆c實(shí)時(shí)性保障自動(dòng)駕駛是硬實(shí)時(shí)系統(tǒng)決策周期通常要求100毫秒以內(nèi)留給MCTS的時(shí)間可能只有幾十毫秒。這個(gè)時(shí)間預(yù)算下樹不可能長(zhǎng)得很大。我的經(jīng)驗(yàn)是單次決策的模擬次數(shù)控制在500到2000次之間具體看算力平臺(tái)。超過(guò)這個(gè)量級(jí)實(shí)時(shí)性就保不住了?？刂茦湟?guī)模有幾個(gè)手段。一是深度限制搜索深度一般不超過(guò)5到6層對(duì)應(yīng)未來(lái)2到3秒的決策。再深下去預(yù)測(cè)誤差太大搜了也沒意義。二是寬度限制每個(gè)節(jié)點(diǎn)最多保留5到8個(gè)子節(jié)點(diǎn)用先驗(yàn)知識(shí)或者快速評(píng)估篩掉明顯差的。三是時(shí)間預(yù)算硬截?cái)嗖还芩训侥囊徊綍r(shí)間到了立刻返回當(dāng)前最優(yōu)這是實(shí)時(shí)系統(tǒng)的鐵律。還有一個(gè)工程技巧復(fù)用上一周期的搜索結(jié)果。決策是周期性執(zhí)行的上一周期搜過(guò)的子樹這一周期可以直接拿來(lái)當(dāng)先驗(yàn)省掉大量重復(fù)搜索。這個(gè)優(yōu)化在實(shí)測(cè)中能把有效模擬次數(shù)提升30%以上。4. 實(shí)操過(guò)程與關(guān)鍵環(huán)節(jié)實(shí)現(xiàn)4.1 節(jié)點(diǎn)數(shù)據(jù)結(jié)構(gòu)與內(nèi)存管理先看節(jié)點(diǎn)怎么定義。每個(gè)節(jié)點(diǎn)至少要存這些信息狀態(tài)自車位置、速度、周圍參與者狀態(tài)、動(dòng)作從父節(jié)點(diǎn)到本節(jié)點(diǎn)的動(dòng)作、訪問(wèn)次數(shù)N、累計(jì)收益Q、子節(jié)點(diǎn)列表、父節(jié)點(diǎn)指針。用C寫大概長(zhǎng)這樣struct MCTSNode { State state; // 該節(jié)點(diǎn)對(duì)應(yīng)的場(chǎng)景狀態(tài) Action action; // 從父節(jié)點(diǎn)到本節(jié)點(diǎn)的動(dòng)作 double Q; // 累計(jì)收益 int N; // 訪問(wèn)次數(shù) MCTSNode* parent; // 父節(jié)點(diǎn)指針 std::vectorMCTSNode* children; // 子節(jié)點(diǎn) std::vectorAction untried; // 未擴(kuò)展的動(dòng)作 };內(nèi)存管理是個(gè)容易被忽視的坑。MCTS每周期要?jiǎng)?chuàng)建和銷毀大量節(jié)點(diǎn)如果直接用new/delete內(nèi)存碎片和分配開銷會(huì)拖垮實(shí)時(shí)性。我的做法是預(yù)分配對(duì)象池啟動(dòng)時(shí)一次性申請(qǐng)一大塊內(nèi)存節(jié)點(diǎn)從池里取用完還回去避免頻繁的系統(tǒng)調(diào)用。對(duì)象池大小根據(jù)最大模擬次數(shù)和平均樹規(guī)模估算一般留2到3倍余量。4.2 選擇階段的實(shí)現(xiàn)細(xì)節(jié)選擇階段從根節(jié)點(diǎn)往下走每步用UCT選子節(jié)點(diǎn)。實(shí)現(xiàn)時(shí)有個(gè)細(xì)節(jié)未完全擴(kuò)展的節(jié)點(diǎn)要優(yōu)先擴(kuò)展而不是直接進(jìn)選擇。也就是說(shuō)如果當(dāng)前節(jié)點(diǎn)還有untried動(dòng)作先擴(kuò)展一個(gè)而不是繼續(xù)往下選。這是標(biāo)準(zhǔn)MCTS的做法保證樹是逐步長(zhǎng)全的。UCT計(jì)算要注意數(shù)值穩(wěn)定性。當(dāng)N為0時(shí)探索項(xiàng)會(huì)除零所以要特判N為0的節(jié)點(diǎn)直接給無(wú)窮大收益優(yōu)先訪問(wèn)。另外ln(N_parent)當(dāng)N_parent為1時(shí)是0探索項(xiàng)為0這時(shí)候只能靠利用項(xiàng)區(qū)分所以根節(jié)點(diǎn)第一次擴(kuò)展后要盡快讓各子節(jié)點(diǎn)都至少訪問(wèn)一次。4.3 模擬階段的加速技巧模擬是算力大頭加速手段主要有三個(gè)。第一用簡(jiǎn)化動(dòng)力學(xué)模型完整模型要考慮輪胎側(cè)偏、懸架等模擬時(shí)用自行車模型甚至更簡(jiǎn)單的點(diǎn)質(zhì)量模型就夠了精度損失在可接受范圍。第二并行模擬如果平臺(tái)支持多線程把不同rollout分到不同線程實(shí)測(cè)能接近線性加速。第三提前終止模擬過(guò)程中一旦檢測(cè)到碰撞或者明顯劣勢(shì)立刻終止并返回低收益不用跑完全程。我實(shí)測(cè)過(guò)一組數(shù)據(jù)單線程純串行模擬1000次rollout大概要80毫秒改成四線程并行降到25毫秒左右再加上提前終止能壓到15毫秒以內(nèi)。這個(gè)提升對(duì)實(shí)時(shí)性來(lái)說(shuō)是決定性的。4.4 收益計(jì)算與回溯回溯就是把模擬得到的收益沿著路徑往回傳更新每個(gè)節(jié)點(diǎn)的Q和N。這里有個(gè)細(xì)節(jié)收益要不要打折。也就是說(shuō)深層節(jié)點(diǎn)的收益?zhèn)鞯礁?jié)點(diǎn)時(shí)要不要乘一個(gè)折扣因子。我的做法是要打折折扣因子取0.9到0.95。因?yàn)樵缴畹哪M誤差越大對(duì)當(dāng)前決策的參考價(jià)值越低打個(gè)折更合理。收益計(jì)算本身要封裝成一個(gè)獨(dú)立函數(shù)輸入是模擬終局的狀態(tài)輸出是一個(gè)標(biāo)量收益。這個(gè)函數(shù)要處理各種邊界情況碰撞了返回負(fù)無(wú)窮到達(dá)目標(biāo)返回正收益超時(shí)返回中性收益。寫的時(shí)候要特別注意數(shù)值范圍避免出現(xiàn)inf或者nan污染整棵樹。5. 常見問(wèn)題與排查技巧實(shí)錄5.1 決策抖動(dòng)怎么破這是MCTS落地最常見的問(wèn)題相鄰兩個(gè)決策周期選出來(lái)的動(dòng)作來(lái)回跳一會(huì)兒加速一會(huì)兒減速乘客體驗(yàn)極差。根因通常是搜索的隨機(jī)性加上收益接近時(shí)的平局。解決辦法有幾個(gè)。一是增加模擬次數(shù)讓收益估計(jì)更穩(wěn)定但受實(shí)時(shí)性限制。二是動(dòng)作平滑對(duì)連續(xù)幾個(gè)周期的決策結(jié)果做低通濾波但這會(huì)引入延遲。三是在收益函數(shù)里加動(dòng)作一致性懲罰如果本周期動(dòng)作和上周期差異大扣分。我用的是組合方案適度增加模擬次數(shù)加動(dòng)作一致性懲罰實(shí)測(cè)抖動(dòng)明顯減少同時(shí)延遲可控。5.2 搜索陷入局部最優(yōu)MCTS理論上會(huì)收斂到全局最優(yōu)但前提是模擬次數(shù)足夠多。實(shí)際算力受限時(shí)容易陷在某個(gè)局部最優(yōu)分支里出不來(lái)。表現(xiàn)就是決策一直很保守比如明明可以走的空檔它非要等。排查思路先看探索常數(shù)c是不是太小太小會(huì)導(dǎo)致探索不足。再看先驗(yàn)知識(shí)是不是把某些分支過(guò)早剪掉了剪枝太激進(jìn)會(huì)誤殺好分支。我的經(jīng)驗(yàn)是保留一定的探索比例即使某個(gè)分支當(dāng)前看起來(lái)差也給它少量訪問(wèn)機(jī)會(huì)避免過(guò)早下定論。5.3 實(shí)時(shí)性不達(dá)標(biāo)實(shí)時(shí)性問(wèn)題是工程落地的大敵。排查順序先看單次模擬耗時(shí)如果單次就超預(yù)算說(shuō)明模擬策略太重要簡(jiǎn)化。再看模擬次數(shù)是不是設(shè)太多適當(dāng)降低。然后看內(nèi)存分配有沒有瓶頸對(duì)象池是不是夠大。最后看有沒有不必要的拷貝狀態(tài)傳遞盡量用引用或者移動(dòng)語(yǔ)義。我整理了一個(gè)排查速查表現(xiàn)象可能原因排查方向單次決策超時(shí)模擬次數(shù)過(guò)多降低rollout上限單次模擬過(guò)慢動(dòng)力學(xué)模型太重?fù)Q簡(jiǎn)化模型內(nèi)存增長(zhǎng)異常節(jié)點(diǎn)未回收檢查對(duì)象池歸還邏輯決策抖動(dòng)收益接近隨機(jī)性加一致性懲罰決策保守探索不足調(diào)大c或增加探索樹規(guī)模失控寬度未限制加子節(jié)點(diǎn)數(shù)上限5.4 與下游規(guī)劃模塊的接口MCTS輸出的是一個(gè)決策動(dòng)作或者一條粗略軌跡下游規(guī)劃模塊要把它細(xì)化成可執(zhí)行的平滑軌跡。接口設(shè)計(jì)要注意MCTS輸出的動(dòng)作要帶置信度規(guī)劃模塊根據(jù)置信度決定是直接執(zhí)行還是再優(yōu)化。如果MCTS自己都不確定比如兩個(gè)分支收益接近規(guī)劃模塊應(yīng)該更保守。還有一個(gè)坑MCTS的決策周期和規(guī)劃模塊的周期可能不一致。MCTS可能100毫秒一次規(guī)劃可能50毫秒一次。這時(shí)候要做決策保持規(guī)劃模塊在兩次MCTS決策之間沿用上一次的決策避免頻繁切換。6. 參數(shù)調(diào)優(yōu)與場(chǎng)景適配經(jīng)驗(yàn)6.1 不同場(chǎng)景的參數(shù)配置MCTS的參數(shù)不是一套走天下要按場(chǎng)景配。我一般分三檔高速巡航、城區(qū)跟車、復(fù)雜路口交互。高速巡航場(chǎng)景交互簡(jiǎn)單c取0.6模擬次數(shù)800深度4層收益里效率權(quán)重高。城區(qū)跟車c取0.9模擬次數(shù)1200深度5層舒適權(quán)重提上來(lái)。復(fù)雜路口c取1.3模擬次數(shù)2000深度6層安全權(quán)重壓倒一切同時(shí)開啟更激進(jìn)的剪枝控制樹規(guī)模。這套配置是拿仿真回歸跑出來(lái)的每個(gè)場(chǎng)景跑幾千個(gè)case看決策成功率、碰撞率、通行效率幾個(gè)指標(biāo)逐步調(diào)出來(lái)的。沒有捷徑就是堆場(chǎng)景堆時(shí)間。6.2 先驗(yàn)知識(shí)怎么注入純MCTS從零開始搜效率低。注入先驗(yàn)知識(shí)能大幅加速收斂。注入方式有兩種一是初始化時(shí)給子節(jié)點(diǎn)賦先驗(yàn)收益讓搜索一開始就偏向合理分支二是剪枝時(shí)用先驗(yàn)篩掉明顯不合理的動(dòng)作。先驗(yàn)知識(shí)從哪來(lái)可以從規(guī)則策略來(lái)比如規(guī)則說(shuō)該減速了那減速分支給高先驗(yàn)。也可以從學(xué)習(xí)模型來(lái)用一個(gè)輕量網(wǎng)絡(luò)預(yù)測(cè)各動(dòng)作的勝率。我用的是規(guī)則先驗(yàn)為主簡(jiǎn)單可靠不依賴訓(xùn)練數(shù)據(jù)。注意先驗(yàn)不能太強(qiáng)否則會(huì)壓制探索退化成規(guī)則方法。先驗(yàn)收益的權(quán)重要控制好一般不超過(guò)總收益的30%。6.3 和其他決策方法的對(duì)比MCTS不是唯一選擇也不是所有場(chǎng)景都最優(yōu)。我做個(gè)橫向?qū)Ρ确椒▋?yōu)勢(shì)劣勢(shì)適用場(chǎng)景有限狀態(tài)機(jī)簡(jiǎn)單、可解釋、實(shí)時(shí)性好組合爆炸、難覆蓋復(fù)雜交互高速結(jié)構(gòu)化場(chǎng)景博弈論方法理論完備、交互建模清晰計(jì)算復(fù)雜、假設(shè)強(qiáng)兩車博弈學(xué)習(xí)方法端到端、泛化潛力大數(shù)據(jù)依賴、可解釋差數(shù)據(jù)充足場(chǎng)景MCTS處理不確定性強(qiáng)、無(wú)需大量數(shù)據(jù)算力消耗大、調(diào)參復(fù)雜復(fù)雜交互決策實(shí)際項(xiàng)目中我很少單用某一種而是混合架構(gòu)規(guī)則做兜底和安全校驗(yàn)MCTS做復(fù)雜場(chǎng)景的決策學(xué)習(xí)模型做先驗(yàn)加速。各取所長(zhǎng)。7. 一些踩坑之后的個(gè)人體會(huì)MCTS在自動(dòng)駕駛里能不能用好算法本身只占三成剩下七成是工程。我見過(guò)太多人把論文里的MCTS直接搬過(guò)來(lái)結(jié)果實(shí)時(shí)性崩了、決策抖了、場(chǎng)景覆蓋不了最后歸咎于算法不行。其實(shí)問(wèn)題往往出在模擬策略太粗糙、收益函數(shù)沒調(diào)好、樹規(guī)模沒控制住這些工程細(xì)節(jié)上。我個(gè)人最大的體會(huì)是先把模擬策略和收益函數(shù)做扎實(shí)再談搜索優(yōu)化。模擬策略決定了搜索的上限收益函數(shù)決定了搜索的方向這兩個(gè)不對(duì)搜索再快也是白搭。我早期為了追求搜索速度用了很粗糙的模擬結(jié)果決策質(zhì)量還不如規(guī)則方法后來(lái)老老實(shí)實(shí)把模擬策略重寫了一遍效果立竿見影。另一個(gè)體會(huì)是不要迷信單次決策的最優(yōu)性。自動(dòng)駕駛是連續(xù)決策單次最優(yōu)不等于全局最優(yōu)。有時(shí)候當(dāng)前看起來(lái)次優(yōu)的決策反而給后續(xù)留了更大空間。所以我在收益函數(shù)里會(huì)加一個(gè)未來(lái)可選性的考量鼓勵(lì)決策保留更多后續(xù)選擇而不是把路走死。最后分享一個(gè)小技巧用日志回放做離線調(diào)參。把實(shí)車或者仿真的場(chǎng)景數(shù)據(jù)錄下來(lái)離線反復(fù)跑MCTS調(diào)參數(shù)、改收益函數(shù)比在線調(diào)效率高得多。我一般會(huì)攢幾百個(gè)典型場(chǎng)景做回歸集每次改完參數(shù)跑一遍看各項(xiàng)指標(biāo)有沒有退化避免改一個(gè)場(chǎng)景好了、另一個(gè)場(chǎng)景崩了。這套流程雖然土但真的管用。