機(jī)器學(xué)習(xí)團(tuán)隊(duì)里最枯燥的活大概就是調(diào)參跑一輪實(shí)驗(yàn)看曲線改學(xué)習(xí)率再跑一輪。網(wǎng)格搜索、Optuna 這類工具解決了一部分自動(dòng)化問題但它們只看指標(biāo)數(shù)字看不懂日志里loss 震蕩但驗(yàn)證集在漲這種信息。現(xiàn)在有人想用大模型干這件事——讓 LLM 讀日志、分析指標(biāo)、自己提出下一輪配置。AgentHPOBench 這個(gè)新基準(zhǔn)就是來測(cè)這種能力的。基準(zhǔn)測(cè)的是迭代過程不是單次答案這個(gè)基準(zhǔn)包含 30 個(gè)可執(zhí)行的機(jī)器學(xué)習(xí)任務(wù)覆蓋七個(gè)研究領(lǐng)域。每個(gè)任務(wù)從一個(gè)已驗(yàn)證的基線運(yùn)行開始然后由代理進(jìn)行多輪干預(yù)每一輪干預(yù)前代理需要分析當(dāng)前配置、指標(biāo)和日志提出新的方案執(zhí)行后繼續(xù)下一輪。注意這里的設(shè)定——它不是讓模型直接給出最優(yōu)參數(shù)這種一次性答案而是要求模型在一個(gè)真實(shí)的實(shí)驗(yàn)循環(huán)里持續(xù)工作。這個(gè)設(shè)計(jì)本身就說明了問題。過去的評(píng)估基準(zhǔn)只測(cè)靜態(tài)的代碼生成或者最終答案正確性不涉及實(shí)驗(yàn)迭代過程。而調(diào)參這件事的本質(zhì)是過程你看到的永遠(yuǎn)是不完整的訓(xùn)練日志需要在不確定中決定下一步怎么走。AgentHPOBench 把過程變成了可測(cè)量的對(duì)象。結(jié)果單輪可以持續(xù)迭代不行測(cè)試結(jié)果表明當(dāng)前主流代理在實(shí)驗(yàn)優(yōu)化方面具備一定能力但在三個(gè)地方暴露了明顯局限持續(xù)迭代優(yōu)化、復(fù)雜日志診斷、穩(wěn)定逼近目標(biāo)性能。單輪干預(yù)表現(xiàn)尚可說明模型確實(shí)能根據(jù)當(dāng)前狀態(tài)提出合理的配置調(diào)整。但把任務(wù)拉長(zhǎng)到多輪問題就出來了模型很難持續(xù)地逼近目標(biāo)性能在復(fù)雜日志診斷上容易被干擾信息帶偏穩(wěn)定收斂的能力明顯不足。對(duì)做機(jī)器學(xué)習(xí)平臺(tái)的人來說這個(gè)結(jié)果不算意外但值得重視。調(diào)參之所以難自動(dòng)化難點(diǎn)從來不在根據(jù)指標(biāo)選參數(shù)這一步——這一步 Optuna 早就做得不錯(cuò)了——而在理解日志背后發(fā)生了什么。訓(xùn)練日志里的信息密度很高早期 loss 下降、梯度消失、過擬合信號(hào)混雜在一起模型容易抓住表面特征而錯(cuò)過真正的問題。那恰恰是 LLM 理論上最擅長(zhǎng)、實(shí)際測(cè)試中最不穩(wěn)定的部分。誰會(huì)被這個(gè)基準(zhǔn)影響短期看這個(gè)基準(zhǔn)影響的是 HPO 工具鏈的評(píng)估方式。過去衡量一個(gè)自動(dòng)調(diào)參工具看最終指標(biāo)就夠了現(xiàn)在多了一個(gè)維度它能不能在真實(shí)實(shí)驗(yàn)循環(huán)里持續(xù)優(yōu)化。這對(duì) AutoML 平臺(tái)、MLOps 工具的設(shè)計(jì)者是個(gè)直接信號(hào)——如果代理的持續(xù)迭代能力不達(dá)標(biāo)把調(diào)參完全交給 LLM 的方案就要重新評(píng)估。但也有個(gè)反方向的問題值得注意這個(gè)基準(zhǔn)里目標(biāo)性能如何量化、代理是否真的穩(wěn)定逼近還是只在部分任務(wù)上表現(xiàn)好論文里沒有給出明確標(biāo)準(zhǔn)。也就是說基準(zhǔn)測(cè)出了持續(xù)迭代是短板這個(gè)結(jié)論但短板到底多短還缺乏更細(xì)的度量。對(duì)企業(yè)團(tuán)隊(duì)而言比較務(wù)實(shí)的用法是把它當(dāng)作選型參考如果你的工作流里有大量需要人工看日志的調(diào)參環(huán)節(jié)可以先拿這個(gè)基準(zhǔn)的設(shè)定去驗(yàn)證候選模型的多輪表現(xiàn)而不是只看它單輪調(diào)參的演示效果。目前沒有任何公開信息說明主流代理在真實(shí)業(yè)務(wù)日志上的持續(xù)優(yōu)化表現(xiàn)這類數(shù)據(jù)大概率要等基準(zhǔn)被更多團(tuán)隊(duì)使用之后才會(huì)出現(xiàn)。關(guān)于維基框架維基框架關(guān)注企業(yè)應(yīng)用開發(fā)中的長(zhǎng)期維護(hù)問題。在實(shí)際項(xiàng)目中業(yè)務(wù)系統(tǒng)往往同時(shí)涉及權(quán)限、微服務(wù)、接口協(xié)議、部署環(huán)境等復(fù)雜因素因此我們希望提供一套更容易擴(kuò)展和維護(hù)的基礎(chǔ)框架。官網(wǎng)framewiki.comGiteegitee.com/wiki-frameworkGitHubgithub.com/wiki-framework示例項(xiàng)目gitee.com/cdkjframework/framewiki-example 許可證MulanPSL-2.0木蘭寬松許可證第2版