評測體系指南：統(tǒng)一績效指標(biāo)、基線策略與回測實戰(zhàn))
FinRL-Meta 基準(zhǔn)評測體系指南統(tǒng)一績效指標(biāo)、基線策略與回測實戰(zhàn)【免費下載鏈接】FinRLFinRL?: Financial Reinforcement Learning. 項目地址: https://gitcode.com/gh_mirrors/fi/FinRL-Library導(dǎo)讀本文以 FinRL-Meta 的 Benchmark 文檔docs/source/finrl_meta/Benchmark.rst為骨架系統(tǒng)講解 FinRL 項目中用于衡量交易策略的統(tǒng)一績效指標(biāo)體系、官方提供的基線策略定義以及基于這些指標(biāo)和基線開展回測對比的完整實踐路徑。讀完本文你將掌握累計收益、年化收益、年化波動率、Sharpe 比率、最大回撤五類核心指標(biāo)的數(shù)學(xué)定義與倉庫內(nèi)計算實現(xiàn)了解被動策略、均值-方差/最小方差策略、等權(quán)策略三類基線的工作原理并能夠使用倉庫自帶的backtest_stats、backtest_plot等工具對 DRL 智能體與 DJIA、MVO 等基線進(jìn)行公平對比。一、FinRL-Meta 的統(tǒng)一績效指標(biāo)為什么需要一套標(biāo)準(zhǔn)在深度強化學(xué)習(xí)DRL交易實驗中不同論文、不同代碼庫對策略好不好的度量口徑往往不一致有的只看期末總資產(chǎn)有的用年化收益率有的用 Sharpe 比率?？趶讲灰恢聲韮蓚€直接問題一是 DRL 算法之間無法橫向?qū)Ρ榷菍嶒灲Y(jié)果難以復(fù)現(xiàn)。FinRL-Meta 為此定義了一套統(tǒng)一的績效指標(biāo)Performance Metrics作為所有策略——包括 DRL 智能體與各類基線——的公共度量標(biāo)準(zhǔn)。該設(shè)計與其 DataOps 管線的第四步Performance monitoring性能監(jiān)控一一對應(yīng)即將 DRL 智能體的表現(xiàn)與若干基線交易策略進(jìn)行對比見 docs/source/finrl_meta/overview.rst。下文逐一給出五類指標(biāo)的定義與解讀公式遵循 Benchmark 文檔的原始定義。1.1 累計收益Cumulative Return累計收益衡量投資期末組合價值相對初始資金的整體增值比例$$R \frac{V - V_0}{V_0}$$其中 $V$ 為期末組合價值final portfolio value$V_0$ 為初始資金original capital。這是最直觀的賺了多少指標(biāo)但忽略了時間長度與波動風(fēng)險因此通常需要與其他指標(biāo)配合使用。1.2 年化收益Annualized Return為消除持有期長短差異將累計收益折算為年度口徑$$r (1R)^{\frac{365}{t}} - 1$$其中 $t$ 為實際交易天數(shù)number of trading days。注意 FinRL-Meta 使用的是 365 天/自然日口徑而非 252 個交易日口徑這一細(xì)節(jié)在對比不同論文結(jié)果時需要留意。1.3 年化波動率Annualized Volatility波動率度量收益的不確定性年化波動率按下式給出$$\sigma_a \sqrt{\frac{\sum_{i1}^{n}{(r_i-\bar{r})^2}}{n-1}}$$其中 $r_i$ 為第 $i$ 年的年化收益$\bar{r}$ 為各年年化收益的均值$n$ 為年數(shù)。波動率越高代表收益路徑越顛簸、風(fēng)險越大。1.4 Sharpe 比率Sharpe RatioSharpe 比率是風(fēng)險調(diào)整后收益的核心指標(biāo)衡量每承擔(dān)一單位波動能換來多少超額收益$$S \frac{r - r_f}{\sigma_a}$$其中 $r$ 為年化收益$r_f$ 為無風(fēng)險利率risk-free rate實踐中常取 0 或國債收益率$\sigma_a$ 為年化波動率。Sharpe 比率越高說明策略在相同風(fēng)險水平下獲得了更高回報是論文與實踐中使用最頻繁的對比指標(biāo)。1.5 最大回撤Max. Drawdown最大回撤定義為組合價值從歷史峰值到后續(xù)谷底的最大百分比損失The maximal percentage loss in portfolio value刻畫策略在最壞行情下可能承受的虧損幅度是衡量尾部風(fēng)險與回撤控制能力的重要指標(biāo)。1.6 指標(biāo)在倉庫中的實際計算位置上述指標(biāo)并非只停留在文檔公式層面而是貫穿于 FinRL 的多個實現(xiàn)點環(huán)境內(nèi)置的 Sharpe 計算在 finrl/meta/env_stock_trading/env_stocktrading.py 的step()終止分支中環(huán)境根據(jù)account_value的日收益率序列直接計算sharpe (252**0.5) * daily_return.mean() / daily_return.std()并在每個 episode 結(jié)束時打印end_total_asset、total_reward、total_cost、total_trades與 Sharpe 值。此處采用的是 252 個交易日的年化口徑與文檔中 365 天口徑的差異恰好印證了指標(biāo)口徑必須顯式聲明的必要性。pyfolio 驅(qū)動的完整績效報表在 finrl/plot.py 中backtest_stats(account_value, value_col_nameaccount_value)將賬戶價值序列通過get_daily_return()轉(zhuǎn)換為日收益率序列后交給pyfolio.timeseries.perf_stats()輸出包括年化收益、年化波動率、Sharpe、Sortino、最大回撤等在內(nèi)的完整績效統(tǒng)計。集成策略腳本的 Sharpe 復(fù)算finrl/applications/stock_trading/ensemble_stock_trading.py 在匯總 ensemble 回測賬戶價值后以(252**0.5) * pct_change(1).mean() / pct_change(1).std()的形式復(fù)核 Sharpe 比率。二、官方基線策略DRL 智能體的對照組Benchmark 文檔規(guī)定DRL 智能體的表現(xiàn)必須與以下三類基線策略baseline trading strategies進(jìn)行對比以回答DRL 是否真的比傳統(tǒng)方法強這一核心問題。2.1 被動交易策略Passive Trading Strategy被動策略即經(jīng)典的買入并持有buy and hold投資者買入選定股票或指數(shù)后不再進(jìn)行任何主動操作長期持有直至期末。它代表市場本身如買入 DJIA 指數(shù)的收益水平是判斷主動策略是否創(chuàng)造超額收益的最低參照。在倉庫回測示例 examples/FinRL_StockTrading_2026_3_Backtest.py 中DJIA 指數(shù)基線通過yfinance拉取^DJI收盤價并按首日價格歸一化到 1,000,000 美元的初始資金從而與 DRL 智能體的賬戶價值曲線處于同一量綱直接對比df_dji yf.download(^DJI, startTRADE_START_DATE, endTRADE_END_DATE) fst_day df_dji[close].iloc[0] dji pd.merge( df_dji[date], df_dji[close].div(fst_day).mul(1000000), howouter, left_indexTrue, right_indexTrue, ).set_index(date)此外finrl/plot.py 的get_baseline(ticker, start, end)提供了通用化的基線獲取函數(shù)默認(rèn) ticker 為^DJI道瓊斯工業(yè)指數(shù)也支持^GSPC標(biāo)普 500、^NDX納斯達(dá)克 100等指數(shù)。2.2 均值-方差與最小方差策略Mean-Variance Min-Variance均值-方差Mean-Variance與最小方差Min-Variance策略源自馬科維茨現(xiàn)代投資組合理論兩者都在風(fēng)險與收益之間尋求平衡通過構(gòu)建分散化投資組合在更低風(fēng)險下追求更高收益。區(qū)別在于優(yōu)化目標(biāo)——均值-方差策略最大化每單位風(fēng)險對應(yīng)的超額收益如最大化 Sharpe 比率最小方差策略則只最小化組合方差。倉庫在 examples/FinRL_StockTrading_2026_3_Backtest.py 中給出了基于pypfopt庫的完整 MVO 基線實現(xiàn)可作為理解該策略的參考骨架# 計算訓(xùn)練期各資產(chǎn)的收益率均值與協(xié)方差矩陣 meanReturns np.mean(arReturns, axis0) covReturns np.cov(arReturns, rowvarFalse) # 用 EfficientFrontier 求解最大 Sharpe 組合權(quán)重限制在 0~0.5 之間 from pypfopt.efficient_frontier import EfficientFrontier ef_mean EfficientFrontier(meanReturns, covReturns, weight_bounds(0, 0.5)) raw_weights_mean ef_mean.max_sharpe() cleaned_weights_mean ef_mean.clean_weights() # 將最優(yōu)權(quán)重按 1,000,000 美元初始資金換算為各資產(chǎn)份額 mvo_weights np.array([1000000 * cleaned_weights_mean[i] for i in range(len(cleaned_weights_mean))]) Portfolio_Assets TradeData Initial_Portfolio # 在測試期滾動持有 MVO_result pd.DataFrame(Portfolio_Assets, columns[Mean Var])值得注意的關(guān)鍵細(xì)節(jié)MVO 的均值與協(xié)方差矩陣僅在訓(xùn)練期數(shù)據(jù)上估計隨后將訓(xùn)練期末得到的權(quán)重在測試期trade 數(shù)據(jù)上持有這一訓(xùn)練/測試隔離做法與 DRL 的訓(xùn)練-測試-交易管線保持一致避免信息泄露導(dǎo)致對比失真。2.3 等權(quán)策略Equally Weighted Strategy等權(quán)策略給組合內(nèi)不同資產(chǎn)分配相同權(quán)重避免將過高權(quán)重集中于個別股票上是一種天然分散、無需任何估計與優(yōu)化的樸素基準(zhǔn)。它經(jīng)常作為無腦分散的下限參照用于檢驗更復(fù)雜的權(quán)重優(yōu)化無論是 MVO 還是 DRL是否真正帶來了超越平均分配的增量價值。2.4 對比結(jié)果的組織方式examples/FinRL_StockTrading_2026_3_Backtest.py 將五個 DRL 智能體A2C、DDPG、PPO、TD3、SAC與 MVO、DJIA 兩套基線匯入同一 DataFrame 并繪制Portfolio Value Over Time對比曲線直接呼應(yīng) Benchmark 文檔以統(tǒng)一指標(biāo)度量、以基線為參照的評測范式。三、回測實戰(zhàn)從賬戶價值到績效報表理解了指標(biāo)與基線之后實戰(zhàn)環(huán)節(jié)的核心是把 DRL 智能體的交易軌跡轉(zhuǎn)化為可比較的績效數(shù)字。FinRL 在 finrl/plot.py 中封裝了完整工具鏈。3.1 獲取賬戶價值曲線回測的第一步是讓訓(xùn)練好的智能體在測試/交易環(huán)境上運行得到逐日的account_value序列。在 examples/FinRL_StockTrading_2026_3_Backtest.py 中通過DRLAgent.DRL_prediction(modeltrained_ppo, environmente_trade_gym)依次獲得各算法A2C/DDPG/PPO/TD3/SAC的賬戶價值 DataFrame環(huán)境配置中的hmax100單筆最大交易股數(shù)、initial_amount1000000初始資金、buy_cost_pct/sell_cost_pct0.001雙邊 0.1% 交易成本等參數(shù)直接決定了回測曲線的形態(tài)與真實性。3.2 核心工具函數(shù)get_daily_return(df, value_col_nameaccount_value)finrl/plot.py對賬戶價值做pct_change(1)得到日收益率序列并將日期索引轉(zhuǎn)換為 UTC 時區(qū)供 pyfolio 使用。backtest_stats(account_value, value_col_nameaccount_value)finrl/plot.py調(diào)用pyfolio.timeseries.perf_stats()生成完整績效統(tǒng)計表直接覆蓋本文第一部分所述的年化收益、年化波動率、Sharpe、最大回撤等核心指標(biāo)。backtest_plot(account_value, baseline_start, baseline_end, baseline_ticker^DJI, ...)finrl/plot.py將策略日收益率與基線默認(rèn) DJIA日收益率一同交給pyfolio.create_full_tear_sheet()輸出包含累計收益曲線、回撤曲線、月度收益熱力圖等在內(nèi)的完整分析報表。get_baseline(ticker, start, end)finrl/plot.py基于YahooDownloader拉取指數(shù)收盤價作為被動策略基線。3.3 與集成策略示例的銜接finrl/applications/stock_trading/ensemble_stock_trading.py 給出了上述工具在生產(chǎn)式回測中的完整調(diào)用順序先backtest_stats(account_valuedf_account_value)輸出 DRL 集成策略績效再對^DJI基線執(zhí)行backtest_stats(baseline_df, value_col_nameclose)得到基線績效最后backtest_plot(...)生成對比報表——這套策略統(tǒng)計 基線統(tǒng)計 對比圖的三段式流程正是 Benchmark 文檔指標(biāo)與基線設(shè)計的直接落地。四、Jupyter Notebook 教程Benchmark 的完整用例集合Benchmark 文檔明確指出為幫助新手熟悉數(shù)據(jù) → 環(huán)境 → 智能體 → 回測對比的完整管線FinRL 提供了系列 Jupyter Notebook 教程位于 FinRL-Tutorials 倉庫。這些教程本身就是 Benchmark 體系的用例集覆蓋了從單任務(wù)到多任務(wù)、從訓(xùn)練到部署的全場景教程主題核心內(nèi)容對應(yīng)倉庫落地參考股票交易Stock trading用主流 DRL 算法交易多只股票examples/FinRL_StockTrading_2026_2_train.py、examples/FinRL_StockTrading_2026_3_Backtest.py組合配置Portfolio allocation用 DRL 智能體優(yōu)化一組股票的資產(chǎn)配置finrl/meta/env_portfolio_allocation/env_portfolio.py加密貨幣交易Cryptocurrency trading復(fù)現(xiàn) 10 種主流加密貨幣上的交易實驗finrl/meta/env_cryptocurrency_trading/多智能體清算策略Multi-agent RL for liquidation復(fù)現(xiàn)文獻(xiàn)[7]實驗多智能體優(yōu)化清算任務(wù)的 shortfall即在給定周期內(nèi)順序賣出給定數(shù)量股票權(quán)衡市場沖擊成本與風(fēng)險厭惡finrl/meta/env_portfolio_optimization/集成策略Ensemble strategy復(fù)現(xiàn)多個 DRL 算法集成的股票交易實驗finrl/applications/stock_trading/ensemble_stock_trading.py模擬盤交易Paper trading demo將自研策略或訓(xùn)練好的智能體接入模擬盤交易finrl/meta/paper_trading/alpaca.py、finrl/meta/env_stock_trading/env_stock_papertrading.py中國 A 股示例China A-share demo基于中國 A 股市場數(shù)據(jù)開展實驗docs/source/tutorial/1-Introduction.rst超參數(shù)調(diào)優(yōu)Hyperparameter tuning使用 Optuna 或 Ray Tune 進(jìn)行超參數(shù)調(diào)優(yōu)finrl/agents/stablebaselines3/tune_sb3.py4.1 集成策略中的關(guān)鍵機制rebalance_window在 finrl/applications/stock_trading/ensemble_stock_trading.py 中集成策略通過DRLEnsembleAgent實現(xiàn)其核心參數(shù)rebalance_window63每 63 天重新訓(xùn)練一次模型與validation_window63驗證與交易窗口同為 63 天控制滾動再平衡節(jié)奏三個子算法 A2C/PPO/DDPG 的模型參數(shù)分別通過A2C_model_kwargs、PPO_model_kwargs、DDPG_model_kwargs傳入各算法訓(xùn)練步數(shù)由timesteps_dict指定A2C_model_kwargs {n_steps: 5, ent_coef: 0.005, learning_rate: 0.0007} PPO_model_kwargs {ent_coef: 0.01, n_steps: 2048, learning_rate: 0.00025, batch_size: 128} DDPG_model_kwargs {buffer_size: 10_000, learning_rate: 0.0005, batch_size: 64} timesteps_dict {a2c: 10_000, ppo: 10_000, ddpg: 10_000} df_summary ensemble_agent.run_ensemble_strategy(A2C_model_kwargs, PPO_model_kwargs, DDPG_model_kwargs, timesteps_dict)4.2 超參數(shù)調(diào)優(yōu)性能提升的關(guān)鍵環(huán)節(jié)Benchmark 文檔特別強調(diào)超參數(shù)調(diào)優(yōu)對 DRL 性能的關(guān)鍵作用。倉庫在 finrl/agents/stablebaselines3/tune_sb3.py 中實現(xiàn)了基于 Ray Tune 的調(diào)優(yōu)封裝而 finrl/agents/stablebaselines3/hyperparams_opt.py 提供各算法的超參數(shù)搜索空間。同時 finrl/config.py 中預(yù)置了 A2C、PPO、DDPG、TD3、SAC、ElegantRL 的默認(rèn)參數(shù)如PPO_PARAMS {n_steps: 2048, ent_coef: 0.01, learning_rate: 0.00025, batch_size: 64}作為調(diào)優(yōu)的起點與對照組。4.3 中國 A 股數(shù)據(jù)的配置支撐中國 A 股示例依托 finrl/config.py 中的時區(qū)配置如TIME_ZONE_SHANGHAI Asia/Shanghai對應(yīng)滬深與恒生指數(shù)以及 finrl/meta/data_processors/processor_joinquant.py、finrl/meta/data_processors/processor_tushare.py若存在等數(shù)據(jù)源處理器說明 Benchmark 的指標(biāo)與基線體系同樣適用于非美股市場。五、測試流程中的基準(zhǔn)評測入口除 Notebook 教程外倉庫還提供腳本化入口 finrl/test.py 用于對已訓(xùn)練模型執(zhí)行統(tǒng)一的回測評估。test()函數(shù)接收起止日期、ticker 列表、數(shù)據(jù)源、技術(shù)指標(biāo)列表、DRL 庫elegantrl/rllib/stable_baselines3與模型名加載訓(xùn)練好的模型后運行環(huán)境得到episode_total_assetsaccount_value_erl test( start_dateTEST_START_DATE, end_dateTEST_END_DATE, ticker_listDOW_30_TICKER, data_sourceyahoofinance, time_interval1D, technical_indicator_listINDICATORS, drl_libelegantrl, envenv, model_nameppo, cwd./test_ppo, net_dimension512, )其中TEST_START_DATE/TEST_END_DATE與TRADE_START_DATE/TRADE_END_DATE在 finrl/config.py 中定義如TEST_START_DATE 2026-01-01INDICATORS列表macd、boll_ub、boll_lb、rsi_30 等 8 個技術(shù)指標(biāo)決定狀態(tài)空間構(gòu)成。該測試結(jié)果可直接輸入backtest_stats生成績效報表完成 Benchmark 文檔所要求的訓(xùn)練-測試-交易閉環(huán)中的評測環(huán)節(jié)。六、實踐要點總結(jié)指標(biāo)口徑要顯式聲明文檔公式中的年化收益采用 365 天口徑而 env_stocktrading.py 與集成腳本中的 Sharpe 采用 252 交易日口徑引用他人結(jié)果前務(wù)必核對口徑?；€不可省略被動DJIA 指數(shù)、MVO、等權(quán)三類基線分別代表市場本身均值-方差優(yōu)化樸素分散三個參照層次缺一不可。訓(xùn)練/測試隔離是公平對比的前提MVO 的協(xié)方差矩陣估計與 DRL 的訓(xùn)練集劃分都必須嚴(yán)格限定在訓(xùn)練期數(shù)據(jù)內(nèi)見 examples/FinRL_StockTrading_2026_3_Backtest.py。標(biāo)準(zhǔn)化工具開箱即用backtest_statsbacktest_plotget_baseline三件套finrl/plot.py即可完成從賬戶價值到完整績效報表與對比圖的全流程。從教程到復(fù)現(xiàn)Benchmark 文檔列出的八類 Notebook 教程對應(yīng)倉庫中的落地實現(xiàn)與示例腳本可作為新任務(wù)的起點模板?！久赓M下載鏈接】FinRLFinRL?: Financial Reinforcement Learning. 項目地址: https://gitcode.com/gh_mirrors/fi/FinRL-Library創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 FinRL-Meta 基準(zhǔn)評測體系指南：統(tǒng)一績效指標(biāo)、基線策略與回測實戰(zhàn)
FinRL-Meta 基準(zhǔn)評測體系指南統(tǒng)一績效指標(biāo)、基線策略與回測實戰(zhàn)【免費下載鏈接】FinRLFinRL?: Financial Reinforcement Learning. 項目地址: https://gitcode.com/gh_mirrors/fi/FinRL-Library導(dǎo)讀本文以 FinRL-Meta 的 Benchmark 文檔docs/source/finrl_meta/Benchmark.rst為骨架系統(tǒng)講解 FinRL 項目中用于衡量交易策略的統(tǒng)一績效指標(biāo)體系、官方提供的基線策略定義以及基于這些指標(biāo)和基線開展回測對比的完整實踐路徑。讀完本文你將掌握累計收益、年化收益、年化波動率、Sharpe 比率、最大回撤五類核心指標(biāo)的數(shù)學(xué)定義與倉庫內(nèi)計算實現(xiàn)了解被動策略、均值-方差/最小方差策略、等權(quán)策略三類基線的工作原理并能夠使用倉庫自帶的backtest_stats、backtest_plot等工具對 DRL 智能體與 DJIA、MVO 等基線進(jìn)行公平對比。一、FinRL-Meta 的統(tǒng)一績效指標(biāo)為什么需要一套標(biāo)準(zhǔn)在深度強化學(xué)習(xí)DRL交易實驗中不同論文、不同代碼庫對策略好不好的度量口徑往往不一致有的只看期末總資產(chǎn)有的用年化收益率有的用 Sharpe 比率?？趶讲灰恢聲韮蓚€直接問題一是 DRL 算法之間無法橫向?qū)Ρ榷菍嶒灲Y(jié)果難以復(fù)現(xiàn)。FinRL-Meta 為此定義了一套統(tǒng)一的績效指標(biāo)Performance Metrics作為所有策略——包括 DRL 智能體與各類基線——的公共度量標(biāo)準(zhǔn)。該設(shè)計與其 DataOps 管線的第四步Performance monitoring性能監(jiān)控一一對應(yīng)即將 DRL 智能體的表現(xiàn)與若干基線交易策略進(jìn)行對比見 docs/source/finrl_meta/overview.rst。下文逐一給出五類指標(biāo)的定義與解讀公式遵循 Benchmark 文檔的原始定義。1.1 累計收益Cumulative Return累計收益衡量投資期末組合價值相對初始資金的整體增值比例$$R \frac{V - V_0}{V_0}$$其中 $V$ 為期末組合價值final portfolio value$V_0$ 為初始資金original capital。這是最直觀的賺了多少指標(biāo)但忽略了時間長度與波動風(fēng)險因此通常需要與其他指標(biāo)配合使用。1.2 年化收益Annualized Return為消除持有期長短差異將累計收益折算為年度口徑$$r (1R)^{\frac{365}{t}} - 1$$其中 $t$ 為實際交易天數(shù)number of trading days。注意 FinRL-Meta 使用的是 365 天/自然日口徑而非 252 個交易日口徑這一細(xì)節(jié)在對比不同論文結(jié)果時需要留意。1.3 年化波動率Annualized Volatility波動率度量收益的不確定性年化波動率按下式給出$$\sigma_a \sqrt{\frac{\sum_{i1}^{n}{(r_i-\bar{r})^2}}{n-1}}$$其中 $r_i$ 為第 $i$ 年的年化收益$\bar{r}$ 為各年年化收益的均值$n$ 為年數(shù)。波動率越高代表收益路徑越顛簸、風(fēng)險越大。1.4 Sharpe 比率Sharpe RatioSharpe 比率是風(fēng)險調(diào)整后收益的核心指標(biāo)衡量每承擔(dān)一單位波動能換來多少超額收益$$S \frac{r - r_f}{\sigma_a}$$其中 $r$ 為年化收益$r_f$ 為無風(fēng)險利率risk-free rate實踐中常取 0 或國債收益率$\sigma_a$ 為年化波動率。Sharpe 比率越高說明策略在相同風(fēng)險水平下獲得了更高回報是論文與實踐中使用最頻繁的對比指標(biāo)。1.5 最大回撤Max. Drawdown最大回撤定義為組合價值從歷史峰值到后續(xù)谷底的最大百分比損失The maximal percentage loss in portfolio value刻畫策略在最壞行情下可能承受的虧損幅度是衡量尾部風(fēng)險與回撤控制能力的重要指標(biāo)。1.6 指標(biāo)在倉庫中的實際計算位置上述指標(biāo)并非只停留在文檔公式層面而是貫穿于 FinRL 的多個實現(xiàn)點環(huán)境內(nèi)置的 Sharpe 計算在 finrl/meta/env_stock_trading/env_stocktrading.py 的step()終止分支中環(huán)境根據(jù)account_value的日收益率序列直接計算sharpe (252**0.5) * daily_return.mean() / daily_return.std()并在每個 episode 結(jié)束時打印end_total_asset、total_reward、total_cost、total_trades與 Sharpe 值。此處采用的是 252 個交易日的年化口徑與文檔中 365 天口徑的差異恰好印證了指標(biāo)口徑必須顯式聲明的必要性。pyfolio 驅(qū)動的完整績效報表在 finrl/plot.py 中backtest_stats(account_value, value_col_nameaccount_value)將賬戶價值序列通過get_daily_return()轉(zhuǎn)換為日收益率序列后交給pyfolio.timeseries.perf_stats()輸出包括年化收益、年化波動率、Sharpe、Sortino、最大回撤等在內(nèi)的完整績效統(tǒng)計。集成策略腳本的 Sharpe 復(fù)算finrl/applications/stock_trading/ensemble_stock_trading.py 在匯總 ensemble 回測賬戶價值后以(252**0.5) * pct_change(1).mean() / pct_change(1).std()的形式復(fù)核 Sharpe 比率。二、官方基線策略DRL 智能體的對照組Benchmark 文檔規(guī)定DRL 智能體的表現(xiàn)必須與以下三類基線策略baseline trading strategies進(jìn)行對比以回答DRL 是否真的比傳統(tǒng)方法強這一核心問題。2.1 被動交易策略Passive Trading Strategy被動策略即經(jīng)典的買入并持有buy and hold投資者買入選定股票或指數(shù)后不再進(jìn)行任何主動操作長期持有直至期末。它代表市場本身如買入 DJIA 指數(shù)的收益水平是判斷主動策略是否創(chuàng)造超額收益的最低參照。在倉庫回測示例 examples/FinRL_StockTrading_2026_3_Backtest.py 中DJIA 指數(shù)基線通過yfinance拉取^DJI收盤價并按首日價格歸一化到 1,000,000 美元的初始資金從而與 DRL 智能體的賬戶價值曲線處于同一量綱直接對比df_dji yf.download(^DJI, startTRADE_START_DATE, endTRADE_END_DATE) fst_day df_dji[close].iloc[0] dji pd.merge( df_dji[date], df_dji[close].div(fst_day).mul(1000000), howouter, left_indexTrue, right_indexTrue, ).set_index(date)此外finrl/plot.py 的get_baseline(ticker, start, end)提供了通用化的基線獲取函數(shù)默認(rèn) ticker 為^DJI道瓊斯工業(yè)指數(shù)也支持^GSPC標(biāo)普 500、^NDX納斯達(dá)克 100等指數(shù)。2.2 均值-方差與最小方差策略Mean-Variance Min-Variance均值-方差Mean-Variance與最小方差Min-Variance策略源自馬科維茨現(xiàn)代投資組合理論兩者都在風(fēng)險與收益之間尋求平衡通過構(gòu)建分散化投資組合在更低風(fēng)險下追求更高收益。區(qū)別在于優(yōu)化目標(biāo)——均值-方差策略最大化每單位風(fēng)險對應(yīng)的超額收益如最大化 Sharpe 比率最小方差策略則只最小化組合方差。倉庫在 examples/FinRL_StockTrading_2026_3_Backtest.py 中給出了基于pypfopt庫的完整 MVO 基線實現(xiàn)可作為理解該策略的參考骨架# 計算訓(xùn)練期各資產(chǎn)的收益率均值與協(xié)方差矩陣 meanReturns np.mean(arReturns, axis0) covReturns np.cov(arReturns, rowvarFalse) # 用 EfficientFrontier 求解最大 Sharpe 組合權(quán)重限制在 0~0.5 之間 from pypfopt.efficient_frontier import EfficientFrontier ef_mean EfficientFrontier(meanReturns, covReturns, weight_bounds(0, 0.5)) raw_weights_mean ef_mean.max_sharpe() cleaned_weights_mean ef_mean.clean_weights() # 將最優(yōu)權(quán)重按 1,000,000 美元初始資金換算為各資產(chǎn)份額 mvo_weights np.array([1000000 * cleaned_weights_mean[i] for i in range(len(cleaned_weights_mean))]) Portfolio_Assets TradeData Initial_Portfolio # 在測試期滾動持有 MVO_result pd.DataFrame(Portfolio_Assets, columns[Mean Var])值得注意的關(guān)鍵細(xì)節(jié)MVO 的均值與協(xié)方差矩陣僅在訓(xùn)練期數(shù)據(jù)上估計隨后將訓(xùn)練期末得到的權(quán)重在測試期trade 數(shù)據(jù)上持有這一訓(xùn)練/測試隔離做法與 DRL 的訓(xùn)練-測試-交易管線保持一致避免信息泄露導(dǎo)致對比失真。2.3 等權(quán)策略Equally Weighted Strategy等權(quán)策略給組合內(nèi)不同資產(chǎn)分配相同權(quán)重避免將過高權(quán)重集中于個別股票上是一種天然分散、無需任何估計與優(yōu)化的樸素基準(zhǔn)。它經(jīng)常作為無腦分散的下限參照用于檢驗更復(fù)雜的權(quán)重優(yōu)化無論是 MVO 還是 DRL是否真正帶來了超越平均分配的增量價值。2.4 對比結(jié)果的組織方式examples/FinRL_StockTrading_2026_3_Backtest.py 將五個 DRL 智能體A2C、DDPG、PPO、TD3、SAC與 MVO、DJIA 兩套基線匯入同一 DataFrame 并繪制Portfolio Value Over Time對比曲線直接呼應(yīng) Benchmark 文檔以統(tǒng)一指標(biāo)度量、以基線為參照的評測范式。三、回測實戰(zhàn)從賬戶價值到績效報表理解了指標(biāo)與基線之后實戰(zhàn)環(huán)節(jié)的核心是把 DRL 智能體的交易軌跡轉(zhuǎn)化為可比較的績效數(shù)字。FinRL 在 finrl/plot.py 中封裝了完整工具鏈。3.1 獲取賬戶價值曲線回測的第一步是讓訓(xùn)練好的智能體在測試/交易環(huán)境上運行得到逐日的account_value序列。在 examples/FinRL_StockTrading_2026_3_Backtest.py 中通過DRLAgent.DRL_prediction(modeltrained_ppo, environmente_trade_gym)依次獲得各算法A2C/DDPG/PPO/TD3/SAC的賬戶價值 DataFrame環(huán)境配置中的hmax100單筆最大交易股數(shù)、initial_amount1000000初始資金、buy_cost_pct/sell_cost_pct0.001雙邊 0.1% 交易成本等參數(shù)直接決定了回測曲線的形態(tài)與真實性。3.2 核心工具函數(shù)get_daily_return(df, value_col_nameaccount_value)finrl/plot.py對賬戶價值做pct_change(1)得到日收益率序列并將日期索引轉(zhuǎn)換為 UTC 時區(qū)供 pyfolio 使用。backtest_stats(account_value, value_col_nameaccount_value)finrl/plot.py調(diào)用pyfolio.timeseries.perf_stats()生成完整績效統(tǒng)計表直接覆蓋本文第一部分所述的年化收益、年化波動率、Sharpe、最大回撤等核心指標(biāo)。backtest_plot(account_value, baseline_start, baseline_end, baseline_ticker^DJI, ...)finrl/plot.py將策略日收益率與基線默認(rèn) DJIA日收益率一同交給pyfolio.create_full_tear_sheet()輸出包含累計收益曲線、回撤曲線、月度收益熱力圖等在內(nèi)的完整分析報表。get_baseline(ticker, start, end)finrl/plot.py基于YahooDownloader拉取指數(shù)收盤價作為被動策略基線。3.3 與集成策略示例的銜接finrl/applications/stock_trading/ensemble_stock_trading.py 給出了上述工具在生產(chǎn)式回測中的完整調(diào)用順序先backtest_stats(account_valuedf_account_value)輸出 DRL 集成策略績效再對^DJI基線執(zhí)行backtest_stats(baseline_df, value_col_nameclose)得到基線績效最后backtest_plot(...)生成對比報表——這套策略統(tǒng)計 基線統(tǒng)計 對比圖的三段式流程正是 Benchmark 文檔指標(biāo)與基線設(shè)計的直接落地。四、Jupyter Notebook 教程Benchmark 的完整用例集合Benchmark 文檔明確指出為幫助新手熟悉數(shù)據(jù) → 環(huán)境 → 智能體 → 回測對比的完整管線FinRL 提供了系列 Jupyter Notebook 教程位于 FinRL-Tutorials 倉庫。這些教程本身就是 Benchmark 體系的用例集覆蓋了從單任務(wù)到多任務(wù)、從訓(xùn)練到部署的全場景教程主題核心內(nèi)容對應(yīng)倉庫落地參考股票交易Stock trading用主流 DRL 算法交易多只股票examples/FinRL_StockTrading_2026_2_train.py、examples/FinRL_StockTrading_2026_3_Backtest.py組合配置Portfolio allocation用 DRL 智能體優(yōu)化一組股票的資產(chǎn)配置finrl/meta/env_portfolio_allocation/env_portfolio.py加密貨幣交易Cryptocurrency trading復(fù)現(xiàn) 10 種主流加密貨幣上的交易實驗finrl/meta/env_cryptocurrency_trading/多智能體清算策略Multi-agent RL for liquidation復(fù)現(xiàn)文獻(xiàn)[7]實驗多智能體優(yōu)化清算任務(wù)的 shortfall即在給定周期內(nèi)順序賣出給定數(shù)量股票權(quán)衡市場沖擊成本與風(fēng)險厭惡finrl/meta/env_portfolio_optimization/集成策略Ensemble strategy復(fù)現(xiàn)多個 DRL 算法集成的股票交易實驗finrl/applications/stock_trading/ensemble_stock_trading.py模擬盤交易Paper trading demo將自研策略或訓(xùn)練好的智能體接入模擬盤交易finrl/meta/paper_trading/alpaca.py、finrl/meta/env_stock_trading/env_stock_papertrading.py中國 A 股示例China A-share demo基于中國 A 股市場數(shù)據(jù)開展實驗docs/source/tutorial/1-Introduction.rst超參數(shù)調(diào)優(yōu)Hyperparameter tuning使用 Optuna 或 Ray Tune 進(jìn)行超參數(shù)調(diào)優(yōu)finrl/agents/stablebaselines3/tune_sb3.py4.1 集成策略中的關(guān)鍵機制rebalance_window在 finrl/applications/stock_trading/ensemble_stock_trading.py 中集成策略通過DRLEnsembleAgent實現(xiàn)其核心參數(shù)rebalance_window63每 63 天重新訓(xùn)練一次模型與validation_window63驗證與交易窗口同為 63 天控制滾動再平衡節(jié)奏三個子算法 A2C/PPO/DDPG 的模型參數(shù)分別通過A2C_model_kwargs、PPO_model_kwargs、DDPG_model_kwargs傳入各算法訓(xùn)練步數(shù)由timesteps_dict指定A2C_model_kwargs {n_steps: 5, ent_coef: 0.005, learning_rate: 0.0007} PPO_model_kwargs {ent_coef: 0.01, n_steps: 2048, learning_rate: 0.00025, batch_size: 128} DDPG_model_kwargs {buffer_size: 10_000, learning_rate: 0.0005, batch_size: 64} timesteps_dict {a2c: 10_000, ppo: 10_000, ddpg: 10_000} df_summary ensemble_agent.run_ensemble_strategy(A2C_model_kwargs, PPO_model_kwargs, DDPG_model_kwargs, timesteps_dict)4.2 超參數(shù)調(diào)優(yōu)性能提升的關(guān)鍵環(huán)節(jié)Benchmark 文檔特別強調(diào)超參數(shù)調(diào)優(yōu)對 DRL 性能的關(guān)鍵作用。倉庫在 finrl/agents/stablebaselines3/tune_sb3.py 中實現(xiàn)了基于 Ray Tune 的調(diào)優(yōu)封裝而 finrl/agents/stablebaselines3/hyperparams_opt.py 提供各算法的超參數(shù)搜索空間。同時 finrl/config.py 中預(yù)置了 A2C、PPO、DDPG、TD3、SAC、ElegantRL 的默認(rèn)參數(shù)如PPO_PARAMS {n_steps: 2048, ent_coef: 0.01, learning_rate: 0.00025, batch_size: 64}作為調(diào)優(yōu)的起點與對照組。4.3 中國 A 股數(shù)據(jù)的配置支撐中國 A 股示例依托 finrl/config.py 中的時區(qū)配置如TIME_ZONE_SHANGHAI Asia/Shanghai對應(yīng)滬深與恒生指數(shù)以及 finrl/meta/data_processors/processor_joinquant.py、finrl/meta/data_processors/processor_tushare.py若存在等數(shù)據(jù)源處理器說明 Benchmark 的指標(biāo)與基線體系同樣適用于非美股市場。五、測試流程中的基準(zhǔn)評測入口除 Notebook 教程外倉庫還提供腳本化入口 finrl/test.py 用于對已訓(xùn)練模型執(zhí)行統(tǒng)一的回測評估。test()函數(shù)接收起止日期、ticker 列表、數(shù)據(jù)源、技術(shù)指標(biāo)列表、DRL 庫elegantrl/rllib/stable_baselines3與模型名加載訓(xùn)練好的模型后運行環(huán)境得到episode_total_assetsaccount_value_erl test( start_dateTEST_START_DATE, end_dateTEST_END_DATE, ticker_listDOW_30_TICKER, data_sourceyahoofinance, time_interval1D, technical_indicator_listINDICATORS, drl_libelegantrl, envenv, model_nameppo, cwd./test_ppo, net_dimension512, )其中TEST_START_DATE/TEST_END_DATE與TRADE_START_DATE/TRADE_END_DATE在 finrl/config.py 中定義如TEST_START_DATE 2026-01-01INDICATORS列表macd、boll_ub、boll_lb、rsi_30 等 8 個技術(shù)指標(biāo)決定狀態(tài)空間構(gòu)成。該測試結(jié)果可直接輸入backtest_stats生成績效報表完成 Benchmark 文檔所要求的訓(xùn)練-測試-交易閉環(huán)中的評測環(huán)節(jié)。六、實踐要點總結(jié)指標(biāo)口徑要顯式聲明文檔公式中的年化收益采用 365 天口徑而 env_stocktrading.py 與集成腳本中的 Sharpe 采用 252 交易日口徑引用他人結(jié)果前務(wù)必核對口徑?；€不可省略被動DJIA 指數(shù)、MVO、等權(quán)三類基線分別代表市場本身均值-方差優(yōu)化樸素分散三個參照層次缺一不可。訓(xùn)練/測試隔離是公平對比的前提MVO 的協(xié)方差矩陣估計與 DRL 的訓(xùn)練集劃分都必須嚴(yán)格限定在訓(xùn)練期數(shù)據(jù)內(nèi)見 examples/FinRL_StockTrading_2026_3_Backtest.py。標(biāo)準(zhǔn)化工具開箱即用backtest_statsbacktest_plotget_baseline三件套finrl/plot.py即可完成從賬戶價值到完整績效報表與對比圖的全流程。從教程到復(fù)現(xiàn)Benchmark 文檔列出的八類 Notebook 教程對應(yīng)倉庫中的落地實現(xiàn)與示例腳本可作為新任務(wù)的起點模板?！久赓M下載鏈接】FinRLFinRL?: Financial Reinforcement Learning. 項目地址: https://gitcode.com/gh_mirrors/fi/FinRL-Library創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考