簡介圍繞XGBoost混合模型在股票價(jià)格預(yù)測中的應(yīng)用這份工程碩士學(xué)位論文面向金融機(jī)器學(xué)習(xí)初學(xué)者、軟件工程與模式識別方向的研究生以及需要復(fù)現(xiàn)股票預(yù)測實(shí)驗(yàn)的開發(fā)者系統(tǒng)討論單一模型難以刻畫市場非線性關(guān)系時(shí)的集成建模思路。壓縮包僅含1個(gè)PDF文件約3.48MB完整呈現(xiàn)緒論、相關(guān)概念與理論基礎(chǔ)、集成學(xué)習(xí)與時(shí)間序列模型、XGBoost建模、混合模型設(shè)計(jì)、實(shí)驗(yàn)評價(jià)與結(jié)果分析等章節(jié)。讀者可從中了解決策樹、CART、GBDT到XGBoost的原理脈絡(luò)以及AR、MA、ARMA、ARIMA等時(shí)間序列方法的適用邊界還能參考特征工程、參數(shù)調(diào)整、與隨機(jī)森林、支持向量機(jī)等模型集成的方案并借助MSE、MAE、R2等指標(biāo)對比預(yù)測效果。論文同時(shí)討論過擬合等局限與深度集成、動態(tài)權(quán)重調(diào)整等改進(jìn)方向已有657人學(xué)習(xí)適合用作課程論文、畢業(yè)設(shè)計(jì)或股票預(yù)測實(shí)驗(yàn)的框架參考。1. 股票預(yù)測里XGBoost 混合模型到底在混什么單跑一個(gè) XGBoost 做日頻股票預(yù)測是很多人入門的第一個(gè)動作特征扔進(jìn)去reg:squarederror一開訓(xùn)練集擬合得像模像樣一到樣本外RankIC 掉到小數(shù)點(diǎn)后第二位分層收益的單調(diào)性也沒了。問題不在樹不夠多而在于樹模型擅長的是有明確邊界的非線性交互股票收益率卻是低信噪比、強(qiáng)非平穩(wěn)、幾乎沒有穩(wěn)定邊界的東西。混合模型的出發(fā)點(diǎn)就是把預(yù)測任務(wù)拆開讓樹模型處理交互和分段效應(yīng)讓線性或時(shí)序支路處理單調(diào)性、趨勢和殘差結(jié)構(gòu)最后由一個(gè)元學(xué)習(xí)器決定信誰多一點(diǎn)。這套思路適合已經(jīng)能把單模型跑通、但卡在樣本外衰減上的從業(yè)者也適合想把因子研究和機(jī)器學(xué)習(xí)接起來的人。下面的路線、參數(shù)和踩坑記錄都是按能復(fù)現(xiàn)的口徑寫的。2. 三條混合路線殘差修正、特征分工、Stacking 怎么選2.1 為什么單靠 XGBoost 在日頻股票上會撞墻樹模型的輸出是一堆葉子的分段常數(shù)本質(zhì)上是階梯函數(shù)。它對「特征落在哪個(gè)區(qū)間」極其敏感但對「特征往哪個(gè)方向連續(xù)走」幾乎沒有外推能力。股票預(yù)測里最典型的一類信號恰恰是連續(xù)的動量在某個(gè)區(qū)間內(nèi)單調(diào)增強(qiáng)波動率放大到一定程度后收益分布變厚尾。這類關(guān)系用樹去切會被切成幾十個(gè)格子每一格在訓(xùn)練集里都夠樣本在樣本外全都靠不住。第二個(gè)問題是信噪比。日頻橫截面上可解釋的收益差異通常只有千分之幾的量級而噪聲是它的幾十倍。XGBoost 的加法樹結(jié)構(gòu)在低信噪比數(shù)據(jù)上有很強(qiáng)的記憶傾向max_depth稍大一點(diǎn)、min_child_weight稍小一點(diǎn)模型就開始記住某只股票在某段行情里的偶然模式。表現(xiàn)出來就是訓(xùn)練集 RMSE 一路下降驗(yàn)證集 IC 橫盤甚至下滑。第三個(gè)問題是非平穩(wěn)。特征分布會隨時(shí)間漂移今天是「低波動占優(yōu)」兩個(gè)月后變成「高換手占優(yōu)」。一棵在三年數(shù)據(jù)上長出來的樹葉子里的樣本均值反映的是這三年的平均市場狀態(tài)市場風(fēng)格一切換這些葉子均值就集體失效。線性模型至少還有一個(gè)系數(shù)符號可以解釋樹模型連這個(gè)抓手都沒有這也是很多人覺得 XGBoost 預(yù)測股票像個(gè)黑匣子的原因。把這三件事擺在一起混合模型的價(jià)值就清楚了用線性支路兜住單調(diào)性和外推用樹支路抓交互和分段再用一層融合把兩者的誤差結(jié)構(gòu)互補(bǔ)掉。2.2 三種混合范式的對比與選型從業(yè)者常見的做法有三類差異在于「混在哪一層」。范式怎么混適合的場景主要失效模式殘差修正先線性/時(shí)序模型擬合XGBoost 學(xué)殘差有強(qiáng)基線、殘差結(jié)構(gòu)明顯基線錯(cuò)了殘差學(xué)成噪聲特征分工手工把特征分成線性組和交互組分別喂兩個(gè)模型加權(quán)平均因子體系清晰、可解釋性要求高分組靠拍腦袋權(quán)重難定Stacking多個(gè)基模型出 OOF 預(yù)測元學(xué)習(xí)器融合樣本量夠、切分嚴(yán)謹(jǐn)元層過擬合、泄漏放大殘差修正這條路最輕適合已有 ARIMA 或線性多因子基線的團(tuán)隊(duì)。它的隱含假設(shè)是基線已經(jīng)抓住了主要結(jié)構(gòu)剩下的殘差里有可學(xué)的成分。實(shí)際做下來股票收益的殘差大部分是真噪聲XGBoost 學(xué)到的往往是微弱的波動率殘差而非方向殘差所以這條路在方向預(yù)測上收益有限在波動率預(yù)測上反而更靠譜。特征分工介于兩者之間好處是每個(gè)子模型都能單獨(dú)解釋和調(diào)參壞處是需要人工決定哪些特征歸哪邊而這個(gè)決定本身就是一個(gè)超參數(shù)。如果特征體系里有明顯的單調(diào)因子估值、動量和明顯的交互因子量價(jià)背離、波動率與換手的組合分組會相對清晰。Stacking 是通用性最好的一種代價(jià)是對數(shù)據(jù)切分極其敏感。元學(xué)習(xí)器看到的輸入是基模型在驗(yàn)證折上的預(yù)測一旦基模型的 OOF 預(yù)測里混進(jìn)了未來信息元學(xué)習(xí)器會把這些信息當(dāng)成強(qiáng)特征放大線下指標(biāo)會好得反常實(shí)盤立刻打回原形。這條路的門檻不在模型在切分紀(jì)律。2.3 我一般選 Stacking以及它成立的前提默認(rèn)組合是XGBoost 作為主基模型吃全量特征Ridge 或偏線性的模型作為第二基模型吃標(biāo)準(zhǔn)化后的連續(xù)特征元學(xué)習(xí)器用帶 L2 的線性回歸而不是第二個(gè)樹模型。原因很直接如果元學(xué)習(xí)器也用樹等于讓樹在樹的殘差上再擬合一遍兩個(gè)模型的誤差高度相關(guān)融合的邊際收益被吃掉還多了一層過擬合風(fēng)險(xiǎn)。線性元學(xué)習(xí)器的作用更像是在做一個(gè)受約束的加權(quán)平均系數(shù)可讀正負(fù)號能告訴你哪個(gè)基模型在什么階段更可信。這個(gè)組合成立需要三個(gè)前提。樣本量方面單標(biāo)的日頻三年數(shù)據(jù)大概七百多個(gè)點(diǎn)做 Stacking 偏少通常要放到橫截面多標(biāo)的上或者把預(yù)測周期拉長到 5 日、10 日讓有效樣本變多。特征穩(wěn)定性方面如果特征里有大量依賴財(cái)報(bào)披露的字段季報(bào)期的缺失和跳變會污染 OOF 預(yù)測得先做對齊。切分方面必須有 purge 和 embargo否則標(biāo)簽重疊會直接把未來信息漏進(jìn)訓(xùn)練折。3. 數(shù)據(jù)與特征把量價(jià)數(shù)據(jù)做成 XGBoost 能吃的矩陣3.1 標(biāo)簽構(gòu)造別拿收盤價(jià)做回歸目標(biāo)用收盤價(jià)序列做回歸是新手最容易踩的坑。價(jià)格是非平穩(wěn)的量綱隨時(shí)間和標(biāo)的完全不同模型學(xué)到的其實(shí)是「這只股票大概多少錢」而不是「它接下來會漲還是會跌」。正確的口徑是構(gòu)造一個(gè)可交易的前瞻收益T 日收盤出信號T1 開盤買入持有 N 個(gè)交易日后開盤賣出扣掉雙邊成本。這樣做的好處是標(biāo)簽和實(shí)際執(zhí)行一致回測和實(shí)盤的差距會小很多。import numpy as np import pandas as pd def make_label(df: pd.DataFrame, horizon: int 5, cost: float 0.0015) - pd.Series: df 需按 trade_date 升序含 open 列 horizon: 持有天數(shù) cost: 單邊成本合計(jì)傭金滑點(diǎn)沖擊雙邊按 2*cost 計(jì) 返回: 與 df 等長的前瞻凈收益末尾 horizon1 行為 NaN buy df[open].shift(-1) # T1 開盤買入 sell df[open].shift(-1 - horizon) # T1horizon 開盤賣出 fwd sell / buy - 1.0 - 2 * cost # 去極值避免個(gè)別異常值主導(dǎo)損失函數(shù) lo, hi fwd.quantile(0.01), fwd.quantile(0.99) return fwd.clip(lo, hi)這段的關(guān)鍵在shift(-1)和shift(-1-horizon)的錯(cuò)位。如果寫成close.pct_change(horizon)等于假設(shè) T 日收盤就能成交回測會憑空多出一段收益。clip用分位數(shù)而不是固定閾值是因?yàn)椴煌瑯?biāo)的的波動量級差很多固定閾值在小盤股上會把有效信號一起剪掉。如果做橫截面模型標(biāo)簽還要再做一步處理在每個(gè)交易日內(nèi)對所有標(biāo)的的fwd做排序轉(zhuǎn)成 rank 或 zscore。這樣標(biāo)簽里就剝離了市場整體漲跌模型學(xué)的是「相對強(qiáng)弱」而不是「明天大盤漲不漲」。這一步對 IC 的穩(wěn)定性影響很大。3.2 特征清單與實(shí)現(xiàn)量價(jià)特征夠用不必一上來就上另類數(shù)據(jù)。核心是四組動量、波動、量能、形態(tài)位置。下面是單標(biāo)的版本的實(shí)現(xiàn)橫截面版本把groupby換成按日聚合即可。def build_features(df: pd.DataFrame, windows(5, 10, 20, 60)) - pd.DataFrame: df: 單標(biāo)的日線升序含 open/high/low/close/volume/amount/turnover 所有特征只使用 T 日及之前的信息 g df.sort_values(trade_date).reset_index(dropTrue).copy() c, v g[close], g[volume] ret1 c.pct_change() out pd.DataFrame({trade_date: g[trade_date]}) for w in windows: out[fmom_{w}] c.pct_change(w) # 區(qū)間動量 out[fvol_{w}] ret1.rolling(w).std() # 已實(shí)現(xiàn)波動 out[fma_gap_{w}] c / c.rolling(w).mean() - 1.0 # 均線偏離 out[fvr_{w}] v / v.rolling(w).mean() # 量比 out[famp_{w}] (g[high].rolling(w).max() - g[low].rolling(w).min()) / c # 區(qū)間振幅 # 形態(tài)位置收盤價(jià)在近 60 日高低區(qū)間中的相對位置 hi60 g[high].rolling(60).max() lo60 g[low].rolling(60).min() out[pos_60] (c - lo60) / (hi60 - lo60 1e-9) # 量價(jià)背離短期動量與短期量比的符號一致性 out[pv_div] np.sign(out[mom_5]) * np.sign(out[vr_5] - 1.0) # 收益率偏度與峰度刻畫尾部結(jié)構(gòu) out[skew_20] ret1.rolling(20).skew() out[kurt_20] ret1.rolling(20).kurt() # 換手穩(wěn)定性 if turnover in g.columns: out[to_std_20] g[turnover].rolling(20).std() out[to_z_20] ((g[turnover] - g[turnover].rolling(20).mean()) / (g[turnover].rolling(20).std() 1e-9)) return out參數(shù)上的取舍值得說清楚。windows取 5/10/20/60 是覆蓋一周、兩周、一月、一季四個(gè)常用周期再加窗口只會增加共線性。pos_60這類位置特征對樹模型特別友好因?yàn)樗烊皇欠侄斡行У恼寐湓跇涞膹?qiáng)項(xiàng)上而mom_w這種連續(xù)動量給線性支路更合適這也為后面的特征分工留了口子。偏度和峰度用 20 日窗口是因?yàn)楦痰拇翱谒愠鰜淼母唠A矩抖動太大更長的窗口反應(yīng)太慢。這兩個(gè)特征在樹模型里通常能排進(jìn)前二十但要注意它們對異常值極其敏感得在入模前統(tǒng)一做縮尾。3.3 時(shí)間切分與防泄漏隨機(jī) KFold 在時(shí)間序列上是災(zāi)難。原因有兩層一是標(biāo)簽本身跨越了未來 N 天訓(xùn)練折里的樣本和驗(yàn)證折里的樣本在時(shí)間上重疊二是特征里的滾動窗口也帶著過去的信息如果驗(yàn)證折緊貼訓(xùn)練折rolling 統(tǒng)計(jì)量會把兩折連起來。常見做法是 walk-forward 加 purge 加 embargo。def walk_forward_splits(dates: pd.Series, n_splits: int 5, horizon: int 5, embargo: int 5): dates: 已排序的交易日期序列 訓(xùn)練折與驗(yàn)證折之間挖掉 horizonembargo 天消除標(biāo)簽重疊泄漏 uniq np.sort(dates.unique()) fold_size len(uniq) // (n_splits 1) for i in range(1, n_splits 1): train_end i * fold_size val_start train_end horizon embargo val_end min(val_start fold_size, len(uniq)) if val_start len(uniq): break tr_dates uniq[:train_end] va_dates uniq[val_start:val_end] yield (dates.isin(tr_dates), dates.isin(va_dates))horizon和embargo這兩個(gè)參數(shù)不是隨手填的。horizon必須等于標(biāo)簽的持有期因?yàn)闃?biāo)簽在時(shí)間上跨越了這么多天embargo是為了處理特征側(cè)的滾動窗口理論上等于最長窗口長度實(shí)操里取 5 到 20 天已經(jīng)能壓掉大部分泄漏。設(shè)得太大會浪費(fèi)樣本尤其在樣本本來就少的情況下需要在這兩者之間反復(fù)試。提示如果只做單標(biāo)的walk-forward 的折數(shù)不要貪多。五折之后每折驗(yàn)證集只剩一百多個(gè)點(diǎn)IC 的置信區(qū)間寬到?jīng)]有判斷價(jià)值不如把折數(shù)降到三折、持有期拉長到 10 日。4. 混合模型落地XGBoost 線性支路的 Stacking 實(shí)現(xiàn)4.1 XGBoost 基模型的參數(shù)怎么定股票數(shù)據(jù)上XGBoost 的參數(shù)空間要往「保守」方向壓。深度不超過 6min_child_weight至少給到 20subsample和colsample_bytree都要小于 1學(xué)習(xí)率壓到 0.03 左右配合早停。這些設(shè)置的共同目的是抑制模型對單樣本的記憶。import xgboost as xgb PARAMS dict( objectivereg:squarederror, eval_metricrmse, max_depth4, # 日頻數(shù)據(jù) 3~5 足夠再深就是記樣本 min_child_weight20, # 葉子最小樣本權(quán)重抑制小樣本葉子 subsample0.8, # 行采樣增加折間多樣性 colsample_bytree0.7, # 列采樣緩解特征共線 eta0.03, # 小學(xué)習(xí)率 早停 reg_lambda2.0, # L2壓系數(shù)幅度 reg_alpha0.5, # L1做一次稀疏化 tree_methodhist, # 大數(shù)據(jù)量下比 exact 快一個(gè)量級 nthread8, seed42, ) def train_xgb(X_tr, y_tr, X_va, y_va, paramsPARAMS, rounds2000): dtr xgb.DMatrix(X_tr, labely_tr) dva xgb.DMatrix(X_va, labely_va) booster xgb.train( params, dtr, num_boost_roundrounds, evals[(dva, valid)], early_stopping_rounds100, verbose_evalFalse, ) return booster, booster.best_iterationmax_depth4和min_child_weight20是這一組里最關(guān)鍵的兩個(gè)。把它們調(diào)大訓(xùn)練集 RMSE 會明顯下降驗(yàn)證集 IC 通常同步下降這是過擬合最直接的信號。eta0.03配合early_stopping_rounds100實(shí)際最優(yōu)輪數(shù)往往落在 200 到 600 之間如果早停觸發(fā)在 50 輪以內(nèi)說明學(xué)習(xí)率偏大或者特征里有強(qiáng)泄漏。tree_methodhist在特征數(shù)上百、樣本數(shù)上萬時(shí)是必選項(xiàng)但要注意它默認(rèn)的分箱策略對類別型特征不友好特征里如果有大量的離散取值得先手動做編碼。早停用的驗(yàn)證集必須是最終評估之外的一折。如果拿測試集早停等于用測試集調(diào)了輪數(shù)后面的所有指標(biāo)都不再可信這是黑匣子式評估最常見的來源。4.2 線性支路為什么用 Ridge 而不是再上一個(gè)樹線性支路的作用不是「再多一個(gè)模型」而是「提供一種樹模型給不出的誤差結(jié)構(gòu)」。Ridge 對連續(xù)特征給出的是全局線性映射它的預(yù)測誤差和 XGBoost 的誤差相關(guān)性通常在 0.5 到 0.7 之間留出了融合空間。如果把第二支路換成 LightGBM兩個(gè)模型的誤差相關(guān)性會到 0.85 以上融合幾乎不漲點(diǎn)。線性支路對輸入有要求必須標(biāo)準(zhǔn)化必須處理共線必須做缺失填充。from sklearn.linear_model import Ridge from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.impute import SimpleImputer def build_linear_branch(alpha: float 10.0) - Pipeline: return Pipeline([ (imp, SimpleImputer(strategymedian)), # 中位數(shù)填充抗極值 (sc, StandardScaler()), # 標(biāo)準(zhǔn)化Ridge 對量綱敏感 (ridge, Ridge(alphaalpha)), # alpha 控制收縮強(qiáng)度 ])alpha10.0是一個(gè)起點(diǎn)而不是終點(diǎn)。特征數(shù)在 50 到 100 之間時(shí)alpha 從 1 掃到 100驗(yàn)證集 IC 會有一個(gè)明顯的平臺區(qū)取平臺區(qū)中間的值比取峰值更穩(wěn)。中位數(shù)填充在這里比均值填充好是因?yàn)榱績r(jià)特征的缺失往往和停牌、漲跌停有關(guān)這類樣本的分布本身就偏。如果要進(jìn)一步提升非線性能力可以在 Ridge 前面加一層多項(xiàng)式交互但要嚴(yán)格限制階數(shù)二階以上在股票數(shù)據(jù)上幾乎必然過擬合。4.3 元學(xué)習(xí)器與 OOF 融合Stacking 的核心紀(jì)律基模型的預(yù)測必須在同一套時(shí)間切分下生成 OOF元學(xué)習(xí)器在 OOF 上學(xué)最終模型在全量訓(xùn)練集上重訓(xùn)。import numpy as np from sklearn.linear_model import LinearRegression def stack_oof(X, y, dates, model_factory, splits): 返回每個(gè)樣本的 OOF 預(yù)測每個(gè)樣本只在它被當(dāng)作驗(yàn)證集時(shí)產(chǎn)生一次預(yù)測 oof np.full(len(X), np.nan) for tr_mask, va_mask in splits: model model_factory() model.fit(X[tr_mask], y[tr_mask]) oof[va_mask] model.predict(X[va_mask]) return oof # 1) 兩路基模型各自產(chǎn)出 OOF oof_xgb stack_oof(X_all, y_all, d_all, lambda: XGBWrapper(PARAMS), splits) oof_lin stack_oof(X_all, y_all, d_all, lambda: build_linear_branch(10.0), splits) # 2) 元特征矩陣只用兩路基模型的預(yù)測 Z np.column_stack([oof_xgb, oof_lin]) valid ~np.isnan(Z).any(axis1) ~np.isnan(y_all) # 3) 元學(xué)習(xí)器用線性回歸 非負(fù)約束方向避免權(quán)重亂翻 meta LinearRegression(positiveTrue) meta.fit(Z[valid], y_all[valid]) print(dict(zip([xgb, lin], meta.coef_)))positiveTrue這個(gè)約束很實(shí)用。不加約束時(shí)元學(xué)習(xí)器在驗(yàn)證折上偶爾會給出負(fù)權(quán)重等價(jià)于「反著用某個(gè)模型」這種解在樣本外極不穩(wěn)定。加上非負(fù)約束后權(quán)重變成一種可信度分配通常 XGBoost 拿 0.6 到 0.8線性支路拿 0.2 到 0.4隨市場狀態(tài)小幅波動。valid那一行的過濾不能省。OOF 在每折邊界上會有一批 NaN被 purge 掉的樣本直接喂給元學(xué)習(xí)器會讓它報(bào)錯(cuò)或者悄悄丟掉行導(dǎo)致元學(xué)習(xí)器的訓(xùn)練樣本和最終模型不一致。4.4 評估IC、分層和成本三件事一起看只看 RMSE 在這類任務(wù)上沒有意義因?yàn)槭找娣植己裎簿秸`差被少數(shù)極端值主導(dǎo)。至少要看三個(gè)指標(biāo)RankIC 的均值和標(biāo)準(zhǔn)差、分層收益的單調(diào)性、扣成本后的凈值。from scipy.stats import spearmanr def rank_ic(y_true, y_pred): return spearmanr(y_true, y_pred).correlation def ic_series(df, date_col, y_col, p_col): 按日計(jì)算橫截面 RankIC返回序列 return (df.groupby(date_col) .apply(lambda g: rank_ic(g[y_col], g[p_col])) .dropna()) def layered_return(df, date_col, y_col, p_col, q5): 按預(yù)測值分 q 層統(tǒng)計(jì)每層平均前瞻收益 df df.copy() df[layer] df.groupby(date_col)[p_col].transform( lambda s: pd.qcut(s, q, labelsFalse, duplicatesdrop)) return df.groupby(layer)[y_col].mean()評估上有兩個(gè)細(xì)節(jié)容易漏。第一IC 要看均值除以標(biāo)準(zhǔn)差也就是 ICIR單看均值會被少數(shù)高 IC 的月份帶偏。第二分層收益要看單調(diào)性而不只看多空差如果中間層是亂的、只有頭尾分開說明模型抓的是極端值而不是整體排序這種信號在實(shí)盤里換手會非常高。成本必須進(jìn)評估。日頻策略雙邊成本按千分之一到千分之三算5 日持有期下如果多空組合的月?lián)Q手超過 200%成本能吃掉大半超額。很多混合模型在線下看著比單模型好扣完成本就不剩什么了這也是選型時(shí)最該盯的一點(diǎn)。5. 避坑與排查混合模型最容易翻車的五個(gè)地方5.1 全樣本標(biāo)準(zhǔn)化導(dǎo)致線下虛高現(xiàn)象離線 RankIC 穩(wěn)定在 0.08 以上換一段樣本外直接掉到 0.01重訓(xùn)也救不回來。原因標(biāo)準(zhǔn)化、缺失填充、去極值這些預(yù)處理用了全樣本統(tǒng)計(jì)量驗(yàn)證折的均值和方差里混進(jìn)了未來數(shù)據(jù)。特征被「提前知道」了未來的分布模型學(xué)到的關(guān)系在真實(shí)時(shí)序里不存在。解決所有預(yù)處理必須放進(jìn) Pipeline在每個(gè)訓(xùn)練折內(nèi)單獨(dú)fit然后transform驗(yàn)證折。去極值的分位數(shù)也一樣只能在訓(xùn)練折上算。改完之后線下 IC 通常會掉三到五成但樣本外的衰減會明顯變緩。5.2 標(biāo)簽重疊沒做 purge現(xiàn)象交叉驗(yàn)證分?jǐn)?shù)很高但把模型放到完全沒參與訓(xùn)練的最后一折上表現(xiàn)斷崖式下跌。原因5 日持有期的標(biāo)簽在時(shí)間上重疊第 T 天和第 T3 天的標(biāo)簽共享了部分未來信息。如果訓(xùn)練折的最后幾天和驗(yàn)證折的最前幾天的標(biāo)簽窗口重疊模型等于見過答案。解決訓(xùn)練折和驗(yàn)證折之間挖掉horizon embargo天。這個(gè)坑最隱蔽的地方在于它不會報(bào)錯(cuò)也不會讓指標(biāo)變難看只會讓指標(biāo)好看得不可信。5.3 元學(xué)習(xí)器把基模型的相關(guān)性當(dāng)成了信號現(xiàn)象元學(xué)習(xí)器的權(quán)重在折間劇烈跳動某一折 XGBoost 權(quán)重 0.9下一折變成 0.1最終融合效果還不如單模型。原因兩個(gè)基模型的 OOF 預(yù)測高度相關(guān)時(shí)元學(xué)習(xí)器的解空間是病態(tài)的微小的數(shù)據(jù)擾動就會讓系數(shù)翻來覆去。加上樣本量本來就少這個(gè)問題會被放大。解決加非負(fù)約束、加 L2 正則、限制只用兩到三個(gè)基模型。如果兩個(gè)模型的預(yù)測相關(guān)系數(shù)超過 0.9說明它們提供的信息重復(fù)沒必要硬融直接留一個(gè)更穩(wěn)的。5.4 停牌和漲跌停樣本污染特征現(xiàn)象某些標(biāo)的的預(yù)測值在特定日期出現(xiàn)極端異?；販y里表現(xiàn)為幾筆不合理的巨額收益。原因停牌期間的量價(jià)數(shù)據(jù)是復(fù)制或缺失的滾動窗口算出來的波動率接近零、量比無窮大。如果這些樣本還帶著正常的標(biāo)簽進(jìn)入訓(xùn)練模型會學(xué)到「低波動高收益」這種偽關(guān)系。解決停牌日直接剔除或者在特征里加一個(gè)「可交易」標(biāo)記并在訓(xùn)練時(shí)給這些樣本零權(quán)重。漲跌停日同理T1 開盤買不進(jìn)去的樣本標(biāo)簽本身就是不可執(zhí)行的。5.5 早停用錯(cuò)了數(shù)據(jù)集現(xiàn)象調(diào)參時(shí)驗(yàn)證集指標(biāo)一路上升最后確定的輪數(shù)在測試集上完全不 work。原因早停監(jiān)控的是驗(yàn)證集而驗(yàn)證集如果同時(shí)被用來選超參、選輪數(shù)、選特征它事實(shí)上已經(jīng)變成了訓(xùn)練集的一部分。多輪迭代下來模型對驗(yàn)證集的過擬合會非常嚴(yán)重。解決切三段——訓(xùn)練、早停驗(yàn)證、最終測試。早停只看中間那段測試段在整個(gè)調(diào)參過程中不打開只在最后評估時(shí)用一次。6. 把混合模型做穩(wěn)滾動重訓(xùn)、漂移監(jiān)控與參數(shù)搜索邊界模型訓(xùn)練完之后真正決定長期表現(xiàn)的是維護(hù)策略。股票數(shù)據(jù)的分布漂移是持續(xù)的一個(gè)固定參數(shù)的 XGBoost 混合模型如果半年不重訓(xùn)IC 衰減會非常明顯。我一般用滾動重訓(xùn)每次用最近 3 年數(shù)據(jù)訓(xùn)練按月或按季度重跑一次重訓(xùn)時(shí)保留上一版的超參只重訓(xùn)權(quán)重和樹結(jié)構(gòu)。這樣既跟上了分布變化又避免了每次重訓(xùn)都重新調(diào)參帶來的不穩(wěn)定。漂移監(jiān)控用一個(gè)很樸素的指標(biāo)就夠特征分布的 PSI按月計(jì)算當(dāng)前月與訓(xùn)練窗口的分布差異PSI 超過 0.25 的特征單獨(dú)標(biāo)記出來。如果連續(xù)兩個(gè)月有超過三成特征觸發(fā)說明市場狀態(tài)已經(jīng)偏離訓(xùn)練窗口該提前觸發(fā)重訓(xùn)而不是等固定周期。def psi(base: np.ndarray, cur: np.ndarray, bins: int 10) - float: 群體穩(wěn)定性指數(shù)衡量特征分布漂移0.25 視為顯著漂移 qs np.quantile(base, np.linspace(0, 1, bins 1)) qs[0], qs[-1] -np.inf, np.inf b np.histogram(base, binsqs)[0] / len(base) 1e-6 c np.histogram(cur, binsqs)[0] / len(cur) 1e-6 return float(np.sum((c - b) * np.log(c / b)))參數(shù)搜索的邊界也該收窄。max_depth在 3 到 6 之間掃min_child_weight在 10 到 50 之間掃subsample和colsample_bytree固定在 0.7 到 0.9eta固定 0.03。把搜索空間壓到這么小是因?yàn)楣善睌?shù)據(jù)上的驗(yàn)證集本身噪聲很大大范圍搜索找到的「最優(yōu)」大概率是過擬合驗(yàn)證集的偶然結(jié)果。寧可少調(diào)也別調(diào)出一個(gè)只在某一段歷史上成立的組合。還有一個(gè)技巧值得試把最終預(yù)測做一次橫截面標(biāo)準(zhǔn)化再排序。樹模型輸出的絕對值分布在不同日期之間差異很大直接拿去分層會因?yàn)榻^對值漂移導(dǎo)致層間樣本數(shù)不均標(biāo)準(zhǔn)化之后分層變得穩(wěn)定換手也會降下來。最后說個(gè)血淚經(jīng)驗(yàn)。我最初做這類混合模型時(shí)花了大半時(shí)間在調(diào) XGBoost 參數(shù)上從max_depth掃到grow_policy收益很有限真正讓樣本外表現(xiàn)穩(wěn)定下來的是把切分紀(jì)律做扎實(shí)、把預(yù)處理塞進(jìn) Pipeline、把評估從 RMSE 換成 ICIR 加分層單調(diào)性這三件事。模型結(jié)構(gòu)能帶來的提升通常是個(gè)位數(shù)百分比而一個(gè)泄漏能讓你所有努力歸零且你根本看不出來。先信數(shù)據(jù)切分再信模型這個(gè)順序別搞反。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取