簡(jiǎn)介本資源面向計(jì)算機(jī)、電子信息工程、數(shù)學(xué)等專業(yè)的大學(xué)生及算法初學(xué)者提供CNN-BiLSTM卷積雙向長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)用于時(shí)間序列預(yù)測(cè)的Matlab完整實(shí)現(xiàn)方案可服務(wù)于課程設(shè)計(jì)、期末大作業(yè)與畢業(yè)設(shè)計(jì)等場(chǎng)景。壓縮包共5個(gè)文件包含3個(gè)m腳本、1個(gè)mat數(shù)據(jù)文件與1個(gè)xlsx數(shù)據(jù)集整體約760KB分別承擔(dān)模型搭建、數(shù)據(jù)處理與誤差評(píng)估等職責(zé)結(jié)構(gòu)緊湊便于快速上手。代碼采用參數(shù)化編程參數(shù)修改方便編程思路清晰且注釋詳細(xì)運(yùn)行環(huán)境為Matlab2023及以上并輸出MAE、MAPE、MSE、RMSE、R2多項(xiàng)評(píng)價(jià)指標(biāo)便于全面衡量預(yù)測(cè)精度。目前已有110人學(xué)習(xí)適合希望掌握深度學(xué)習(xí)時(shí)序預(yù)測(cè)流程、需要可復(fù)現(xiàn)案例與多指標(biāo)評(píng)估參考的讀者參考使用。1. CNN-BiLSTM 做時(shí)間序列預(yù)測(cè)為什么單靠 LSTM 經(jīng)常不夠用如果你手頭有一串按時(shí)間排好的數(shù)據(jù)——電力負(fù)荷、股票收盤價(jià)、設(shè)備振動(dòng)幅值、氣象溫度——想預(yù)測(cè)下一段走勢(shì)直接上 LSTM 往往能跑出一個(gè)「看起來(lái)還行」的結(jié)果但誤差曲線總在波動(dòng)劇烈的區(qū)段突然翹起來(lái)。原因不玄學(xué)單向 LSTM 只從過(guò)去推未來(lái)遇到局部突變時(shí)缺少「后文」參照而 CNN-BiLSTM 這套組合正是沖著這個(gè)短板去的。CNN 先在一維時(shí)間軸上做卷積把相鄰時(shí)刻的局部模式上升沿、周期性尖峰、短時(shí)抖動(dòng)壓成更穩(wěn)的特征序列BiLSTM 再?gòu)倪@個(gè)序列里同時(shí)用正向和反向兩個(gè)方向讀上下文最后拼起來(lái)做回歸。Matlab 完整源碼和數(shù)據(jù)這個(gè)組合的價(jià)值在于你不用從零搭訓(xùn)練框架拿到一套可運(yùn)行的 .m 腳本和配套數(shù)據(jù)改幾行路徑和參數(shù)就能套到自己的序列上。適合做負(fù)荷預(yù)測(cè)、價(jià)格預(yù)測(cè)、傳感器趨勢(shì)外推的從業(yè)者也適合想搞懂「CNN 到底在時(shí)序里卷什么」的開(kāi)發(fā)者。2. 拆開(kāi)看一維卷積和雙向 LSTM 各自在時(shí)序里干什么2.1 一維卷積不是圖像卷積的簡(jiǎn)單搬運(yùn)很多人第一次把 CNN 用到時(shí)間序列會(huì)犯一個(gè)直覺(jué)錯(cuò)誤拿二維卷積核往一維序列上套。實(shí)際上時(shí)序用的是 Conv1D卷積核只沿時(shí)間軸滑動(dòng)核的寬度f(wàn)ilter size決定它一次看多少個(gè)連續(xù)時(shí)刻。比如核寬設(shè)為 3它就在 t-1、t、t1 三個(gè)點(diǎn)上做加權(quán)求和提取的是「局部形狀」而不是「空間紋理」。為什么這一步對(duì)預(yù)測(cè)有幫助原始序列里往往混著高頻噪聲和短時(shí)沖擊直接喂給 LSTM門控單元要花大量容量去記這些抖動(dòng)反而沖淡了長(zhǎng)程趨勢(shì)。Conv1D 加池化相當(dāng)于一個(gè)可學(xué)習(xí)的濾波器組把每個(gè)窗口內(nèi)最顯著的特征保留下來(lái)序列長(zhǎng)度縮短、信噪比提高后面 LSTM 的負(fù)擔(dān)就輕了。在 Matlab 里一維卷積層用convolution1dLayer定義關(guān)鍵參數(shù)有三個(gè)FilterSize核寬、NumFilters輸出通道數(shù)、Stride步長(zhǎng)。核寬一般取 3 到 7太小抓不到局部模式太大容易把趨勢(shì)也抹平通道數(shù)常見(jiàn) 16、32、64按數(shù)據(jù)復(fù)雜度往上加。下面是一段最小可跑的層堆疊示例% 假設(shè)輸入序列為 [時(shí)間步 x 特征數(shù) x 1]這里單變量 layers [ sequenceInputLayer(1) % 輸入維度 1 convolution1dLayer(3, 32, Padding, same) % 核寬332個(gè)濾波器same保持長(zhǎng)度 batchNormalizationLayer % 加速收斂穩(wěn)定分布 reluLayer % 非線性 maxPooling1dLayer(2, Stride, 2) % 長(zhǎng)度減半降噪 convolution1dLayer(3, 64, Padding, same) batchNormalizationLayer reluLayer maxPooling1dLayer(2, Stride, 2) bilstmLayer(64, OutputMode, last) % 雙向取最后時(shí)刻輸出 fullyConnectedLayer(1) % 回歸到單值 regressionLayer];邏輯說(shuō)明Padding,same保證卷積后長(zhǎng)度不變避免邊界信息被吃掉兩次池化把序列壓到原來(lái)的四分之一既降維又保留主要形態(tài)。bilstmLayer的OutputMode設(shè)為last表示只取最后一個(gè)時(shí)間步的隱藏狀態(tài)做預(yù)測(cè)如果你要預(yù)測(cè)未來(lái)多步可以改成sequence再接全連接。參數(shù)說(shuō)明bilstmLayer(64)里的 64 是隱藏單元數(shù)不是層數(shù)。單元數(shù)太小欠擬合太大在幾千條樣本上直接過(guò)擬合我一般從 32 或 64 起步看驗(yàn)證集損失再調(diào)。fullyConnectedLayer(1)的輸出維度等于你要預(yù)測(cè)的變量個(gè)數(shù)單變量就是 1。2.2 雙向 LSTM 的「反向讀」到底讀到了什么BiLSTM 由兩個(gè)獨(dú)立的 LSTM 組成一個(gè)按 t1→T 正向跑一個(gè)按 tT→1 反向跑每個(gè)時(shí)刻的輸出是兩個(gè)方向隱藏狀態(tài)的拼接。放到預(yù)測(cè)任務(wù)里反向那一路并不是「偷看未來(lái)」——訓(xùn)練時(shí)整段序列都是已知?dú)v史反向讀只是讓模型在編碼某個(gè)時(shí)刻時(shí)也能參考它之后一段的歷史形態(tài)。真正預(yù)測(cè)未來(lái)時(shí)輸入窗口仍然是純歷史不存在數(shù)據(jù)泄漏。這一點(diǎn)經(jīng)常被誤解成「用了未來(lái)數(shù)據(jù)」其實(shí)只要你的輸入構(gòu)造是「用 [t-n, t] 預(yù)測(cè) t1」反向 LSTM 讀的還是這段歷史內(nèi)部的信息。它的收益在波動(dòng)拐點(diǎn)附近特別明顯正向 LSTM 到拐點(diǎn)時(shí)只見(jiàn)過(guò)上升段反向 LSTM 從后往前讀時(shí)已經(jīng)「知道」后面會(huì)轉(zhuǎn)折兩者拼接后對(duì)拐點(diǎn)的表征更完整。代價(jià)是參數(shù)量大約翻倍訓(xùn)練更慢。如果數(shù)據(jù)量只有幾百條BiLSTM 容易過(guò)擬合這時(shí)候要么減單元數(shù)要么加 dropout。Matlab 里可以在 BiLSTM 后加dropoutLayer(0.2)但注意 dropout 放在 LSTM 和全連接之間效果通常比放在 LSTM 內(nèi)部穩(wěn)。2.3 數(shù)據(jù)窗口構(gòu)造90% 的翻車從這里開(kāi)始網(wǎng)絡(luò)結(jié)構(gòu)再對(duì)窗口切錯(cuò)也白搭。時(shí)間序列預(yù)測(cè)要把原始序列切成「輸入段 目標(biāo)值」的樣本對(duì)。常見(jiàn)做法是滑動(dòng)窗口窗口長(zhǎng)度 L用 [i, iL-1] 預(yù)測(cè)第 iL 個(gè)點(diǎn)。Matlab 里可以手寫循環(huán)也可以用genFunction思路自己封裝。下面是我常用的構(gòu)造函數(shù)function [XTrain, YTrain] makeWindows(data, windowSize) % data: 列向量已歸一化 % windowSize: 輸入窗口長(zhǎng)度 n length(data) - windowSize; XTrain zeros(windowSize, 1, n); % 維度對(duì)齊 conv1d 輸入 YTrain zeros(1, n); for i 1:n XTrain(:, 1, i) data(i : i windowSize - 1); YTrain(i) data(i windowSize); end end邏輯說(shuō)明輸出 XTrain 是 3 維數(shù)組第三維是樣本數(shù)這是 Matlab 時(shí)序網(wǎng)絡(luò)的輸入格式。YTrain 存每個(gè)窗口對(duì)應(yīng)的下一個(gè)真實(shí)值。參數(shù)說(shuō)明windowSize是這套模型最關(guān)鍵的參數(shù)之一。太小比如 5模型看不到一個(gè)完整周期預(yù)測(cè)滯后太大比如 200在樣本少時(shí)直接導(dǎo)致訓(xùn)練樣本不足。經(jīng)驗(yàn)做法是先畫自相關(guān)圖autocorr看序列在第幾個(gè)滯后點(diǎn)相關(guān)性明顯下降窗口取那個(gè)值的 2 到 3 倍。日周期數(shù)據(jù)常見(jiàn) 24 或 48周周期取 168 附近。提示歸一化必須在切窗口之前做且只能用訓(xùn)練段的均值和方差去歸一化驗(yàn)證段和測(cè)試段否則就是典型的數(shù)據(jù)泄漏驗(yàn)證損失會(huì)虛低。3. 在 Matlab 里把 CNN-BiLSTM 跑起來(lái)從數(shù)據(jù)到訓(xùn)練3.1 環(huán)境與數(shù)據(jù)準(zhǔn)備Matlab 做這套模型需要 Deep Learning ToolboxBiLSTM 和 Conv1D 都在里面R2021a 之后的版本支持比較完整。數(shù)據(jù)格式建議統(tǒng)一成列向量或矩陣時(shí)間列單獨(dú)存不要混進(jìn)特征矩陣。拿到一份完整源碼和數(shù)據(jù)后先別急著改網(wǎng)絡(luò)按這個(gè)順序過(guò)一遍第一步加載數(shù)據(jù)并檢查缺失值和異常值。fillmissing做線性插值isoutlier標(biāo)出離群點(diǎn)離群點(diǎn)要么剔除要么截?cái)鄤e直接喂進(jìn)去。第二步劃分訓(xùn)練、驗(yàn)證、測(cè)試。時(shí)間序列不能隨機(jī)打亂必須按時(shí)間順序切常見(jiàn)比例 70/15/15。打亂會(huì)讓模型在訓(xùn)練時(shí)見(jiàn)到「未來(lái)」驗(yàn)證指標(biāo)好看但上線就崩。第三步歸一化。用mapminmax或手動(dòng)(x-mean)/std把訓(xùn)練段統(tǒng)計(jì)量存下來(lái)驗(yàn)證和測(cè)試用同一套。raw readmatrix(your_data.csv); series raw(:, 2); % 假設(shè)第二列是目標(biāo)值 series fillmissing(series, linear); n length(series); trainEnd floor(0.7 * n); valEnd floor(0.85 * n); trainData series(1:trainEnd); valData series(trainEnd1:valEnd); testData series(valEnd1:end); mu mean(trainData); sigma std(trainData); trainData (trainData - mu) / sigma; valData (valData - mu) / sigma; testData (testData - mu) / sigma;邏輯說(shuō)明統(tǒng)計(jì)量只從訓(xùn)練段算這是避免泄漏的核心。后面預(yù)測(cè)結(jié)果要反歸一化回原始量綱用同一組 mu 和 sigma。3.2 訓(xùn)練參數(shù)怎么設(shè)才不白跑網(wǎng)絡(luò)搭好后訓(xùn)練選項(xiàng)用trainingOptions配置。下面是一組在中小規(guī)模時(shí)序數(shù)據(jù)上比較穩(wěn)的起點(diǎn)options trainingOptions(adam, ... MaxEpochs, 100, ... MiniBatchSize, 32, ... InitialLearnRate, 1e-3, ... LearnRateSchedule, piecewise, ... LearnRateDropPeriod, 30, ... LearnRateDropFactor, 0.5, ... ValidationData, {XVal, YVal}, ... ValidationFrequency, 20, ... ValidationPatience, 10, ... Shuffle, never, ... Plots, training-progress, ... Verbose, false);邏輯說(shuō)明Shuffle,never對(duì)時(shí)序很關(guān)鍵打亂樣本會(huì)破壞窗口之間的時(shí)間連續(xù)性雖然單樣本內(nèi)部還有順序但批與批之間的分布會(huì)跳變訓(xùn)練不穩(wěn)定。ValidationPatience設(shè) 10 表示驗(yàn)證損失連續(xù) 10 次不降就早停省得跑滿 100 輪過(guò)擬合。參數(shù)說(shuō)明MiniBatchSize在樣本少于 2000 時(shí)用 16 或 32太大梯度更新次數(shù)少收斂慢。InitialLearnRate從 1e-3 起如果損失一開(kāi)始就震蕩或變 NaN降到 1e-4。LearnRateDropPeriod配合MaxEpochs用一般讓學(xué)習(xí)率在訓(xùn)練中降 2 到 3 次。訓(xùn)練時(shí)盯兩條線訓(xùn)練損失和驗(yàn)證損失。兩者同步下降是正常訓(xùn)練降驗(yàn)證不降甚至上升就是過(guò)擬合加 dropout 或減單元數(shù)兩條都降不下去檢查歸一化和窗口構(gòu)造。3.3 預(yù)測(cè)與反歸一化訓(xùn)練完用predict或forecast拿輸出。注意predict返回的是歸一化空間的預(yù)測(cè)值必須反歸一化才能和原始數(shù)據(jù)比。YPred predict(net, XTest); YPred YPred * sigma mu; % 反歸一化 YTrue YTest * sigma mu; rmse sqrt(mean((YPred - YTrue).^2)); mae mean(abs(YPred - YTrue)); fprintf(RMSE: %.4f MAE: %.4f\n, rmse, mae);邏輯說(shuō)明反歸一化用訓(xùn)練段的 sigma 和 mu不能用測(cè)試段的否則指標(biāo)會(huì)偏樂(lè)觀。RMSE 對(duì)大誤差敏感MAE 更穩(wěn)兩個(gè)一起看。參數(shù)說(shuō)明如果預(yù)測(cè)多步Y(jié)Pred是矩陣每列一個(gè)時(shí)間步反歸一化時(shí) sigma 和 mu 要按對(duì)應(yīng)變量廣播。單變量多步就是同一個(gè)標(biāo)量。4. 避坑與排查這套模型最容易翻車的五個(gè)地方4.1 現(xiàn)象驗(yàn)證損失遠(yuǎn)低于測(cè)試損失原因窗口構(gòu)造時(shí)用了全序列的統(tǒng)計(jì)量做歸一化或者劃分時(shí)把測(cè)試段的信息混進(jìn)了訓(xùn)練。這是最隱蔽的泄漏因?yàn)橛?xùn)練過(guò)程本身看不出異常。解決把歸一化、劃分、窗口構(gòu)造三步的順序固定成「先按時(shí)間切分 → 只用訓(xùn)練段算統(tǒng)計(jì)量 → 各自切窗口」。寫個(gè)檢查腳本打印訓(xùn)練段和測(cè)試段的均值和方差差距過(guò)大就說(shuō)明有問(wèn)題。4.2 現(xiàn)象預(yù)測(cè)曲線整體滯后一個(gè)窗口原因窗口長(zhǎng)度設(shè)得太大模型傾向于用「上一個(gè)值」當(dāng)預(yù)測(cè)值學(xué)成了一個(gè)恒等映射?；蛘邔W(xué)習(xí)率太低模型還沒(méi)學(xué)到趨勢(shì)就早停了。解決先畫自相關(guān)圖確認(rèn)合理窗口再檢查預(yù)測(cè)值和真實(shí)值的散點(diǎn)圖如果點(diǎn)幾乎落在 yx 上就是恒等映射。把窗口縮小或把InitialLearnRate提到 1e-3 以上觀察損失是否繼續(xù)下降。4.3 現(xiàn)象訓(xùn)練損失變 NaN原因?qū)W習(xí)率過(guò)高或者數(shù)據(jù)里有極端離群值沒(méi)處理梯度爆炸。BiLSTM 對(duì)輸入幅度比較敏感。解決先把學(xué)習(xí)率降到 1e-4 重跑同時(shí)用isoutlier檢查并截?cái)嚯x群點(diǎn)。Matlab 里可以加gradientThreshold到 trainingOptions設(shè) 1 或 0.5 做梯度裁剪。4.4 現(xiàn)象BiLSTM 層報(bào)維度錯(cuò)誤原因Conv1D 輸出是[C, T, N]格式通道、時(shí)間、樣本而sequenceInputLayer默認(rèn)是[特征, 時(shí)間, 樣本]。如果卷積層通道數(shù)和輸入特征數(shù)對(duì)不上或者池化后時(shí)間維變成 0就會(huì)報(bào)錯(cuò)。解決逐層打印analyzeNetwork(net)看每層輸出尺寸。池化層不要連續(xù)堆太多序列短的時(shí)候兩次池化就可能把時(shí)間維壓沒(méi)。核寬和步長(zhǎng)要保證floor((T - FilterSize)/Stride) 1大于 0。4.5 現(xiàn)象換一份數(shù)據(jù)后效果斷崖式下降原因網(wǎng)絡(luò)結(jié)構(gòu)和超參是針對(duì)原數(shù)據(jù)調(diào)的換數(shù)據(jù)后周期長(zhǎng)度、噪聲水平、量綱都變了窗口長(zhǎng)度和歸一化方式?jīng)]跟著改。解決把窗口長(zhǎng)度、濾波器數(shù)量、學(xué)習(xí)率當(dāng)成需要重新標(biāo)定的參數(shù)不要直接套。先跑一個(gè)只有 BiLSTM 的基線再加 CNN對(duì)比驗(yàn)證損失確認(rèn) CNN 確實(shí)帶來(lái)增益再保留。5. 進(jìn)階技巧用殘差連接和誤差分析把精度再壓一檔基礎(chǔ)版跑通后想再往上提精度我一般從兩個(gè)方向入手。第一個(gè)是給 CNN 部分加殘差連接。時(shí)序里深層卷積容易把細(xì)節(jié)磨掉殘差把原始輸入直接加到卷積輸出上模型可以選擇性保留高頻信息。Matlab 里用additionLayer實(shí)現(xiàn)% 殘差塊卷積輸出 原始輸入 resBlock [ convolution1dLayer(3, 32, Padding, same) batchNormalizationLayer reluLayer convolution1dLayer(3, 32, Padding, same) batchNormalizationLayer additionLayer(2) % 兩路相加 reluLayer];邏輯說(shuō)明additionLayer(2)需要兩路輸入一路是卷積結(jié)果一路是原始序列。用layerGraph把輸入同時(shí)連到卷積塊和 addition 層。注意兩路的時(shí)間長(zhǎng)度和通道數(shù)必須一致所以第一層卷積的NumFilters要和輸入特征數(shù)相同或者加一個(gè) 1x1 卷積做投影。參數(shù)說(shuō)明殘差塊里的卷積核寬保持 3通道數(shù)不變這樣相加時(shí)維度對(duì)齊。如果輸入是單變量NumFilters設(shè) 1 就退化成恒等沒(méi)意義所以殘差塊一般用在多變量輸入或通道數(shù)已經(jīng)擴(kuò)過(guò)的中間層。第二個(gè)方向是誤差分析驅(qū)動(dòng)調(diào)參。把測(cè)試集預(yù)測(cè)誤差按時(shí)間畫出來(lái)看誤差集中在哪些區(qū)段。如果誤差集中在突變點(diǎn)說(shuō)明模型對(duì)拐點(diǎn)不敏感可以加寬卷積核或增加 BiLSTM 單元如果誤差均勻分布但整體偏大說(shuō)明容量不夠加層或加通道。我習(xí)慣把誤差序列和原始序列疊在一張圖上肉眼找規(guī)律比看指標(biāo)快。驗(yàn)證方法上除了 RMSE 和 MAE建議加一個(gè)方向準(zhǔn)確率預(yù)測(cè)的漲跌方向和真實(shí)一致的比例。對(duì)很多業(yè)務(wù)場(chǎng)景方向比幅度更重要。計(jì)算很簡(jiǎn)單dirAcc mean(sign(diff(YPred)) sign(diff(YTrue))); fprintf(方向準(zhǔn)確率: %.2f%%\n, dirAcc * 100);這個(gè)指標(biāo)在 50% 附近說(shuō)明模型沒(méi)學(xué)到趨勢(shì)60% 以上才有實(shí)用價(jià)值。最后說(shuō)個(gè)血淚經(jīng)驗(yàn)每次改完參數(shù)把配置和對(duì)應(yīng)的驗(yàn)證損失記在一個(gè)表里別靠腦子記。我吃過(guò)虧調(diào)了十幾輪之后忘了哪組最好只能重跑。現(xiàn)在固定用一張 csv 記窗口長(zhǎng)度、濾波器數(shù)、LSTM單元數(shù)、學(xué)習(xí)率、驗(yàn)證RMSE回頭翻一目了然。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取