第一課：先跑通基線，再談加模塊)
很多研究生剛開始接觸深度學(xué)習(xí)模型改進(jìn)時(shí)心態(tài)通常是找一個(gè)高大上的新模塊往網(wǎng)絡(luò)里一插訓(xùn)練一輪指標(biāo)漲了就是創(chuàng)新指標(biāo)沒漲就是模塊不行。說實(shí)話這種方式我見過太多最后的結(jié)果基本都差不多代碼改了一堆實(shí)驗(yàn)做了好幾版導(dǎo)師問“你的改進(jìn)點(diǎn)到底在哪”你說不清楚寫論文的時(shí)候也補(bǔ)不齊消融實(shí)驗(yàn)。這篇內(nèi)容我想按真正能落地的順序把“模型改進(jìn)、創(chuàng)新、添加模塊”這件事拆開講一遍。適合剛?cè)腴T的碩士生也適合正在復(fù)現(xiàn)論文、準(zhǔn)備做自己實(shí)驗(yàn)的本科生和工程師。我的核心觀點(diǎn)是改進(jìn)模型的第一課不是寫模型而是先搞清楚基線、環(huán)境、數(shù)據(jù)、評(píng)價(jià)指標(biāo)和實(shí)驗(yàn)記錄。這些東西沒做好后面所有“加模塊”都只是在自我感動(dòng)。1. 為什么研究生的“模型改進(jìn)”第一課不是改模型先糾正一個(gè)常見誤區(qū)模型改進(jìn)不是“找一個(gè)模塊懟進(jìn)去”這么簡(jiǎn)單。真正有效的改進(jìn)至少包含三層問題定義、模塊設(shè)計(jì)、實(shí)驗(yàn)驗(yàn)證。層與層之間是串行關(guān)系前一層沒做好后面就白做。很多研究生一上來(lái)就急著看論文里最新的注意力機(jī)制、最新的特征融合方式然后往自己的主干網(wǎng)絡(luò)里塞。結(jié)果會(huì)遇到三類典型問題模型能跑但指標(biāo)沒有提升甚至下降。顯存直接爆掉batch size 被調(diào)小最后訓(xùn)練不穩(wěn)定。代碼報(bào)錯(cuò)后無(wú)從下手不知道是自己改錯(cuò)了還是原本就有 bug。這些問題不是模型能力不夠而是前置工作沒做好。你要先確定一個(gè)可復(fù)現(xiàn)的基線再談改進(jìn)。1.1 先搞定環(huán)境、數(shù)據(jù)和基線第一步不是寫模型而是把環(huán)境搭好把數(shù)據(jù)準(zhǔn)備干凈把原始模型跑通。建議按這個(gè)順序來(lái)確定框架版本。PyTorch 和 TensorFlow 都行但作為學(xué)術(shù)改進(jìn)PyTorch 更常見一些。確定 Python 版本。不要用太新的也不要太舊的。一般 PyTorch 官方支持的穩(wěn)定版本區(qū)間內(nèi)選一個(gè)即可。準(zhǔn)備數(shù)據(jù)。無(wú)論你用的是公開數(shù)據(jù)集還是實(shí)驗(yàn)室數(shù)據(jù)至少要保證訓(xùn)練集、驗(yàn)證集、測(cè)試集劃分固定。跑通一個(gè)原始模型。這個(gè)原始模型就是你后面所有改進(jìn)的對(duì)比基準(zhǔn)也叫基線模型。這里有一個(gè)很容易踩的坑很多人直接下載一個(gè) GitHub 項(xiàng)目然后換數(shù)據(jù)、換模塊跑出來(lái)一個(gè)數(shù)字根本不確認(rèn)這個(gè)數(shù)字在原始代碼里是否可復(fù)現(xiàn)。正確做法是先不加任何改動(dòng)用項(xiàng)目自帶配置或者論文里的配置把基線指標(biāo)復(fù)現(xiàn)一次。如果基線都復(fù)現(xiàn)不出來(lái)后面你改完模型得到的任何提升都沒有說服力。1.2 把原模型跑通再談改進(jìn)把原模型跑通意味著你要完整走完四個(gè)環(huán)節(jié)數(shù)據(jù)讀取、前向傳播、反向傳播、驗(yàn)證評(píng)估。你可以先用一條命令跑一個(gè)極小的實(shí)驗(yàn)python train.py --config configs/baseline.yaml --max_epochs 1如果項(xiàng)目沒有這種參數(shù)化配置可以改在代碼里臨時(shí)指定迭代次數(shù)和 batch size。初始目標(biāo)不是訓(xùn)練出一個(gè)好模型而是確認(rèn)數(shù)據(jù)能正常加載沒有路徑亂碼。模型能正常前向沒有維度不匹配。loss 能正常下降而不是直接 nan。驗(yàn)證代碼能輸出指標(biāo)而不是只在訓(xùn)練集上自嗨。我第一次帶著學(xué)弟做實(shí)驗(yàn)時(shí)發(fā)現(xiàn)他把驗(yàn)證集和訓(xùn)練集的目錄寫反了。模型訓(xùn)練時(shí) loss 正常下降驗(yàn)證指標(biāo)也很高但換到真實(shí)測(cè)試數(shù)據(jù)上效果很差。查了三天最后發(fā)現(xiàn)是數(shù)據(jù)劃分的問題。這類問題在你開始“加模塊”之前暴露出來(lái)成本最低。1.3 建立實(shí)驗(yàn)記錄與評(píng)價(jià)指標(biāo)表研究生的實(shí)驗(yàn)記錄不能靠腦子記。需要的表格其實(shí)很簡(jiǎn)單實(shí)驗(yàn)編號(hào)、修改內(nèi)容、數(shù)據(jù)集、輸入尺寸、batch size、epoch、初始學(xué)習(xí)率、優(yōu)化器、最終指標(biāo)、顯存占用、訓(xùn)練時(shí)長(zhǎng)、備注。表格的作用有兩個(gè)一是讓你在投稿或?qū)懻撐臅r(shí)有據(jù)可查二是讓你在調(diào)參時(shí)能快速定位“哪個(gè)改動(dòng)帶來(lái)了提升”。評(píng)價(jià)指標(biāo)也要提前確定。分類任務(wù)看準(zhǔn)確率、精確率、召回率、F1檢測(cè)任務(wù)看 mAP分割任務(wù)看 mIoU。不同任務(wù)指標(biāo)不同但原則一致不要只記錄一個(gè)指標(biāo)。因?yàn)槟慵拥哪K可能提升準(zhǔn)確率、犧牲推理速度也可能提升少數(shù)類別的召回、拉低整體精度。只記一個(gè)數(shù)字很難判斷模塊到底是不是“凈增益”。2. 改進(jìn)模型前先把這些模塊看懂“加模塊”聽起來(lái)很容易但你要加得有理有據(jù)至少要認(rèn)識(shí)主流的模塊類型。下面按深度學(xué)習(xí)模型最常見的組成來(lái)拆開講。2.1 主干網(wǎng)絡(luò)Backbone主干網(wǎng)絡(luò)負(fù)責(zé)從原始輸入中提取特征。常見的有 VGG、ResNet、MobileNet、EfficientNet、ConvNeXt 以及各種基于 Transformer 的 ViT 系列。改進(jìn)主干網(wǎng)絡(luò)的核心思路一般是把普通卷積換成深度可分離卷積減少參數(shù)量。把標(biāo)準(zhǔn)殘差塊換成帶注意力機(jī)制或重參數(shù)化結(jié)構(gòu)的塊。引入多尺度信息讓淺層特征和深層特征能同時(shí)被利用。但要注意主干網(wǎng)絡(luò)改動(dòng)對(duì)訓(xùn)練穩(wěn)定性和預(yù)訓(xùn)練權(quán)重影響很大。如果你要換主干建議優(yōu)先選擇有 ImageNet 預(yù)訓(xùn)練權(quán)重的版本否則從頭訓(xùn)練的網(wǎng)絡(luò)很難收斂。2.2 特征融合模塊Neck / FPN / Transformer Encoder特征融合是目標(biāo)檢測(cè)和分割任務(wù)里的高頻改動(dòng)點(diǎn)。典型模塊是 FPN也就是特征金字塔。它把不同層級(jí)的特征進(jìn)行融合讓淺層位置信息和深層語(yǔ)義信息結(jié)合起來(lái)。常見的“加模塊”操作包括在 FPN 里加注意力模塊。把簡(jiǎn)單的特征相加改成特征拼接再加 1x1 卷積做通道壓縮。引入 PANet 的雙向融合、BiFPN 的加權(quán)融合等。這類模塊改動(dòng)通常不改變主干網(wǎng)絡(luò)所以原有預(yù)訓(xùn)練權(quán)重基本可以繼續(xù)用訓(xùn)練難度相對(duì)低一些。2.3 檢測(cè)頭與損失函數(shù)Head Loss檢測(cè)頭負(fù)責(zé)從特征中預(yù)測(cè)目標(biāo)位置和類別。改進(jìn)檢測(cè)頭的常見方向是設(shè)計(jì)更輕量的解耦頭或者把分類和回歸分支分開得更徹底。損失函數(shù)也值得看。交叉熵、Focal Loss、GIoU Loss、CIoU Loss 在不同任務(wù)上表現(xiàn)差異很大。從“加模塊”的角度看損失函數(shù)不一定算模塊但它和模塊是配套的。比如你給模型加了一個(gè)新的注意力模塊最終生效還要看損失函數(shù)能不能把梯度傳到對(duì)應(yīng)位置。如果損失函數(shù)本身不匹配模塊就白加。2.4 激活函數(shù)與歸一化激活函數(shù)和歸一化層雖然小但影響非常大。常見激活函數(shù)有 ReLU、Leaky ReLU、GELU、SiLU / Swish、Mish 等。常見歸一化有 BatchNorm、LayerNorm、InstanceNorm、GroupNorm。加模塊時(shí)經(jīng)常會(huì)被問到“你用了什么激活函數(shù)”。如果你的模型結(jié)構(gòu)比較深GELU 或 SiLU 往往比 ReLU 更平滑訓(xùn)練也更穩(wěn)定。如果你處理的是小 batch sizeBatchNorm 很容易不穩(wěn)定可以考慮換 LayerNorm 或 GroupNorm。2.5 注意力機(jī)制、可變形卷積、重參數(shù)化這類常見組件“加模塊”最常加的是以下幾類注意力機(jī)制SE、CBAM、ECA、CA、Self-Attention、Swin Transformer 里的 Window Attention?？勺冃尉矸eDeformable Convolution適合幾何形變比較大的目標(biāo)。重參數(shù)化RepVGG 這類結(jié)構(gòu)訓(xùn)練時(shí)用多分支推理時(shí)合并成單分支兼顧訓(xùn)練效果和推理速度。多尺度融合ASPP、PPM、SPP / SPPF適合語(yǔ)義分割和檢測(cè)。這些組件本身都是可復(fù)用的但你必須知道每個(gè)組件的輸入輸出形狀、計(jì)算量、是否改變通道數(shù)、是否影響梯度流動(dòng)。不然加進(jìn)去之后很容易出現(xiàn)維度對(duì)不上、訓(xùn)練速度驟降、loss 不收斂這類問題。3. 手把手演示給分類網(wǎng)絡(luò)添加一個(gè)注意力模塊下面我用一個(gè)非常具體的例子演示如何給一個(gè)卷積分類網(wǎng)絡(luò)添加一個(gè)注意力模塊。操作步驟并不難難的是每一步你都要知道為什么。3.1 場(chǎng)景設(shè)定假設(shè)我們現(xiàn)在用的是 ResNet18處理一個(gè) 10 分類圖像分類任務(wù)。數(shù)據(jù)是 224x224 的 RGB 圖片batch size 是 32。改進(jìn)目標(biāo)是在 ResNet 的 BasicBlock 殘差連接之后加一個(gè)輕量級(jí)的通道注意力模塊。為什么選 BasicBlock 而不是整個(gè) ResNet 的最后一層因?yàn)闅埐顗K是網(wǎng)絡(luò)的基本組成單元加在殘差塊內(nèi)部能讓注意力機(jī)制在每個(gè)階段都發(fā)揮作用。相比只在網(wǎng)絡(luò)最后加一個(gè)注意力模塊這種改法對(duì)特征的影響更全面。3.2 修改模型文件的步驟具體代碼以 PyTorch 為例。你要找到 ResNet 源代碼里的 BasicBlock在殘差分支輸出后面加入一個(gè) SE 模塊。SE 模塊實(shí)現(xiàn)如下import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.squeeze nn.AdaptiveAvgPool2d(1) self.excitation nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.size() y self.squeeze(x).view(b, c) y self.excitation(y).view(b, c, 1, 1) return x * y然后把 BasicBlock 里的 forward 改成def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) # 添加注意力模塊 out self.se(out) return out注意這里我把 SE 加在了殘差相加和 ReLU 之后。有些論文會(huì)選擇加在相加之前效果會(huì)有差異。沒有統(tǒng)一標(biāo)準(zhǔn)你要通過實(shí)驗(yàn)對(duì)比才能確定哪種位置更適合你的任務(wù)。3.3 從論文到代碼的對(duì)應(yīng)很多研究生看論文能看懂公式但一到代碼就不知道實(shí)現(xiàn)哪里。這里給一個(gè)通用方法把論文里的網(wǎng)絡(luò)結(jié)構(gòu)圖畫成數(shù)據(jù)流向圖標(biāo)注每個(gè)步驟的輸出形狀。比如 SE 模塊輸入形狀[B, C, H, W]全局平均池化后[B, C, 1, 1]展平后[B, C]全連接壓縮到 C/r[B, C/r]全連接還原到 C[B, C]Sigmoid 激活[B, C]還原成 [B, C, 1, 1] 與原始特征相乘[B, C, H, W]只要形狀能對(duì)得上代碼就不會(huì)出大問題。3.4 最小改動(dòng)版本如果你嫌改 BasicBlock 的 forward 麻煩也可以直接寫一個(gè)新的 Block。但我覺得對(duì)于初學(xué)者來(lái)說最小改動(dòng)版本更安全。最小改動(dòng)版本的做法是在__init__里定義self.se SEBlock(self.out_channels)。在forward里按住標(biāo)準(zhǔn)殘差連接的方式插入即可。不要在同一個(gè)實(shí)驗(yàn)里同時(shí)改多個(gè)位置。先只在最后一層加看效果再?zèng)Q定要不要每個(gè) BasicBlock 都加。3.5 驗(yàn)證單批次前向、參數(shù)量、輸出形狀改完代碼后不要直接開始訓(xùn)練。先跑一段小腳本import torch from torchvision.models import resnet18 from models.resnet_se import resnet18_se model resnet18_se(num_classes10) x torch.randn(2, 3, 224, 224) y model(x) print(y.shape) total_params sum(p.numel() for p in model.parameters()) trainable_params sum(p.numel() for p in model.parameters() if p.requires_grad) print(fTotal params: {total_params}) print(fTrainable params: {trainable_params})這一步要確認(rèn)三件事前向輸出形狀是不是 [B, num_classes]。模型參數(shù)量相比原始 ResNet18 增加多少。推理不吃力顯存沒有明顯暴漲。如果輸出形狀不對(duì)說明你改動(dòng)的位置破壞了網(wǎng)絡(luò)整體結(jié)構(gòu)。如果參數(shù)量翻了好幾倍說明你的注意力模塊 reduction 設(shè)置得太小。SE 里的 reduction 常見值是 8 或 16越小代表中間層越寬參數(shù)量越大。4. 進(jìn)階改法給檢測(cè) / 分割模型加 Neck 或 Head如果你做的是目標(biāo)檢測(cè)或語(yǔ)義分割光是給分類網(wǎng)絡(luò)加注意力模塊還不夠。你需要改 Neck 或 Head。4.1 明確要改哪個(gè)文件、哪一行檢測(cè)類項(xiàng)目通常有清晰的目錄結(jié)構(gòu)。以 YOLO 系列為例一般有models/存放網(wǎng)絡(luò)結(jié)構(gòu)定義。cfg/存放網(wǎng)絡(luò)配置文件。utils/存放損失計(jì)算、數(shù)據(jù)處理等工具。train.py負(fù)責(zé)訓(xùn)練流程。改動(dòng)前先定位你的目標(biāo)模塊在哪。不要用 CtrlF 滿屏搜索先看網(wǎng)絡(luò)結(jié)構(gòu)配置文件。很多檢測(cè)框架把網(wǎng)絡(luò)寫成字典或列表形式每一層有 type、in_channels、out_channels、args 等字段。你要加模塊找到對(duì)應(yīng)層的位置按格式插入即可。4.2 保持輸入輸出形狀一致加模塊最容易出的問題是通道數(shù)或尺寸不匹配。舉例你在特征金字塔后面加了一個(gè)自注意力模塊它要求輸入特征圖是序列格式 [B, N, C]但你的特征圖是 [B, C, H, W]。如果不做轉(zhuǎn)換代碼直接報(bào)錯(cuò)。通用的解決辦法是在模塊外面做一個(gè)包裝器class SequenceAttention(nn.Module): def __init__(self, dim, num_heads): super().__init__() self.attn nn.MultiheadAttention(dim, num_heads) def forward(self, x): b, c, h, w x.shape x_flat x.flatten(2).permute(2, 0, 1) # [N, B, C] out, _ self.attn(x_flat, x_flat, x_flat) out out.permute(1, 2, 0).view(b, c, h, w) return out你不需要把注意力模塊改得特別花哨只要保證輸入輸出形狀和原特征圖一致訓(xùn)練才不會(huì)崩。4.3 如何加載預(yù)訓(xùn)練權(quán)重后繼續(xù)訓(xùn)練加了模塊之后模型的 state_dict 會(huì)多出新的鍵和原始預(yù)訓(xùn)練權(quán)重不一致。常見做法有兩種只加載能匹配的權(quán)重新模塊隨機(jī)初始化。凍結(jié)主干網(wǎng)絡(luò)前幾層只訓(xùn)練新模塊和后層。第二種方式更適合小數(shù)據(jù)集。因?yàn)樾履K隨機(jī)初始化如果一開始就用大學(xué)習(xí)率訓(xùn)練很容易把原有特征破壞掉。建議前幾個(gè) epoch 用較小學(xué)習(xí)率或者先把主干凍結(jié)住只訓(xùn)練新增模塊。代碼上可以用pretrained_dict torch.load(resnet18.pth) model_dict model.state_dict() pretrained_dict {k: v for k, v in pretrained_dict.items() if k in model_dict and model_dict[k].shape v.shape} model_dict.update(pretrained_dict) model.load_state_dict(model_dict)這個(gè)寫法能兼容大部分情況。實(shí)際項(xiàng)目中如果新增模塊名字和原始模塊別名不一致還需要手動(dòng)映射鍵名。4.4 當(dāng)你發(fā)現(xiàn)訓(xùn)練 loss 不降時(shí)先查什么加了模塊后 loss 不降不要慌。按順序排查看 loss 初始值是不是明顯不合理。如果一開始就 nan大概率是學(xué)習(xí)率太大或輸入數(shù)據(jù)有問題?？葱履K輸出是否過小或過大。可以在模塊后打印均值、方差。看主干是否被凍住了。如果凍結(jié)了主干但新模塊很淺可能學(xué)不到足夠特征?？?loss 曲線是震蕩不降還是完全不變。震蕩可以調(diào)低學(xué)習(xí)率完全不變可能是梯度沒傳到新模塊。有一個(gè)經(jīng)驗(yàn)新模塊加進(jìn)去之后如果 loss 比基線降得更慢不一定是“沒用”也可能是你學(xué)習(xí)率沒有重新調(diào)。模塊變深之后梯度流路徑變長(zhǎng)原來(lái)的學(xué)習(xí)率可能偏大或偏小都需要重新試。5. 研究生最容易踩的坑改一堆模塊實(shí)驗(yàn)卻無(wú)效下面這五個(gè)坑是我在帶學(xué)生和復(fù)現(xiàn)論文過程中反復(fù)遇到的。5.1 沒有基線沒有基線你的所有改進(jìn)都沒有參照物。哪怕你最后指標(biāo)是 90%你也說不清楚原始模型是不是 89%你的貢獻(xiàn)到底是什么。有同學(xué)會(huì)問原始模型只有 88%我改完是 90%這不就是提升了 2% 嗎問題是這 2% 到底是模塊帶來(lái)的還是因?yàn)槟阌?xùn)練隨機(jī)性更大、數(shù)據(jù)增強(qiáng)更強(qiáng)、訓(xùn)練輪次更多沒有控制變量結(jié)論不成立。5.2 參數(shù)對(duì)不齊、隨機(jī)種子不固定深度學(xué)習(xí)訓(xùn)練有隨機(jī)性同樣的代碼跑兩次指標(biāo)都可能差 0.3% 到 0.5%。如果你改模塊前后沒有固定隨機(jī)種子那么哪怕模塊沒用也可能因?yàn)殡S機(jī)種子不同導(dǎo)致指標(biāo)上漲給你虛假信心。建議在訓(xùn)練腳本里設(shè)置統(tǒng)一隨機(jī)種子import random import numpy as np import torch def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)然后每個(gè)實(shí)驗(yàn)都記錄使用的種子值。5.3 訓(xùn)練不充分就下結(jié)論我見過很多同學(xué)訓(xùn)練 20 個(gè) epoch看到驗(yàn)證集指標(biāo)沒提升立刻覺得自己的模塊沒用。但很多時(shí)候改進(jìn)模塊需要更長(zhǎng)時(shí)間才能體現(xiàn)優(yōu)勢(shì)尤其是注意力機(jī)制前期可能先帶來(lái)波動(dòng)后期才穩(wěn)定提升。判斷標(biāo)準(zhǔn)應(yīng)該是基線模型和你改進(jìn)后的模型使用完全相同的訓(xùn)練配置訓(xùn)練相同的輪次然后對(duì)比。如果改進(jìn)后模型需要更多輪次才能超過基線也是一種結(jié)果但你要寫清楚訓(xùn)練成本。5.4 改多個(gè)變量導(dǎo)致無(wú)法歸因這是最致命的問題。你既換了主干網(wǎng)絡(luò)又加了注意力模塊還改了損失函數(shù)然后指標(biāo)提升了。請(qǐng)問到底是哪個(gè)改動(dòng)起到了決定性作用如果指標(biāo)下降了你也不知道該回滾哪個(gè)改動(dòng)。正確的做法是每次只改一個(gè)變量。示例第一次實(shí)驗(yàn)原始模型完整訓(xùn)練得到基線。第二次實(shí)驗(yàn)原始模型 SE 注意力其他一切不變。第三次實(shí)驗(yàn)原始模型 CBAM 注意力。第四次實(shí)驗(yàn)原始模型 SE 修改后的損失函數(shù)。這樣你才能知道每個(gè)模塊獨(dú)立貢獻(xiàn)了多少。5.5 顯存和 batch size 不一致導(dǎo)致比較不公平加了模塊后顯存占用變高于是你把 batch size 從 32 改到 16。最后發(fā)現(xiàn)指標(biāo)下降了。你可能會(huì)認(rèn)為是模塊沒用但實(shí)際是 batch size 變了影響了 BatchNorm 的統(tǒng)計(jì)特性和訓(xùn)練穩(wěn)定性。為了避免這種情況比較時(shí)盡量保持 batch size 一致。如果顯存不夠可以降低輸入分辨率。使用梯度累積。減少訓(xùn)練圖像的裁剪尺度。不要為了塞進(jìn)新模塊而隨意縮小 batch size這會(huì)引入額外的變量。6. 從“會(huì)加模塊”到“能發(fā)論文”的四步走如果你已經(jīng)不滿足于“跑通 提點(diǎn)”而是想做出真正能發(fā)論文的工作可以參考下面四步。6.1 第一步復(fù)現(xiàn)一篇論文跑出基線選一篇近期、方法不復(fù)雜、數(shù)據(jù)公開的論文。先別管創(chuàng)新按照原文設(shè)置復(fù)現(xiàn)一次拿到一個(gè)穩(wěn)定基線。這一步的價(jià)值是讓你知道一篇論文從方法到代碼的距離有多遠(yuǎn)也讓你積累一整套實(shí)驗(yàn)工具。很多論文在 GitHub 上都有官方實(shí)現(xiàn)但官方實(shí)現(xiàn)有時(shí)不能在別的數(shù)據(jù)上直接用。你復(fù)現(xiàn)的過程其實(shí)是一次“環(huán)境適配 模型結(jié)構(gòu)理解”的訓(xùn)練。6.2 第二步找到現(xiàn)有模型的一個(gè)具體瓶頸改進(jìn)模型最可靠的方向不是憑空造一個(gè)新模塊而是找到當(dāng)前方案在具體任務(wù)上的短板。比如小目標(biāo)檢測(cè)效果差可能是淺層特征利用不夠。遮擋場(chǎng)景識(shí)別差可能要引入上下文信息。分割邊界粗糙可能是損失函數(shù)過于關(guān)注整體區(qū)域。推理速度太慢可能是模型結(jié)構(gòu)過度復(fù)雜。找到瓶頸之后再想模塊怎么設(shè)計(jì)。這樣寫論文時(shí)Intro 和 Related Work 才有邏輯我先看到什么問題再針對(duì)問題設(shè)計(jì)了什么模塊。6.3 第三步設(shè)計(jì)可解釋的小改動(dòng)新模塊不一定非要特別復(fù)雜。審稿人最怕的是復(fù)雜到很難復(fù)現(xiàn)或者改動(dòng)多個(gè)點(diǎn)卻說不清哪個(gè)有用。一個(gè)合理的改動(dòng)通常是這樣的針對(duì)現(xiàn)有模塊的某個(gè)特定局限。改動(dòng)幅度小代碼量不大。有清晰的可視化或數(shù)學(xué)解釋。能通過消融實(shí)驗(yàn)證明每個(gè)組件都必要。比如你發(fā)現(xiàn)原模型的通道注意力只用了全局平均池化丟失了空間細(xì)節(jié)你可以加入全局標(biāo)準(zhǔn)差池化把兩種統(tǒng)計(jì)量拼接起來(lái)。這個(gè)改動(dòng)很小但解釋起來(lái)很清楚我們同時(shí)建模了通道均值和離散程度讓注意力更關(guān)注判別性區(qū)域。6.4 第四步做消融實(shí)驗(yàn)與可視化消融實(shí)驗(yàn)是論文里最關(guān)鍵的實(shí)驗(yàn)設(shè)計(jì)。所謂消融就是把你新增模塊中的每個(gè)組件依次拿掉看看效果變化。舉個(gè)具體例子你提出了一個(gè)模塊包含三個(gè)設(shè)計(jì)點(diǎn)坐標(biāo)注意力。多尺度卷積。重參數(shù)化結(jié)構(gòu)。你要做的實(shí)驗(yàn)至少包括基線模型?；€ 坐標(biāo)注意力。基線 多尺度卷積?；€ 重參數(shù)化結(jié)構(gòu)。基線 全部三個(gè)設(shè)計(jì)點(diǎn)。同時(shí)最好加上可視化分析。分類任務(wù)可以畫 Grad-CAM 熱力圖檢測(cè)任務(wù)可以畫特征圖響應(yīng)分割任務(wù)可以畫預(yù)測(cè)掩碼對(duì)比?？梢暬苤庇^展示模塊帶來(lái)的改變也讓審稿人更容易接受你的貢獻(xiàn)。6.5 常見反饋和修改思路論文投稿后常見意見包括創(chuàng)新點(diǎn)不夠清晰。這時(shí)要把問題定義和模塊設(shè)計(jì)的關(guān)系再突出最好在引言里加一個(gè)問題示意圖。實(shí)驗(yàn)對(duì)比不充分。需要補(bǔ)更多同類型模塊的對(duì)比比如你已經(jīng)加了 SE就最好和 CBAM、ECA、CA 對(duì)比?？蓮?fù)現(xiàn)性不足。要公開代碼、隨機(jī)種子、超參數(shù)配置。計(jì)算量分析缺失。要補(bǔ)充 FLOPs、參數(shù)量、推理延遲的對(duì)比表格。這些反饋其實(shí)都指向同一個(gè)問題你不僅要會(huì)改模型還要會(huì)從工程和實(shí)驗(yàn)設(shè)計(jì)兩個(gè)維度證明改動(dòng)的價(jià)值。7. 環(huán)境配置、依賴報(bào)錯(cuò)和“本地能跑”問題模型改進(jìn)這件事很多時(shí)候卡在最基礎(chǔ)的環(huán)境層。越早把環(huán)境整理干凈后面就越省心。7.1 環(huán)境先裝一個(gè)能跑的深度學(xué)習(xí)框架我建議研究生統(tǒng)一用 conda 管理環(huán)境一方面是環(huán)境隔離另一方面是方便復(fù)現(xiàn)?；A(chǔ)環(huán)境可以這樣建conda create -n dl python3.9 conda activate dl pip install torch torchvision pip install numpy pandas matplotlib scikit-learn tqdm tensorboard如果你做的是目標(biāo)檢測(cè)或分割大概率還需要安裝一些額外依賴比如 pyyaml、opencv-python、thop、einops。不同的項(xiàng)目依賴不同不要看到一個(gè)項(xiàng)目要求裝什么你就裝一堆最好先用 requirements.txt 安裝pip install -r requirements.txt如果該項(xiàng)目沒有 requirements.txt你可以在跑項(xiàng)目前用pipreqs生成一個(gè)但生成的依賴不一定完整最終還是要以實(shí)際運(yùn)行報(bào)錯(cuò)為準(zhǔn)。7.2 依賴版本對(duì)應(yīng)關(guān)系深度學(xué)習(xí)項(xiàng)目最怕的是 PyTorch 和 CUDA 版本不對(duì)應(yīng)。你需要知道自己的顯卡驅(qū)動(dòng)能支持哪個(gè) CUDA 版本。PyTorch 的安裝命令里指定了哪個(gè) CUDA 版本。項(xiàng)目里有沒有用到需要特定版本才能編譯的擴(kuò)展模塊。最常見的問題是RuntimeError: CUDNN_STATUS_NOT_INITIALIZED這個(gè)報(bào)錯(cuò)可能由很多原因?qū)е伦畛Ｒ姷氖秋@存不足、CUDA 版本和 cuDNN 版本不匹配、多進(jìn)程初始化問題。遇到時(shí)先不要改代碼先查顯存占用再查nvidia-smi和 PyTorch 的 CUDA 版本。7.3 報(bào)錯(cuò)處理順序一個(gè)通用順序是先看完整報(bào)錯(cuò)棧定位到項(xiàng)目代碼里的哪一行再檢查這行涉及的數(shù)據(jù)形狀、設(shè)備、類型然后再考慮依賴問題。不要一上來(lái)就重新安裝 PyTorch。很多報(bào)錯(cuò)只是輸入維度不對(duì)或類型不對(duì)。比如你把 torch.Tensor 傳給了 numpy 函數(shù)或者把 CUDA tensor 和 CPU tensor 做了運(yùn)算這些都會(huì)報(bào)錯(cuò)但都不是安裝問題。報(bào)錯(cuò)信息是最直接的第一現(xiàn)場(chǎng)。先自己讀兩遍再?gòu)?fù)制關(guān)鍵詞搜索不要直接把整屏報(bào)錯(cuò)丟到群里。7.4 內(nèi)存、顯存、磁盤、日志本地跑深度學(xué)習(xí)實(shí)驗(yàn)除了看報(bào)錯(cuò)還要關(guān)注資源占用。顯存用nvidia-smi查看顯存剩余。如果爆顯存優(yōu)先減小 batch size、降低分辨率或者使用梯度累積。內(nèi)存數(shù)據(jù)增強(qiáng)時(shí)可能大量復(fù)制數(shù)據(jù)內(nèi)存不足容易導(dǎo)致進(jìn)程直接被殺。可以在 dataset 里減少預(yù)加載或者用num_workers調(diào)低一點(diǎn)。磁盤訓(xùn)練日志、checkpoint、tensorboard 都很占空間。建議把輸出目錄固定定期清理舊模型。日志不要只保存模型不保存曲線。用 tensorboard 或 wandb 記錄 loss、學(xué)習(xí)率、準(zhǔn)確率等方便復(fù)盤。7.5 如果沒有 GPU 怎么跑如果你只有 CPU還是可以跑模型改進(jìn)相關(guān)的基礎(chǔ)實(shí)驗(yàn)但要注意三點(diǎn)模型盡量小ResNet18、MobileNet 這類輕量網(wǎng)絡(luò)可以跑ResNet50 也能跑但速度慢。數(shù)據(jù)集先抽樣比如一開始只用 10% 訓(xùn)練集驗(yàn)證代碼邏輯。不要直接開大步數(shù)訓(xùn)練。先用 1 個(gè) epoch 驗(yàn)證流程未來(lái)有 GPU 后再跑完整實(shí)驗(yàn)。模型改進(jìn)的本質(zhì)是實(shí)驗(yàn)科學(xué)你的代碼邏輯和實(shí)驗(yàn)設(shè)計(jì)在 CPU 上就能驗(yàn)證大半。唯一的問題是訓(xùn)練時(shí)間太長(zhǎng)不適合做大規(guī)模調(diào)參。8. 總結(jié)和留給你的行動(dòng)清單這篇文章寫下來(lái)核心思路其實(shí)就一句話模型改進(jìn)不是“加模塊”這個(gè)動(dòng)作本身而是圍繞“問題定位、模塊設(shè)計(jì)、實(shí)驗(yàn)驗(yàn)證”的一整套流程。能不能提分不完全取決于模塊有多新更取決于你在什么背景下加的模塊、怎么控制變量、怎么判斷結(jié)果。如果你現(xiàn)在正準(zhǔn)備開始做模型改進(jìn)我建議你按下面的行動(dòng)清單走先把環(huán)境搭好確認(rèn) PyTorch 和 CUDA 版本。下載一個(gè)帶預(yù)訓(xùn)練權(quán)重的標(biāo)準(zhǔn)模型比如 ResNet18 或 ResNet50跑通分類任務(wù)。固定隨機(jī)種子完整訓(xùn)練一次記錄基線指標(biāo)、顯存占用和訓(xùn)練時(shí)長(zhǎng)。選擇一個(gè)小而輕的模塊比如 SE 或 ECA加到網(wǎng)絡(luò)的指定位置。單批次前向驗(yàn)證確認(rèn)形狀和參數(shù)量變化。用和基線完全相同的配置訓(xùn)練對(duì)比指標(biāo)。如果指標(biāo)提升繼續(xù)做補(bǔ)充實(shí)驗(yàn)和可視化如果沒有提升先檢查訓(xùn)練是否充分、參數(shù)是否需要重調(diào)。每次只改一個(gè)變量記錄到實(shí)驗(yàn)表格里。深度學(xué)習(xí)領(lǐng)域里真正扎實(shí)的“創(chuàng)新”往往不是靈光一現(xiàn)而是把現(xiàn)有模塊用新的方式組合、改進(jìn)并驗(yàn)證。你不需要一開始就搞一個(gè)完全沒見過的模塊先把基本功練扎實(shí)把模塊和實(shí)驗(yàn)設(shè)計(jì)理解透后面自然會(huì)找到屬于自己的改進(jìn)點(diǎn)。如果這篇文章能幫你少走一點(diǎn)彎路那這次整理就是值得的。接下來(lái)打開你的代碼環(huán)境先把基線跑起來(lái)再說。 研究生模型改進(jìn)第一課：先跑通基線，再談加模塊
很多研究生剛開始接觸深度學(xué)習(xí)模型改進(jìn)時(shí)心態(tài)通常是找一個(gè)高大上的新模塊往網(wǎng)絡(luò)里一插訓(xùn)練一輪指標(biāo)漲了就是創(chuàng)新指標(biāo)沒漲就是模塊不行。說實(shí)話這種方式我見過太多最后的結(jié)果基本都差不多代碼改了一堆實(shí)驗(yàn)做了好幾版導(dǎo)師問“你的改進(jìn)點(diǎn)到底在哪”你說不清楚寫論文的時(shí)候也補(bǔ)不齊消融實(shí)驗(yàn)。這篇內(nèi)容我想按真正能落地的順序把“模型改進(jìn)、創(chuàng)新、添加模塊”這件事拆開講一遍。適合剛?cè)腴T的碩士生也適合正在復(fù)現(xiàn)論文、準(zhǔn)備做自己實(shí)驗(yàn)的本科生和工程師。我的核心觀點(diǎn)是改進(jìn)模型的第一課不是寫模型而是先搞清楚基線、環(huán)境、數(shù)據(jù)、評(píng)價(jià)指標(biāo)和實(shí)驗(yàn)記錄。這些東西沒做好后面所有“加模塊”都只是在自我感動(dòng)。1. 為什么研究生的“模型改進(jìn)”第一課不是改模型先糾正一個(gè)常見誤區(qū)模型改進(jìn)不是“找一個(gè)模塊懟進(jìn)去”這么簡(jiǎn)單。真正有效的改進(jìn)至少包含三層問題定義、模塊設(shè)計(jì)、實(shí)驗(yàn)驗(yàn)證。層與層之間是串行關(guān)系前一層沒做好后面就白做。很多研究生一上來(lái)就急著看論文里最新的注意力機(jī)制、最新的特征融合方式然后往自己的主干網(wǎng)絡(luò)里塞。結(jié)果會(huì)遇到三類典型問題模型能跑但指標(biāo)沒有提升甚至下降。顯存直接爆掉batch size 被調(diào)小最后訓(xùn)練不穩(wěn)定。代碼報(bào)錯(cuò)后無(wú)從下手不知道是自己改錯(cuò)了還是原本就有 bug。這些問題不是模型能力不夠而是前置工作沒做好。你要先確定一個(gè)可復(fù)現(xiàn)的基線再談改進(jìn)。1.1 先搞定環(huán)境、數(shù)據(jù)和基線第一步不是寫模型而是把環(huán)境搭好把數(shù)據(jù)準(zhǔn)備干凈把原始模型跑通。建議按這個(gè)順序來(lái)確定框架版本。PyTorch 和 TensorFlow 都行但作為學(xué)術(shù)改進(jìn)PyTorch 更常見一些。確定 Python 版本。不要用太新的也不要太舊的。一般 PyTorch 官方支持的穩(wěn)定版本區(qū)間內(nèi)選一個(gè)即可。準(zhǔn)備數(shù)據(jù)。無(wú)論你用的是公開數(shù)據(jù)集還是實(shí)驗(yàn)室數(shù)據(jù)至少要保證訓(xùn)練集、驗(yàn)證集、測(cè)試集劃分固定。跑通一個(gè)原始模型。這個(gè)原始模型就是你后面所有改進(jìn)的對(duì)比基準(zhǔn)也叫基線模型。這里有一個(gè)很容易踩的坑很多人直接下載一個(gè) GitHub 項(xiàng)目然后換數(shù)據(jù)、換模塊跑出來(lái)一個(gè)數(shù)字根本不確認(rèn)這個(gè)數(shù)字在原始代碼里是否可復(fù)現(xiàn)。正確做法是先不加任何改動(dòng)用項(xiàng)目自帶配置或者論文里的配置把基線指標(biāo)復(fù)現(xiàn)一次。如果基線都復(fù)現(xiàn)不出來(lái)后面你改完模型得到的任何提升都沒有說服力。1.2 把原模型跑通再談改進(jìn)把原模型跑通意味著你要完整走完四個(gè)環(huán)節(jié)數(shù)據(jù)讀取、前向傳播、反向傳播、驗(yàn)證評(píng)估。你可以先用一條命令跑一個(gè)極小的實(shí)驗(yàn)python train.py --config configs/baseline.yaml --max_epochs 1如果項(xiàng)目沒有這種參數(shù)化配置可以改在代碼里臨時(shí)指定迭代次數(shù)和 batch size。初始目標(biāo)不是訓(xùn)練出一個(gè)好模型而是確認(rèn)數(shù)據(jù)能正常加載沒有路徑亂碼。模型能正常前向沒有維度不匹配。loss 能正常下降而不是直接 nan。驗(yàn)證代碼能輸出指標(biāo)而不是只在訓(xùn)練集上自嗨。我第一次帶著學(xué)弟做實(shí)驗(yàn)時(shí)發(fā)現(xiàn)他把驗(yàn)證集和訓(xùn)練集的目錄寫反了。模型訓(xùn)練時(shí) loss 正常下降驗(yàn)證指標(biāo)也很高但換到真實(shí)測(cè)試數(shù)據(jù)上效果很差。查了三天最后發(fā)現(xiàn)是數(shù)據(jù)劃分的問題。這類問題在你開始“加模塊”之前暴露出來(lái)成本最低。1.3 建立實(shí)驗(yàn)記錄與評(píng)價(jià)指標(biāo)表研究生的實(shí)驗(yàn)記錄不能靠腦子記。需要的表格其實(shí)很簡(jiǎn)單實(shí)驗(yàn)編號(hào)、修改內(nèi)容、數(shù)據(jù)集、輸入尺寸、batch size、epoch、初始學(xué)習(xí)率、優(yōu)化器、最終指標(biāo)、顯存占用、訓(xùn)練時(shí)長(zhǎng)、備注。表格的作用有兩個(gè)一是讓你在投稿或?qū)懻撐臅r(shí)有據(jù)可查二是讓你在調(diào)參時(shí)能快速定位“哪個(gè)改動(dòng)帶來(lái)了提升”。評(píng)價(jià)指標(biāo)也要提前確定。分類任務(wù)看準(zhǔn)確率、精確率、召回率、F1檢測(cè)任務(wù)看 mAP分割任務(wù)看 mIoU。不同任務(wù)指標(biāo)不同但原則一致不要只記錄一個(gè)指標(biāo)。因?yàn)槟慵拥哪K可能提升準(zhǔn)確率、犧牲推理速度也可能提升少數(shù)類別的召回、拉低整體精度。只記一個(gè)數(shù)字很難判斷模塊到底是不是“凈增益”。2. 改進(jìn)模型前先把這些模塊看懂“加模塊”聽起來(lái)很容易但你要加得有理有據(jù)至少要認(rèn)識(shí)主流的模塊類型。下面按深度學(xué)習(xí)模型最常見的組成來(lái)拆開講。2.1 主干網(wǎng)絡(luò)Backbone主干網(wǎng)絡(luò)負(fù)責(zé)從原始輸入中提取特征。常見的有 VGG、ResNet、MobileNet、EfficientNet、ConvNeXt 以及各種基于 Transformer 的 ViT 系列。改進(jìn)主干網(wǎng)絡(luò)的核心思路一般是把普通卷積換成深度可分離卷積減少參數(shù)量。把標(biāo)準(zhǔn)殘差塊換成帶注意力機(jī)制或重參數(shù)化結(jié)構(gòu)的塊。引入多尺度信息讓淺層特征和深層特征能同時(shí)被利用。但要注意主干網(wǎng)絡(luò)改動(dòng)對(duì)訓(xùn)練穩(wěn)定性和預(yù)訓(xùn)練權(quán)重影響很大。如果你要換主干建議優(yōu)先選擇有 ImageNet 預(yù)訓(xùn)練權(quán)重的版本否則從頭訓(xùn)練的網(wǎng)絡(luò)很難收斂。2.2 特征融合模塊Neck / FPN / Transformer Encoder特征融合是目標(biāo)檢測(cè)和分割任務(wù)里的高頻改動(dòng)點(diǎn)。典型模塊是 FPN也就是特征金字塔。它把不同層級(jí)的特征進(jìn)行融合讓淺層位置信息和深層語(yǔ)義信息結(jié)合起來(lái)。常見的“加模塊”操作包括在 FPN 里加注意力模塊。把簡(jiǎn)單的特征相加改成特征拼接再加 1x1 卷積做通道壓縮。引入 PANet 的雙向融合、BiFPN 的加權(quán)融合等。這類模塊改動(dòng)通常不改變主干網(wǎng)絡(luò)所以原有預(yù)訓(xùn)練權(quán)重基本可以繼續(xù)用訓(xùn)練難度相對(duì)低一些。2.3 檢測(cè)頭與損失函數(shù)Head Loss檢測(cè)頭負(fù)責(zé)從特征中預(yù)測(cè)目標(biāo)位置和類別。改進(jìn)檢測(cè)頭的常見方向是設(shè)計(jì)更輕量的解耦頭或者把分類和回歸分支分開得更徹底。損失函數(shù)也值得看。交叉熵、Focal Loss、GIoU Loss、CIoU Loss 在不同任務(wù)上表現(xiàn)差異很大。從“加模塊”的角度看損失函數(shù)不一定算模塊但它和模塊是配套的。比如你給模型加了一個(gè)新的注意力模塊最終生效還要看損失函數(shù)能不能把梯度傳到對(duì)應(yīng)位置。如果損失函數(shù)本身不匹配模塊就白加。2.4 激活函數(shù)與歸一化激活函數(shù)和歸一化層雖然小但影響非常大。常見激活函數(shù)有 ReLU、Leaky ReLU、GELU、SiLU / Swish、Mish 等。常見歸一化有 BatchNorm、LayerNorm、InstanceNorm、GroupNorm。加模塊時(shí)經(jīng)常會(huì)被問到“你用了什么激活函數(shù)”。如果你的模型結(jié)構(gòu)比較深GELU 或 SiLU 往往比 ReLU 更平滑訓(xùn)練也更穩(wěn)定。如果你處理的是小 batch sizeBatchNorm 很容易不穩(wěn)定可以考慮換 LayerNorm 或 GroupNorm。2.5 注意力機(jī)制、可變形卷積、重參數(shù)化這類常見組件“加模塊”最常加的是以下幾類注意力機(jī)制SE、CBAM、ECA、CA、Self-Attention、Swin Transformer 里的 Window Attention?？勺冃尉矸eDeformable Convolution適合幾何形變比較大的目標(biāo)。重參數(shù)化RepVGG 這類結(jié)構(gòu)訓(xùn)練時(shí)用多分支推理時(shí)合并成單分支兼顧訓(xùn)練效果和推理速度。多尺度融合ASPP、PPM、SPP / SPPF適合語(yǔ)義分割和檢測(cè)。這些組件本身都是可復(fù)用的但你必須知道每個(gè)組件的輸入輸出形狀、計(jì)算量、是否改變通道數(shù)、是否影響梯度流動(dòng)。不然加進(jìn)去之后很容易出現(xiàn)維度對(duì)不上、訓(xùn)練速度驟降、loss 不收斂這類問題。3. 手把手演示給分類網(wǎng)絡(luò)添加一個(gè)注意力模塊下面我用一個(gè)非常具體的例子演示如何給一個(gè)卷積分類網(wǎng)絡(luò)添加一個(gè)注意力模塊。操作步驟并不難難的是每一步你都要知道為什么。3.1 場(chǎng)景設(shè)定假設(shè)我們現(xiàn)在用的是 ResNet18處理一個(gè) 10 分類圖像分類任務(wù)。數(shù)據(jù)是 224x224 的 RGB 圖片batch size 是 32。改進(jìn)目標(biāo)是在 ResNet 的 BasicBlock 殘差連接之后加一個(gè)輕量級(jí)的通道注意力模塊。為什么選 BasicBlock 而不是整個(gè) ResNet 的最后一層因?yàn)闅埐顗K是網(wǎng)絡(luò)的基本組成單元加在殘差塊內(nèi)部能讓注意力機(jī)制在每個(gè)階段都發(fā)揮作用。相比只在網(wǎng)絡(luò)最后加一個(gè)注意力模塊這種改法對(duì)特征的影響更全面。3.2 修改模型文件的步驟具體代碼以 PyTorch 為例。你要找到 ResNet 源代碼里的 BasicBlock在殘差分支輸出后面加入一個(gè) SE 模塊。SE 模塊實(shí)現(xiàn)如下import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.squeeze nn.AdaptiveAvgPool2d(1) self.excitation nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.size() y self.squeeze(x).view(b, c) y self.excitation(y).view(b, c, 1, 1) return x * y然后把 BasicBlock 里的 forward 改成def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) # 添加注意力模塊 out self.se(out) return out注意這里我把 SE 加在了殘差相加和 ReLU 之后。有些論文會(huì)選擇加在相加之前效果會(huì)有差異。沒有統(tǒng)一標(biāo)準(zhǔn)你要通過實(shí)驗(yàn)對(duì)比才能確定哪種位置更適合你的任務(wù)。3.3 從論文到代碼的對(duì)應(yīng)很多研究生看論文能看懂公式但一到代碼就不知道實(shí)現(xiàn)哪里。這里給一個(gè)通用方法把論文里的網(wǎng)絡(luò)結(jié)構(gòu)圖畫成數(shù)據(jù)流向圖標(biāo)注每個(gè)步驟的輸出形狀。比如 SE 模塊輸入形狀[B, C, H, W]全局平均池化后[B, C, 1, 1]展平后[B, C]全連接壓縮到 C/r[B, C/r]全連接還原到 C[B, C]Sigmoid 激活[B, C]還原成 [B, C, 1, 1] 與原始特征相乘[B, C, H, W]只要形狀能對(duì)得上代碼就不會(huì)出大問題。3.4 最小改動(dòng)版本如果你嫌改 BasicBlock 的 forward 麻煩也可以直接寫一個(gè)新的 Block。但我覺得對(duì)于初學(xué)者來(lái)說最小改動(dòng)版本更安全。最小改動(dòng)版本的做法是在__init__里定義self.se SEBlock(self.out_channels)。在forward里按住標(biāo)準(zhǔn)殘差連接的方式插入即可。不要在同一個(gè)實(shí)驗(yàn)里同時(shí)改多個(gè)位置。先只在最后一層加看效果再?zèng)Q定要不要每個(gè) BasicBlock 都加。3.5 驗(yàn)證單批次前向、參數(shù)量、輸出形狀改完代碼后不要直接開始訓(xùn)練。先跑一段小腳本import torch from torchvision.models import resnet18 from models.resnet_se import resnet18_se model resnet18_se(num_classes10) x torch.randn(2, 3, 224, 224) y model(x) print(y.shape) total_params sum(p.numel() for p in model.parameters()) trainable_params sum(p.numel() for p in model.parameters() if p.requires_grad) print(fTotal params: {total_params}) print(fTrainable params: {trainable_params})這一步要確認(rèn)三件事前向輸出形狀是不是 [B, num_classes]。模型參數(shù)量相比原始 ResNet18 增加多少。推理不吃力顯存沒有明顯暴漲。如果輸出形狀不對(duì)說明你改動(dòng)的位置破壞了網(wǎng)絡(luò)整體結(jié)構(gòu)。如果參數(shù)量翻了好幾倍說明你的注意力模塊 reduction 設(shè)置得太小。SE 里的 reduction 常見值是 8 或 16越小代表中間層越寬參數(shù)量越大。4. 進(jìn)階改法給檢測(cè) / 分割模型加 Neck 或 Head如果你做的是目標(biāo)檢測(cè)或語(yǔ)義分割光是給分類網(wǎng)絡(luò)加注意力模塊還不夠。你需要改 Neck 或 Head。4.1 明確要改哪個(gè)文件、哪一行檢測(cè)類項(xiàng)目通常有清晰的目錄結(jié)構(gòu)。以 YOLO 系列為例一般有models/存放網(wǎng)絡(luò)結(jié)構(gòu)定義。cfg/存放網(wǎng)絡(luò)配置文件。utils/存放損失計(jì)算、數(shù)據(jù)處理等工具。train.py負(fù)責(zé)訓(xùn)練流程。改動(dòng)前先定位你的目標(biāo)模塊在哪。不要用 CtrlF 滿屏搜索先看網(wǎng)絡(luò)結(jié)構(gòu)配置文件。很多檢測(cè)框架把網(wǎng)絡(luò)寫成字典或列表形式每一層有 type、in_channels、out_channels、args 等字段。你要加模塊找到對(duì)應(yīng)層的位置按格式插入即可。4.2 保持輸入輸出形狀一致加模塊最容易出的問題是通道數(shù)或尺寸不匹配。舉例你在特征金字塔后面加了一個(gè)自注意力模塊它要求輸入特征圖是序列格式 [B, N, C]但你的特征圖是 [B, C, H, W]。如果不做轉(zhuǎn)換代碼直接報(bào)錯(cuò)。通用的解決辦法是在模塊外面做一個(gè)包裝器class SequenceAttention(nn.Module): def __init__(self, dim, num_heads): super().__init__() self.attn nn.MultiheadAttention(dim, num_heads) def forward(self, x): b, c, h, w x.shape x_flat x.flatten(2).permute(2, 0, 1) # [N, B, C] out, _ self.attn(x_flat, x_flat, x_flat) out out.permute(1, 2, 0).view(b, c, h, w) return out你不需要把注意力模塊改得特別花哨只要保證輸入輸出形狀和原特征圖一致訓(xùn)練才不會(huì)崩。4.3 如何加載預(yù)訓(xùn)練權(quán)重后繼續(xù)訓(xùn)練加了模塊之后模型的 state_dict 會(huì)多出新的鍵和原始預(yù)訓(xùn)練權(quán)重不一致。常見做法有兩種只加載能匹配的權(quán)重新模塊隨機(jī)初始化。凍結(jié)主干網(wǎng)絡(luò)前幾層只訓(xùn)練新模塊和后層。第二種方式更適合小數(shù)據(jù)集。因?yàn)樾履K隨機(jī)初始化如果一開始就用大學(xué)習(xí)率訓(xùn)練很容易把原有特征破壞掉。建議前幾個(gè) epoch 用較小學(xué)習(xí)率或者先把主干凍結(jié)住只訓(xùn)練新增模塊。代碼上可以用pretrained_dict torch.load(resnet18.pth) model_dict model.state_dict() pretrained_dict {k: v for k, v in pretrained_dict.items() if k in model_dict and model_dict[k].shape v.shape} model_dict.update(pretrained_dict) model.load_state_dict(model_dict)這個(gè)寫法能兼容大部分情況。實(shí)際項(xiàng)目中如果新增模塊名字和原始模塊別名不一致還需要手動(dòng)映射鍵名。4.4 當(dāng)你發(fā)現(xiàn)訓(xùn)練 loss 不降時(shí)先查什么加了模塊后 loss 不降不要慌。按順序排查看 loss 初始值是不是明顯不合理。如果一開始就 nan大概率是學(xué)習(xí)率太大或輸入數(shù)據(jù)有問題?？葱履K輸出是否過小或過大。可以在模塊后打印均值、方差。看主干是否被凍住了。如果凍結(jié)了主干但新模塊很淺可能學(xué)不到足夠特征?？?loss 曲線是震蕩不降還是完全不變。震蕩可以調(diào)低學(xué)習(xí)率完全不變可能是梯度沒傳到新模塊。有一個(gè)經(jīng)驗(yàn)新模塊加進(jìn)去之后如果 loss 比基線降得更慢不一定是“沒用”也可能是你學(xué)習(xí)率沒有重新調(diào)。模塊變深之后梯度流路徑變長(zhǎng)原來(lái)的學(xué)習(xí)率可能偏大或偏小都需要重新試。5. 研究生最容易踩的坑改一堆模塊實(shí)驗(yàn)卻無(wú)效下面這五個(gè)坑是我在帶學(xué)生和復(fù)現(xiàn)論文過程中反復(fù)遇到的。5.1 沒有基線沒有基線你的所有改進(jìn)都沒有參照物。哪怕你最后指標(biāo)是 90%你也說不清楚原始模型是不是 89%你的貢獻(xiàn)到底是什么。有同學(xué)會(huì)問原始模型只有 88%我改完是 90%這不就是提升了 2% 嗎問題是這 2% 到底是模塊帶來(lái)的還是因?yàn)槟阌?xùn)練隨機(jī)性更大、數(shù)據(jù)增強(qiáng)更強(qiáng)、訓(xùn)練輪次更多沒有控制變量結(jié)論不成立。5.2 參數(shù)對(duì)不齊、隨機(jī)種子不固定深度學(xué)習(xí)訓(xùn)練有隨機(jī)性同樣的代碼跑兩次指標(biāo)都可能差 0.3% 到 0.5%。如果你改模塊前后沒有固定隨機(jī)種子那么哪怕模塊沒用也可能因?yàn)殡S機(jī)種子不同導(dǎo)致指標(biāo)上漲給你虛假信心。建議在訓(xùn)練腳本里設(shè)置統(tǒng)一隨機(jī)種子import random import numpy as np import torch def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)然后每個(gè)實(shí)驗(yàn)都記錄使用的種子值。5.3 訓(xùn)練不充分就下結(jié)論我見過很多同學(xué)訓(xùn)練 20 個(gè) epoch看到驗(yàn)證集指標(biāo)沒提升立刻覺得自己的模塊沒用。但很多時(shí)候改進(jìn)模塊需要更長(zhǎng)時(shí)間才能體現(xiàn)優(yōu)勢(shì)尤其是注意力機(jī)制前期可能先帶來(lái)波動(dòng)后期才穩(wěn)定提升。判斷標(biāo)準(zhǔn)應(yīng)該是基線模型和你改進(jìn)后的模型使用完全相同的訓(xùn)練配置訓(xùn)練相同的輪次然后對(duì)比。如果改進(jìn)后模型需要更多輪次才能超過基線也是一種結(jié)果但你要寫清楚訓(xùn)練成本。5.4 改多個(gè)變量導(dǎo)致無(wú)法歸因這是最致命的問題。你既換了主干網(wǎng)絡(luò)又加了注意力模塊還改了損失函數(shù)然后指標(biāo)提升了。請(qǐng)問到底是哪個(gè)改動(dòng)起到了決定性作用如果指標(biāo)下降了你也不知道該回滾哪個(gè)改動(dòng)。正確的做法是每次只改一個(gè)變量。示例第一次實(shí)驗(yàn)原始模型完整訓(xùn)練得到基線。第二次實(shí)驗(yàn)原始模型 SE 注意力其他一切不變。第三次實(shí)驗(yàn)原始模型 CBAM 注意力。第四次實(shí)驗(yàn)原始模型 SE 修改后的損失函數(shù)。這樣你才能知道每個(gè)模塊獨(dú)立貢獻(xiàn)了多少。5.5 顯存和 batch size 不一致導(dǎo)致比較不公平加了模塊后顯存占用變高于是你把 batch size 從 32 改到 16。最后發(fā)現(xiàn)指標(biāo)下降了。你可能會(huì)認(rèn)為是模塊沒用但實(shí)際是 batch size 變了影響了 BatchNorm 的統(tǒng)計(jì)特性和訓(xùn)練穩(wěn)定性。為了避免這種情況比較時(shí)盡量保持 batch size 一致。如果顯存不夠可以降低輸入分辨率。使用梯度累積。減少訓(xùn)練圖像的裁剪尺度。不要為了塞進(jìn)新模塊而隨意縮小 batch size這會(huì)引入額外的變量。6. 從“會(huì)加模塊”到“能發(fā)論文”的四步走如果你已經(jīng)不滿足于“跑通 提點(diǎn)”而是想做出真正能發(fā)論文的工作可以參考下面四步。6.1 第一步復(fù)現(xiàn)一篇論文跑出基線選一篇近期、方法不復(fù)雜、數(shù)據(jù)公開的論文。先別管創(chuàng)新按照原文設(shè)置復(fù)現(xiàn)一次拿到一個(gè)穩(wěn)定基線。這一步的價(jià)值是讓你知道一篇論文從方法到代碼的距離有多遠(yuǎn)也讓你積累一整套實(shí)驗(yàn)工具。很多論文在 GitHub 上都有官方實(shí)現(xiàn)但官方實(shí)現(xiàn)有時(shí)不能在別的數(shù)據(jù)上直接用。你復(fù)現(xiàn)的過程其實(shí)是一次“環(huán)境適配 模型結(jié)構(gòu)理解”的訓(xùn)練。6.2 第二步找到現(xiàn)有模型的一個(gè)具體瓶頸改進(jìn)模型最可靠的方向不是憑空造一個(gè)新模塊而是找到當(dāng)前方案在具體任務(wù)上的短板。比如小目標(biāo)檢測(cè)效果差可能是淺層特征利用不夠。遮擋場(chǎng)景識(shí)別差可能要引入上下文信息。分割邊界粗糙可能是損失函數(shù)過于關(guān)注整體區(qū)域。推理速度太慢可能是模型結(jié)構(gòu)過度復(fù)雜。找到瓶頸之后再想模塊怎么設(shè)計(jì)。這樣寫論文時(shí)Intro 和 Related Work 才有邏輯我先看到什么問題再針對(duì)問題設(shè)計(jì)了什么模塊。6.3 第三步設(shè)計(jì)可解釋的小改動(dòng)新模塊不一定非要特別復(fù)雜。審稿人最怕的是復(fù)雜到很難復(fù)現(xiàn)或者改動(dòng)多個(gè)點(diǎn)卻說不清哪個(gè)有用。一個(gè)合理的改動(dòng)通常是這樣的針對(duì)現(xiàn)有模塊的某個(gè)特定局限。改動(dòng)幅度小代碼量不大。有清晰的可視化或數(shù)學(xué)解釋。能通過消融實(shí)驗(yàn)證明每個(gè)組件都必要。比如你發(fā)現(xiàn)原模型的通道注意力只用了全局平均池化丟失了空間細(xì)節(jié)你可以加入全局標(biāo)準(zhǔn)差池化把兩種統(tǒng)計(jì)量拼接起來(lái)。這個(gè)改動(dòng)很小但解釋起來(lái)很清楚我們同時(shí)建模了通道均值和離散程度讓注意力更關(guān)注判別性區(qū)域。6.4 第四步做消融實(shí)驗(yàn)與可視化消融實(shí)驗(yàn)是論文里最關(guān)鍵的實(shí)驗(yàn)設(shè)計(jì)。所謂消融就是把你新增模塊中的每個(gè)組件依次拿掉看看效果變化。舉個(gè)具體例子你提出了一個(gè)模塊包含三個(gè)設(shè)計(jì)點(diǎn)坐標(biāo)注意力。多尺度卷積。重參數(shù)化結(jié)構(gòu)。你要做的實(shí)驗(yàn)至少包括基線模型?；€ 坐標(biāo)注意力。基線 多尺度卷積?；€ 重參數(shù)化結(jié)構(gòu)。基線 全部三個(gè)設(shè)計(jì)點(diǎn)。同時(shí)最好加上可視化分析。分類任務(wù)可以畫 Grad-CAM 熱力圖檢測(cè)任務(wù)可以畫特征圖響應(yīng)分割任務(wù)可以畫預(yù)測(cè)掩碼對(duì)比?？梢暬苤庇^展示模塊帶來(lái)的改變也讓審稿人更容易接受你的貢獻(xiàn)。6.5 常見反饋和修改思路論文投稿后常見意見包括創(chuàng)新點(diǎn)不夠清晰。這時(shí)要把問題定義和模塊設(shè)計(jì)的關(guān)系再突出最好在引言里加一個(gè)問題示意圖。實(shí)驗(yàn)對(duì)比不充分。需要補(bǔ)更多同類型模塊的對(duì)比比如你已經(jīng)加了 SE就最好和 CBAM、ECA、CA 對(duì)比?？蓮?fù)現(xiàn)性不足。要公開代碼、隨機(jī)種子、超參數(shù)配置。計(jì)算量分析缺失。要補(bǔ)充 FLOPs、參數(shù)量、推理延遲的對(duì)比表格。這些反饋其實(shí)都指向同一個(gè)問題你不僅要會(huì)改模型還要會(huì)從工程和實(shí)驗(yàn)設(shè)計(jì)兩個(gè)維度證明改動(dòng)的價(jià)值。7. 環(huán)境配置、依賴報(bào)錯(cuò)和“本地能跑”問題模型改進(jìn)這件事很多時(shí)候卡在最基礎(chǔ)的環(huán)境層。越早把環(huán)境整理干凈后面就越省心。7.1 環(huán)境先裝一個(gè)能跑的深度學(xué)習(xí)框架我建議研究生統(tǒng)一用 conda 管理環(huán)境一方面是環(huán)境隔離另一方面是方便復(fù)現(xiàn)?；A(chǔ)環(huán)境可以這樣建conda create -n dl python3.9 conda activate dl pip install torch torchvision pip install numpy pandas matplotlib scikit-learn tqdm tensorboard如果你做的是目標(biāo)檢測(cè)或分割大概率還需要安裝一些額外依賴比如 pyyaml、opencv-python、thop、einops。不同的項(xiàng)目依賴不同不要看到一個(gè)項(xiàng)目要求裝什么你就裝一堆最好先用 requirements.txt 安裝pip install -r requirements.txt如果該項(xiàng)目沒有 requirements.txt你可以在跑項(xiàng)目前用pipreqs生成一個(gè)但生成的依賴不一定完整最終還是要以實(shí)際運(yùn)行報(bào)錯(cuò)為準(zhǔn)。7.2 依賴版本對(duì)應(yīng)關(guān)系深度學(xué)習(xí)項(xiàng)目最怕的是 PyTorch 和 CUDA 版本不對(duì)應(yīng)。你需要知道自己的顯卡驅(qū)動(dòng)能支持哪個(gè) CUDA 版本。PyTorch 的安裝命令里指定了哪個(gè) CUDA 版本。項(xiàng)目里有沒有用到需要特定版本才能編譯的擴(kuò)展模塊。最常見的問題是RuntimeError: CUDNN_STATUS_NOT_INITIALIZED這個(gè)報(bào)錯(cuò)可能由很多原因?qū)е伦畛Ｒ姷氖秋@存不足、CUDA 版本和 cuDNN 版本不匹配、多進(jìn)程初始化問題。遇到時(shí)先不要改代碼先查顯存占用再查nvidia-smi和 PyTorch 的 CUDA 版本。7.3 報(bào)錯(cuò)處理順序一個(gè)通用順序是先看完整報(bào)錯(cuò)棧定位到項(xiàng)目代碼里的哪一行再檢查這行涉及的數(shù)據(jù)形狀、設(shè)備、類型然后再考慮依賴問題。不要一上來(lái)就重新安裝 PyTorch。很多報(bào)錯(cuò)只是輸入維度不對(duì)或類型不對(duì)。比如你把 torch.Tensor 傳給了 numpy 函數(shù)或者把 CUDA tensor 和 CPU tensor 做了運(yùn)算這些都會(huì)報(bào)錯(cuò)但都不是安裝問題。報(bào)錯(cuò)信息是最直接的第一現(xiàn)場(chǎng)。先自己讀兩遍再?gòu)?fù)制關(guān)鍵詞搜索不要直接把整屏報(bào)錯(cuò)丟到群里。7.4 內(nèi)存、顯存、磁盤、日志本地跑深度學(xué)習(xí)實(shí)驗(yàn)除了看報(bào)錯(cuò)還要關(guān)注資源占用。顯存用nvidia-smi查看顯存剩余。如果爆顯存優(yōu)先減小 batch size、降低分辨率或者使用梯度累積。內(nèi)存數(shù)據(jù)增強(qiáng)時(shí)可能大量復(fù)制數(shù)據(jù)內(nèi)存不足容易導(dǎo)致進(jìn)程直接被殺。可以在 dataset 里減少預(yù)加載或者用num_workers調(diào)低一點(diǎn)。磁盤訓(xùn)練日志、checkpoint、tensorboard 都很占空間。建議把輸出目錄固定定期清理舊模型。日志不要只保存模型不保存曲線。用 tensorboard 或 wandb 記錄 loss、學(xué)習(xí)率、準(zhǔn)確率等方便復(fù)盤。7.5 如果沒有 GPU 怎么跑如果你只有 CPU還是可以跑模型改進(jìn)相關(guān)的基礎(chǔ)實(shí)驗(yàn)但要注意三點(diǎn)模型盡量小ResNet18、MobileNet 這類輕量網(wǎng)絡(luò)可以跑ResNet50 也能跑但速度慢。數(shù)據(jù)集先抽樣比如一開始只用 10% 訓(xùn)練集驗(yàn)證代碼邏輯。不要直接開大步數(shù)訓(xùn)練。先用 1 個(gè) epoch 驗(yàn)證流程未來(lái)有 GPU 后再跑完整實(shí)驗(yàn)。模型改進(jìn)的本質(zhì)是實(shí)驗(yàn)科學(xué)你的代碼邏輯和實(shí)驗(yàn)設(shè)計(jì)在 CPU 上就能驗(yàn)證大半。唯一的問題是訓(xùn)練時(shí)間太長(zhǎng)不適合做大規(guī)模調(diào)參。8. 總結(jié)和留給你的行動(dòng)清單這篇文章寫下來(lái)核心思路其實(shí)就一句話模型改進(jìn)不是“加模塊”這個(gè)動(dòng)作本身而是圍繞“問題定位、模塊設(shè)計(jì)、實(shí)驗(yàn)驗(yàn)證”的一整套流程。能不能提分不完全取決于模塊有多新更取決于你在什么背景下加的模塊、怎么控制變量、怎么判斷結(jié)果。如果你現(xiàn)在正準(zhǔn)備開始做模型改進(jìn)我建議你按下面的行動(dòng)清單走先把環(huán)境搭好確認(rèn) PyTorch 和 CUDA 版本。下載一個(gè)帶預(yù)訓(xùn)練權(quán)重的標(biāo)準(zhǔn)模型比如 ResNet18 或 ResNet50跑通分類任務(wù)。固定隨機(jī)種子完整訓(xùn)練一次記錄基線指標(biāo)、顯存占用和訓(xùn)練時(shí)長(zhǎng)。選擇一個(gè)小而輕的模塊比如 SE 或 ECA加到網(wǎng)絡(luò)的指定位置。單批次前向驗(yàn)證確認(rèn)形狀和參數(shù)量變化。用和基線完全相同的配置訓(xùn)練對(duì)比指標(biāo)。如果指標(biāo)提升繼續(xù)做補(bǔ)充實(shí)驗(yàn)和可視化如果沒有提升先檢查訓(xùn)練是否充分、參數(shù)是否需要重調(diào)。每次只改一個(gè)變量記錄到實(shí)驗(yàn)表格里。深度學(xué)習(xí)領(lǐng)域里真正扎實(shí)的“創(chuàng)新”往往不是靈光一現(xiàn)而是把現(xiàn)有模塊用新的方式組合、改進(jìn)并驗(yàn)證。你不需要一開始就搞一個(gè)完全沒見過的模塊先把基本功練扎實(shí)把模塊和實(shí)驗(yàn)設(shè)計(jì)理解透后面自然會(huì)找到屬于自己的改進(jìn)點(diǎn)。如果這篇文章能幫你少走一點(diǎn)彎路那這次整理就是值得的。接下來(lái)打開你的代碼環(huán)境先把基線跑起來(lái)再說。