簡介面向計(jì)算機(jī)相關(guān)專業(yè)學(xué)生及實(shí)戰(zhàn)學(xué)習(xí)者的PyTorch人臉表情識別項(xiàng)目提供CNN、VGG、ResNet三種模型實(shí)現(xiàn)與對比實(shí)驗(yàn)覆蓋數(shù)據(jù)劃分、模型訓(xùn)練與測試、表情映射、GPU加速及人臉檢測等完整流程。資源包共15個文件以13個Python源碼為主輔以1個XML人臉檢測模型和1個Markdown項(xiàng)目說明壓縮包約162KB結(jié)構(gòu)緊湊便于直接運(yùn)行與二次開發(fā)。除常規(guī)訓(xùn)練與測試腳本外還包含各模型單獨(dú)版本、統(tǒng)一對比模塊以及數(shù)據(jù)可視化、GPU調(diào)用等輔助代碼README可幫助快速了解項(xiàng)目結(jié)構(gòu)。項(xiàng)目經(jīng)導(dǎo)師指導(dǎo)評審得分99分代碼完整可靠適合作為畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)或期末大作業(yè)參考。已有176人學(xué)習(xí)下載可讓讀者從數(shù)據(jù)集準(zhǔn)備、模型搭建到效果驗(yàn)證形成完整閉環(huán)并直觀理解三類卷積網(wǎng)絡(luò)在表情識別任務(wù)上的差異。1. 基于 PyTorch 的人臉表情識別:CNN、VGG、ResNet 為什么湊在一起用 PyTorch 實(shí)現(xiàn) CNN、VGG、ResNet 做人臉表情識別,是我見過最高頻的課程設(shè)計(jì)與畢業(yè)設(shè)計(jì)組合。先說一個反直覺的結(jié)論:在 FER2013 這類中小型數(shù)據(jù)集上,從零訓(xùn)練的 VGG16 往往打不過一個調(diào)參到位的輕量 CNN,而 ResNet18 的預(yù)訓(xùn)練權(quán)重卻總能帶來穩(wěn)定提升。原因在于表情數(shù)據(jù)集普遍只有 48×48 灰度圖、七個分類,紋理信息遠(yuǎn)大于語義信息,模型一味加深反而先過擬合。這類項(xiàng)目的標(biāo)準(zhǔn)交付物是源碼加項(xiàng)目說明,覆蓋數(shù)據(jù)預(yù)處理、三套模型實(shí)現(xiàn)、訓(xùn)練調(diào)參與推理演示的完整鏈路。適合正在做課程設(shè)計(jì)、準(zhǔn)備復(fù)試項(xiàng)目,或者第一次想用 PyTorch 把分類任務(wù)完整跑通的讀者。下面按我實(shí)際把這條路走通的順序拆開講。2. 表情數(shù)據(jù)怎么喂:從 FER2013 到 DataLoader 的預(yù)處理全流程模型再花哨,數(shù)據(jù)管道不對,后面全是白搭。這一章先把數(shù)據(jù)集選型、預(yù)處理順序和 DataLoader 模板定下來。我的建議是:FER2013 起步,如果你想讓項(xiàng)目說明里多一個工作量和對比實(shí)驗(yàn),再補(bǔ)一個 RAF-DB。前面如果只為了堆模型不看數(shù)據(jù),訓(xùn)練時 loss 和準(zhǔn)確率的表現(xiàn)會告訴你什么叫事倍功半。2.1 數(shù)據(jù)集選型:FER2013 與 RAF-DB 該選哪個公開人臉表情數(shù)據(jù)集里,FER2013 是門檻最低的:一個 CSV 文件把像素串和標(biāo)簽都裝好了,48×48 灰度圖,共 35887 張,直接下載后就能解析。官方劃分是訓(xùn)練集 28709 張、驗(yàn)證集 3589 張、測試集 3589 張,七分類:生氣、厭惡、恐懼、開心、悲傷、驚訝、中性。這個固定劃分很重要,它保證了你和別人報(bào)的數(shù)字能對比,答辯時不會被追問你的劃分為什么和別人不一樣。RAF-DB 是另一個常見選擇,樣本是 100×100 的彩色圖,約 1.5 萬張,標(biāo)注了七類基本表情和十二類復(fù)合表情,質(zhì)量比 FER2013 高,但需要向作者申請,而且類別分布同樣不均衡。CK 是面部動作序列數(shù)據(jù),適合做時序方向,不太適合直接套單幀分類。把三者放在一起看:數(shù)據(jù)集分辨率/通道樣本規(guī)模類別獲取方式適用場景FER201348×48 灰度358877直接下載入門、快速跑通RAF-DB100×100 彩色約 1.5 萬7 / 12申請獲取提高上限、做對比實(shí)驗(yàn)CK640×490 序列593 段7申請獲取視頻/時序方向選型時不用糾結(jié)太久。我一般會先用 FER2013 把代碼鏈路全部跑通,再在項(xiàng)目說明里寫一句使用 RAF-DB 復(fù)測,結(jié)論一致,這個細(xì)節(jié)比你在 README 里堆十個模型更能體現(xiàn)工程完成度。2.2 預(yù)處理流水線:歸一化參數(shù)、隨機(jī)裁剪與人臉對齊的順序先說順序,這是最容易亂的地方。完整流程是:人臉檢測 → 人臉對齊 → 數(shù)據(jù)增強(qiáng) → 歸一化。檢測與對齊影響的是表情來自誰的臉,增強(qiáng)和歸一化影響的是模型看到的是什么像素分布,兩者不能反過來。人臉檢測我一般用 OpenCV 的 DNN 模塊加載 Caffe 模型,或者直接用 MTCNN。檢測到人臉框后,按兩眼坐標(biāo)做仿射變換,把眼睛對齊到固定位置,這一步對表情識別的影響非常大,原因是同一個表情在不同頭部姿態(tài)下像素分布完全不同。如果你只做課設(shè)想省事,至少要把人臉裁剪出來并縮放到統(tǒng)一尺寸交給模型。歸一化參數(shù)這里有一個常見爭議:FER2013 是灰度圖,但為了復(fù)用 ImageNet 預(yù)訓(xùn)練權(quán)重,很多人會把單通道復(fù)制成三通道,然后直接使用 ImageNet 的 mean[0.485, 0.456, 0.406] 和 std[0.229, 0.224, 0.225]。嚴(yán)格講這不準(zhǔn)確,因?yàn)榛叶葓D的真實(shí)均值和標(biāo)準(zhǔn)差不是這套數(shù),但遷移學(xué)習(xí)場景下它仍然能工作,因?yàn)轭A(yù)訓(xùn)練權(quán)重期望的就是這套統(tǒng)計(jì)量。如果你從頭訓(xùn)練輕量 CNN,完全可以自己算一遍數(shù)據(jù)集的 mean 和 std,效果會更穩(wěn)。數(shù)據(jù)增強(qiáng)方面,48×48 的小圖經(jīng)不起大幅裁剪。我常用的組合是 RandomResizedCrop(scale 限制在 0.8 到 1.0)、水平翻轉(zhuǎn)和 ±5 度以內(nèi)的隨機(jī)旋轉(zhuǎn),再加 RandomErasing 模擬遮擋,這是我在實(shí)驗(yàn)里收益最明顯的三個增強(qiáng)。幅度過大的 RandomRotation 或 ColorJitter 反而會把表情扭曲到不可辨認(rèn)。2.3 自定義 Dataset 與 DataLoader:一份能直接跑的模板代碼FER2013 的 CSV 結(jié)構(gòu)是每行一個標(biāo)簽加一個像素字符串,必須寫自定義 Dataset 解析。模板如下:import cv2 import numpy as np import pandas as pd import torch from torch.utils.data import Dataset, DataLoader from torchvision import transforms class FERDataset(Dataset): def __init__(self, csv_path, transformNone): self.df pd.read_csv(csv_path) self.transform transform self.images [] self.labels [] for _, row in self.df.iterrows(): pixels np.array(row[pixels].split(), dtypenp.float32) img pixels.reshape(48, 48) self.images.append(img) self.labels.append(int(row[emotion])) def __len__(self): return len(self.images) def __getitem__(self, idx): img self.images[idx] label self.labels[idx] # 灰度轉(zhuǎn)三通道,方便復(fù)用 ImageNet 預(yù)訓(xùn)練權(quán)重 img cv2.cvtColor(img.astype(np.uint8), cv2.COLOR_GRAY2BGR) if self.transform: img self.transform(img) return img, label train_transform transforms.Compose([ transforms.ToPILImage(), transforms.RandomResizedCrop(48, scale(0.8, 1.0)), transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(degrees5), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.ToPILImage(), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_loader DataLoader( FERDataset(fer2013/train.csv, transformtrain_transform), batch_size64, shuffleTrue, num_workers4, drop_lastTrue, pin_memoryTrue )這段代碼里有兩個關(guān)鍵點(diǎn)。第一,pixels.split()是把 CSV 里以空格分隔的像素字符串拆成列表,再reshape(48, 48),順序不能反。第二,灰度轉(zhuǎn)三通道用的是cv2.COLOR_GRAY2BGR,得到的三個通道值完全一樣,這一步只是讓維度匹配預(yù)訓(xùn)練模型的 3 通道輸入。參數(shù)說明:batch_size 取 64 是因?yàn)?48×48 輸入下顯存壓力很小,batch 再大對收斂幫助有限;shuffle 必須為 True,不然每個 epoch 看到的樣本順序固定,BN 層的統(tǒng)計(jì)量會學(xué)偏;drop_lastTrue 是為了丟棄最后一個不完整的 batch,避免 BN 在極小 batch 上統(tǒng)計(jì)異常;num_workers 在 Windows 上建議設(shè)成 0,Linux 上設(shè) 4 或 8,num_workers 過高會觸發(fā)內(nèi)存復(fù)制開銷,這一點(diǎn)在 5.3 節(jié)還會展開。提示:如果要把輸入上采樣到 224×224 送進(jìn) VGG,不要在 Dataset 里直接 Resize,那樣每個 epoch 都做一次重復(fù)計(jì)算。更好的做法是把上采樣放到模型 forward 或 transform 里,配合緩存避免重復(fù)開銷。3. 三套模型怎么落:輕量 CNN、VGG 遷移與 ResNet 殘差的 PyTorch 實(shí)現(xiàn)數(shù)據(jù)管道就緒后進(jìn)入模型實(shí)現(xiàn)。我的做法是三套模型共用同一個訓(xùn)練接口,通過一個build_model(name)工廠函數(shù)切換,這樣對比實(shí)驗(yàn)只需要改一個字符串參數(shù)。先講輕量 CNN,因?yàn)樗抢斫?VGG 和 ResNet 為什么這樣設(shè)計(jì)的地基。3.1 輕量 CNN 基線:三卷積塊加全局平均池化表情識別不是 ImageNet 那種千分類任務(wù),輸入只有 48×48,一個三卷積塊加全局平均池化的網(wǎng)絡(luò)已經(jīng)足夠作為 baseline。它的參數(shù)量只有幾十萬,訓(xùn)練一輪只要十幾秒,非常適合用來驗(yàn)證數(shù)據(jù)管道和訓(xùn)練超參是否正常。import torch import torch.nn as nn class LightCNN(nn.Module): def __init__(self, num_classes7): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2, stride2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2, stride2), ) self.global_avg_pool nn.AdaptiveAvgPool2d(1) self.classifier nn.Linear(128, num_classes) def forward(self, x): x self.features(x) x self.global_avg_pool(x) x x.view(x.size(0), -1) return self.classifier(x)設(shè)計(jì)邏輯是:每個卷積層都帶 BatchNorm2d 和 ReLU,這是目前 CNN 基礎(chǔ)結(jié)構(gòu)的標(biāo)配,BN 能讓梯度分布更穩(wěn);兩次 MaxPool 把 48×48 降到 12×12,最后一個卷積層輸出 128 通道;AdaptiveAvgPool2d(1)把任意尺寸的 feature map 壓成 1×1,再展開成 128 維向量接分類頭。相比于直接Flatten,全局平均池化顯著減少了參數(shù)量,也緩解了過擬合。3.2 VGG16 遷移:為什么 ImageNet 權(quán)重在人臉表情上容易翻車VGG16 的核心是用 3×3 小卷積核堆深度,16 層里 13 層卷積加 3 層全連接。torchvision 里直接提供vgg16_bn,但直接拿來跑 48×48 輸入會撞上一個現(xiàn)實(shí)問題:原版分類頭的Linear(512*7*7, 4096)期望輸入是 224×224,因?yàn)?224 經(jīng)過 5 次二倍下采樣后剛好是 7×7。而 FER2013 的 48×48 下采樣后會變成 1×1,送進(jìn)原分類頭必然維度報(bào)錯。常見做法是在forward里先對輸入做雙線性上采樣到 224,再接原版結(jié)構(gòu),這是最省事且最貼合預(yù)訓(xùn)練語義的辦法。我的血淚經(jīng)驗(yàn)是:不要在 48×48 下硬改分類頭去遷就原結(jié)構(gòu),那樣會讓預(yù)訓(xùn)練權(quán)重的大部分卷積層學(xué)到的東西失去意義,準(zhǔn)確率比隨機(jī)初始化好不了多少。import torch.nn.functional as F import torchvision.models as models class VGG16FER(nn.Module): def __init__(self, num_classes7, pretrainedTrue): super().__init__() weights models.VGG16_BN_Weights.IMAGENET1K_V1 if pretrained else None backbone models.vgg16_bn(weightsweights) self.features backbone.features self.avgpool backbone.avgpool self.classifier nn.Sequential( nn.Linear(512 * 7 * 7, 4096), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(4096, 4096), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(4096, num_classes), ) def forward(self, x): x F.interpolate(x, size(224, 224), modebilinear, align_cornersFalse) x self.features(x) x self.avgpool(x) x torch.flatten(x, 1) return self.classifier(x)align_cornersFalse是上采樣里最不容易出坐標(biāo)偏移的設(shè)置,表情這種對局部紋理敏感的任務(wù)建議固定使用。注意這里直接復(fù)用了 backbone.avgpool,它是AdaptiveAvgPool2d((7, 7)),無論輸入上采樣成多大,最終都會統(tǒng)一到 7×7,所以分類頭的第一層維度不用改。為什么說 ImageNet 權(quán)重在表情上容易翻車?因?yàn)?ImageNet 是 1000 類物體,模型學(xué)到的是輪廓、部件、場景語義;表情識別需要的是眼睛、嘴角的局部紋理變化,這兩者的特征分布差異很大。預(yù)訓(xùn)練權(quán)重的價值在于淺層通用邊緣特征仍然可用,但不代表它能直接給出好的表情特征。這也是為什么微調(diào)時學(xué)習(xí)率必須調(diào)小,后面 4.1 節(jié)會具體說。3.3 ResNet18/50 落地:殘差結(jié)構(gòu)、預(yù)訓(xùn)練權(quán)重與注意力機(jī)制的取舍ResNet 相比 VGG 最大的改進(jìn)是殘差結(jié)構(gòu):把輸入加到卷積輸出上,讓網(wǎng)絡(luò)至少能保持恒等映射。深層網(wǎng)絡(luò)梯度消失的問題因此緩解,這也是為什么 ResNet18 只有約 11M 參數(shù),表現(xiàn)卻比 138M 參數(shù)的 VGG16 更穩(wěn)。實(shí)現(xiàn)上,torchvision 的resnet18自帶AdaptiveAvgPool2d(1),理論上支持任意輸入尺寸,所以換分類頭就能用。def build_resnet(nameresnet18, num_classes7, pretrainedTrue): if name resnet18: weights models.ResNet18_Weights.IMAGENET1K_V1 if pretrained else None model models.resnet18(weightsweights) elif name resnet50: weights models.ResNet50_Weights.IMAGENET1K_V1 if pretrained else None model models.resnet50(weightsweights) else: raise ValueError(funsupported model name: {name}) in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) return modelmodel.fc.in_features這個寫法是從原分類頭里動態(tài)讀取輸入維度,resnet18 是 512,resnet50 是 2048。這樣替換最后一層時不會寫死數(shù)字,以后換網(wǎng)絡(luò)也不用改。預(yù)訓(xùn)練權(quán)重的選擇用 torchvision 新的weights參數(shù),而不是舊的pretrainedTrue,后者在新版本已經(jīng)標(biāo)記棄用。關(guān)于對 ResNet 做增強(qiáng),網(wǎng)上有很多花活,比如有人把類似 FPN 的多尺度特征融合、位置編碼或者自注意力機(jī)制加進(jìn) ResNet,去捕捉更粗粒度和更細(xì)粒度的混合特征。我的看法是:48×48 的輸入分辨率太低,多尺度融合的收益很有限,自注意力在這種小圖上還容易過擬合。先把無花活的 ResNet18 baseline 跑到 68% 以上,再考慮加 SE 模塊或 CBAM 注意力,而且每加一個模塊都要用控制變量法驗(yàn)證收益,不要一把梭。4. 訓(xùn)練與調(diào)參:讓表情識別 loss 不再震蕩的優(yōu)化器、學(xué)習(xí)率與斷點(diǎn)邏輯模型結(jié)構(gòu)只是骨架,訓(xùn)練超參才是決定表情識別項(xiàng)目能不能拿到高分的關(guān)鍵。常見基準(zhǔn)在 FER2013 上,從零訓(xùn)練輕量 CNN 能到 60%~65%,微調(diào)預(yù)訓(xùn)練 ResNet 能到 70%~73%。這個差距不是模型容量帶來的,而是優(yōu)化策略帶來的。這一章把優(yōu)化器、損失函數(shù)和訓(xùn)練循環(huán)的參數(shù)講透。4.1 優(yōu)化器與學(xué)習(xí)率:AdamW 配 CosineAnnealing 的實(shí)戰(zhàn)參數(shù)我在這類項(xiàng)目里默認(rèn)用 AdamW 而不是原生 Adam,原因是 AdamW 把權(quán)重衰減從梯度更新中解耦,實(shí)現(xiàn)方式更接近真正的 L2 正則,在小數(shù)據(jù)集上不容易把權(quán)重衰減的效果搞亂。從頭訓(xùn)練時學(xué)習(xí)率用 3e-4,微調(diào)預(yù)訓(xùn)練模型時用 1e-4 到 5e-5,這三個取值是衡量收斂速度與穩(wěn)定性的經(jīng)驗(yàn)區(qū)間。學(xué)習(xí)率調(diào)度我推薦 CosineAnnealingLR,它會按余弦曲線把學(xué)習(xí)率從初始值平滑降到eta_min,相比 StepLR 的階梯式下降,曲線更平滑,在表情這類小數(shù)據(jù)集上不容易在調(diào)度點(diǎn)附近出現(xiàn) loss 突變。import torch optimizer torch.optim.AdamW( model.parameters(), lr1e-4, weight_decay1e-4 ) total_epochs 30 scheduler torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_maxtotal_epochs, eta_min1e-6 )T_max必須等于訓(xùn)練總 epoch 數(shù),這樣學(xué)習(xí)率才會在最后一個 epoch 降到eta_min。weight_decay1e-4是一個比較安全的起點(diǎn),調(diào)大容易欠擬合,調(diào)小則起不到正則作用。如果你的顯卡支持,可以順手把torch.cuda.amp.GradScaler加上做混合精度訓(xùn)練,顯存大約省一半,訓(xùn)練速度還能提一截。4.2 類別不平衡與 Label Smoothing:讓 Loss 不再被多數(shù)類綁架FER2013 的類別分布非常不均衡:happy 接近九千張,而 disgust 只有五百多張。如果不做處理,模型會把所有不確定樣本都傾向判成 happy,整體準(zhǔn)確率看著不低,但單類 acc 慘不忍睹,答辯時一張按類別統(tǒng)計(jì)的表格就能看出問題。兩種處理手段可以同時用:類別權(quán)重和標(biāo)簽平滑。class_counts torch.tensor([4953, 547, 5121, 8989, 6077, 4002, 6198], dtypetorch.float32) class_weights 1.0 / class_counts class_weights class_weights / class_weights.sum() * len(class_counts) criterion nn.CrossEntropyLoss( weightclass_weights, label_smoothing0.1 )class_weights先取倒數(shù)再歸一化,讓每個類別的加權(quán)貢獻(xiàn)趨近一致,分類頭對 disgust 這類稀缺類別的梯度不會被淹沒。label_smoothing0.1的意思是:真實(shí)標(biāo)簽不再是 0/1 硬編碼,而是把 1 拆成 0.9 給正確類、0.1 平均分給其余類。它能把模型輸出的 logits 壓得沒那么自信,在小數(shù)據(jù)集上對泛化很有幫助。也可以配合WeightedRandomSampler做采樣層面的平衡,但我的經(jīng)驗(yàn)是:類別權(quán)重加標(biāo)簽平滑已經(jīng)足夠,再疊加過采樣容易讓小類別反復(fù)看到同樣樣本,反而過擬合。兩種方案任選其一作為項(xiàng)目說明里的亮點(diǎn)即可。4.3 訓(xùn)練循環(huán)與斷點(diǎn)續(xù)訓(xùn):EarlyStopping 和 Checkpoint 的后悔藥訓(xùn)練循環(huán)本身不復(fù)雜,但有兩個細(xì)節(jié)容易被忽略:梯度裁剪和斷點(diǎn)續(xù)訓(xùn)。表情識別在小數(shù)據(jù)集上偶爾會出現(xiàn)單 batch loss 特別大的情況,觸發(fā)梯度爆炸。clip_grad_norm_能把梯度范數(shù)限制在給定范圍內(nèi),避免一次異常 step 把模型權(quán)重打飛。best_acc 0.0 patience 0 start_epoch 0 criterion nn.CrossEntropyLoss(label_smoothing0.1) device torch.device(cuda if torch.cuda.is_available() else cpu) for epoch in range(start_epoch, total_epochs): model.train() train_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() train_loss loss.item() scheduler.step() val_acc evaluate(model, val_loader, device) if val_acc best_acc: best_acc val_acc torch.save({ model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), scheduler_state_dict: scheduler.state_dict(), epoch: epoch, best_acc: best_acc, }, checkpoint_best.pt) patience 0 else: patience 1 if patience 10: print(early stop at epoch, epoch) break保存 checkpoint 時把 optimizer 和 scheduler 的狀態(tài)一起存,是斷點(diǎn)續(xù)訓(xùn)的后悔藥。如果訓(xùn)練到第 20 個 epoch 發(fā)現(xiàn)驗(yàn)證集準(zhǔn)確率開始波動,想退回第 10 個 epoch 的權(quán)重,只需要加載 checkpoint 里的epoch字段并把start_epoch改回去,優(yōu)化器狀態(tài)同步恢復(fù),學(xué)習(xí)率調(diào)度就不會從零重新開始。注意evaluate函數(shù)必須包含model.eval()和torch.no_grad(),否則 BN 和 Dropout 的狀態(tài)會導(dǎo)致驗(yàn)證指標(biāo)失真。5. 五個典型踩坑排查:數(shù)據(jù)泄露、BN 震蕩、顯存溢出與微調(diào)不收斂這個標(biāo)題的項(xiàng)目,踩坑記錄幾乎都集中在下面五類。我按現(xiàn)象 → 原因 → 解決的順序?qū)?每一條都是實(shí)際可以復(fù)現(xiàn)的問題。如果你在跑訓(xùn)練時遇到類似情況,優(yōu)先來這一章對照。5.1 準(zhǔn)確率虛高但測試翻車:DataLoader shuffle 與標(biāo)簽錯位現(xiàn)象:訓(xùn)練集準(zhǔn)確率沖到 0.99,驗(yàn)證集卻只有 0.5,而且驗(yàn)證 loss 不降反升。原因:最常見的是數(shù)據(jù)處理時序問題。比如你在構(gòu)造 Dataset 時,把打亂后的圖片數(shù)組和原始標(biāo)簽數(shù)組拼接錯了;或者你在預(yù)處理里不小心使用了全數(shù)據(jù)集的 mean/std 做歸一化,這等于把驗(yàn)證集信息泄露進(jìn)了訓(xùn)練過程。解決:標(biāo)簽和圖片必須在同一個 Dataset 實(shí)例內(nèi)同步保存,不要在外部分別操作后再喂給 DataLoader。歸一化的 mean/std 只允許從訓(xùn)練集統(tǒng)計(jì),驗(yàn)證集和測試集使用同一套統(tǒng)計(jì)量。我一般會在訓(xùn)練前打印一個 batch 的 label 分布,確認(rèn)unique數(shù)量和預(yù)期一致,這個檢查五秒鐘就能做,能幫你躲掉最虧的一類錯誤。5.2 訓(xùn)練 loss 反復(fù)震蕩:BN 在 batch_size 過小時的玄學(xué)現(xiàn)象:loss 曲線像鋸齒一樣上下跳動,永遠(yuǎn)看不到平滑下降,驗(yàn)證集準(zhǔn)確率也一路搖擺。原因:BatchNorm2d 是按當(dāng)前 batch 計(jì)算均值和方差,當(dāng) batch_size 很小時,比如顯存受限只能用 4 或 8,這兩個統(tǒng)計(jì)量本身噪聲就大,導(dǎo)致前向輸出不穩(wěn)定。這不是模型寫錯了,而且數(shù)值穩(wěn)定性問題,屬于訓(xùn)練策略里的常見玄學(xué)。解決:優(yōu)先把 batch 提到 32 以上。如果顯存不允許,可以用梯度累積模擬大 batch:每 8 個 step 累積一次梯度再更新參數(shù),相當(dāng)于 batch 擴(kuò)大 8 倍。另一個方案是把關(guān)鍵層從 BN 換成 GroupNorm,它對 batch 大小不敏感,FER2013 的 48×48 輸入也支持這種替換。我自己的選擇是先梯度累積,因?yàn)樗恍薷哪Ｐ徒Y(jié)構(gòu),項(xiàng)目說明里也好解釋。5.3 GPU 顯存溢出:輸入尺寸、batch_size 與 num_workers 的數(shù)學(xué)賬現(xiàn)象:訓(xùn)練剛開始就報(bào)CUDA out of memory,或者跑幾個 epoch 后內(nèi)存緩慢增長直到崩潰。原因:顯存溢出有三個疊加因素。第一,輸入尺寸被 VGG 上采樣到 224×224 后,feature map 顯存占用按面積放大,48×48 變成 224×224 是接近 22 倍的內(nèi)存開銷。第二,batch_size 沒有隨模型變大而回調(diào)。第三,num_workers 在 Windows 上設(shè)置過大會觸發(fā)內(nèi)存復(fù)制,表現(xiàn)為非 GPU 內(nèi)存先爆。解決:先算賬再改參數(shù)。48×48 輸入配 ResNet18,batch 128 很輕松;換成 VGG16 上采樣到 224,同樣的 batch 就可能爆顯存。我建議做 VGG 實(shí)驗(yàn)時把 batch 降到 32,或者全程用 48×48 AdaptiveAvgPool 的變體。另外在 DataLoader 里,Windows 用戶把num_workers設(shè)為 0,Linux 用戶設(shè)為 4;每輪 epoch 結(jié)束后調(diào)用torch.cuda.empty_cache()釋放緩存碎片。5.4 ResNet 微調(diào) loss 不收斂:凍結(jié)層與學(xué)習(xí)率的組合問題現(xiàn)象:加載 ResNet18 預(yù)訓(xùn)練權(quán)重后,把 backbone 全部凍結(jié),只訓(xùn)練新的 fc 層,loss 下降極其緩慢,最后準(zhǔn)確率停留在四五十。原因:新初始化的 fc 層輸出分布和預(yù)訓(xùn)練 backbone 的特征分布完全不匹配,backbone 被凍結(jié)后無法適應(yīng)新分類頭,梯度回傳在分類頭內(nèi)部反復(fù)震蕩。解決:分兩步走。第一步,先解凍最后兩個殘差塊,連同新建的 fc 層一起訓(xùn)練 5 個 epoch,讓分類頭先熟悉 backbone 輸出的特征空間。第二步,再全量解凍,并把學(xué)習(xí)率調(diào)低到 1e-4 量級。如果不想分步,就從頭保持全量解凍,但把 backbone 部分和 fc 層用不同的學(xué)習(xí)率:backbone 用 1e-4,fc 層新加的權(quán)重用 1e-3。PyTorch 里用兩個Parameter分組傳給optimizer即可,這個技巧在項(xiàng)目說明里寫出來會很加分。5.5 側(cè)臉和遮擋識別崩:人臉對齊裁剪的鍋現(xiàn)象:測試集里正臉準(zhǔn)確率正常,側(cè)臉、低頭、戴眼鏡的樣本大規(guī)模分錯,錯得還很離譜。原因:數(shù)據(jù)集本身以正臉為主,訓(xùn)練增強(qiáng)里沒加入足夠的人臉姿態(tài)擾動。更關(guān)鍵的是,第 2.2 節(jié)說的人臉對齊如果沒做,模型被迫去學(xué)習(xí)頭部姿態(tài)和表情的耦合關(guān)系,一旦姿態(tài)變了,特征就亂了。解決:推理和訓(xùn)練統(tǒng)一走同一條檢測對齊管線。先用 OpenCV DNN 人臉檢測器框出人臉,按眼睛坐標(biāo)做仿射變換,再縮放裁剪后送入模型。增強(qiáng)中加入 10% 概率的 RandomErasing,模擬遮擋。改完這步,側(cè)臉準(zhǔn)確率通常能提升 5 個點(diǎn)以上,這是我親自驗(yàn)證過的數(shù)字。不要只在訓(xùn)練集上做人臉對齊,測試和實(shí)際演示時不做,那樣訓(xùn)練測試的輸入分布又對不上了。6. 從 Acc 到熱力圖:最后 30 分鐘怎么驗(yàn)證模型真的在看表情訓(xùn)練完模型只代表 loss 收斂了,不代表它學(xué)到了人類認(rèn)可的表情特征。這一步做三個驗(yàn)證:混淆矩陣看薄弱類別,熱力圖看注意力區(qū)域,推理入口檢查輸入一致性。答辯和演示的效果基本由這半小時決定。6.1 混淆矩陣:只看整體 Acc 會漏掉哪一類整體準(zhǔn)確率 70% 看起來不錯,但如果按單類看,fear 可能只有 45%,sad 和 neutral 互相混淆嚴(yán)重。用 sklearn 一行算混淆矩陣,再可視化:from sklearn.metrics import confusion_matrix import matplotlib.pyplot as plt cm confusion_matrix(all_labels, all_preds) plt.imshow(cm, cmapBlues) plt.colorbar() plt.xlabel(predicted) plt.ylabel(true) plt.show()all_labels和all_preds要在測試循環(huán)里用extend累積完整批次的 tensor,然后一次性計(jì)算。觀察對角線和相鄰單元格:如果 sad 和 neutral 互混,說明模型沒抓住悲傷表情的典型特征,可以考慮增強(qiáng)里加張嘴幅度較大的樣本。6.2 Grad-CAM 熱力圖:確認(rèn)模型在看眼睛還是嘴巴模型對開心做出判斷,靠的是嘴角還是眼睛?Grad-CAM 可以把最后一層卷積的梯度加權(quán)回傳到 feature map,生成熱力圖直接可視化。這個工具是把模型從黑匣子變成可說清的地方,答辯時放兩張熱力圖,說服力立刻不一樣。實(shí)現(xiàn)不復(fù)雜:注冊最后一個殘差塊輸出的 forward hook 和反向 hook,拿到梯度后做全局平均池化,再和 feature map 加權(quán)求和。關(guān)鍵點(diǎn)是針對 ResNet 取model.layer4的輸出,針對 VGG 取最后一個卷積層輸出。熱力圖應(yīng)該集中在嘴部或眼部區(qū)域;如果熱力圖亂成一團(tuán)或集中在圖像角落,說明模型學(xué)到了背景噪聲,需要回查人臉對齊那一步。6.3 推理入口與防御性檢查:state_dict 加載與輸入預(yù)處理一致性寫推理腳本時,我最常糾正的一個錯誤是:訓(xùn)練時走了人臉檢測、裁剪、歸一化,推理時直接對原始圖片ToTensor()就送進(jìn)模型。輸入的像素分布不一致,模型表現(xiàn)必然打折。正確的推理入口應(yīng)該是封裝成一個preprocess(image_path)函數(shù),內(nèi)部嚴(yán)格按照訓(xùn)練 transform 執(zhí)行,包括相同的 mean/std 和相同的插值方式。模型加載建議用state_dict而非整個torch.save(model)。前者更安全,因?yàn)槿绻愀膭恿四Ｐ皖惗x,load_state_dict會明確報(bào)出缺失或多余的 key,而直接加載整個模型會在版本不匹配時靜默加載失敗或干脆無法反序列化。加載后用一行斷言檢查:checkpoint torch.load(checkpoint_best.pt, map_locationcuda) model.load_state_dict(checkpoint[model_state_dict])map_locationcuda是為了避免在 GPU 機(jī)器上訓(xùn)練、CPU 機(jī)器上推理時出現(xiàn)設(shè)備不匹配。到這一步,從數(shù)據(jù)到模型、從訓(xùn)練到驗(yàn)證的整條鏈路就完整了。我的習(xí)慣是每次提交項(xiàng)目前,把preprocess函數(shù)、模型定義和 checkpoint 三者放在同一個目錄下,并用一個啞測試跑通:用訓(xùn)練集里已知標(biāo)簽的一張圖,預(yù)測結(jié)果必須和驗(yàn)證階段一致。這個習(xí)慣幫我擋掉過很多次演示翻車。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取