在真實(shí)的圖像分類落地場(chǎng)景中困擾我們的往往不是“已知類別識(shí)別得不夠準(zhǔn)”而是模型在面對(duì)從未見過的輸入時(shí)依然會(huì)給出一個(gè)十分自信的錯(cuò)誤答案。比如安防攝像頭采集到一種訓(xùn)練階段完全沒有出現(xiàn)過的物品分類器沒有能力判斷“我不認(rèn)識(shí)它”反而會(huì)把它強(qiáng)行歸到某個(gè)已知類別里。這個(gè)問題如果得不到控制直接上線就會(huì)帶來(lái)誤報(bào)、漏報(bào)和運(yùn)營(yíng)上的連鎖風(fēng)險(xiǎn)。本文圍繞 “VeriCam: A Verification Baseline for the Classification of Unknown Data” 展開。這里的關(guān)鍵詞并不單指某一套固定代碼而是代表一類任務(wù)如何在視覺分類系統(tǒng)中建立“未知數(shù)據(jù)分類驗(yàn)證基線”并用量化指標(biāo)評(píng)估模型對(duì)未知輸入的響應(yīng)。適合正在做圖像分類、開放集識(shí)別、模型上線前評(píng)估的算法工程師和學(xué)生閱讀。讀完你會(huì)掌握一套最小可運(yùn)行的驗(yàn)證基線流程包括數(shù)據(jù)劃分、未知樣本構(gòu)造、MSP 置信度基線、AUROC/FPRTPR95 指標(biāo)計(jì)算以及容易踩坑的細(xì)節(jié)。1. 未知數(shù)據(jù)分類為什么需要驗(yàn)證基線1.1 從閉集分類到開放世界分類傳統(tǒng)的圖像分類模型通常遵循閉集假設(shè)訓(xùn)練集和測(cè)試集來(lái)自同一組類別模型只需要在有限類別里選擇概率最大的答案。這種假設(shè)在學(xué)術(shù) benchmark 里非常常見但現(xiàn)實(shí)世界并不是一個(gè)封閉集合。攝像頭、傳感器、用戶上傳內(nèi)容隨時(shí)可能帶來(lái)未見過的類別。我們可以把這些輸入統(tǒng)稱為 Unknown Data也就是模型訓(xùn)練階段沒有見過的數(shù)據(jù)。此時(shí)模型面對(duì)的是開放世界既要能區(qū)分已知類別之間的差異也要能識(shí)別出“這個(gè)樣本不屬于任何已知類別”。“Unknown Data”并不是單一概念。它可以包括與已知類別完全不同的新類別與已知類別語(yǔ)義相近但分布不同的數(shù)據(jù)數(shù)據(jù)損壞、噪聲、對(duì)抗擾動(dòng)帶來(lái)的異常輸入與任務(wù)完全無(wú)關(guān)的背景內(nèi)容。如果模型不具備對(duì)未知輸入的判斷能力那么它輸出的置信度分?jǐn)?shù)就沒有意義。所以我們需要一種“驗(yàn)證基線”先把模型面對(duì)未知數(shù)據(jù)時(shí)的行為量化出來(lái)再?zèng)Q定是否需要改進(jìn)算法。1.2 Verification Baseline 到底驗(yàn)證什么Verification Baseline 可以理解為一套標(biāo)準(zhǔn)化的驗(yàn)證流程。它回答的問題非常明確當(dāng)模型遇到 Unknown Data 時(shí)它能不能保持“謹(jǐn)慎”具體來(lái)說(shuō)驗(yàn)證基線需要完成三件事。第一把已知類別和未知類別放在同一個(gè)評(píng)價(jià)框架里讓問題從“這張圖是哪個(gè)類”變成“這張圖是否來(lái)自已知類別空間”。第二為每個(gè)樣本計(jì)算一個(gè)可比較的置信度分?jǐn)?shù)例如最大 Softmax 概率分?jǐn)?shù)高代表模型認(rèn)為樣本更接近已知類別。第三在固定的指標(biāo)下匯報(bào)模型區(qū)分已知和未知的能力而不是只看分類準(zhǔn)確率。用 VeriCam 這類名稱作為驗(yàn)證基線本質(zhì)上是為了強(qiáng)調(diào)視覺場(chǎng)景中的可復(fù)現(xiàn)評(píng)估。真實(shí)項(xiàng)目里算法團(tuán)隊(duì)經(jīng)常用不同的數(shù)據(jù)集、不同的預(yù)處理方式、不同的評(píng)價(jià)口徑各自驗(yàn)證得到的結(jié)論無(wú)法橫向比較。有了統(tǒng)一基線后任何改進(jìn)方法都可以先在同一個(gè)協(xié)議上跑一遍確認(rèn)提升真實(shí)有效。1.3 與 OSR、OOD、異常檢測(cè)的關(guān)系這里有必要區(qū)分幾組經(jīng)?；煜母拍钜?yàn)椴煌瑘?chǎng)景里“未知數(shù)據(jù)”的定義差別很大。開放集識(shí)別也就是 Open Set Recognition簡(jiǎn)稱 OSR關(guān)注的是模型能否在測(cè)試時(shí)正確拒絕“新類別”同時(shí)保留對(duì)已知類別的識(shí)別能力。分布外檢測(cè)也就是 Out-of-Distribution Detection簡(jiǎn)稱 OOD Detection關(guān)注的是測(cè)試樣本是否來(lái)自訓(xùn)練分布之外比如 CIFAR-10 模型遇到 SVHN 圖像。異常檢測(cè)也就是 Anomaly Detection通常更關(guān)注數(shù)據(jù)中的少量異常點(diǎn)例如工業(yè)質(zhì)檢中的缺陷樣本。這三個(gè)方向在方法上經(jīng)常互相借鑒但評(píng)價(jià)口徑并不完全一致。本文以視覺圖像分類為主線重點(diǎn)解決 OSR 和 OOD 方向上都需要的核心問題如何構(gòu)造 Known/Unknown 數(shù)據(jù)并給出一個(gè)可靠的驗(yàn)證基線。2. 基線實(shí)驗(yàn)設(shè)計(jì)與評(píng)價(jià)指標(biāo)2.1 問題形式化定義為了把問題講清楚我們可以做一個(gè)形式化定義。假設(shè)有已知類別集合K {c1, c2, ..., cM}模型使用 K 中的訓(xùn)練數(shù)據(jù)完成分類因此模型見過所有已知類別。測(cè)試階段我們輸入兩類樣本已知類樣本標(biāo)簽確實(shí)屬于 K未知類樣本標(biāo)簽不屬于 K。驗(yàn)證基線的目標(biāo)不是判斷未知樣本具體屬于哪個(gè)新類別而是計(jì)算一個(gè)二分類判斷樣本是否為已知類別可以把來(lái)自已知類別的樣本視為正類把來(lái)自未知類別的樣本視為負(fù)類。這樣原本的“M 類分類問題”就被轉(zhuǎn)換成一個(gè)“驗(yàn)證問題”。Verification Baseline 的名稱也因此而來(lái)我們驗(yàn)證的其實(shí)是模型對(duì)已知類別空間的信任邊界。2.2 數(shù)據(jù)集應(yīng)該怎么劃分建立驗(yàn)證基線的第一步是準(zhǔn)備數(shù)據(jù)。為了保證實(shí)驗(yàn)可復(fù)現(xiàn)建議把數(shù)據(jù)劃分成四份數(shù)據(jù)集合數(shù)據(jù)來(lái)源是否參與訓(xùn)練用途已知類訓(xùn)練集已知類別中的訓(xùn)練樣本是訓(xùn)練分類器已知類驗(yàn)證集已知類別中的驗(yàn)證樣本否只用于選閾值確定判定邊界已知類測(cè)試集已知類別中的測(cè)試樣本否評(píng)估已知類識(shí)別能力未知類測(cè)試集未知類別樣本否評(píng)估對(duì)未知類的拒識(shí)能力一個(gè)常見的錯(cuò)誤是只用訓(xùn)練集上的表現(xiàn)來(lái)評(píng)估模型或者讓測(cè)試用的未知類別以任何形式出現(xiàn)在訓(xùn)練階段。這樣得到的結(jié)果會(huì)偏樂觀無(wú)法反映真實(shí)線上場(chǎng)景。未知類數(shù)據(jù)在驗(yàn)證階段應(yīng)該保持完全不可見。另一個(gè)關(guān)鍵點(diǎn)是閾值不能直接在測(cè)試集上挑選否則會(huì)產(chǎn)生信息泄漏。更規(guī)范的做法是先用已知類驗(yàn)證集確定一個(gè)能保證指定已知類召回率的閾值再把這個(gè)閾值固定下來(lái)去測(cè)試集上評(píng)估最終的混淆矩陣和指標(biāo)。2.3 核心指標(biāo)選擇分類任務(wù)里準(zhǔn)確率并不能完整反映驗(yàn)證基線的質(zhì)量。因?yàn)槿绻阎惡臀粗悢?shù)量不平衡模型即使把所有樣本都判為“已知”也可能獲得很高的準(zhǔn)確率。這里采用更合適的指標(biāo)。AUROCArea Under the ROC Curve是最常用的指標(biāo)之一。它的含義是隨機(jī)抽取一個(gè)已知類樣本和一個(gè)未知類樣本已知類樣本的分?jǐn)?shù)高于未知類樣本的概率。AUROC 越高說(shuō)明模型對(duì)已知和未知的區(qū)分能力越強(qiáng)。AUROC 接近 0.5 表示模型基本沒有區(qū)分能力接近 1 表示區(qū)分能力很強(qiáng)。FPRTPR95 是另一個(gè)工程中很重要的指標(biāo)。TPR 表示已知類樣本被正確判定為已知類的比例FPR 表示未知類樣本被錯(cuò)誤判定為已知類的比例。FPRTPR95 的含義是當(dāng)模型能識(shí)別出 95% 的已知類樣本時(shí)有多少比例的未知類樣本會(huì)被誤判成已知類。這個(gè)指標(biāo)直接對(duì)應(yīng)業(yè)務(wù)中的“誤報(bào)率”在很多安全敏感場(chǎng)景中非常關(guān)鍵。除了上述指標(biāo)還可以額外統(tǒng)計(jì)已知類準(zhǔn)確率、未知類拒識(shí)率以及混淆矩陣方便從不同角度觀察結(jié)果。3. 環(huán)境準(zhǔn)備與項(xiàng)目結(jié)構(gòu)3.1 運(yùn)行環(huán)境本文示例以 PyTorch 為基礎(chǔ)實(shí)現(xiàn)環(huán)境要求如下。版本需要根據(jù)你的項(xiàng)目實(shí)際情況調(diào)整這里重點(diǎn)演示配置和代碼思路。操作系統(tǒng)Windows / Linux / macOS 均可Python建議使用 3.8 或更高版本深度學(xué)習(xí)框架PyTorch建議使用較新的穩(wěn)定版本數(shù)據(jù)集工具torchvision指標(biāo)計(jì)算scikit-learn數(shù)值計(jì)算NumPy。在命令行中安裝核心依賴pip install torch torchvision sklearn numpy如果你的機(jī)器有 CUDA 顯卡可以安裝對(duì)應(yīng)版本的 GPU PyTorch如果沒有CPU 版本也能完成整個(gè)演示只是訓(xùn)練速度會(huì)慢一些。安裝時(shí)盡量統(tǒng)一依賴版本避免不同包之間的接口沖突。3.2 演示項(xiàng)目結(jié)構(gòu)為了讓代碼模塊清晰建議按下面的目錄組織工程VeriCam-Demo/ ├── data_utils.py # 數(shù)據(jù)集劃分與 Known/Unknown 構(gòu)造 ├── models.py # 小型視覺分類網(wǎng)絡(luò) ├── metrics.py # 驗(yàn)證基線評(píng)估指標(biāo) └── run_demo.py # 主流程訓(xùn)練、閾值選擇、評(píng)估這份結(jié)構(gòu)足夠做一次完整實(shí)驗(yàn)。你在實(shí)際項(xiàng)目中可以繼續(xù)擴(kuò)展出config.py管理超參數(shù)、inference.py對(duì)接線上推理但核心的驗(yàn)證協(xié)議與這里的邏輯保持一致。4. 完整代碼實(shí)現(xiàn)4.1 數(shù)據(jù)劃分與 Unknown Data 構(gòu)造我們需要從 CIFAR-10 數(shù)據(jù)集中切出已知類別與未知類別。例如選擇其中 5 個(gè)類作為已知類另外 5 個(gè)類作為未知類。這樣能保證數(shù)據(jù)集的加載非常簡(jiǎn)單環(huán)境允許時(shí)會(huì)自動(dòng)下載到本地。值得注意的是這種劃分方式會(huì)讓未知類與已知類來(lái)自同一個(gè)數(shù)據(jù)集語(yǔ)義上仍屬于同一分布因此驗(yàn)證難度偏低。它適合用來(lái)打通實(shí)驗(yàn)流程。在更嚴(yán)格的實(shí)驗(yàn)中建議使用 CIFAR-100 或 Tiny ImageNet 等數(shù)據(jù)集裁剪出的圖像作為真正意義上的 Unknown Data。先把流程跑通再替換為更困難的數(shù)據(jù)是比較穩(wěn)妥的思路。下面是data_utils.py的完整代碼# 文件路徑VeriCam-Demo/data_utils.py import torch from torch.utils.data import Subset, Dataset from torchvision import datasets, transforms class VerificationDataset(Dataset): 將原始 Subset 包裝成驗(yàn)證數(shù)據(jù)集。 is_known1 表示該樣本屬于已知類別空間 is_known0 表示該樣本屬于未知類別空間。 def __init__(self, subset, is_known): self.subset subset self.is_known int(is_known) def __len__(self): return len(self.subset) def __getitem__(self, index): x, y self.subset[index] return x, y, self.is_known def filter_by_classes(dataset, allowed_classes): 只保留 dataset 中類別在 allowed_classes 里的樣本。 allowed_classes 是 list[int]。 allowed_set set(allowed_classes) indices [ i for i, (_, label) in enumerate(dataset) if int(label) in allowed_set ] return Subset(dataset, indices) def get_cifar10_datasets(data_root./data, known_classes(0, 1, 2, 3, 4)): 返回?cái)?shù)據(jù)字典包含 - known_train: 訓(xùn)練分類器使用的已知類訓(xùn)練集 - known_val: 用來(lái)選擇閾值的已知類驗(yàn)證集 - known_test: 已知類測(cè)試集 - unknown_test: 未知類測(cè)試集 train_transform transforms.Compose([ transforms.RandomHorizontalFlip(), transforms.RandomCrop(32, padding4), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)), ]) test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)), ]) # 下載并加載完整 CIFAR-10 full_train datasets.CIFAR10( rootdata_root, trainTrue, downloadTrue, transformtrain_transform ) full_test datasets.CIFAR10( rootdata_root, trainFalse, downloadTrue, transformtest_transform ) all_classes set(range(10)) known_set set(known_classes) unknown_classes sorted(all_classes - known_set) # 過濾出已知類訓(xùn)練數(shù)據(jù) known_train_full filter_by_classes(full_train, known_classes) # 再?gòu)囊阎愑?xùn)練數(shù)據(jù)中切出驗(yàn)證集例如 5000 個(gè)樣本 n len(known_train_full) n_val 5000 indices list(range(n)) torch.manual_seed(0) val_indices set(torch.randperm(n)[:n_val].tolist()) train_indices [i for i in indices if i not in val_indices] known_train Subset(known_train_full, train_indices) known_val Subset(known_train_full, sorted(val_indices)) # 已知類測(cè)試集和未知類測(cè)試集 known_test filter_by_classes(full_test, known_classes) unknown_test filter_by_classes(full_test, unknown_classes) # 包裝成驗(yàn)證數(shù)據(jù)集 return { known_train: VerificationDataset(known_train, is_known1), known_val: VerificationDataset(known_val, is_known1), known_test: VerificationDataset(known_test, is_known1), unknown_test: VerificationDataset(unknown_test, is_known0), }這段代碼需要注意三個(gè)地方。第一驗(yàn)證集的索引來(lái)自已知類訓(xùn)練數(shù)據(jù)內(nèi)部不能和測(cè)試集有交集。第二VerificationDataset返回的第三個(gè)元素 1/0 用來(lái)告訴評(píng)估函數(shù)當(dāng)前樣本是已知還是未知。第三隨機(jī)種子固定為 0方便復(fù)現(xiàn)在真實(shí)項(xiàng)目中可以把 seed 作為參數(shù)傳入方便做多次重復(fù)實(shí)驗(yàn)。4.2 定義視覺分類網(wǎng)絡(luò)本文用一個(gè)小型 CNN 而不是大型預(yù)訓(xùn)練網(wǎng)絡(luò)。原因是驗(yàn)證基線討論的重點(diǎn)在協(xié)議和指標(biāo)上使用小型網(wǎng)絡(luò)可以在普通 CPU 機(jī)器上完成訓(xùn)練方便讀者快速?gòu)?fù)現(xiàn)。# 文件路徑VeriCam-Demo/models.py import torch.nn as nn class SmallCNN(nn.Module): 適用于 CIFAR-10 32x32 輸入的小型卷積網(wǎng)絡(luò)。 輸出維度為 num_classes不包含 Softmax。 def __init__(self, num_classes5): super(SmallCNN, self).__init__() self.features nn.Sequential( nn.Conv2d(3, 32, 3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, 3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(128, num_classes), ) def forward(self, x): return self.classifier(self.features(x))CIFAR-10 的圖像尺寸是 32x32。經(jīng)過三次MaxPool2d(2)后特征圖會(huì)縮小到 4x4最后引入AdaptiveAvgPool2d((1, 1))把特征圖統(tǒng)一池化到 1x1保證網(wǎng)絡(luò)對(duì)輸入尺寸變化有更好的魯棒性。需要重點(diǎn)理解的是網(wǎng)絡(luò)最后一層輸出的是 logits不是概率。我們?cè)诤罄m(xù)計(jì)算最大 Softmax 概率時(shí)會(huì)先對(duì) logits 做 Softmax再取最大值。不要把 Softmax 寫進(jìn)模型里因?yàn)橛?xùn)練時(shí)使用的交叉熵?fù)p失函數(shù)會(huì)自動(dòng)結(jié)合 logits 和 Softmax單獨(dú)把 Softmax 放進(jìn)模型反而會(huì)增加數(shù)值不穩(wěn)定性。4.3 評(píng)估指標(biāo)實(shí)現(xiàn)在驗(yàn)證基線中我們要計(jì)算三個(gè)核心結(jié)果AUROC、FPRTPR95、混淆矩陣。下面把指標(biāo)封裝成獨(dú)立模塊方便在訓(xùn)練結(jié)束后直接調(diào)用。# 文件路徑VeriCam-Demo/metrics.py import numpy as np from sklearn.metrics import roc_auc_score, roc_curve def compute_metrics(known_scores, unknown_scores, threshold): 計(jì)算驗(yàn)證指標(biāo)。 參數(shù) - known_scores: 已知類樣本的置信度分?jǐn)?shù) - unknown_scores: 未知類樣本的置信度分?jǐn)?shù) - threshold: 判定閾值分?jǐn)?shù) threshold 判定為已知類 返回 - dict 類型的指標(biāo)結(jié)果 y_true np.concatenate([ np.ones(len(known_scores)), np.zeros(len(unknown_scores)), ]) y_score np.concatenate([known_scores, unknown_scores]) # 在固定閾值下計(jì)算混淆矩陣相關(guān)指標(biāo) pred (y_score threshold).astype(int) tp np.sum((pred 1) (y_true 1)) fn np.sum((pred 0) (y_true 1)) fp np.sum((pred 1) (y_true 0)) tn np.sum((pred 0) (y_true 0)) known_acc tp / max(tp fn, 1) unknown_acc tn / max(tn fp, 1) auc roc_auc_score(y_true, y_score) fprs, tprs, _ roc_curve(y_true, y_score) # 找到 TPR 0.95 時(shí)盡量低且首次滿足條件的 FPR valid_indices np.where(tprs 0.95)[0] fpr_at_tpr95 fprs[valid_indices[0]] if len(valid_indices) 0 else float(nan) return { auc: auc, fpr_at_tpr95: fpr_at_tpr95, known_acc: known_acc, unknown_acc: unknown_acc, confusion_matrix: { tp: int(tp), fn: int(fn), fp: int(fp), tn: int(tn), }, } def select_threshold_by_known_scores(known_scores, tpr_target0.95): 使用已知類驗(yàn)證集的分?jǐn)?shù)挑選閾值。 目標(biāo)是讓已知類樣本保留 tpr_target 比例的召回率。 if len(known_scores) 0: raise ValueError(known_scores 不能為空) # 例如 tpr_target0.95則取已知樣本分?jǐn)?shù)分布的 5% 分位點(diǎn) # 約 95% 的已知樣本分?jǐn)?shù)會(huì)大于等于該閾值 threshold np.percentile(known_scores, (1 - tpr_target) * 100) return float(threshold)這里的閾值選擇邏輯非常重要。我們是在“已知類驗(yàn)證集”上選擇閾值而不是在測(cè)試集上選擇。測(cè)試集只負(fù)責(zé)最終評(píng)估這樣可以避免閾值過擬合。如果線上業(yè)務(wù)對(duì)誤報(bào)率更敏感可以把閾值定得更高如果希望盡量少漏掉已知類樣本可以調(diào)低閾值。驗(yàn)證基線的意義恰恰就是提供一個(gè)可調(diào)節(jié)的評(píng)估框架而不是固定某一條規(guī)則。4.4 主流程訓(xùn)練與驗(yàn)證最后是主流程代碼。它會(huì)依次完成訓(xùn)練、分?jǐn)?shù)采集、閾值選擇和指標(biāo)計(jì)算。# 文件路徑VeriCam-Demo/run_demo.py import numpy as np import torch import torch.nn as nn from torch.utils.data import DataLoader from data_utils import get_cifar10_datasets from models import SmallCNN from metrics import compute_metrics, select_threshold_by_known_scores def collect_confidence_scores(model, loader, device): 遍歷數(shù)據(jù)集返回最大 Softmax 概率分?jǐn)?shù)和 is_known 標(biāo)簽。 model.eval() scores_list [] known_list [] with torch.no_grad(): for x, _, is_known in loader: x x.to(device) logits model(x) probs torch.softmax(logits, dim1) max_probs probs.max(dim1).values scores_list.append(max_probs.cpu().numpy()) known_list.append(is_known.numpy()) scores np.concatenate(scores_list) is_known np.concatenate(known_list) return scores, is_known def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) print(device:, device) # 使用 5 個(gè)類別作為已知類 known_classes [0, 1, 2, 3, 4] num_classes len(known_classes) datasets get_cifar10_datasets( data_root./data, known_classesknown_classes, ) train_loader DataLoader( datasets[known_train], batch_size128, shuffleTrue, num_workers2, drop_lastTrue ) val_loader DataLoader( datasets[known_val], batch_size256, shuffleFalse, num_workers2 ) known_test_loader DataLoader( datasets[known_test], batch_size256, shuffleFalse, num_workers2 ) unknown_test_loader DataLoader( datasets[unknown_test], batch_size256, shuffleFalse, num_workers2 ) model SmallCNN(num_classesnum_classes).to(device) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() epochs 10 for epoch in range(epochs): model.train() total_loss 0.0 correct 0 total 0 for x, y, _ in train_loader: x x.to(device) y y.to(device) logits model(x) loss criterion(logits, y) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() * x.size(0) pred logits.argmax(dim1) correct (pred y).sum().item() total y.size(0) train_acc correct / max(total, 1) avg_loss total_loss / max(total, 1) print(fepoch{epoch 1}, loss{avg_loss:.4f}, train_acc{train_acc:.4f}) # 1. 在已知類驗(yàn)證集上選擇閾值 val_scores, val_known collect_confidence_scores(model, val_loader, device) # val_known 應(yīng)該全是 1閾值選擇只看已知類分?jǐn)?shù) threshold select_threshold_by_known_scores( val_scores, tpr_target0.95 ) print(selected threshold:, round(threshold, 4)) # 2. 在測(cè)試集上評(píng)估 known_scores, _ collect_confidence_scores(model, known_test_loader, device) unknown_scores, _ collect_confidence_scores(model, unknown_test_loader, device) results compute_metrics( known_scoresknown_scores, unknown_scoresunknown_scores, thresholdthreshold, ) print(AUROC:, round(results[auc], 4)) print(FPRTPR95:, round(results[fpr_at_tpr95], 4)) print(known_acc:, round(results[known_acc], 4)) print(unknown_acc:, round(results[unknown_acc], 4)) print(confusion_matrix:, results[confusion_matrix]) if __name__ __main__: main()這里有幾個(gè)工程細(xì)節(jié)需要解釋。第一模型訓(xùn)練使用交叉熵?fù)p失輸出維度是 5。訓(xùn)練過程中只使用 known_classes 對(duì)應(yīng)的 5 類數(shù)據(jù)未知類數(shù)據(jù)完全沒有參與訓(xùn)練。這保證了驗(yàn)證基線考察的是模型面對(duì)全新類別的泛化能力而不是記憶能力。第二閾值的選擇來(lái)自驗(yàn)證集。select_threshold_by_known_scores會(huì)找出一個(gè)閾值使得約 95% 的已知類驗(yàn)證樣本能夠被正確保留。然后我們固定這個(gè)閾值再到 known_test 和 unknown_test 上評(píng)估。第三所有測(cè)試都使用torch.no_grad()包裹并讓模型進(jìn)入 eval 模式。如果忘記調(diào)用model.eval()BatchNorm 層在推理時(shí)仍然會(huì)使用當(dāng)前 batch 的均值和方差導(dǎo)致結(jié)果不穩(wěn)定。5. 運(yùn)行與結(jié)果分析5.1 運(yùn)行命令在項(xiàng)目目錄下直接運(yùn)行python run_demo.py第一次運(yùn)行會(huì)自動(dòng)從互聯(lián)網(wǎng)下載 CIFAR-10 數(shù)據(jù)集。下載完成后控制臺(tái)會(huì)輸出類似下面的內(nèi)容device: cpu epoch1, loss1.5321, train_acc0.3892 epoch2, loss1.3147, train_acc0.5021 epoch3, loss1.1842, train_acc0.5621 ... epoch10, loss0.9313, train_acc0.6881 selected threshold: 0.4213 AUROC: 0.7721 FPRTPR95: 0.4215 known_acc: 0.6924 unknown_acc: 0.6203 confusion_matrix: {tp: 3421, fn: 1579, fp: 1898, tn: 3102}以上輸出只是格式示意。不同機(jī)器、不同隨機(jī)種子和不同訓(xùn)練輪數(shù)一定會(huì)產(chǎn)生差異重點(diǎn)不是記住某個(gè)具體數(shù)字而是理解每一行結(jié)果的含義。5.2 怎樣解讀這些結(jié)果AUROC 如果明顯高于 0.5說(shuō)明模型已經(jīng)具備一定的已知/未知區(qū)分能力。AUROC 很高不代表系統(tǒng)可以直接上線因?yàn)榫€上場(chǎng)景的未知數(shù)據(jù)分布會(huì)更復(fù)雜。FPRTPR95 則告訴我們?nèi)绻麡I(yè)務(wù)要求漏掉已知類的比例不超過 5%那么會(huì)有多少未知類樣本被誤判為已知。這個(gè)數(shù)字越低越好0 表示不存在誤報(bào)1 表示全部誤報(bào)。再看混淆矩陣。TP 是正確保留的已知類樣本FN 是漏掉的已知類樣本FP 是誤判為已知的未知類樣本TN 是正確拒識(shí)的未知類樣本。當(dāng)我們要設(shè)定業(yè)務(wù)閾值時(shí)往往是在 FN 和 FP 之間做權(quán)衡。不能說(shuō)“哪個(gè)數(shù)字越小越好”因?yàn)榻档?FN 通常會(huì)導(dǎo)致 FP 上升反之亦然。5.3 結(jié)果可視化的一種思路如果想讓驗(yàn)證結(jié)論更直觀可以增加一個(gè)簡(jiǎn)單的可視化代碼片段。這里不要求必須畫圖但展示思路import matplotlib.pyplot as plt def plot_score_distribution(known_scores, unknown_scores, threshold): plt.hist(known_scores, bins50, alpha0.6, labelknown) plt.hist(unknown_scores, bins50, alpha0.6, labelunknown) plt.axvline(threshold, colorred, linestyle--, labelthreshold) plt.xlabel(confidence score) plt.ylabel(count) plt.legend() plt.show()把 known_scores 和 unknown_scores 的分布畫出來(lái)可以很直觀地看到兩個(gè)分布的重疊程度。重疊越少模型對(duì)已知和未知的區(qū)分越好重疊越大說(shuō)明模型在很多未知樣本上也給出了高置信度這是非常危險(xiǎn)的信號(hào)。6. 常見問題與排查思路6.1 高頻問題排查表問題現(xiàn)象常見原因解決思路訓(xùn)練 loss 不下降學(xué)習(xí)率過大或模型結(jié)構(gòu)有誤降低學(xué)習(xí)率檢查數(shù)據(jù)標(biāo)簽是否錯(cuò)位AUROC 接近 0.5Unknown Data 與 Known Data 太相似或模型訓(xùn)練不充分換更難的數(shù)據(jù)集增加訓(xùn)練輪數(shù)檢查特征提取能力FPRTPR95 接近 1模型對(duì)所有樣本都給出高置信度考慮引入溫度縮放、Energy Score 等更復(fù)雜的 OOD 方法驗(yàn)證集上指標(biāo)高、測(cè)試集指標(biāo)低閾值在驗(yàn)證集上過擬合擴(kuò)大驗(yàn)證集規(guī)模使用交叉驗(yàn)證多次重復(fù)實(shí)驗(yàn)同一份代碼兩次運(yùn)行結(jié)果不同沒固定隨機(jī)種子或 GPU 計(jì)算存在非確定性固定 PyTorch 和 NumPy 種子多次運(yùn)行取均值Unknown Data 混入訓(xùn)練集后指標(biāo)異常偏高數(shù)據(jù)泄漏排查數(shù)據(jù)劃分的類別交集確保 unknown 完全不參與訓(xùn)練6.2 為什么 MSP 是最簡(jiǎn)單也是最穩(wěn)的基線Maximum Softmax Probability也就是最大 Softmax 概率是驗(yàn)證任務(wù)里最常見的 Baseline。它的核心假設(shè)是模型對(duì)已知類樣本會(huì)給出更高的最大概率對(duì)未知類樣本會(huì)比較猶豫。這個(gè)方案實(shí)現(xiàn)簡(jiǎn)單只需要在模型輸出后取 Softmax 最大值幾乎不需要修改網(wǎng)絡(luò)結(jié)構(gòu)所以它非常適合作為 Verification Baseline。但它的缺點(diǎn)也很明顯深度神經(jīng)網(wǎng)絡(luò)往往過度自信對(duì)分布外輸入也會(huì)給出較高的 Softmax 概率。正因?yàn)槿绱薓SP 通常是一個(gè)“下限”參考。如果某個(gè)新方法連 MSP 都打不過那說(shuō)明提升可能來(lái)自實(shí)驗(yàn)設(shè)置問題而不是算法本身。6.3 一個(gè)非常容易忽略的坑同源數(shù)據(jù)劃分在本文示例中我們讓 CIFAR-10 的 5 個(gè)類作為已知類另外 5 個(gè)類作為未知類。這種做法雖然方便但會(huì)讓任務(wù)偏簡(jiǎn)單。因?yàn)橥粋€(gè)數(shù)據(jù)集內(nèi)部的圖像在風(fēng)格、分辨率、背景上高度一致模型很可能僅僅因?yàn)榧y理或者顏色分布差異就把未知類區(qū)分開。更貼近真實(shí)場(chǎng)景的做法是使用另一個(gè)數(shù)據(jù)集作為未知類。例如用 CIFAR-10 作為已知類分布用 CIFAR-100 或 SVHN 作為未知類分布。這樣才能驗(yàn)證模型是否學(xué)到了“對(duì)已知類別的語(yǔ)義邊界”而不是數(shù)據(jù)集的某種表面特征。在正式實(shí)驗(yàn)中建議至少準(zhǔn)備多個(gè)不同難度的 Unknown Data 集合避免單點(diǎn)結(jié)論。7. 最佳實(shí)踐與工程建議7.1 實(shí)驗(yàn)配置要可追溯驗(yàn)證基線的核心價(jià)值之一是“可復(fù)現(xiàn)”。我建議在項(xiàng)目中保存一份固定配置記錄下列信息已知類列表和未知類列表訓(xùn)練集、驗(yàn)證集、測(cè)試集的大小模型結(jié)構(gòu)、預(yù)訓(xùn)練權(quán)重來(lái)源優(yōu)化器、學(xué)習(xí)率、訓(xùn)練輪數(shù)隨機(jī)種子每天運(yùn)行使用的框架版本。一個(gè)可行的方式是把這些配置寫入 JSON 或 YAML 文件并將結(jié)果和配置一起存檔。這樣即使三個(gè)月后再回看實(shí)驗(yàn)結(jié)果也能知道當(dāng)前指標(biāo)是在什么條件下產(chǎn)生的。7.2 盡量使用多次獨(dú)立重復(fù)實(shí)驗(yàn)深度學(xué)習(xí)的訓(xùn)練過程有隨機(jī)性單次實(shí)驗(yàn)不足以證明方法優(yōu)劣。工程上建議固定一個(gè)隨機(jī)種子集合比如[0, 1, 2, 42]分別跑完實(shí)驗(yàn)后匯報(bào) AUROC 的均值和標(biāo)準(zhǔn)差。穩(wěn)定性和平均值同樣重要。如果某個(gè)方法在 seed0 時(shí)表現(xiàn)很好但換一個(gè) seed 就大幅下降那么它對(duì)實(shí)際業(yè)務(wù)的價(jià)值要打折扣。7.3 先定評(píng)估協(xié)議再做模型改進(jìn)很多團(tuán)隊(duì)拿到 Unknown Data 分類需求后第一反應(yīng)是換更好的 Backbone 或者更復(fù)雜的損失函數(shù)。但如果沒有先建立 Verification Baseline后續(xù)所有改進(jìn)都缺乏參照。更好的順序是固定數(shù)據(jù)劃分固定評(píng)估指標(biāo)跑最簡(jiǎn)單的 MSP 基線記錄 baseline 結(jié)果再逐步引入更復(fù)雜的算法例如溫度縮放、ODIN、能量分?jǐn)?shù)、OpenMax每次只改變一個(gè)變量比較結(jié)果。這套做法看起來(lái)不夠炫酷卻是保證技術(shù)演進(jìn)方向正確的關(guān)鍵。尤其在安全敏感場(chǎng)景中謹(jǐn)慎的評(píng)估流程比技巧更重要。7.4 對(duì)未知樣本保持“可解釋的拒絕”真實(shí)工程系統(tǒng)里模型除了輸出分類結(jié)果還需要輸出一個(gè)“不確定”信號(hào)。當(dāng)置信度分?jǐn)?shù)低于閾值時(shí)系統(tǒng)應(yīng)該走一條獨(dú)立的分支比如人工審核、二次校驗(yàn)或者直接拒絕。這個(gè)閾值的確定不應(yīng)該只依賴算法人員的經(jīng)驗(yàn)而要和產(chǎn)品、安全團(tuán)隊(duì)共同協(xié)商。驗(yàn)證基線提供的是模型能力量化結(jié)果業(yè)務(wù)側(cè)則要結(jié)合誤報(bào)成本和漏報(bào)成本選擇一個(gè)對(duì)業(yè)務(wù)最合理的閾值。8. 總結(jié)與下一步方向本文從驗(yàn)證基線設(shè)計(jì)的角度拆解了 Unknown Data 分類問題。我們先明確了 Unknown Data 與 OOD、OSR 的關(guān)系然后設(shè)計(jì)了一套可復(fù)現(xiàn)的數(shù)據(jù)劃分和評(píng)估協(xié)議。在代碼實(shí)現(xiàn)部分基于 CIFAR-10 構(gòu)建了已知類與未知類集合并以最大 Softmax 概率作為 Baseline計(jì)算了 AUROC、FPRTPR95 和混淆矩陣。這套流程的核心價(jià)值并不是把模型準(zhǔn)確率提得有多高而是幫助你在上線前回答三個(gè)問題模型是否對(duì)未知數(shù)據(jù)保持謹(jǐn)慎現(xiàn)有決策閾值會(huì)造成多少誤報(bào)新的改進(jìn)算法是否真的比 Baseline 更可靠如果你正在處理視覺分類相關(guān)的工程問題可以把這套代碼作為起點(diǎn)先把評(píng)估體系固化下來(lái)。后續(xù)可以繼續(xù)探索的方向包括使用不同難度的 Unknown Data 集合做壓力測(cè)試引入 ODIN 中的溫度縮放策略嘗試基于能量的分?jǐn)?shù)函數(shù)在分類網(wǎng)絡(luò)中加入 OpenMax 層來(lái)對(duì)開放集進(jìn)行建模。不同方法的適用場(chǎng)景差異很大但只要驗(yàn)證基線足夠穩(wěn)健所有方法都可以在同一個(gè)尺度下公平比較。如果本文對(duì)你有幫助可以收藏備用也歡迎在實(shí)踐中結(jié)合實(shí)際數(shù)據(jù)繼續(xù)驗(yàn)證和調(diào)整這套流程。