簡介這份資源是清華大學(xué)崔鵬團隊等學(xué)者撰寫的《Towards Out-Of-Distribution Generalization: A Survey》綜述論文PDF面向深度學(xué)習(xí)研究者、算法工程師及高年級學(xué)生系統(tǒng)回應(yīng)現(xiàn)實場景中訓(xùn)練與測試數(shù)據(jù)分布不一致、經(jīng)典i.i.d.假設(shè)失效導(dǎo)致模型性能驟降的問題。論文從OOD泛化的形式化定義切入按學(xué)習(xí)流程將現(xiàn)有方法歸為無監(jiān)督表示學(xué)習(xí)、監(jiān)督模型學(xué)習(xí)與優(yōu)化策略三類并串聯(lián)因果推理、不變性學(xué)習(xí)、穩(wěn)定學(xué)習(xí)與分布魯棒優(yōu)化之間的理論聯(lián)系同時介紹常用數(shù)據(jù)集與評估指標(biāo)最后總結(jié)未來研究方向。資源包共1個PDF文件約5.34MB篇幅完整、結(jié)構(gòu)清晰適合作為入門梳理與課題調(diào)研的案頭參考。目前已有2740人學(xué)習(xí)可幫助讀者快速建立OOD泛化的知識框架定位關(guān)鍵方法脈絡(luò)與可延伸的研究切入點。1. 訓(xùn)練滿分、上線翻車到底什么是分布外泛化你有沒有遇到過這種事一個模型在測試集上準(zhǔn)確率刷到 99%團隊歡天喜地上了線結(jié)果真實場景一跑效果直接掉到及格線以下有時候甚至不如瞎猜。這不是玄學(xué)也不是代碼寫錯了而是機器學(xué)習(xí)里一個繞不開的硬骨頭——分布外泛化Out-of-Distribution Generalization簡稱 OOD 泛化。通俗地說分布外泛化指的是模型在訓(xùn)練時見過的數(shù)據(jù)分布之外面對一個未知且不同的數(shù)據(jù)分布時還能不能保持靠譜表現(xiàn)。經(jīng)典機器學(xué)習(xí)建立在“獨立同分布”假設(shè)上也就是訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)來自同一個分布?？涩F(xiàn)實里這個假設(shè)幾乎總被打破——數(shù)據(jù)會隨時間漂移、采集方式會帶來選擇偏差、場景一換特征分布就變了。這篇綜述論文做的第一件事就是把這個“看不見的坑”正式定義清楚然后系統(tǒng)梳理整個領(lǐng)域的方法版圖。搞懂它你才能明白為什么很多模型“實驗室里是學(xué)霸出了門就迷路”。2. 為什么 i.i.d. 假設(shè)一破模型就失靈2.1 經(jīng)驗風(fēng)險最小化一個貪心的好學(xué)生要理解 OOD 問題為什么難得先看經(jīng)典方法是怎么學(xué)的。絕大多數(shù)監(jiān)督學(xué)習(xí)模型用的是經(jīng)驗風(fēng)險最小化ERM目標(biāo)很樸素把訓(xùn)練集上的平均損失壓到最低。# 經(jīng)驗風(fēng)險最小化的核心思想偽代碼示意 total_loss 0 for x, y in training_data: pred model(x) # 模型預(yù)測 total_loss loss(pred, y) # 累加每個樣本的誤差 average_loss total_loss / len(training_data) optimize(model, average_loss) # 最小化訓(xùn)練集平均誤差這段邏輯的含義是模型只對“訓(xùn)練集里出現(xiàn)過的規(guī)律”負責(zé)。參數(shù)說明上loss是預(yù)測與真實標(biāo)簽的距離optimize是梯度下降之類的優(yōu)化器。問題在于ERM 會貪婪地吸收數(shù)據(jù)中所有的相關(guān)性——包括那些只是巧合、換個分布就不成立的“偽相關(guān)”。比如訓(xùn)練集里“草地上的牛”總是和“?！边@個標(biāo)簽一起出現(xiàn)模型可能悄悄學(xué)會了“有草地就是?！币坏y試圖里牛站在沙灘上它就懵了。這不是模型笨而是它被訓(xùn)練目標(biāo)引導(dǎo)著走了捷徑。2.2 分布偏移從哪來時間、空間與選擇偏差分布偏移不是抽象概念它有很具體的來源。論文里點出了幾類典型成因數(shù)據(jù)隨時間的演化比如用戶行為年年變、空間上的差異不同地區(qū)的數(shù)據(jù)分布不同、以及數(shù)據(jù)采集過程中的樣本選擇偏差采到的樣本本身就有偏。打個比方你用某城市早高峰的打車數(shù)據(jù)訓(xùn)練一個需求預(yù)測模型搬到另一個城市或者放到深夜時段輸入特征的分布已經(jīng)變了模型學(xué)到的“規(guī)律”自然對不上號。更麻煩的是測試分布往往是未知的——線上場景里未來的數(shù)據(jù)還沒產(chǎn)生你根本沒法提前知道它會怎么變。這就是 OOD 泛化比普通測試集評估難的根本原因你不是在和一個已知的考卷較勁而是在和一張還沒印出來的考卷較勁。2.3 協(xié)變量偏移最常見也最值得盯的一類分布偏移有很多種形式論文重點討論了協(xié)變量偏移covariate shift輸入特征的邊緣分布變了但“給定輸入后標(biāo)簽怎么產(chǎn)生”的機制沒變。用公式說就是 Ptr(Y|X) Pte(Y|X)而 Ptr(X) ≠ Pte(X)。這個設(shè)定聽起來溫和其實很實用。它意味著“因果機制是穩(wěn)定的變的是輸入長什么樣”。比如識別手寫數(shù)字數(shù)字本身的筆畫規(guī)則不變但測試時的光照、字體粗細、背景噪聲變了。正因為標(biāo)簽生成機制穩(wěn)定我們才有機會通過尋找“不變的東西”來對抗分布變化。這也是后面不變性學(xué)習(xí)、因果學(xué)習(xí)這些方法能成立的底層前提。理解這一點你就抓住了整個 OOD 方法族的一條主線別去記那些會變的表面相關(guān)性去找那些跨分布穩(wěn)定的因果結(jié)構(gòu)。3. 三條技術(shù)路線從表示、模型到優(yōu)化3.1 無監(jiān)督表示學(xué)習(xí)先把特征提純第一類方法動的是學(xué)習(xí)流程的最前端——特征表示。既然原始特征里混著大量隨分布變化的噪聲那就先學(xué)一個更“干凈”的表示。論文把它分成兩支解耦表示學(xué)習(xí)和因果表示學(xué)習(xí)。解耦表示學(xué)習(xí)的思路是把數(shù)據(jù)里不同的變化因素拆開讓每個維度對應(yīng)一個獨立的、有意義的因素而不是糾纏在一起。類比一下一張人臉圖片里混著光照、姿態(tài)、表情解耦就是把這些因素分門別類地放進不同的抽屜模型后續(xù)只依賴穩(wěn)定的那部分。因果表示學(xué)習(xí)更進一步試圖讓表示本身攜帶因果結(jié)構(gòu)信息借助變分貝葉斯等無監(jiān)督手段把先驗知識嵌進學(xué)習(xí)過程。這類方法的價值在于“治本”如果表示層就已經(jīng)把分布相關(guān)的干擾濾掉了下游模型自然更穩(wěn)。代價是解耦本身很難驗證學(xué)出來的表示是否真的對應(yīng)因果因素往往缺乏可靠的檢驗手段。3.2 監(jiān)督模型學(xué)習(xí)改結(jié)構(gòu)、改策略第二類方法不動表示而是在模型架構(gòu)和訓(xùn)練策略上做文章代表分支有因果學(xué)習(xí)、穩(wěn)定學(xué)習(xí)和領(lǐng)域泛化。領(lǐng)域泛化的場景最貼近工程現(xiàn)實手頭有多個不同來源的領(lǐng)域數(shù)據(jù)但測試領(lǐng)域完全沒見過目標(biāo)是讓模型在這些已知領(lǐng)域上訓(xùn)練后能泛化到未知領(lǐng)域。穩(wěn)定學(xué)習(xí)則從樣本選擇偏差切入強調(diào)模型應(yīng)該對分布變化保持穩(wěn)定而不是被少數(shù)強相關(guān)樣本帶偏。因果學(xué)習(xí)走的是另一條路它試圖讓模型學(xué)到特征與標(biāo)簽之間的因果關(guān)系而不是統(tǒng)計相關(guān)。這里可以用一個簡短的結(jié)構(gòu)示意說明“多領(lǐng)域訓(xùn)練”的常見做法# 領(lǐng)域泛化的訓(xùn)練骨架示意 for domain_data in [domain_A, domain_B, domain_C]: pred model(domain_data.x) loss criterion(pred, domain_data.y) # 關(guān)鍵不是簡單求和而是約束跨領(lǐng)域表現(xiàn)一致 total_loss loss regularize_across_domains(model) # 懲罰領(lǐng)域間差異過大的解 optimize(model, total_loss)參數(shù)說明domain_A/B/C是不同來源的訓(xùn)練領(lǐng)域regularize_across_domains代表跨領(lǐng)域一致性約束。邏輯重點是模型不能只在某一個領(lǐng)域上表現(xiàn)好而要在多個領(lǐng)域間找到共同穩(wěn)定的規(guī)律。這類方法的優(yōu)點是能直接復(fù)用現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)落地門檻相對低難點在于領(lǐng)域劃分本身需要人工設(shè)計領(lǐng)域數(shù)量和質(zhì)量直接影響效果。3.3 優(yōu)化策略把魯棒性寫進目標(biāo)函數(shù)第三類方法最“硬核”直接改造優(yōu)化目標(biāo)本身代表是分布魯棒優(yōu)化DRO和基于不變性的優(yōu)化。普通訓(xùn)練是最小化平均損失DRO 則是最小化“最壞情況下的損失”——它不追求在大多數(shù)樣本上表現(xiàn)好而是追求在最不利的分布下也不至于崩盤。通俗地說ERM 是“平均分最高”DRO 是“最差科目也不能太差”。基于不變性的優(yōu)化則把“跨環(huán)境不變的預(yù)測關(guān)系”作為優(yōu)化約束強迫模型去學(xué)那些在所有訓(xùn)練環(huán)境里都成立的規(guī)律。這類方法有理論保證能對 OOD 最優(yōu)性給出形式化分析是論文里理論連接部分的重頭戲。但理論漂亮不等于好落地DRO 往往對分布集合的界定很敏感界定得太寬會導(dǎo)致模型過度保守、在正常分布上表現(xiàn)下降界定得太窄又起不到魯棒作用。實際使用時這個“分布集合怎么劃”本身就是一道需要經(jīng)驗判斷的題。4. 易混概念辨析別把這幾組詞搞混4.1 易混點一OOD 泛化與領(lǐng)域自適應(yīng)這是初學(xué)者最容易混的一對?；煜脑蚝苤苯觾烧叨荚谔幚怼坝?xùn)練和測試分布不一致”。但關(guān)鍵區(qū)別在于測試分布是否可得。領(lǐng)域自適應(yīng)假設(shè)你能拿到測試分布的數(shù)據(jù)哪怕沒有標(biāo)簽無監(jiān)督領(lǐng)域自適應(yīng)至少輸入是見過的而 OOD 泛化假設(shè)測試分布完全未知訓(xùn)練階段根本接觸不到。怎么區(qū)分問一句“訓(xùn)練時能不能看到目標(biāo)域數(shù)據(jù)”能是領(lǐng)域自適應(yīng)不能才是 OOD 泛化。領(lǐng)域自適應(yīng)因此能有理論保證OOD 泛化則必須靠額外假設(shè)才可行。4.2 易混點二協(xié)變量偏移與標(biāo)簽偏移兩者都是分布偏移但變的東西不同。協(xié)變量偏移是輸入分布 P(X) 變了、標(biāo)簽生成機制 P(Y|X) 不變標(biāo)簽偏移則是標(biāo)簽的邊緣分布 P(Y) 變了而給定標(biāo)簽后特征的分布 P(X|Y) 不變。為什么容易混因為現(xiàn)實里兩者常常同時發(fā)生。區(qū)分方法是看“因果方向”如果變化發(fā)生在“什么樣的輸入會出現(xiàn)”偏協(xié)變量偏移如果變化發(fā)生在“各類標(biāo)簽的比例”偏標(biāo)簽偏移。論文明確把重點放在協(xié)變量偏移上因為它是 OOD 泛化文獻里研究最深入的一類。4.3 易混點三不變性學(xué)習(xí)與穩(wěn)定學(xué)習(xí)這兩個詞經(jīng)常被交替使用其實側(cè)重點不同。不變性學(xué)習(xí)強調(diào)尋找在多個環(huán)境下保持不變的預(yù)測關(guān)系核心是“跨環(huán)境一致”穩(wěn)定學(xué)習(xí)則從樣本選擇偏差出發(fā)強調(diào)模型對分布變化不敏感核心是“對擾動穩(wěn)健”?；煜脑蚴莾烧叨甲非蟆胺€(wěn)”但不變性學(xué)習(xí)更依賴顯式的多環(huán)境劃分穩(wěn)定學(xué)習(xí)則更多從樣本加權(quán)等機制入手。區(qū)分時看它有沒有“環(huán)境”這個概念有明確多環(huán)境約束的偏不變性學(xué)習(xí)靠樣本層面去相關(guān)來求穩(wěn)的偏穩(wěn)定學(xué)習(xí)。4.4 易混點四表示學(xué)習(xí)與模型學(xué)習(xí)這兩類方法在流程里的位置不同但效果上常有重疊所以容易混。表示學(xué)習(xí)改的是“輸入長什么樣”在特征提取階段就把分布干擾濾掉模型學(xué)習(xí)改的是“從特征到標(biāo)簽怎么映射”表示可以不動。區(qū)分方法是看改動發(fā)生在管線的哪一段動的是編碼器輸出屬于表示學(xué)習(xí)動的是預(yù)測頭或訓(xùn)練策略屬于模型學(xué)習(xí)。論文按這個位置來分類正是為了讓讀者一眼看清每種方法“在哪一層發(fā)力”。5. 什么時候該用、什么時候別硬上5.1 適用與不適用的邊界OOD 泛化不是萬能藥它有明確的前提。最核心的一條你必須對測試分布怎么變做出某種假設(shè)否則問題在數(shù)學(xué)上不可解。論文說得很直白沒有假設(shè)就沒有泛化保證。所以判斷要不要用先問自己三個問題訓(xùn)練和測試分布是否真的不一致這種不一致有沒有可描述的規(guī)律比如協(xié)變量偏移我能不能拿到多個來源的訓(xùn)練數(shù)據(jù)來刻畫這種變化下面這張表可以幫助快速判斷場景特征建議方向原因測試分布完全未知但有多個訓(xùn)練領(lǐng)域領(lǐng)域泛化 / 不變性學(xué)習(xí)靠多領(lǐng)域約束找穩(wěn)定規(guī)律輸入分布漂移、標(biāo)簽機制穩(wěn)定協(xié)變量偏移方法前提成立方法有理論支撐能拿到目標(biāo)域無標(biāo)簽數(shù)據(jù)領(lǐng)域自適應(yīng)更合適有目標(biāo)域信息不必硬套 OOD分布變化毫無規(guī)律、無法假設(shè)謹慎先做數(shù)據(jù)診斷無假設(shè)則問題不可解只是普通同分布測試不必上 OOD 方法徒增復(fù)雜度可能掉點5.2 一個具體判斷例子假設(shè)某團隊做一個圖像分類系統(tǒng)訓(xùn)練數(shù)據(jù)來自某實驗室白天采集的樣本上線后要面對夜間、不同設(shè)備、不同背景的圖片。這時候直接套 ERM 大概率翻車因為輸入分布明顯漂移。合理的做法是先確認標(biāo)簽生成機制是否穩(wěn)定同一類物體的判別規(guī)則沒變屬于協(xié)變量偏移然后收集幾個不同采集條件的數(shù)據(jù)作為多個領(lǐng)域用領(lǐng)域泛化或不變性約束來訓(xùn)練。反過來如果團隊其實能提前拿到夜間設(shè)備的少量無標(biāo)簽圖片那用領(lǐng)域自適應(yīng)更省力沒必要把問題拔高成完全未知的 OOD 設(shè)定。這里有個血淚經(jīng)驗值得記住很多團隊一上來就堆最復(fù)雜的魯棒優(yōu)化結(jié)果在正常分布上反而掉了好幾個點。OOD 方法往往是用“平均性能”換“最壞情況性能”如果你的實際場景分布變化沒那么劇烈這筆買賣可能不劃算。先做數(shù)據(jù)診斷、確認偏移類型再選方法順序不能反。提示評估 OOD 方法時別只看單一測試集。論文專門強調(diào)了評估數(shù)據(jù)集和指標(biāo)的重要性因為同分布下的評估方式在分布偏移下會失效需要針對性的基準(zhǔn)和度量。從那以后我每次碰到“模型上線掉點”的問題都會先強制走一遍流程確認是不是分布偏移、偏移屬于哪一類、有沒有多領(lǐng)域數(shù)據(jù)可用然后再決定要不要上 OOD 方法。這套綜述把定義、方法分類、理論連接和評估基準(zhǔn)串成了一條完整的線適合當(dāng)作查漏補缺的地圖。希望這份資料能幫你在下一次模型翻車時少走一點彎路。本文還有配套的精品資源點擊獲取