1. 項(xiàng)目概述在計(jì)算機(jī)視覺領(lǐng)域長尾分布Long-Tailed Distribution問題一直是目標(biāo)檢測Object Detection任務(wù)中的主要挑戰(zhàn)之一。ICLR 2025這篇論文《Pursuing Better Decision Boundaries for Long-Tailed Object Detection via Category Information》提出了一種創(chuàng)新方法通過利用類別信息Category Information來優(yōu)化決策邊界Decision Boundaries從而提升長尾場景下的檢測性能。長尾分布指的是在現(xiàn)實(shí)世界的數(shù)據(jù)集中少數(shù)類別頭部類別擁有大量樣本而大多數(shù)類別尾部類別只有少量樣本。這種不平衡會(huì)導(dǎo)致模型在頭部類別上表現(xiàn)良好但在尾部類別上表現(xiàn)欠佳。傳統(tǒng)方法如重采樣Re-sampling或重加權(quán)Re-weighting雖然能緩解這一問題但往往忽視了類別間的語義關(guān)系。2. 核心問題解析2.1 長尾目標(biāo)檢測的挑戰(zhàn)長尾目標(biāo)檢測面臨三個(gè)主要挑戰(zhàn)樣本不平衡頭部類別和尾部類別的樣本數(shù)量差異巨大導(dǎo)致模型偏向于學(xué)習(xí)頭部類別的特征。特征混淆尾部類別的樣本不足使得模型難以學(xué)習(xí)到區(qū)分性強(qiáng)的特征容易與相似類別混淆。決策邊界偏移由于樣本分布不均決策邊界往往會(huì)向尾部類別偏移導(dǎo)致分類錯(cuò)誤。2.2 類別信息的作用類別信息Category Information包括類別的語義描述、視覺特征以及類別間的層次關(guān)系。論文提出通過充分利用這些信息可以更好地建模類別間的相似性和差異性從而優(yōu)化決策邊界。具體來說語義描述如類別的名稱或?qū)傩钥梢詭椭Ｐ屠斫忸悇e的語義含義。視覺特征通過預(yù)訓(xùn)練模型提取的視覺特征可以捕捉類別的視覺模式。層次關(guān)系如類別間的父子關(guān)系或相似性可以幫助模型共享知識(shí)提升尾部類別的表現(xiàn)。3. 方法詳解3.1 總體框架論文提出的方法主要包括三個(gè)模塊類別信息編碼器將類別的語義描述和視覺特征編碼為統(tǒng)一的表示。決策邊界優(yōu)化器利用編碼后的類別信息調(diào)整分類器的決策邊界使其更適應(yīng)長尾分布。知識(shí)遷移模塊通過類別間的層次關(guān)系將頭部類別的知識(shí)遷移到尾部類別。3.2 類別信息編碼器類別信息編碼器的目標(biāo)是將類別的多種信息如名稱、屬性、視覺特征融合為一個(gè)統(tǒng)一的表示。具體步驟文本編碼使用預(yù)訓(xùn)練的語言模型如BERT將類別的名稱和屬性編碼為文本特征。視覺編碼使用預(yù)訓(xùn)練的視覺模型如ResNet提取類別的視覺特征。特征融合通過注意力機(jī)制將文本特征和視覺特征融合為統(tǒng)一的類別表示。3.3 決策邊界優(yōu)化器決策邊界優(yōu)化器的核心思想是利用類別信息來調(diào)整分類器的決策邊界。具體方法類別相似性計(jì)算基于類別表示計(jì)算類別間的相似性矩陣。邊界調(diào)整根據(jù)相似性矩陣調(diào)整決策邊界使得相似類別的邊界更加明確同時(shí)保留足夠的區(qū)分性。動(dòng)態(tài)權(quán)重根據(jù)類別的樣本數(shù)量動(dòng)態(tài)調(diào)整分類器的權(quán)重避免頭部類別主導(dǎo)訓(xùn)練過程。3.4 知識(shí)遷移模塊知識(shí)遷移模塊通過類別間的層次關(guān)系將頭部類別的知識(shí)遷移到尾部類別。具體實(shí)現(xiàn)層次結(jié)構(gòu)建模構(gòu)建類別間的層次樹捕捉父子關(guān)系。特征共享在層次樹中子類別繼承父類別的特征表示同時(shí)學(xué)習(xí)自身的獨(dú)特特征。正則化約束通過正則化項(xiàng)確保子類別的特征不會(huì)偏離父類別太遠(yuǎn)保持語義一致性。4. 實(shí)驗(yàn)與結(jié)果4.1 數(shù)據(jù)集與設(shè)置論文在多個(gè)長尾目標(biāo)檢測數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)包括LVIS、COCO-LT和Open Images-LT。這些數(shù)據(jù)集的共同特點(diǎn)是類別分布極度不平衡頭部類別占據(jù)大多數(shù)樣本而尾部類別樣本稀少。4.2 對(duì)比方法論文對(duì)比了以下幾種方法Baseline標(biāo)準(zhǔn)的目標(biāo)檢測模型如Faster R-CNN不加任何長尾處理。Re-sampling通過過采樣尾部類別或欠采樣頭部類別來平衡數(shù)據(jù)分布。Re-weighting根據(jù)類別樣本數(shù)量調(diào)整損失函數(shù)的權(quán)重。Decoupling解耦表示學(xué)習(xí)和分類器調(diào)整的兩階段方法。BBN雙向網(wǎng)絡(luò)結(jié)合重采樣和重加權(quán)。4.3 主要結(jié)果實(shí)驗(yàn)結(jié)果表明論文提出的方法在多個(gè)數(shù)據(jù)集上均取得了最優(yōu)性能尤其是在尾部類別上的提升更為顯著。具體來說LVIS數(shù)據(jù)集APAverage Precision提升了5.2%其中尾部類別的AP提升了8.7%。COCO-LT數(shù)據(jù)集AP提升了4.1%尾部類別的AP提升了7.3%。Open Images-LT數(shù)據(jù)集AP提升了3.8%尾部類別的AP提升了6.9%。4.4 消融實(shí)驗(yàn)消融實(shí)驗(yàn)驗(yàn)證了各個(gè)模塊的有效性類別信息編碼器移除后性能下降3.5%說明類別信息的融合對(duì)提升檢測性能至關(guān)重要。決策邊界優(yōu)化器移除后性能下降2.8%表明優(yōu)化決策邊界能有效緩解長尾問題。知識(shí)遷移模塊移除后性能下降2.1%說明通過層次關(guān)系遷移知識(shí)對(duì)尾部類別有幫助。5. 實(shí)操建議與注意事項(xiàng)5.1 實(shí)現(xiàn)細(xì)節(jié)預(yù)訓(xùn)練模型選擇文本編碼器建議使用BERT或RoBERTa視覺編碼器建議使用ResNet或ViT。預(yù)訓(xùn)練模型的質(zhì)量直接影響類別表示的優(yōu)劣。注意力機(jī)制設(shè)計(jì)特征融合時(shí)可以使用多頭注意力機(jī)制來捕捉不同模態(tài)間的復(fù)雜關(guān)系。相似性計(jì)算建議使用余弦相似度或馬氏距離來計(jì)算類別間的相似性避免使用歐氏距離受維度影響較大。5.2 調(diào)參技巧學(xué)習(xí)率設(shè)置由于涉及多個(gè)模塊建議采用分層學(xué)習(xí)率對(duì)不同的模塊設(shè)置不同的學(xué)習(xí)率。正則化強(qiáng)度知識(shí)遷移模塊中的正則化系數(shù)需要仔細(xì)調(diào)整過強(qiáng)會(huì)限制子類別的獨(dú)特性過弱會(huì)導(dǎo)致遷移效果不佳。動(dòng)態(tài)權(quán)重動(dòng)態(tài)權(quán)重的調(diào)整策略可以采用平滑的指數(shù)衰減避免劇烈波動(dòng)。5.3 常見問題與解決方案過擬合尾部類別樣本少容易過擬合。解決方法包括數(shù)據(jù)增強(qiáng)如MixUp、CutMix、早停Early Stopping和更強(qiáng)的正則化。模態(tài)沖突文本和視覺特征可能來自不同的分布導(dǎo)致融合困難。解決方法包括模態(tài)對(duì)齊如使用對(duì)比學(xué)習(xí)和特征歸一化。計(jì)算開銷類別信息編碼和決策邊界優(yōu)化會(huì)增加計(jì)算負(fù)擔(dān)。解決方法包括使用高效的注意力機(jī)制如Linformer和分布式訓(xùn)練。6. 擴(kuò)展與應(yīng)用6.1 開放詞匯目標(biāo)檢測開放詞匯目標(biāo)檢測Open-Vocabulary Object Detection, OVOD是目標(biāo)檢測的新興方向旨在檢測訓(xùn)練集中未出現(xiàn)的類別。論文的方法可以通過類別信息的泛化能力擴(kuò)展到OVOD任務(wù)中。具體來說零樣本檢測利用類別的語義描述模型可以檢測未見過的類別。增量學(xué)習(xí)通過動(dòng)態(tài)更新類別信息編碼器模型可以逐步學(xué)習(xí)新的類別。6.2 偽裝目標(biāo)檢測偽裝目標(biāo)檢測Camouflaged Object Detection, COD旨在檢測與背景高度融合的目標(biāo)。論文的方法可以通過優(yōu)化決策邊界提升模型對(duì)偽裝目標(biāo)的區(qū)分能力。具體應(yīng)用特征分解將目標(biāo)的特征與背景特征分離避免混淆。邊緣重建通過邊緣信息強(qiáng)化決策邊界提升檢測精度。6.3 其他長尾任務(wù)論文的方法可以推廣到其他長尾任務(wù)中如圖像分類、實(shí)例分割等。核心思想是通過類別信息優(yōu)化決策邊界緩解樣本不平衡問題。