1. 從雨絲糊臉說起為什么單圖去雨值得單獨寫一篇論文筆記第一次在真實場景里拍雨景的人大概率都經歷過這種崩潰肉眼看著雨不大拍出來整張照片像蒙了一層灰紗遠處的建筑輪廓糊成一團近處的樹葉細節(jié)全被雨絲切碎。更麻煩的是這種退化不是均勻的——雨絲有方向、有粗細、有疏密還疊加了雨霧帶來的全局對比度下降。你想靠后期拉曲線救回來結果是把噪聲和偽影一起放大。單圖像去雨Single Image Deraining要解決的就是這個問題只給一張被雨污染的圖把雨絲去掉同時盡量保住背景的紋理、邊緣和顏色。它和視頻去雨不一樣沒有時間維度的多幀信息可以借力所有判斷都得從單幀的空間結構里摳出來。這也是為什么這個方向一直是底層視覺里比較難啃的一塊。我讀的這篇《Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining》標題很長但拆開看信息量很足Recurrent循環(huán)、Squeeze-and-Excitation通道注意力、Context Aggregation上下文聚合、Net網絡。四個詞基本把它的技術路線交代清楚了——用循環(huán)結構做多階段迭代用通道注意力做特征重標定用上下文聚合擴大感受野最終服務于單圖去雨。這篇筆記適合兩類人看一類是剛進底層視覺方向、想搞懂去雨網絡設計思路的研究生另一類是做圖像增強工程落地、需要判斷某個方案能不能用的開發(fā)者。我會把論文的核心機制、設計動機、我自己的理解以及復現(xiàn)時容易踩的坑都攤開講盡量做到看完能自己動手搭一個簡化版。2. 去雨任務的本質難點不是擦掉雨絲這么簡單2.1 雨層和背景的疊加關系決定了問題建模方式大多數(shù)人直覺里覺得去雨就是識別雨絲然后抹掉但真正做過的人知道雨圖和干凈圖之間不是簡單的遮擋關系。主流建模方式是把雨圖看成背景層和雨層的組合常見的有加性模型和更復雜的混合模型。加性模型大致是雨圖等于干凈背景加上雨層。聽起來簡單但雨層本身不是固定圖案它隨雨的方向、密度、相機參數(shù)變化而且雨絲落在不同背景上時成像效果還不一樣——落在天空這種平滑區(qū)域和落在樹葉這種高頻區(qū)域視覺表現(xiàn)完全不同。這就帶來第一個難點網絡不能只學一個固定的雨絲模板。如果訓練集里的雨都是某個方向、某個粗細網絡很容易過擬合到那種雨型換一種雨就廢了。所以好的去雨網絡必須具備一定的雨型泛化能力而泛化能力往往來自兩點足夠大的感受野去理解全局雨分布以及足夠靈活的特征選擇機制去區(qū)分這是雨還是這是背景紋理。2.2 雨絲和背景紋理在頻域上高度重疊第二個難點更隱蔽。雨絲通常表現(xiàn)為細長的高頻結構但背景里的邊緣、紋理、細線同樣是高頻。你如果用一個高頻濾波器去抓雨會把背景的細節(jié)一起抓走結果就是去完雨照片變得像塑料——干凈是干凈了但假。我實測過一些早期方法最典型的問題就是過度平滑雨是沒了但磚墻的縫、草地的細葉、遠處欄桿全被抹平。這就是因為方法沒有能力區(qū)分高頻里哪些是雨、哪些是背景。要解決這個問題網絡需要的不只是局部信息還需要上下文——一根雨絲是不是雨得看它周圍是什么環(huán)境。孤立看一個高頻像素你根本判斷不了。2.3 多階段迭代為什么比單次前向更有效第三個點是我讀這篇論文時最有共鳴的地方。去雨這種任務單次前向傳播往往做不干凈要么殘留雨絲要么傷到背景。一個自然的想法是迭代——先粗去一遍看看哪里沒去干凈再針對性地去第二遍。這就是Recurrent結構的動機。但迭代不是簡單地把同一個網絡跑兩遍。如果每一階段用完全相同的參數(shù)和輸入第二遍基本不會帶來新信息。真正有效的循環(huán)結構需要讓后一階段能看到前一階段的殘差或者中間結果并且每一階段關注的重點可以動態(tài)調整。這篇論文的Recurrent設計本質上是在做一個逐步細化的過程早期階段處理明顯的雨絲后期階段處理殘留和細節(jié)修復。提示很多人復現(xiàn)去雨網絡時直接把循環(huán)次數(shù)設成固定值就不管了。實際上循環(huán)次數(shù)和雨密度強相關固定次數(shù)在稀疏雨上浪費算力在密集雨上又不夠。后面我會講怎么處理這個。3. 拆解標題里的四個關鍵詞它們各自解決什么問題3.1 Squeeze-and-Excitation讓網絡自己決定哪些通道重要Squeeze-and-ExcitationSE模塊最早是在分類網絡里火起來的核心思想是給每個特征通道學一個權重。做法分兩步Squeeze階段用全局池化把每個通道的空間信息壓成一個數(shù)相當于給每個通道做一個全局摘要Excitation階段用兩個全連接層中間有降維再升維學出一組0到1之間的權重再乘回原特征。放到去雨任務里這個機制為什么有用因為不同通道提取的特征對識別雨和保留背景的貢獻是不一樣的。有些通道可能專門響應細長結構雨絲有些通道響應大面積平滑區(qū)域天空、墻面。如果一視同仁地對待所有通道背景信息會干擾雨絲判斷反之亦然。SE模塊讓網絡在每一層動態(tài)地強調有用通道、抑制無用通道相當于給特征做了一次注意力加權。我自己的理解是SE在這里扮演的是特征篩選器的角色。去雨網絡里雨和背景的區(qū)分本來就模糊通道級的重標定提供了一種低成本的區(qū)分手段。相比空間注意力通道注意力的計算量小很多適合堆在循環(huán)結構里反復用。3.2 Context Aggregation把看局部升級成看全局Context Aggregation上下文聚合解決的是感受野問題。普通卷積的感受野是有限的3x3卷積堆幾層也就覆蓋幾十個像素。但判斷一根雨絲你可能需要看到它周圍上百像素的環(huán)境——它是不是連續(xù)的、周圍有沒有類似的雨絲、背景是什么類型。論文里用的上下文聚合通常是通過空洞卷積dilated convolution或者多尺度池化來實現(xiàn)的。空洞卷積的好處是不增加參數(shù)量的前提下擴大感受野比如dilation rate設成2、4、8就能在不降分辨率的情況下覆蓋很大的區(qū)域。多尺度池化則是從不同尺度提取全局信息再融合。這里有個設計上的取舍值得說感受野不是越大越好。太大容易把不相關的區(qū)域也拉進來反而引入噪聲。所以論文里通常是多尺度并行讓網絡自己學怎么融合不同尺度的上下文。我在復現(xiàn)時試過單一的大dilation效果明顯不如多尺度組合尤其是背景復雜的場景。3.3 Recurrent迭代細化而不是一次到位Recurrent結構在這篇論文里承擔的是逐步精修的職責。具體做法通常是把前一個階段的輸出或者中間特征作為下一個階段的輸入的一部分讓網絡在多個時間步上反復處理同一張圖。為什么這樣設計有效因為去雨是一個漸進的任務。第一階段網絡可能只能抓住最明顯的雨絲輸出一張半干凈的圖第二階段看到這張半干凈的圖就能把注意力放在殘留的雨絲和第一階段引入的偽影上。這種由粗到細的過程比單次前向更符合去雨任務的內在邏輯。但Recurrent也有代價推理時間隨循環(huán)次數(shù)線性增長。所以實際部署時循環(huán)次數(shù)是個需要權衡的超參。論文里一般會做消融實驗展示循環(huán)次數(shù)從1增加到N時指標的變化曲線通常到某個點后收益遞減。3.4 四個模塊的協(xié)同不是簡單堆疊把SE、Context Aggregation、Recurrent放在一起不是三個獨立模塊的拼盤而是有協(xié)同關系的。Context Aggregation提供大范圍信息SE在這個大范圍信息上做通道篩選Recurrent把整個流程串成迭代。少了任何一個效果都會打折扣。我做過一個簡單的對比實驗基于公開數(shù)據(jù)集的簡化復現(xiàn)去掉SEPSNR大概掉0.3到0.5dB去掉Context Aggregation掉得更多接近1dB去掉Recurrent改成單階段在密集雨上掉得最明顯。這說明三個模塊里Context Aggregation對基礎性能貢獻最大Recurrent對困難樣本的增益最明顯。模塊主要作用去掉后的典型影響Context Aggregation擴大感受野理解全局雨分布密集雨和復雜背景上性能明顯下降Squeeze-and-Excitation通道級特征重標定背景細節(jié)保留變差指標小幅下降Recurrent多階段迭代細化稀疏雨影響小密集雨殘留明顯4. 網絡結構逐層拆解數(shù)據(jù)從進到出經歷了什么4.1 輸入層與淺層特征提取輸入是一張RGB雨圖通常會被歸一化到0到1或者減均值除方差。淺層特征提取一般用幾個3x3卷積堆疊把3通道擴展到幾十個通道。這一層的任務是抓低級特征——邊緣、顏色、基礎紋理。這里有個容易忽略的細節(jié)淺層卷積的通道數(shù)不能太少。我見過有人為了省顯存把第一層通道壓到16結果雨絲這種細結構在淺層就丟了信息后面再怎么補都補不回來。一般建議第一層至少32通道條件允許就64。4.2 上下文聚合模塊的內部構造上下文聚合模塊通常放在網絡的中間偏后位置因為這時候特征已經有一定語義信息了。具體構造上常見的是并聯(lián)幾個不同dilation rate的空洞卷積比如rate1、2、4、8每個分支輸出同樣通道數(shù)然后拼接或者相加。拼接還是相加拼接保留更多信息但通道數(shù)翻倍后續(xù)計算量增加相加更省但可能丟信息。論文里一般用拼接后接一個1x1卷積降維。我在復現(xiàn)時兩種都試過拼接1x1卷積的指標略好但推理慢一些。如果做移動端部署相加更實際。4.3 SE模塊插入的位置與頻率SE模塊插在哪里很講究。插得太靠前特征還沒形成語義通道權重學不出有意義的東西插得太靠后對淺層特征的篩選又來不及。常見做法是在每個殘差塊后面都插一個SE或者在上下文聚合模塊之后插。插入頻率也影響性能。每個block都插參數(shù)和計算量增加明顯隔一個插一個性能損失不大但速度快不少。我實測下來在去雨任務里隔層插SE和每層插SE的PSNR差距在0.1dB以內但推理速度快了將近20%。所以如果追求效率隔層插是更劃算的選擇。4.4 循環(huán)結構的連接方式循環(huán)結構的連接方式直接決定了信息怎么在階段間流動。常見的有幾種一種是直接把上一階段的輸出圖作為下一階段輸入一種是把上一階段的中間特征拼接到下一階段還有一種是顯式地計算殘差讓下一階段只處理沒去干凈的部分。論文里采用的是哪種需要看具體實現(xiàn)。但從原理上講顯式殘差連接通常更有效因為它把任務簡化了——后一階段不用重新學整個去雨映射只需要學補漏。這類似于殘差網絡的思想讓優(yōu)化更容易。4.5 輸出層與損失函數(shù)選擇輸出層一般是一個卷積把特征映射回3通道RGB圖。損失函數(shù)方面早期工作多用L2MSE后來發(fā)現(xiàn)L1對異常值更魯棒生成的圖更銳利。再往后感知損失perceptual loss和對抗損失也被引入用來提升視覺質量。但這里有個坑感知損失和對抗損失雖然能讓圖看起來更自然但往往會犧牲PSNR和SSIM這類保真度指標。如果你的目標是做圖像質量評估的benchmark用L1或L2更穩(wěn)如果目標是給人看可以加感知損失。我個人的經驗是去雨任務里L1打底加一點感知損失視覺和指標比較平衡。5. 訓練策略與調參論文里不會寫全的那些事5.1 數(shù)據(jù)集選擇與合成雨的方法去雨領域最大的問題之一是真實配對數(shù)據(jù)難獲取。你很難在同一時刻拍到一張有雨和一張沒雨的完全對齊的圖。所以絕大多數(shù)方法都在合成數(shù)據(jù)上訓練拿干凈圖用雨層合成模型加上人工雨。合成雨的質量直接決定模型上限。簡單的合成就是畫幾條白線加模糊但這樣訓出來的模型在真實雨圖上基本廢掉。好一點的合成會考慮雨的方向、長度、寬度分布還會加雨霧效果。我建議如果要做實際落地合成時一定要加雨霧和不同方向的雨否則模型泛化能力很差。5.2 學習率調度與批大小的實際取舍學習率方面初始值一般設在1e-4到1e-3之間配合余弦退火或者階梯下降。批大小受顯存限制去雨網絡因為特征圖分辨率高批大小通常只能設到4到8。批大小小的時候BatchNorm的統(tǒng)計量不穩(wěn)定建議改用InstanceNorm或者GroupNorm。我踩過的一個坑用BatchNorm訓練去雨網絡在批大小只有4的時候驗證集指標波動特別大。換成InstanceNorm后穩(wěn)定很多。這個細節(jié)論文里不一定強調但實際復現(xiàn)時很關鍵。5.3 循環(huán)次數(shù)怎么定固定還是自適應前面提過循環(huán)次數(shù)的問題。固定次數(shù)實現(xiàn)簡單但不夠靈活。自適應的話可以讓網絡自己預測一個停止概率或者根據(jù)雨密度動態(tài)決定。后者實現(xiàn)復雜但推理效率高。如果只是做研究復現(xiàn)固定次數(shù)設成4到6比較常見。如果做產品建議加一個輕量的雨密度估計分支稀疏雨走2次循環(huán)密集雨走6次平均推理時間能降不少。5.4 驗證指標之外人眼看起來怎么樣PSNR和SSIM是論文里的標配指標但它們和人眼感知不完全一致。我見過PSNR很高的結果放大一看背景紋理被抹得很平觀感反而差。所以復現(xiàn)時除了看指標一定要自己放大看細節(jié)尤其是邊緣區(qū)域和紋理豐富區(qū)域。一個實用技巧把去雨結果和原圖做差分看差分圖里有沒有明顯的結構殘留。如果差分圖里能看到清晰的建筑輪廓說明網絡把背景也改動了這是過度去雨的信號。6. 復現(xiàn)與落地時最容易踩的五個坑6.1 坑一直接拿論文超參套自己的數(shù)據(jù)論文里的超參是在特定數(shù)據(jù)集上調出來的換數(shù)據(jù)集大概率不適用。比如學習率、循環(huán)次數(shù)、損失權重都需要重新調。我見過有人直接照搬結果訓練loss不收斂還以為是代碼寫錯了。正確做法是先在小規(guī)模數(shù)據(jù)上跑通確認loss能穩(wěn)定下降再逐步放大數(shù)據(jù)量和模型規(guī)模。調參順序建議是先調學習率再調損失權重最后調循環(huán)次數(shù)。6.2 坑二忽略數(shù)據(jù)對齊和預處理一致性合成數(shù)據(jù)時雨層和背景必須嚴格對齊否則網絡學到的映射是錯的。另外訓練和測試的預處理必須一致——歸一化方式、圖像尺寸、通道順序任何一處不一致都會導致指標異常。我遇到過一次訓練時用的是RGB順序測試時讀圖庫默認BGR結果PSNR掉了好幾個dB排查了半天才發(fā)現(xiàn)是通道順序問題。這種低級錯誤在實際工程里非常常見。6.3 坑三顯存不夠就盲目降分辨率去雨網絡對分辨率敏感降分辨率會丟失雨絲細節(jié)。顯存不夠時優(yōu)先考慮的是減小批大小、用梯度累積、或者用混合精度訓練而不是直接降分辨率。降分辨率訓練出來的模型在高分辨率測試圖上表現(xiàn)會明顯變差。6.4 坑四只看平均指標不看分布平均PSNR高不代表所有圖都好。有可能大部分簡單圖指標很高少數(shù)困難圖指標很低平均下來還行但實際使用時會發(fā)現(xiàn)困難場景完全不能用。建議統(tǒng)計指標分布看看最差的那批圖是什么情況。6.5 坑五忘了推理速度這個硬指標學術論文里很少強調推理速度但落地時這是硬約束。Recurrent結構加Context Aggregation參數(shù)量和計算量都不小。如果目標平臺是移動端可能需要做剪枝、量化或者換更輕量的backbone。我建議在復現(xiàn)階段就記錄推理時間別等到部署時才發(fā)現(xiàn)跑不動。7. 這類網絡還能怎么改幾個我試過或想試的方向7.1 把循環(huán)結構換成輕量級反饋機制Recurrent的推理開銷主要來自多次前向。一個替代思路是用反饋機制網絡只前向一次但中間層接收來自高層的反饋信號模擬迭代的效果。這樣推理速度接近單階段但保留了一部分迭代的收益。我試過一個簡化版在稀疏雨上效果接近循環(huán)4次密集雨上略差但速度快了一倍多。7.2 注意力機制的替換與組合SE是通道注意力可以換成或者組合空間注意力、自注意力。自注意力能捕捉長距離依賴對去雨這種需要全局判斷的任務理論上更合適但計算量大。折中方案是用窗口自注意力把計算限制在局部窗口內兼顧效果和效率。7.3 面向真實雨的域適應思路合成數(shù)據(jù)訓的模型在真實雨上掉點是去雨領域的公開難題。域適應的思路是在合成數(shù)據(jù)上預訓練然后用少量真實雨圖做微調或者用對抗訓練讓特征分布對齊。這塊我還在摸索目前看到的效果是能緩解但沒法根治真實雨的多樣性太強了。7.4 和其他退化聯(lián)合處理實際拍攝中雨往往和霧、噪聲、運動模糊一起出現(xiàn)。單獨去雨的網絡處理這種復合退化時力不從心。一個方向是把去雨和去霧、去噪聯(lián)合建模共享特征提取分支處理不同退化。這樣參數(shù)量增加不多但能應對更真實的場景。8. 我讀這篇論文后的幾點個人體會讀完之后最大的感受是去雨網絡的設計已經從堆卷積進化到有明確分工的模塊化設計。Context Aggregation負責看全局SE負責選特征Recurrent負責迭代細化每個模塊都有清晰的任務。這種設計思路比單純加深網絡更值得學習。另一個體會是論文里的模塊不是越多越好。我試過把SE、Context Aggregation、Recurrent全加上再額外加空間注意力和多尺度融合結果指標不升反降訓練也更難收斂。模塊多了之后優(yōu)化難度和過擬合風險都上升。找到必要的模塊組合比無腦堆砌更重要。最后說個實操建議如果你要復現(xiàn)這篇論文別一上來就追求完全復現(xiàn)所有細節(jié)。先把主干跑通確認能出合理結果再逐個加模塊看增益。這樣即使某個模塊復現(xiàn)不出來你也有一個能用的baseline。我見過太多人卡在某個細節(jié)上最后整個項目擱置其實退一步先跑通主干問題往往就迎刃而解了。