簡(jiǎn)介一份面向Python開發(fā)者與計(jì)算機(jī)視覺初學(xué)者的選擇性搜索實(shí)現(xiàn)示例聚焦如何通過超像素分割、區(qū)域生長(zhǎng)與特征排序生成目標(biāo)候選區(qū)域?yàn)楹罄m(xù)接入RCNN、Fast RCNN等檢測(cè)模型打下基礎(chǔ)。壓縮包共19個(gè)文件包含3個(gè)Python腳本分別對(duì)應(yīng)搜索、過濾、提取步驟、14張示例圖像12張png與2張jpg、1份markdown說明文檔及l(fā)icense文件整體僅53KB結(jié)構(gòu)精簡(jiǎn)且目錄層級(jí)清晰適合快速上手。已有283人學(xué)習(xí)代碼中附有可視化中間結(jié)果可直觀看到超像素合并與候選框生成過程腳本還演示了圖像預(yù)處理、SLIC超像素分割及顏色直方圖等特征提取方法。通過閱讀搜索、過濾、提取三個(gè)腳本能學(xué)習(xí)如何用PIL和numpy實(shí)現(xiàn)完整流程并進(jìn)一步理解候選區(qū)域輸入到檢測(cè)模型進(jìn)行集成與推理的思路是入門目標(biāo)檢測(cè)區(qū)域提議的實(shí)用示例。1. 選擇性搜索到底是什么區(qū)域提議算法為什么值得自己動(dòng)手寫一遍做目標(biāo)檢測(cè)的人遲早會(huì)遇到這個(gè)詞selective_search選擇性搜索。它的歷史地位很明確——在 Faster R-CNN 把區(qū)域提議網(wǎng)絡(luò)RPN做進(jìn)模型之前R-CNN 系列全靠它來生成候選區(qū)域先找出圖上“可能含有目標(biāo)”的幾千個(gè)框再逐個(gè)交給分類器確認(rèn)。今天雖然端到端檢測(cè)器是主流但選擇性搜索依然是理解檢測(cè)流程、做無類別目標(biāo)定位、或者快速驗(yàn)證一個(gè)分類器能不能用于檢測(cè)任務(wù)時(shí)最順手的起點(diǎn)工具。這篇筆記想解決的不只是“跑通一個(gè)示例”而是幫你在本機(jī)把候選框真正生成出來、畫到圖上、接到后續(xù)檢測(cè)管線里順帶告訴你參數(shù)該怎么調(diào)、坐標(biāo)系為什么總翻車、同一張圖為什么不同庫跑出來的框不一樣。適合正在入門檢測(cè)算法的人也適合需要區(qū)域提議但不想依賴重型檢測(cè)框架的工程同學(xué)。一句話它解決的是“目標(biāo)可能在哪兒”的問題接下來才輪到“這是什么”。2. 算法核心拆解相似度度量與層次分組的選擇邏輯2.1 從分割到分組Felzenszwalb初始區(qū)域的生成邏輯選擇性搜索的第一步不是滑動(dòng)窗口而是先用基于圖的圖像分割算法生成一批初始小區(qū)域。這一步常用的就是 Felzenszwalb 的分割方法它把像素看作圖上的節(jié)點(diǎn)相鄰像素之間的顏色差異作為邊的權(quán)重然后按最小生成樹的思路合并相似區(qū)域。合并的關(guān)鍵是一個(gè)判斷準(zhǔn)則兩個(gè)區(qū)域是否能合并取決于它們內(nèi)部差異和邊界差異的相對(duì)大小。這一設(shè)計(jì)讓初始分割對(duì)噪聲有一定容忍度。參數(shù) scale 會(huì)直接影響合并的寬松程度——scale 越大越傾向于合并成大塊區(qū)域scale 越小碎片越多。sigma 則是分割前高斯平滑的標(biāo)準(zhǔn)差平滑越多小紋理越容易被抹掉。一般我用 scale 在 300 到 600 之間起步sigma 取 0.8 左右min_size 設(shè) 10 到 20過濾掉像素?cái)?shù)極少的碎片。# 用 skimage 感受一下 Felzenszwalb 分割的粒度變化 import cv2 import numpy as np from skimage.segmentation import felzenszwalb img cv2.imread(sample.jpg) img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) segments felzenszwalb( img_rgb, scale500, sigma0.8, min_size20 ) print(分割出的獨(dú)立區(qū)域數(shù)量:, segments.max() 1)分割后的每個(gè)整數(shù)標(biāo)簽就是一個(gè)初始區(qū)域選擇性搜索之后做的所有層次分組都是在這批小區(qū)域上進(jìn)行的。注意 felzenszwalb 返回的標(biāo)簽并不保證滿足物體邊界它更偏“超像素式”的顏色一致塊所以后面才需要用相似度度量反復(fù)合并。2.2 貪心層次分組相似度函數(shù)怎么把碎片合成語義塊拿到初始區(qū)域之后選擇性搜索進(jìn)入核心階段貪心層次分組。它不斷計(jì)算相鄰兩個(gè)區(qū)域的相似度把最相似的一對(duì)合并更新鄰接關(guān)系重復(fù)直到整張圖只剩一個(gè)區(qū)域。這個(gè)過程會(huì)把碎小的塊逐步聚成能對(duì)應(yīng)“一只貓”“一輛車”的中等尺度塊也會(huì)保留從單個(gè)超像素到全圖的各種尺度最終形成候選區(qū)域的金字塔。相似度由四個(gè)分量加權(quán)求和得到。顏色相似度比較兩個(gè)區(qū)域在 Lab 空間下的顏色直方圖每通道 25 個(gè) bin用直方圖交集衡量重合程度紋理相似度用局部二值模式或 SIFT 風(fēng)格的高斯導(dǎo)數(shù)響應(yīng)直方圖做同樣比較。尺寸相似度鼓勵(lì)小區(qū)域先合并兩個(gè)區(qū)域的面積之和越小得分越高這避免某個(gè)大塊吞掉周圍所有小塊。填充相似度衡量合并后外接框能多大程度包住內(nèi)部空洞獎(jiǎng)勵(lì)那些形狀貼合目標(biāo)的合并。# 偽代碼層次分組主循環(huán)理解結(jié)構(gòu)比背庫函數(shù)重要 def hierarchical_grouping(regions): adjacency build_adjacency(regions) while len(adjacency) 1: # 找到相似度最高的相鄰區(qū)域?qū)?i, j, max_score find_most_similar(regions, adjacency) if max_score 0: break # 合并并更新特征與鄰接表 merged merge_features(regions[i], regions[j]) adjacency rebuild_adjacency(adjacency, i, j, merged) regions replace(regions, i, j, merged) return regions這里的 merge_features 需要同步更新顏色直方圖、紋理直方圖、尺寸和外接框信息。實(shí)際工程中很少有人手寫這層但理解主循環(huán)后你才能明白為什么提示圖一旦出現(xiàn)一條被切斷的車燈候選框質(zhì)量差時(shí)問題多半出在相似度權(quán)重或初始分割上。2.3 為什么選選擇性搜索而非滑動(dòng)窗口或暴力網(wǎng)格滑動(dòng)窗口在圖像金字塔上暴力滑理論上窮盡但候選框數(shù)量爆炸、速度慢、且大量窗口落在背景上。選擇性搜索的意義是把“可能的位置”先篩到一兩千個(gè)質(zhì)量還明顯好于隨機(jī)采樣。相比后來 Faster R-CNN 的 RPN它不依賴訓(xùn)練好的網(wǎng)絡(luò)也就意味著你可以在沒有任何檢測(cè)模型的情況下只靠圖像自身結(jié)構(gòu)生成候選框。這在冷啟動(dòng)、數(shù)據(jù)探索、或者給弱監(jiān)督任務(wù)找初始框時(shí)非常實(shí)用。它的主要代價(jià)是速度CPU 上單張圖約 0.5 到 2 秒視參數(shù)與圖片尺寸而定。好在多數(shù)場(chǎng)景下候選框只離線生成一次存下來后續(xù)復(fù)用。另一個(gè)代價(jià)是候選框質(zhì)量上限受初始分割制約小到像遠(yuǎn)處一只鳥那么小的目標(biāo)如果初始分割直接把它并入背景后面層次分組基本撈不回來。這點(diǎn)在后文參數(shù)調(diào)優(yōu)里我會(huì)詳細(xì)說怎么規(guī)避。3. 跑通第一個(gè)示例環(huán)境準(zhǔn)備、最小代碼與結(jié)果可視化3.1 環(huán)境準(zhǔn)備與實(shí)現(xiàn)選擇兩種常用實(shí)現(xiàn)庫的取舍目前最容易上手的實(shí)現(xiàn)有兩個(gè)Python 的 selectivesearch 庫以及 OpenCV contrib 模塊里的 ximgproc 選擇性搜索接口。selectivesearch 完全基于 skimage 和 numpy純 Python 實(shí)現(xiàn)代碼短、可讀性好、參數(shù)直觀適合學(xué)習(xí)與定制缺點(diǎn)是慢。OpenCV 版本底層用 C速度快不少適合批量處理但 API 較繞且 OpenCV 版本之間行為不完全一致。我的建議是學(xué)習(xí)階段用 selectivesearch跑通邏輯、看懂參數(shù)進(jìn)入批量生產(chǎn)再換成 OpenCV。兩個(gè)版本都要求圖像通道順序是 RGB 還是 BGR要特別小心。selectivesearch 按 skimage 慣例吃 RGB你把 OpenCV 讀出來的 BGR 圖直接丟進(jìn)去候選框方向性差異可能不大但顏色相似度分量的統(tǒng)計(jì)就會(huì)對(duì)不上。# 最小安裝清單 pip install selectivesearch scikit-image opencv-python# 驗(yàn)證環(huán)境 import selectivesearch import skimage import cv2 print(selectivesearch OK:, selectivesearch.__version__ if hasattr(selectivesearch, __version__) else unknown) print(skimage OK:, skimage.__version__) print(OpenCV OK:, cv2.__version__)3.2 最小示例代碼用 selectivesearch 庫跑出候選框下面這段是完整可跑的示例讀圖、轉(zhuǎn) RGB、執(zhí)行選擇性搜索、把結(jié)果整理成 Nx4 數(shù)組。注意 selectivesearch 返回的 regions每個(gè)元素是一個(gè)字典包含 rect、labels 和 size。rect 的格式是 [x, y, w, h]x 和 y 是左上角坐標(biāo)這個(gè)格式非常容易在后續(xù)忘掉。import cv2 from selectivesearch import selective_search # 1. 讀圖并轉(zhuǎn) RGB img cv2.imread(sample.jpg) img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 2. 執(zhí)行選擇性搜索 _, regions selective_search( img_rgb, scale500, sigma0.9, min_size20 ) # 3. 轉(zhuǎn)化為 [x1, y1, x2, y2] 格式候選框 candidates [] for r in regions: x, y, w, h r[rect] if w * h 500: # 過濾過小區(qū)域避免全是噪聲 continue candidates.append([x, y, x w, y h]) print(f候選框數(shù)量: {len(candidates)}) print(前 5 個(gè)候選框:, candidates[:5])scale 控制初始分割的粗糙度值越大初始區(qū)域越少最終候選框也越少適合圖中目標(biāo)大而少的情況。sigma 影響分割前的平滑程度0.9 是常用起步值。min_size 會(huì)過濾掉分割時(shí)的小塊這里設(shè) 20。第三個(gè)返回值 regions 里還帶 label 信息如果后面想做區(qū)域特征提取可以按 label 取掩膜但大多數(shù)檢測(cè)任務(wù)只用到 rect。3.3 可視化候選框把區(qū)域畫在原圖上確認(rèn)效果光有數(shù)值沒法判斷質(zhì)量畫框是確認(rèn)效果的第一步。把前 100 個(gè)候選框畫在原圖上你立刻能看出框的尺度分布是否合理。好的效果是多個(gè)不同尺度框圍繞目標(biāo)分布背景區(qū)域也有所覆蓋但不會(huì)占滿全圖。# 畫前 100 個(gè)候選框直觀確認(rèn)覆蓋效果 vis img.copy() for x1, y1, x2, y2 in candidates[:150]: cv2.rectangle(vis, (x1, y1), (x2, y2), (0, 255, 0), 1) cv2.imwrite(candidates_top150.jpg, vis) # 再畫一張全量候選框圖感受數(shù)量規(guī)模 vis_all img.copy() for x1, y1, x2, y2 in candidates: cv2.rectangle(vis_all, (x1, y1), (x2, y2), (255, 0, 0), 1) cv2.imwrite(candidates_all.jpg, vis_all)如果畫出來的框幾乎全是整張圖的外接框加幾個(gè)隨機(jī)碎片多半是初始分割沒拆開需要調(diào)大 min_size 或者降低 scale。如果大量極端瘦長(zhǎng)條框出現(xiàn)說明紋理相似度權(quán)重過強(qiáng)或者平滑不足?？梢暬皇强蛇x項(xiàng)它是你后續(xù)調(diào)參數(shù)的“眼睛”每次改參都要存一張對(duì)比圖。4. 四個(gè)必調(diào)參數(shù)從候選框數(shù)量到質(zhì)量的工程取舍4.1 scale 與 sigma先調(diào)整哪一檔影響最大多數(shù)人第一次跑完示例看到幾千個(gè)候選框第一反應(yīng)是懷疑模型寫錯(cuò)了。其實(shí)候選框數(shù)量正常區(qū)間就是 1000 到 3000關(guān)鍵看你要喂給后續(xù)的模型還是僅做定位探索。scale 是影響最直接的一檔它不直接限制候選框數(shù)量而是決定初始分割的尺度進(jìn)而影響整棵合并樹的結(jié)構(gòu)。我常用的調(diào)參順序是先固定 sigma0.8、min_size20只動(dòng) scale。用 300、500、800 各生成一遍候選框打印數(shù)量并可視化觀察目標(biāo)上的覆蓋。scale 過低時(shí)初始碎片太多候選框數(shù)量暴漲但大量是小碎塊scale 過高時(shí)初始區(qū)域已經(jīng)貼近整個(gè)目標(biāo)合并樹深度不夠候選框數(shù)量驟降但誤檢率也降低。sigma 的作用相對(duì)溫和主要影響邊緣粘連問題對(duì)線條狀物體更明顯一般不需要頻繁動(dòng)它。# 對(duì)同一張圖測(cè)試多個(gè) scale for scale in 300 500 800; do python selectivesearch_demo.py --scale $scale --out scale_${scale}.jpg done不同 scale 生成的結(jié)果甚至可以合并起來把兩次或三次不同 scale 的候選框做并集能提升多尺度目標(biāo)的召回。這是選擇性搜索的“多策略”思想官方論文里也提到組合不同顏色空間和參數(shù)能得到更多樣化的候選框但代價(jià)是候選框數(shù)量線性增長(zhǎng)后續(xù) NMS 壓力更大。4.2 min_size 與 min_region_size候選框數(shù)量控制的關(guān)鍵min_size 在分割階段起作用過濾掉初始分割中像素少于該值的區(qū)域直接決定了碎片總量。min_region_size 是 selectivesearch 庫的特有參數(shù)它過濾合并結(jié)果中過小的最終區(qū)域這個(gè)值設(shè)得太大會(huì)丟掉真正的小目標(biāo)。經(jīng)驗(yàn)上對(duì)常規(guī) 800x600 圖片min_size 取 20 到 50min_region_size 取 500 到 2000 都算合理區(qū)間。這兩個(gè)參數(shù)影響最大的是邊界把 min_size 設(shè)成 200邊緣的小目標(biāo)、遠(yuǎn)處行人、小動(dòng)物都會(huì)因?yàn)槌跏挤指铍A段就被并掉而無法出現(xiàn)在任何候選框里。反過來設(shè)得太小會(huì)讓顏色直方圖稀疏相似度計(jì)算不穩(wěn)定候選框大量重疊。我的習(xí)慣是先看目標(biāo)面積占圖面積比例目標(biāo)約占 5% 到 10% 時(shí)min_size 取 20 左右目標(biāo)較大時(shí)再提高。參數(shù)作用階段典型范圍調(diào)大后的影響scale初始分割300-800候選框變少大目標(biāo)更完整sigma分割前平滑0.4-1.0弱化紋理邊緣更鈍min_size初始分割過濾10-50碎片減少小目標(biāo)丟失min_region_size合并結(jié)果過濾500-2500最終候選框總數(shù)下降4.3 候選框數(shù)量壓縮NMS閾值與坐標(biāo)歸一化的配合幾千個(gè)候選框直接喂給分類器每張圖跑一次前向幾百毫秒數(shù)據(jù)集大一點(diǎn)就等不起。壓縮數(shù)量主要有兩步先做 NMS 去掉高度重疊的框再做得分或尺寸篩選保留 top-N。NMS 的 IoU 閾值一般取 0.5 到 0.7閾值越低框越少但可能漏目標(biāo)閾值越高保留的框越接近原始分布。import numpy as np def nms(rects, thresh0.5): rects np.asarray(rects, dtypenp.float32) if len(rects) 0: return [] x1, y1, x2, y2 rects[:, 0], rects[:, 1], rects[:, 2], rects[:, 3] areas (x2 - x1 1) * (y2 - y1 1) order areas.argsort()[::-1] keep [] while order.size 0: i order[0] keep.append(i) xx1 np.maximum(x1[i], x1[order[1:]]) yy1 np.maximum(y1[i], y1[order[1:]]) xx2 np.minimum(x2[i], x2[order[1:]]) yy2 np.minimum(y2[i], y2[order[1:]]) inter np.maximum(0.0, xx2 - xx1 1) * np.maximum(0.0, yy2 - yy1 1) iou inter / (areas[i] areas[order[1:]] - inter) inds np.where(iou thresh)[0] order order[inds 1] return rects[keep]執(zhí)行完 NMS 后再按面積排序取前 1000 到 1500 個(gè)框基本能滿足 R-CNN 風(fēng)格訓(xùn)練的數(shù)據(jù)需求。坐標(biāo)歸一化這一步容易忽略如果 GT 框的坐標(biāo)已經(jīng)除以了圖像寬高候選框還是像素坐標(biāo)后面算 IoU 就會(huì)徹底亂掉。統(tǒng)一辦法是候選框也除以原圖寬高存成 0 到 1 的相對(duì)坐標(biāo)邏輯上更安全。5. 避坑指南選擇性搜索實(shí)戰(zhàn)中的常見鍋與排查辦法5.1 坐標(biāo)格式翻車bbox 到底是左上角寬高還是中心點(diǎn)現(xiàn)象用候選框去算 IoU結(jié)果數(shù)值小得離譜或者畫框時(shí)框整體錯(cuò)位到左下角。 原因selectivesearch 返回的 rect 是 [left, top, width, height]而 OpenCV 的 rectangle 需要 [x1, y1, x2, y2]很多人直接拿 w、h 當(dāng) x2、y2 用框自然歪了。更隱蔽的是有些教程把 rect 轉(zhuǎn)成了中心點(diǎn)格式混用時(shí)全部錯(cuò)位。 解決寫一個(gè)統(tǒng)一的正反向轉(zhuǎn)換函數(shù)入口和出口都走同一個(gè)在代碼里加上斷言確保 x2 x1 且 y2 y1數(shù)值異常時(shí)立刻打印排查。def xywh_to_xyxy(rect): x, y, w, h rect return [x, y, x w, y h]5.2 候選框質(zhì)量差目標(biāo)只出一半框怎么辦現(xiàn)象可視化時(shí)發(fā)現(xiàn)目標(biāo)被一個(gè)框框住了上半身下半身被另一個(gè)更大框包含或者目標(biāo)整體沒被任何框完整覆蓋。 原因最常見的是 scale 太大初始分割已經(jīng)把目標(biāo)分成兩塊合并階段又沒有某個(gè)相鄰對(duì)能讓它們合在一起另一種是目標(biāo)和背景顏色接近顏色相似度誤判導(dǎo)致過早與背景合并。 解決先降低 scale 到 300 試試觀察是否出現(xiàn)更完整的包圍盒再把 sigma 調(diào)到 0.6 到 0.8 減少邊緣干擾若仍是老樣子把圖片長(zhǎng)邊縮到 500 左右再跑很多分割問題在大尺寸圖上反而更明顯。5.3 內(nèi)存與速度告急大批量圖片如何避免卡死現(xiàn)象幾百?gòu)垐D跑下來越來越慢內(nèi)存從幾百 MB 漲到幾 GB甚至直接 OOM。 原因selectivesearch 把每張圖的所有中間區(qū)域全部保留返回?cái)?shù)據(jù)集一大Python 對(duì)象開銷疊加內(nèi)存就爆了。另一個(gè)隱性原因是沒有及時(shí)釋放過大的原始圖循環(huán)里不斷讀圖疊加內(nèi)存引用。 解決用 OpenCV 版替代純 Python 版速度提升明顯圖片先縮放到長(zhǎng)邊 1000 以內(nèi)候選框生成后立即轉(zhuǎn)成緊湊的 numpy 數(shù)組并丟棄 regions每個(gè)進(jìn)程處理完一批就 gc.collect()。import gc def process_batch(image_paths): result [] for path in image_paths: img cv2.imread(path) img cv2.resize(img, (800, int(800 * img.shape[0] / img.shape[1]))) # 執(zhí)行 selective search 并提取候選框 result.append(np.asarray(candidates, dtypenp.float32)) gc.collect() return result5.4 OpenCV版與selectivesearch庫結(jié)果對(duì)不上現(xiàn)象同一張圖OpenCV 跑出來 800 個(gè)候選框selectivesearch 跑出來 2600 個(gè)目標(biāo)覆蓋情況也不一致以為是哪個(gè)庫裝錯(cuò)了。 原因兩個(gè)實(shí)現(xiàn)的相似度度量細(xì)節(jié)不同OpenCV 的 ximgproc 模塊使用了不同的特征初化與合并策略行為并不保證完全一致。 解決選一個(gè)版本固定下來訓(xùn)練和推理全程用同一個(gè)。對(duì)結(jié)果做對(duì)比時(shí)只比較“數(shù)量級(jí)”和“是否覆蓋目標(biāo)”這兩個(gè)層面不要逐框?qū)R。如果一定要在論文或報(bào)告中保持一致性建議在代碼里封裝統(tǒng)一接口換庫時(shí)只改一行。5.5 IoU匹配奇怪正負(fù)樣本數(shù)量異?，F(xiàn)象用候選框和 GT 做正負(fù)樣本分配時(shí)正樣本數(shù)幾乎為 0或者負(fù)樣本全是背景垃圾框。 原因坐標(biāo)系統(tǒng)不統(tǒng)一候選框像素坐標(biāo)對(duì) GT 歸一化坐標(biāo)、IoU 閾值設(shè)得太高、候選框數(shù)量不夠?qū)е聸]有框與 GT 達(dá)到閾值。 解決先確認(rèn)兩邊坐標(biāo)都在同一體系中正樣本 IoU 閾值建議從 0.5 起步如果候選框覆蓋不到 GT優(yōu)先檢查 scale 和 min_size而不是調(diào)閾值掩蓋問題。# 快速驗(yàn)證一條 GT 是否被候選框覆蓋 gt np.array([120, 80, 320, 280], dtypenp.float32) for cand in candidates: iou compute_iou(gt, cand) if iou 0.5: print(找到覆蓋框:, cand, IoU:, iou) break else: print(該 GT 沒有被任何候選框覆蓋請(qǐng)調(diào)整 scale)6. 進(jìn)階一步把候選框接到目標(biāo)檢測(cè)管線里的驗(yàn)證技巧6.1 用召回率曲線驗(yàn)證候選框質(zhì)量候選框數(shù)量只是表面指標(biāo)真正該看的是“目標(biāo)有沒有被框到”。正確做法是取二十張帶 GT 的驗(yàn)證圖對(duì)每張圖生成候選框計(jì)算每個(gè) GT 與所有候選框的最大 IoU統(tǒng)計(jì)達(dá)到 0.5 和 0.7 的 GT 比例。這個(gè)數(shù)字就是區(qū)域提議召回率它能直觀反映參數(shù)調(diào)優(yōu)的價(jià)值。def proposal_recall(gts, candidates, iou_thresh0.5): recalled 0 for gt in gts: ious [compute_iou(gt, cand) for cand in candidates] if max(ious) iou_thresh: recalled 1 return recalled / len(gts)我一般會(huì)分別打印候選框數(shù)量與召回率畫一張表格scale 300、500、800 各對(duì)應(yīng)多少框、多少召回。召回率到 0.9 以上時(shí)候選框數(shù)量通常在 2000 附近再多就對(duì)檢測(cè)精度幫助不大了。6.2 把候選框接到分類器做一個(gè)最簡(jiǎn) R-CNN 驗(yàn)證如果只到“生成框”為止你沒法確認(rèn)這些框是否真的有用。最常見的驗(yàn)證方式是把候選框剪裁出來縮放成 224x224送進(jìn)一個(gè)預(yù)訓(xùn)練分類器比如 ResNet取置信度最高的類別作為框標(biāo)簽再 NMS 一下你就得到了一個(gè)不訓(xùn)練的簡(jiǎn)易檢測(cè)器。這個(gè)驗(yàn)證能快速暴露兩個(gè)問題候選框是否對(duì)目標(biāo)提供了足夠的上下文以及分類器對(duì)小目標(biāo)的敏感度。from torchvision import models, transforms from PIL import Image model models.resnet18(pretrainedTrue) model.eval() transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) for x1, y1, x2, y2 in candidates[:50]: crop Image.open(sample.jpg).crop((x1, y1, x2, y2)) tensor transform(crop).unsqueeze(0) with torch.no_grad(): probs torch.softmax(model(tensor), dim1) print(f框 {x1},{y1},{x2},{y2}: {probs.max().item():.2f})這種驗(yàn)證不用訓(xùn)練任何檢測(cè)頭半小時(shí)就能跑完是檢驗(yàn)區(qū)域提議質(zhì)量性價(jià)比最高的一步。我自己的習(xí)慣是永遠(yuǎn)先把候選框可視化打印到本地再檢查召回率最后才引入分類器——因?yàn)楹蜻x框階段出的錯(cuò)誤到了分類階段會(huì)被放大成“假正例”到時(shí)候查錯(cuò)成本高得多。最后一個(gè)血淚經(jīng)驗(yàn)不要相信“調(diào)好一組參數(shù)就能跑全部數(shù)據(jù)”這種話。換數(shù)據(jù)集、換分辨率、甚至換攝像頭角度候選框分布都會(huì)變。每次換數(shù)據(jù)先跑一遍召回率和可視化確認(rèn)沒問題再往下走。這樣做雖然慢幾步但能省下大量排錯(cuò)時(shí)間。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取