簡(jiǎn)介這份PDF文檔是發(fā)表于《山西交通科技》2020年第4期的技術(shù)論文面向交通管理、智能交通與計(jì)算機(jī)視覺(jué)方向的研究人員和工程實(shí)踐者聚焦高速公路場(chǎng)景下?；愤\(yùn)輸車(chē)輛貨物類(lèi)型標(biāo)志的自動(dòng)識(shí)別問(wèn)題。全文圍繞YOLOv3單階段目標(biāo)檢測(cè)模型展開(kāi)介紹基于機(jī)器視覺(jué)的車(chē)輛抓拍系統(tǒng)、包含10000張車(chē)輛背面圖像與23類(lèi)標(biāo)注的危化品貨物類(lèi)型數(shù)據(jù)集構(gòu)建流程以及模型訓(xùn)練參數(shù)、損失函數(shù)和不同光照天氣條件下的實(shí)驗(yàn)結(jié)果。壓縮包僅含1個(gè)PDF文件大小約2.41MB便于直接閱讀、檢索與引用。已有107人學(xué)習(xí)適合需要了解目標(biāo)檢測(cè)落地交通監(jiān)管、數(shù)據(jù)集標(biāo)注和實(shí)時(shí)識(shí)別方案的讀者參考也可為危化品運(yùn)輸安全管理和后續(xù)智能交通系統(tǒng)研究提供方法借鑒。1. 一個(gè)反直覺(jué)的事實(shí)這類(lèi)識(shí)別最難的地方不是分清是第幾類(lèi)危化品車(chē)輛貨物類(lèi)型識(shí)別這套系統(tǒng)真正難的地方不是分辨是第幾類(lèi)危險(xiǎn)品而是在多數(shù)時(shí)間里根本看不清。一輛車(chē)以八十公里時(shí)速通過(guò)卡口從觸發(fā)抓拍到駛離畫(huà)面不到三百毫秒車(chē)尾那塊菱形標(biāo)志牌在四千像素寬的原圖里也許只有一百多個(gè)像素等比縮到檢測(cè)網(wǎng)絡(luò)常用的四百一十六見(jiàn)方輸入上往往不足十個(gè)像素——比一個(gè)卷積核還小。所以這個(gè)任務(wù)的核心矛盾從來(lái)不是分類(lèi)頭夠不夠強(qiáng)而是極小目標(biāo)與硬實(shí)時(shí)同時(shí)壓在同一張卡上。把 YOLOv3 這類(lèi)單階段檢測(cè)器放進(jìn)高速公路場(chǎng)景做?；奋?chē)輛貨物類(lèi)型識(shí)別本質(zhì)上是在這個(gè)矛盾里做取舍讓出一部分定位精度換回每一幀都能在邊緣側(cè)算完的時(shí)間預(yù)算。搞懂這套取舍怎么落地比記住模型名字有用得多。2. 單階段回歸與兩階段流水線卡口場(chǎng)景為什么等不起 R-CNN 那條路深度學(xué)習(xí)做目標(biāo)檢測(cè)有兩條主干路線這不是風(fēng)格差異而是兩種完全不同的時(shí)間預(yù)算分配方式。兩階段檢測(cè)器把哪里有東西和這是什么東西拆成兩道工序單階段檢測(cè)器把它們壓成一次前向。危化品車(chē)輛貨物類(lèi)型識(shí)別這個(gè)任務(wù)恰好卡在必須選邊站的位置上標(biāo)志牌本身特征穩(wěn)定、外觀規(guī)范但它在畫(huà)面里極小而且系統(tǒng)必須在車(chē)輛通過(guò)卡口的瞬間給出結(jié)果晚一秒這條數(shù)據(jù)就只剩存檔價(jià)值。2.1 兩階段檢測(cè)器的時(shí)間究竟花在哪以 R-CNN 系列為代表的兩階段方案結(jié)構(gòu)上分三塊第一塊生成基于類(lèi)別的候選區(qū)域也就是先把圖里可能是目標(biāo)的位置粗篩出來(lái)通常幾千個(gè)第二塊用深度卷積網(wǎng)絡(luò)對(duì)每個(gè)候選區(qū)域抽一個(gè)固定長(zhǎng)度的特征向量第三塊用線性分類(lèi)器早期是 SVM判定類(lèi)別并回歸邊框。這個(gè)設(shè)計(jì)的出發(fā)點(diǎn)很合理——先粗后精把算力集中在少量候選上背景區(qū)域只過(guò)一遍輕量篩選。問(wèn)題出在第二塊。候選區(qū)域是任意尺寸的矩形要送進(jìn)全卷積網(wǎng)絡(luò)抽特征就得先做形變對(duì)齊或者用 RoI Pooling 之類(lèi)的操作把它們拉成統(tǒng)一尺寸這一步在早期實(shí)現(xiàn)里是串行的幾千個(gè)候選就是幾千次前向。即便后續(xù)的改進(jìn)版本把特征抽取改成在共享特征圖上裁剪候選區(qū)域的數(shù)量級(jí)依然決定了它比單階段慢一個(gè)檔次。放到卡口場(chǎng)景里一幀 4K 圖要跑幾百毫秒甚至上秒級(jí)多路攝像頭匯到一臺(tái)邊緣設(shè)備上隊(duì)列立刻堆爆。我在別的項(xiàng)目里踩過(guò)一次類(lèi)似的坑把一套兩階段方案直接搬到實(shí)時(shí)流上單幀延遲看著還能接受但吞吐量完全撐不住因?yàn)楹蜻x區(qū)域生成這步吃的是 GPU 的并行度而不是單純的計(jì)算量。降低候選數(shù)量能提速度但小目標(biāo)的召回會(huì)跟著掉——這正好是最不能犧牲的部分。2.2 單階段把檢測(cè)寫(xiě)成一次回歸賭的是什么單階段檢測(cè)器的思路是把檢測(cè)直接當(dāng)回歸問(wèn)題處理預(yù)定義一組錨點(diǎn)密集覆蓋整張圖的空間位置網(wǎng)絡(luò)對(duì)每個(gè)位置直接輸出這里有沒(méi)有目標(biāo)、框多大、是什么類(lèi)不再有獨(dú)立的區(qū)域建議網(wǎng)絡(luò)。YOLO 系列、SSD、RetinaNet 都屬于這一類(lèi)。這個(gè)賭注的核心是卷積網(wǎng)絡(luò)在提取特征時(shí)其實(shí)已經(jīng)隱含地知道哪個(gè)位置有東西了再單獨(dú)搞一個(gè)建議網(wǎng)絡(luò)去顯式生成候選是重復(fù)勞動(dòng)。把分類(lèi)和定位塞進(jìn)同一個(gè)輸出張量一次前向就能拿到全部結(jié)果。代價(jià)是正負(fù)樣本極度不平衡——一張 416×416 的圖上十幾萬(wàn)個(gè)預(yù)測(cè)位置里可能只有兩三個(gè)是真的目標(biāo)其余全是背景。這也是后來(lái) RetinaNet 提出 Focal Loss 想解決的問(wèn)題。?；奋?chē)輛貨物類(lèi)型識(shí)別選的正是這條路。理由不復(fù)雜標(biāo)志牌外觀規(guī)范、類(lèi)別定義清晰網(wǎng)絡(luò)不需要太強(qiáng)的這是什么語(yǔ)義推理能力反而對(duì)快極其敏感。判斷一個(gè)技術(shù)選型是否合理看它犧牲了什么更值錢(qián)——這里犧牲的是定位精度上限換的是每幀幾十毫秒的確定性延遲。2.3 網(wǎng)格、錨框與三尺度特征圖標(biāo)志牌由哪個(gè)格子負(fù)責(zé)YOLOv3 的具體做法是把特征圖劃分為 S×S 個(gè)網(wǎng)格每個(gè)網(wǎng)格生成 B 個(gè)邊界框。如果只看一層特征圖這個(gè)劃分很粗暴一個(gè)格子只能負(fù)責(zé)一個(gè)目標(biāo)兩個(gè)標(biāo)志牌擠在同一個(gè)格子里就必然丟一個(gè)。YOLOv3 的解法是同時(shí)在三個(gè)尺度上做預(yù)測(cè)特征圖分別來(lái)自主干網(wǎng)絡(luò)的不同深度下采樣倍率通常是 32、16、8對(duì)應(yīng) 13×13、26×26、52×52以 416 輸入為例。淺層特征圖分辨率高、感受野小負(fù)責(zé)小目標(biāo)深層特征圖分辨率低、感受野大負(fù)責(zé)大目標(biāo)。每個(gè)尺度分配 3 個(gè)錨框九個(gè)錨框的寬高是先驗(yàn)值訓(xùn)練前用 k-means 在數(shù)據(jù)集上聚類(lèi)得到而不是拍腦袋定。COCO 上那組經(jīng)典數(shù)值是 (10,13)、(16,30)、(33,23)、(30,61)、(62,45)、(59,119)、(116,90)、(156,198)、(373,326)但直接拿來(lái)用會(huì)翻車(chē)——?；窐?biāo)志牌的形狀分布和 COCO 里的行人車(chē)輛完全不是一回事。import numpy as np # 三個(gè)預(yù)測(cè)尺度對(duì)應(yīng)的錨框?qū)? 高按特征圖從粗到細(xì)排列 ANCHORS [ [(116, 90), (156, 198), (373, 326)], # 13x13, stride 32管大目標(biāo) [(30, 61), (62, 45), (59, 119)], # 26x26, stride 16管中目標(biāo) [(10, 13), (16, 30), (33, 23)], # 52x52, stride 8 管小目標(biāo) ] def assign_anchor(gt_wh): 把真值框分給 IOU 最大的錨框返回該錨框在全部 9 個(gè)里的全局索引 gt_w, gt_h gt_wh best_iou, best_idx -1.0, -1 for scale_id, scale_anchors in enumerate(ANCHORS): for a_id, (aw, ah) in enumerate(scale_anchors): # 左上角對(duì)齊后求交并比避免中心點(diǎn)偏移干擾形狀匹配 inter min(gt_w, aw) * min(gt_h, ah) union gt_w * ah aw * gt_h - inter iou inter / union if iou best_iou: best_iou, best_idx iou, scale_id * 3 a_id return best_idx, best_iou # 用法統(tǒng)計(jì)數(shù)據(jù)集里每個(gè)真值框落到哪個(gè)錨框形狀差太遠(yuǎn)就該重新聚類(lèi) for wh in [(24, 26), (18, 40), (60, 22)]: print(wh, assign_anchor(wh))這段代碼做的是責(zé)任劃分訓(xùn)練時(shí)每個(gè)真值框只交給形狀最接近的那個(gè)錨框去擬合其余的錨框在這個(gè)目標(biāo)上不產(chǎn)生定位損失。參數(shù)說(shuō)明上gt_wh是標(biāo)注框的寬高像素單位或歸一化后乘輸入尺寸都行只要和錨框同量綱inter用min(w)相乘是一種簡(jiǎn)化寫(xiě)法前提是兩個(gè)框左上角對(duì)齊對(duì)形狀匹配來(lái)說(shuō)夠用best_idx除以 3 取整就是尺度編號(hào)取余就是該尺度內(nèi)的錨框編號(hào)。危險(xiǎn)貨物標(biāo)志牌的形狀差異很大主標(biāo)志是菱形正方形旋轉(zhuǎn) 45 度外接框仍是正方形 subsidiary 標(biāo)志有長(zhǎng)方形、三角形還有文字說(shuō)明牌是細(xì)長(zhǎng)條。如果錨框全是接近正方形的那些細(xì)長(zhǎng)條標(biāo)志牌的匹配 IOU 會(huì)低到 0.2 以下訓(xùn)練時(shí)定位損失怎么都降不下去。常見(jiàn)的實(shí)現(xiàn)思路是在自己數(shù)據(jù)集上跑一遍 k-means把九組寬高重新算出來(lái)這一步的收益往往比換主干網(wǎng)絡(luò)更明顯。2.4 前向解碼從張量到屏幕上的框網(wǎng)絡(luò)輸出的是原始張量要把它們還原成圖上的坐標(biāo)中間有一層解碼。以某一尺度為例輸出通道數(shù)是3 × (4 1 類(lèi)別數(shù))3 是錨框數(shù)4 是中心點(diǎn)和寬高1 是置信度剩下是類(lèi)別概率。中心點(diǎn)用 sigmoid 壓到 0 到 1 之間再疊加上所在網(wǎng)格的左上角坐標(biāo)寬高用指數(shù)變換乘上錨框先驗(yàn)值。import numpy as np def sigmoid(x): return 1.0 / (1.0 np.exp(-x)) def decode(pred, anchors, stride, img_size416, conf_thres0.5): 把單尺度原始輸出解碼成 [x1, y1, x2, y2, conf, cls] 形式的框 grid img_size // stride pred pred.reshape(grid, grid, 3, 5 NUM_CLASSES) # 網(wǎng)格左上角坐標(biāo)形狀 (grid, grid, 1) grid_y, grid_x np.meshgrid(np.arange(grid), np.arange(grid), indexingij) grid_x grid_x[..., None] grid_y grid_y[..., None] # 中心點(diǎn)sigmoid 后加上網(wǎng)格偏移再乘 stride 回到原圖尺度 cx (sigmoid(pred[..., 0:1]) grid_x) * stride cy (sigmoid(pred[..., 1:2]) grid_y) * stride # 寬高exp 保證為正再乘錨框先驗(yàn) bw np.exp(pred[..., 2:3]) * np.array(anchors)[:, 0].reshape(1, 1, 3, 1) * stride bh np.exp(pred[..., 3:4]) * np.array(anchors)[:, 1].reshape(1, 1, 3, 1) * stride conf sigmoid(pred[..., 4:5]) cls_prob sigmoid(pred[..., 5:]) # 置信度過(guò)濾低于閾值的格子直接扔掉這是速度的第一道閘門(mén) keep conf[..., 0] conf_thres boxes np.concatenate([(cx - bw / 2)[keep], (cy - bh / 2)[keep], (cx bw / 2)[keep], (cy bh / 2)[keep]], axis-1) return boxes解碼里有幾個(gè)容易寫(xiě)錯(cuò)的地方。grid_x和grid_y的索引順序必須和 reshape 的張量布局一致否則框會(huì)整體轉(zhuǎn)置九十度——這種錯(cuò)誤在可視化時(shí)一眼能看出來(lái)但在指標(biāo)上只表現(xiàn)為 mAP 掉了幾個(gè)點(diǎn)很容易被誤判成模型能力不足。stride是特征圖相對(duì)原圖的降采樣倍率13×13 那層是 3252×52 那層是 8三個(gè)尺度必須分別傳對(duì)。置信度閾值在邊緣側(cè)通常設(shè)在 0.5 左右設(shè)太高小目標(biāo)直接被濾掉設(shè)太低則 NMS 前候選框數(shù)量爆炸后處理耗時(shí)反超網(wǎng)絡(luò)前向。三個(gè)尺度的解碼結(jié)果拼在一起之后才做 NMS這一步的順序不能反。按類(lèi)別分別做 NMS 還是全局做也會(huì)影響結(jié)果如果先全局 NMS 再分類(lèi)兩個(gè)不同類(lèi)別但空間重疊的標(biāo)志牌會(huì)互相壓制先按類(lèi)別分組再各自 NMS代價(jià)是后處理循環(huán)次數(shù)變多。?；奋?chē)輛車(chē)尾經(jīng)常同時(shí)貼主標(biāo)志和副標(biāo)志這個(gè)問(wèn)題必須提前想清楚。3. 損失函數(shù)四項(xiàng)拆解定位、置信度、分類(lèi)為什么要分開(kāi)算YOLOv3 的總損失是四項(xiàng)相加形式上看是簡(jiǎn)單的加法實(shí)際上每一項(xiàng)的量綱、樣本范圍、梯度尺度都不一樣混在一起很容易訓(xùn)崩。理解這四項(xiàng)各自負(fù)責(zé)什么比調(diào)參本身更重要。3.1 四項(xiàng)誤差各自的職責(zé)與量綱沖突第一項(xiàng)是中心點(diǎn)誤差衡量預(yù)測(cè)框中心和真值框中心的距離衡量的是位置對(duì)不對(duì)。第二項(xiàng)是寬高誤差衡量的是框大小對(duì)不對(duì)。第三項(xiàng)是置信度誤差衡量這個(gè)位置有沒(méi)有目標(biāo)這一項(xiàng)在正樣本和負(fù)樣本上都要算是整個(gè)損失里樣本量最大的一項(xiàng)。第四項(xiàng)是分類(lèi)誤差只管正樣本里類(lèi)別對(duì)不對(duì)。量綱沖突在這里非常具體。中心點(diǎn)坐標(biāo)歸一化后在 0 到 1 之間誤差數(shù)量級(jí)很小寬高是經(jīng)過(guò) log 變換再和錨框比誤差可能到幾置信度和分類(lèi)都是概率誤差在 0 到 1 之間。如果不做權(quán)重平衡訓(xùn)練早期會(huì)明顯偏向把置信度壓下去——因?yàn)樨?fù)樣本數(shù)量占絕對(duì)多數(shù)把置信度全預(yù)測(cè)成 0 就能讓總損失降一大截網(wǎng)絡(luò)會(huì)躺平在這個(gè)局部最優(yōu)里。常見(jiàn)的實(shí)現(xiàn)思路是給定位項(xiàng)加權(quán)通常中心點(diǎn)和寬高各乘一個(gè)系數(shù)比如 5置信度的負(fù)樣本項(xiàng)乘一個(gè)較小的系數(shù)比如 0.5分類(lèi)項(xiàng)給 1。這組數(shù)字不是理論推導(dǎo)出來(lái)的是實(shí)踐里試出來(lái)的換數(shù)據(jù)集需要重新看曲線。def yolo_loss(pred, target, obj_mask, noobj_mask, cls_weight1.0): 四項(xiàng)損失分開(kāi)算逐項(xiàng)打日志比只看總 loss 有用得多 # 1) 中心點(diǎn)sigmoid 輸出用二元交叉熵只在正樣本格子上生效 loss_xy BCE(pred[..., 0:2], target[..., 0:2]).sum() * obj_mask / N # 2) 寬高對(duì) log 尺度做平方誤差同樣只算正樣本 loss_wh MSE(pred[..., 2:4], target[..., 2:4]).sum() * obj_mask / N # 3) 置信度正負(fù)樣本都算但 IOU 落在忽略區(qū)間的框兩邊都不懲罰 loss_conf (BCE(pred[..., 4], target[..., 4]) * (obj_mask 0.5 * noobj_mask)).sum() / N # 4) 分類(lèi)只算正樣本多標(biāo)簽用 sigmoid 而非 softmax loss_cls (BCE(pred[..., 5:], target[..., 5:]) * obj_mask).sum() / N * cls_weight return loss_xy loss_wh loss_conf loss_cls這段代碼有兩個(gè)設(shè)計(jì)點(diǎn)值得說(shuō)。一是分類(lèi)用的是 sigmoid 而不是 softmax也就是說(shuō)每個(gè)類(lèi)別獨(dú)立判斷不是互斥的。這對(duì)?；窐?biāo)志牌識(shí)別是必要的一塊標(biāo)志牌完全可能同時(shí)表達(dá)易燃和有毒兩種屬性softmax 會(huì)強(qiáng)迫網(wǎng)絡(luò)在兩者之間選一個(gè)直接限制了表達(dá)能力。二是忽略區(qū)間的處理——預(yù)測(cè)框和真值框的 IOU 高于閾值但又不是最大匹配的那個(gè)既不當(dāng)作正樣本也不當(dāng)作負(fù)樣本noobj_mask里把它置零這一項(xiàng)是防止訓(xùn)練早期差不多對(duì)的框被反復(fù)懲罰導(dǎo)致定位震蕩。3.2 寬高為什么不能直接回歸像素值一個(gè)容易被忽略的細(xì)節(jié)寬高項(xiàng)回歸的是尺度因子不是像素絕對(duì)值。如果網(wǎng)絡(luò)直接預(yù)測(cè)像素寬高那么同一個(gè)標(biāo)志牌在近處拍可能是 200 像素、遠(yuǎn)處拍可能只有 30 像素網(wǎng)絡(luò)要擬合的數(shù)值跨度差了近一個(gè)數(shù)量級(jí)梯度極不穩(wěn)定。改成預(yù)測(cè)log(真值寬 / 錨框?qū)?等于讓網(wǎng)絡(luò)只學(xué)這個(gè)框比先驗(yàn)大多少倍數(shù)值集中在 0 附近訓(xùn)練就平穩(wěn)了。解碼時(shí)對(duì)應(yīng)的就是exp(預(yù)測(cè)值) × 錨框?qū)?× stride。這個(gè)exp還有一個(gè)好處保證輸出恒正永遠(yuǎn)不會(huì)出現(xiàn)負(fù)寬高的退化框。對(duì)小目標(biāo)來(lái)說(shuō)這個(gè)設(shè)計(jì)有個(gè)隱含代價(jià)。遠(yuǎn)處車(chē)輛上的標(biāo)志牌真值寬可能只有 12 像素錨框?qū)捠?16 像素比值 0.75log 后約 -0.29網(wǎng)絡(luò)預(yù)測(cè)值稍微偏一點(diǎn)比如偏 0.3exp之后就是 1.35 倍寬變成 21 像素。也就是說(shuō)相對(duì)誤差被指數(shù)放大了小目標(biāo)的定位精度天然吃虧。這是為什么提高輸入分辨率對(duì)小目標(biāo)檢測(cè)的收益遠(yuǎn)大于換更大的主干網(wǎng)絡(luò)。3.3 訓(xùn)練節(jié)奏動(dòng)量 0.9、權(quán)重衰減 0.0005、300 輪與兩次衰減這套訓(xùn)練的配置是動(dòng)量 0.9權(quán)重衰減 0.0005訓(xùn)練 300 輪在第 70% 和第 90% 處把學(xué)習(xí)率乘 0.1 衰減兩次。這幾個(gè)數(shù)字放在一起看能讀出一些設(shè)計(jì)意圖。動(dòng)量 0.9 是 SGD 類(lèi)優(yōu)化器的常用值作用是把歷史梯度累積起來(lái)抑制批次間的抖動(dòng)。目標(biāo)檢測(cè)的損失曲面在正負(fù)樣本極不平衡時(shí)特別抖純粹靠降低學(xué)習(xí)率來(lái)穩(wěn)定訓(xùn)練收斂會(huì)很慢加動(dòng)量等于給優(yōu)化過(guò)程加了一點(diǎn)慣性能穿過(guò)那些淺的局部坑。權(quán)重衰減 0.0005 是 L2 正則系數(shù)管的是防止權(quán)重?cái)?shù)值無(wú)限膨脹。檢測(cè)網(wǎng)絡(luò)的分類(lèi)頭在長(zhǎng)尾類(lèi)別上特別容易過(guò)擬合稀有類(lèi)的樣本可能只有幾十個(gè)不加正則的話分類(lèi)頭會(huì)把權(quán)重全推到高頻類(lèi)上。0.0005 這個(gè)量級(jí)不會(huì)明顯損害擬合能力但能壓住一部分過(guò)擬合。300 輪配兩次衰減的節(jié)奏本質(zhì)上是粗調(diào)—精調(diào)—微調(diào)三段式。前 210 輪用大學(xué)習(xí)率把權(quán)重從隨機(jī)初始化拉到大致合理的位置中間 60 輪把學(xué)習(xí)率降一個(gè)數(shù)量級(jí)讓網(wǎng)絡(luò)在局部細(xì)化最后 30 輪再降一個(gè)數(shù)量級(jí)做收尾。這個(gè)安排有個(gè)前提數(shù)據(jù)集規(guī)模不大300 輪在大數(shù)據(jù)集上可能連第一段都跑不完。10000 張圖、22174 個(gè)框的規(guī)模300 輪正好是一個(gè)能讓 loss 走平又不至于過(guò)擬合的區(qū)間。提示衰減點(diǎn)的選擇要看 loss 曲線不看固定比例。如果 loss 在第 60% 就已經(jīng)開(kāi)始震蕩衰減點(diǎn)前移往往比繼續(xù)硬訓(xùn)有效。曲線判讀上有個(gè)經(jīng)驗(yàn)訓(xùn)練到第一次衰減之前如果分類(lèi)項(xiàng)和定位項(xiàng)的 loss 比例始終在 1:10 以上說(shuō)明權(quán)重系數(shù)沒(méi)調(diào)對(duì)大概率是定位項(xiàng)權(quán)重給高了網(wǎng)絡(luò)把全部容量花在對(duì)齊框上分類(lèi)頭學(xué)不動(dòng)。反過(guò)來(lái)如果置信度項(xiàng)在訓(xùn)練早期就迅速降到接近 0 并且不再變化說(shuō)明負(fù)樣本權(quán)重壓得太狠網(wǎng)絡(luò)學(xué)會(huì)了全部猜沒(méi)有目標(biāo)這個(gè)捷徑。4. 數(shù)據(jù)集工程10000 張車(chē)尾圖與 22174 個(gè)標(biāo)注框是怎么攢出來(lái)的模型結(jié)構(gòu)再合理數(shù)據(jù)不過(guò)關(guān)一切都是空轉(zhuǎn)。這套識(shí)別系統(tǒng)最終能跑通一半功勞在標(biāo)注這一側(cè)。4.1 抓拍鏈路4K、紅外補(bǔ)光與邊緣側(cè)算力采集端是卡口上的抓拍單元輸出 4096×2160 的背面圖像配紅外閃光燈做弱光補(bǔ)光。這兩個(gè)參數(shù)合起來(lái)決定了整個(gè)系統(tǒng)的上限分辨率越高小目標(biāo)的原始像素越多紅外補(bǔ)光保證夜間也能拿到結(jié)構(gòu)清晰的反光標(biāo)志牌紋理而不是一團(tuán)噪點(diǎn)。抓拍單元和識(shí)別算力是分開(kāi)的。抓拍端負(fù)責(zé)觸發(fā)、曝光、壓縮、上傳識(shí)別跑在邊緣側(cè)的嵌入式計(jì)算設(shè)備上結(jié)果和部分原始圖通過(guò)專(zhuān)有網(wǎng)絡(luò)回傳到監(jiān)測(cè)中心。這個(gè)拆分很重要抓拍是硬觸發(fā)不能等識(shí)別結(jié)果識(shí)別是軟實(shí)時(shí)允許排隊(duì)但隊(duì)列深度必須可控。把兩者耦合在一臺(tái)設(shè)備上一旦識(shí)別模型跑飛抓拍也跟著丟幀整個(gè)卡口就癱了。從工程角度看抓拍端的參數(shù)比模型參數(shù)更值得磨。曝光時(shí)間太長(zhǎng)八十公里時(shí)速的車(chē)尾會(huì)拖影標(biāo)志牌邊緣糊成一片曝光太短夜間信噪比不夠標(biāo)志牌的顏色信息直接丟失——而危險(xiǎn)貨物標(biāo)志牌的底色紅、橙、黃、藍(lán)、白本身就是最強(qiáng)的分類(lèi)線索之一。紅外補(bǔ)光解決的是照度問(wèn)題解決不了運(yùn)動(dòng)模糊這兩件事得分開(kāi)調(diào)。4.2 23 類(lèi)標(biāo)注體系與長(zhǎng)尾分布數(shù)據(jù)集是 10000 張背面圖標(biāo)注了 23 個(gè)類(lèi)別、22174 個(gè)框。這 23 類(lèi)拆成兩組5 種危險(xiǎn)化學(xué)品屬性分類(lèi)共 8419 個(gè)框18 種危險(xiǎn)化學(xué)品分類(lèi)共 13755 個(gè)框。兩組加起來(lái)正好是 22174。這個(gè)拆分方式反映了業(yè)務(wù)上的兩層需求。粗粒度那一層5 類(lèi)屬性對(duì)應(yīng)的是應(yīng)急處置場(chǎng)景——消防或者路政到場(chǎng)后最先要知道的是這東西是易燃、易爆、有毒、腐蝕還是放射這決定了穿什么防護(hù)、用什么滅火劑、警戒半徑多大。細(xì)粒度那一層18 類(lèi)對(duì)應(yīng)的是監(jiān)管和溯源需要精確到具體危險(xiǎn)性分類(lèi)。兩套標(biāo)簽共用一個(gè)檢測(cè)頭等于讓網(wǎng)絡(luò)同時(shí)學(xué)粗分和細(xì)分細(xì)分學(xué)好了粗分自然就有了反過(guò)來(lái)不成立。平均每張圖 2.2 個(gè)框這個(gè)數(shù)字說(shuō)明多數(shù)?；奋?chē)輛尾部不止一塊標(biāo)志牌。實(shí)際場(chǎng)景里運(yùn)輸多類(lèi)危險(xiǎn)品的車(chē)輛會(huì)掛主標(biāo)志加副標(biāo)志或者主標(biāo)志加一塊文字說(shuō)明牌。這對(duì)檢測(cè)器提出了一個(gè)具體要求同一位置附近必須能同時(shí)輸出多個(gè)重疊框NMS 閾值不能太激進(jìn)。長(zhǎng)尾問(wèn)題在這組數(shù)據(jù)里非常明顯。18 類(lèi)細(xì)分里常見(jiàn)的易燃液體、易燃固體樣本量可能上千而某些放射性或者感染性物質(zhì)的樣本可能只有個(gè)位數(shù)——現(xiàn)實(shí)中這類(lèi)運(yùn)輸本來(lái)就少。直接訓(xùn)練的結(jié)果是分類(lèi)頭嚴(yán)重偏向高頻類(lèi)稀有類(lèi)的召回接近零但整體 mAP 看著還行因?yàn)楦哳l類(lèi)把平均值拉上去了。這是最危險(xiǎn)的一種看起來(lái)沒(méi)問(wèn)題。處理長(zhǎng)尾有幾種常見(jiàn)思路按類(lèi)別頻率做損失加權(quán)、對(duì)稀有類(lèi)做過(guò)采樣、把稀有類(lèi)合并到粗粒度層級(jí)。第三種在業(yè)務(wù)上往往最實(shí)用——如果某類(lèi)物質(zhì)一個(gè)月才出現(xiàn)一次識(shí)別成它的父類(lèi)屬性對(duì)應(yīng)急處置來(lái)說(shuō)已經(jīng)夠用硬要區(qū)分到子類(lèi)反而增加了誤報(bào)。4.3 XML 標(biāo)注文件的結(jié)構(gòu)與一致性校驗(yàn)標(biāo)注用 labelImg 完成每張圖生成一個(gè)同名 xml里面記錄每個(gè)框的位置和類(lèi)別。格式是 PASCAL VOC 那套size節(jié)點(diǎn)存原圖寬高object節(jié)點(diǎn)下是name和bndboxxmin、ymin、xmax、ymax。import xml.etree.ElementTree as ET from collections import Counter def parse_voc(xml_path): 解析單張標(biāo)注返回歸一化后的框和類(lèi)別 root ET.parse(xml_path).getroot() w int(root.find(size/width).text) h int(root.find(size/height).text) boxes [] for obj in root.findall(object): name obj.find(name).text.strip() bb obj.find(bndbox) # VOC 坐標(biāo)是 1-based 且是浮點(diǎn)字符串必須轉(zhuǎn) int 再減 1 x1 int(float(bb.find(xmin).text)) - 1 y1 int(float(bb.find(ymin).text)) - 1 x2 int(float(bb.find(xmax).text)) - 1 y2 int(float(bb.find(ymax).text)) - 1 # 越界裁剪防止歸一化后出現(xiàn)負(fù)數(shù)或大于 1 x1, y1 max(0, x1), max(0, y1) x2, y2 min(w - 1, x2), min(h - 1, y2) if x2 x1 or y2 y1: continue # 退化框直接丟棄不要讓它進(jìn)訓(xùn)練集 boxes.append((name, (x1 x2) / 2 / w, (y1 y2) / 2 / h, (x2 - x1) / w, (y2 - y1) / h)) return boxes, w, h # 全量掃描統(tǒng)計(jì)類(lèi)別分布和異?？?stat Counter() for p in xml_files: boxes, _, _ parse_voc(p) for name, *_ in boxes: stat[name] 1 print(stat.most_common())這段解析代碼里int(float(...))這個(gè)寫(xiě)法不是啰嗦。標(biāo)注工具導(dǎo)出的坐標(biāo)有時(shí)帶小數(shù)點(diǎn)直接int()會(huì)在 Python 里報(bào)錯(cuò)減去 1 是因?yàn)?VOC 用 1-based 索引不減的話每個(gè)框整體偏移一個(gè)像素在 4K 圖上無(wú)所謂但在縮放后的小圖上會(huì)累積成可見(jiàn)誤差。退化框過(guò)濾同樣必要標(biāo)注時(shí)手抖畫(huà)出一個(gè)寬 0 高 0 的框歸一化后寬高都是 0訓(xùn)練時(shí)log(0)直接產(chǎn)生 NaN而且這種 NaN 會(huì)污染整個(gè) batch 的梯度。掃描完類(lèi)別分布之后還有兩件事要做。一是檢查同一張圖里框的重疊情況發(fā)現(xiàn)大量 IOU 大于 0.9 的重復(fù)標(biāo)注說(shuō)明標(biāo)注規(guī)范沒(méi)統(tǒng)一有人重復(fù)畫(huà)了同一個(gè)牌子。二是檢查尺寸分布把框面積畫(huà)成直方圖如果絕大部分框都落在極小的一側(cè)說(shuō)明輸入分辨率設(shè)小了得往上調(diào)。5. 避坑與排查五條從訓(xùn)練日志和誤檢框里挖出來(lái)的經(jīng)驗(yàn)5.1 召回死活上不去但分類(lèi)置信度都很高現(xiàn)象驗(yàn)證集上檢出的框分類(lèi)都很準(zhǔn)但漏檢率明顯偏高尤其是遠(yuǎn)處車(chē)輛上的小標(biāo)志牌。原因訓(xùn)練和推理的輸入尺寸在縮放時(shí)把標(biāo)志牌壓得太小了。一張 4096 寬的圖縮到 416縮放比接近 10:1原本 80 像素的標(biāo)志牌只剩 8 像素而最細(xì)那層特征圖的 stride 是 8等于一個(gè)目標(biāo)只占一個(gè)格子。網(wǎng)絡(luò)再?gòu)?qiáng)也沒(méi)法從一個(gè)格子里分辨形狀和配色。解決優(yōu)先提高輸入分辨率而不是加深網(wǎng)絡(luò)。把輸入從 416 提到 608 或 832小目標(biāo)的像素占比能翻倍如果顯存或延遲不允許改用切片推理——把 4K 圖切成四塊分別檢測(cè)再合并代價(jià)是后處理要多做一次跨塊 NMS。另一個(gè)成本更低的辦法是只對(duì)車(chē)輛區(qū)域做二次裁切放大因?yàn)榭趫?chǎng)景里車(chē)輛位置基本可預(yù)測(cè)。5.2 同一塊區(qū)域的兩個(gè)標(biāo)志牌被合并成一個(gè)框現(xiàn)象車(chē)尾同時(shí)貼主標(biāo)志和副標(biāo)志時(shí)只檢出一個(gè)框另一個(gè)消失而且框的寬高明顯異常。原因NMS 閾值設(shè)得太高比如 0.45 以上兩個(gè)空間上相鄰、類(lèi)別相同或者不同的標(biāo)志牌互相壓制。?；奋?chē)輛車(chē)尾標(biāo)志牌排布密集重疊度天然就高。解決把 NMS 閾值降到 0.3 到 0.4 之間并且改成按類(lèi)別分組做 NMS不同類(lèi)別的框不互相抑制。如果業(yè)務(wù)上允許還可以加一條規(guī)則同一車(chē)輛區(qū)域內(nèi)置信度最高的框如果寬高比接近 1菱形主標(biāo)志強(qiáng)制保留一個(gè)相鄰的副標(biāo)志框。5.3 稀有類(lèi)完全檢不出來(lái)但訓(xùn)練 loss 一直在降現(xiàn)象訓(xùn)練日志里總 loss 穩(wěn)定下降驗(yàn)證集整體 mAP 看著還行但把類(lèi)別拆開(kāi)看18 類(lèi)里有一半的 AP 接近 0。原因類(lèi)別極度不平衡高頻類(lèi)的樣本量是稀有類(lèi)的上百倍分類(lèi)頭的梯度被高頻類(lèi)主導(dǎo)?？?loss 下降主要來(lái)自高頻類(lèi)和置信度項(xiàng)稀有類(lèi)的貢獻(xiàn)被淹沒(méi)了。解決訓(xùn)練時(shí)按類(lèi)別頻率做損失加權(quán)權(quán)重取頻率倒數(shù)的平方根比較穩(wěn)或者對(duì)稀有類(lèi)做數(shù)據(jù)增強(qiáng)式的過(guò)采樣。更務(wù)實(shí)的做法是把稀有類(lèi)合并到粗粒度的屬性層業(yè)務(wù)上夠用指標(biāo)也好看。評(píng)估時(shí)必須逐類(lèi)看 AP只看總 mAP 會(huì)掩蓋這個(gè)問(wèn)題。5.4 訓(xùn)練到幾十輪突然出現(xiàn) NaN現(xiàn)象loss 曲線前幾十輪正常下降某一輪突然變成 NaN之后再也不恢復(fù)。原因標(biāo)注里有退化框或者越界框歸一化后寬高出現(xiàn) 0 或負(fù)數(shù)寬高項(xiàng)做了log運(yùn)算直接炸掉。另一種可能是學(xué)習(xí)率在衰減點(diǎn)之前太大某一批梯度的范數(shù)爆掉。解決訓(xùn)練前跑一遍全量標(biāo)注校驗(yàn)把寬高小于 2 像素的框、越界框、重復(fù)框清掉。訓(xùn)練時(shí)加梯度裁剪把范數(shù)上限定在 10 左右。另外學(xué)習(xí)率衰減點(diǎn)不要設(shè)得太晚在 loss 已經(jīng)開(kāi)始震蕩的時(shí)候還不降很容易翻車(chē)。5.5 白天效果好傍晚和雨天大幅退化現(xiàn)象晴天白天的樣本召回和精度都不錯(cuò)換成逆光、雨天、夜間指標(biāo)掉得很明顯而且錯(cuò)的模式很一致——漏檢多于誤檢。原因訓(xùn)練集里的光照和天氣分布不均衡絕大多數(shù)樣本來(lái)自正常光照。標(biāo)志牌表面是反光材質(zhì)逆光時(shí)整塊高光過(guò)曝顏色特征完全丟失網(wǎng)絡(luò)只能靠形狀猜小目標(biāo)的形狀信息本來(lái)就少。解決按光照和天氣做分層采樣保證每個(gè)子集在訓(xùn)練集里都有足夠占比。數(shù)據(jù)增強(qiáng)上不要只做隨機(jī)亮度調(diào)整那模擬不出高光過(guò)曝的效果更有效的是隨機(jī)遮擋加局部對(duì)比度擾動(dòng)。評(píng)估也得分層做把白天的指標(biāo)和夜間的指標(biāo)分開(kāi)報(bào)混在一起算平均值沒(méi)有意義。6. 設(shè)計(jì)取舍為什么夠快比最準(zhǔn)更適合這條路把整套方案攤開(kāi)看最值得琢磨的不是 YOLOv3 的結(jié)構(gòu)而是它在這個(gè)場(chǎng)景里被迫做出的三個(gè)讓步。第一個(gè)讓步是精度上限。單階段檢測(cè)器在極小目標(biāo)上的定位精度天然不如兩階段這是結(jié)構(gòu)性差異不是調(diào)參能抹平的。接受這個(gè)讓步的前提是業(yè)務(wù)對(duì)框得多準(zhǔn)要求不高——應(yīng)急處置要知道的是這車(chē)裝了第幾類(lèi)危險(xiǎn)品框稍微偏一點(diǎn)不影響判斷。如果換成需要精確測(cè)量標(biāo)志牌尺寸的任務(wù)這個(gè)方案就不合適了。第二個(gè)讓步是分辨率。4K 原圖縮到幾百像素的輸入信息損失是實(shí)打?qū)嵉摹Ｌ娲桨甘乔衅评砘蛘哕?chē)輛區(qū)域二次裁切但兩者都會(huì)增加延遲和后處理復(fù)雜度。選縮圖本質(zhì)上是選了一個(gè)確定的延遲預(yù)算把不確定性留給精度。第三個(gè)讓步是類(lèi)別粒度。18 類(lèi)細(xì)分里有相當(dāng)一部分類(lèi)別的樣本量撐不起一個(gè)可靠的分類(lèi)頭把它們合并到 5 類(lèi)屬性層是向數(shù)據(jù)現(xiàn)實(shí)低頭。這個(gè)讓步在工程上完全合理但必須寫(xiě)進(jìn)文檔否則下游系統(tǒng)會(huì)以為拿到的是全粒度結(jié)果。這三個(gè)讓步有一個(gè)共同點(diǎn)都是在數(shù)據(jù)不夠、算力有限、時(shí)間很緊的約束下做出的而不是技術(shù)偏好。判斷一個(gè)檢測(cè)方案好不好不看它用了多新的結(jié)構(gòu)看它的每一個(gè)取舍能不能對(duì)應(yīng)到一個(gè)真實(shí)的約束條件上。對(duì)不上就是過(guò)度設(shè)計(jì)或者設(shè)計(jì)不足。注意這套方案在原研究里報(bào)告的是在不同照度和天氣下都有較好魯棒性但沒(méi)有給出分層量化的指標(biāo)。復(fù)現(xiàn)時(shí)不能把這句話當(dāng)成驗(yàn)收標(biāo)準(zhǔn)必須自己按光照、天氣、距離分桶測(cè)一遍。驗(yàn)證這套系統(tǒng)是否真的能落地我一般會(huì)走三步先用固定的一批歷史卡口圖跑離線評(píng)估逐類(lèi)看 AP 和漏檢率再把模型放到邊緣設(shè)備上測(cè)端到端延遲注意是端到端——包含解碼、NMS、上傳不是只測(cè)網(wǎng)絡(luò)前向最后拿真實(shí)的實(shí)時(shí)流跑一周看隊(duì)列深度和丟幀率。前兩步能過(guò)、第三步過(guò)不了的方案我見(jiàn)過(guò)太多次。在那之后我每接一個(gè)類(lèi)似的小目標(biāo)實(shí)時(shí)檢測(cè)任務(wù)都會(huì)先算一筆賬目標(biāo)在原圖里有多少像素、縮到網(wǎng)絡(luò)輸入后還剩多少、最細(xì)那層特征圖的 stride 是多少。這三個(gè)數(shù)一算完方案能不能成基本就有數(shù)了剩下的都是工程細(xì)節(jié)。希望這套思路能幫到你。本文還有配套的精品資源點(diǎn)擊獲取