簡(jiǎn)介本資源是一套面向計(jì)算機(jī)、人工智能及自動(dòng)化等專(zhuān)業(yè)學(xué)生的畢業(yè)設(shè)計(jì)級(jí)項(xiàng)目聚焦煤礦安全生產(chǎn)場(chǎng)景基于YOLOv8實(shí)現(xiàn)傳送帶堆煤與堵塞的實(shí)時(shí)目標(biāo)檢測(cè)與智能預(yù)警。項(xiàng)目開(kāi)箱即用涵蓋完整訓(xùn)練流程、可視化交互界面與工業(yè)級(jí)部署方案特別適合畢設(shè)、課程設(shè)計(jì)或大作業(yè)開(kāi)發(fā)也支持零基礎(chǔ)學(xué)習(xí)者快速入門(mén)深度學(xué)習(xí)目標(biāo)檢測(cè)應(yīng)用。壓縮包共97個(gè)文件含70個(gè)Python源碼含訓(xùn)練、推理、UI主控及評(píng)估模塊、4個(gè)預(yù)訓(xùn)練與最優(yōu).pt模型、12個(gè)編譯緩存文件、5個(gè)標(biāo)注XML及配套R(shí)EADME與配置說(shuō)明整體24.21MB結(jié)構(gòu)清晰、模塊解耦便于二次開(kāi)發(fā)與功能擴(kuò)展。已有43人下載學(xué)習(xí)所有代碼均經(jīng)實(shí)測(cè)驗(yàn)證可一鍵生成F1曲線(xiàn)、混淆矩陣、PR曲線(xiàn)、標(biāo)簽分布圖及驗(yàn)證集預(yù)測(cè)結(jié)果附帶測(cè)試視頻與圖標(biāo)資源真正實(shí)現(xiàn)從數(shù)據(jù)標(biāo)注到系統(tǒng)上線(xiàn)的一站式交付。 在煤礦生產(chǎn)中傳送帶運(yùn)輸系統(tǒng)一旦出現(xiàn)堆煤堵塞輕則停機(jī)影響生產(chǎn)重則引發(fā)設(shè)備損壞甚至安全事故。過(guò)去主要靠人工巡檢和簡(jiǎn)單的堆煤傳感器要么響應(yīng)慢要么誤報(bào)率高。這幾年YOLOv8在目標(biāo)檢測(cè)領(lǐng)域表現(xiàn)相當(dāng)能打很多同行開(kāi)始嘗試把它用在這種工業(yè)異常場(chǎng)景里。我自己也基于YOLOv8做了一套煤礦傳送帶堆煤堵塞預(yù)警系統(tǒng)包含完整的源碼、可視化監(jiān)控界面、已經(jīng)標(biāo)注好的數(shù)據(jù)集和一步步的部署教程壓縮包解壓之后按文檔操作就能跑起來(lái)很適合用來(lái)做畢業(yè)設(shè)計(jì)或者課程設(shè)計(jì)的完整項(xiàng)目。這篇文章我會(huì)把這套系統(tǒng)的核心內(nèi)容拆開(kāi)揉碎講清楚從數(shù)據(jù)集怎么來(lái)的、標(biāo)注要注意什么、模型訓(xùn)練踩過(guò)哪些坑、界面怎么跟檢測(cè)邏輯打通到最終怎么部署到工控機(jī)上全部過(guò)一遍。不管你是正準(zhǔn)備做相關(guān)課題的學(xué)生還是想在公司內(nèi)部驗(yàn)證這套方案的技術(shù)人員都可以照著這個(gè)思路復(fù)現(xiàn)至少能幫你少走不少?gòu)澛贰?. 項(xiàng)目整體設(shè)計(jì)與技術(shù)選型思路1.1 為什么選YOLOv8而不是其他檢測(cè)模型做煤礦堆煤檢測(cè)第一步就是選檢測(cè)框架。很多人一上來(lái)就在YOLOv5、YOLOv7、YOLOv8之間糾結(jié)甚至還有人考慮Faster R-CNN這類(lèi)兩階段模型。我的建議很直接YOLOv8是當(dāng)前性?xún)r(jià)比最高的選擇沒(méi)有之一。先說(shuō)YOLOv5它確實(shí)穩(wěn)定社區(qū)資料也多但它的C3結(jié)構(gòu)和后續(xù)的C2f結(jié)構(gòu)相比在同樣參數(shù)量下特征提取能力會(huì)弱一些尤其是對(duì)小目標(biāo)和密集目標(biāo)的表現(xiàn)不夠好。傳送帶上的堆煤場(chǎng)景其實(shí)有一個(gè)特點(diǎn)煤塊堆積區(qū)域往往和傳送帶、托輥、煤流背景混在一起目標(biāo)邊界不夠清晰而且不同角度的光照會(huì)讓煤堆呈現(xiàn)完全不同的紋理特征。這種場(chǎng)景下YOLOv8的C2f結(jié)構(gòu)能更好地融合不同層級(jí)的特征檢測(cè)魯棒性明顯更強(qiáng)。再看Faster R-CNN精度確實(shí)高但推理速度實(shí)在跟不上工業(yè)實(shí)時(shí)監(jiān)控的需求。一套監(jiān)控系統(tǒng)如果每秒只能處理兩三幀那和沒(méi)有差不多。煤礦現(xiàn)場(chǎng)用的是工控機(jī)配置不會(huì)太高GTX 1660 Ti這種級(jí)別的顯卡是主流YOLOv8s在這種卡上跑640分辨率輸入推理速度能穩(wěn)定在30 FPS以上完全滿(mǎn)足實(shí)時(shí)要求。還有一個(gè)很實(shí)際的原因YOLOv8的工程化做得好Ultralytics官方把訓(xùn)練、驗(yàn)證、導(dǎo)出、部署的流程統(tǒng)一封裝了一套API走到底不需要自己拼裝復(fù)雜的訓(xùn)練邏輯。對(duì)做畢設(shè)或者課程設(shè)計(jì)的同學(xué)來(lái)說(shuō)省下的時(shí)間可以花在界面和功能完善上而不是在訓(xùn)練框架的泥潭里掙扎。1.2 系統(tǒng)整體架構(gòu)與功能模塊劃分這套系統(tǒng)的整體架構(gòu)我按“數(shù)據(jù)采集 - 模型推理 - 邏輯判定 - 可視化告警”四層來(lái)做每層職責(zé)清晰方便后期單獨(dú)替換或者升級(jí)。最底層是數(shù)據(jù)層主要包含兩部分一是用來(lái)訓(xùn)練模型的數(shù)據(jù)集這個(gè)直接決定模型上限后面我會(huì)詳細(xì)講二是實(shí)時(shí)視頻流接入系統(tǒng)要兼容RTSP流、本地視頻文件和圖片三種輸入方式。我見(jiàn)過(guò)太多項(xiàng)目只支持視頻文件到現(xiàn)場(chǎng)接攝像頭的時(shí)候就傻眼了所以這塊我特地在代碼里做了兼容。中間是推理層加載訓(xùn)練好的YOLOv8權(quán)重對(duì)每一幀畫(huà)面執(zhí)行目標(biāo)檢測(cè)輸出煤堆目標(biāo)的位置、置信度和類(lèi)別。推理層的輸出不只是畫(huà)個(gè)框這么簡(jiǎn)單還要把檢測(cè)結(jié)果傳給邏輯判定層。邏輯判定層是這套系統(tǒng)的靈魂。單純的“檢測(cè)到煤堆”沒(méi)有意義因?yàn)閭魉蛶媳緛?lái)就有煤在正常運(yùn)輸關(guān)鍵是怎么區(qū)分“正常堆煤”和“異常堆煤”。我采用的策略是多維度聯(lián)合判定檢測(cè)框的置信度要超過(guò)閾值、目標(biāo)區(qū)域面積占比要達(dá)到設(shè)定比例、并且連續(xù)若干幀保持這個(gè)狀態(tài)三個(gè)條件同時(shí)滿(mǎn)足才觸發(fā)預(yù)警。這樣可以有效過(guò)濾掉偶發(fā)的煤流波動(dòng)和檢測(cè)抖動(dòng)。最上層是可視化界面基于PyQt5開(kāi)發(fā)實(shí)現(xiàn)實(shí)時(shí)視頻畫(huà)面顯示、檢測(cè)框疊加、預(yù)警狀態(tài)切換、報(bào)警記錄保存、歷史回放等功能。另外還有獨(dú)立的告警模塊支持畫(huà)面閃爍、文字提示和聲音報(bào)警。1.3 整體技術(shù)棧與版本選型技術(shù)選型這塊我直接列一個(gè)清單都是經(jīng)過(guò)實(shí)際驗(yàn)證的版本組合照抄不會(huì)出問(wèn)題組件推薦版本說(shuō)明操作系統(tǒng)Windows 10/11 或 Ubuntu 20.04/22.04畢設(shè)推薦Windows部署推薦UbuntuPython3.8 ~ 3.103.10以上容易出現(xiàn)依賴(lài)不兼容PyTorch1.13 ~ 2.0CUDA版本根據(jù)顯卡驅(qū)動(dòng)選擇CUDA11.7 / 11.8和PyTorch版本嚴(yán)格對(duì)應(yīng)ultralytics8.0.x以上建議鎖版本新版本API可能有變動(dòng)opencv-python4.5.x以上用于視頻流處理和圖像預(yù)處理PyQt55.15.x可視化界面開(kāi)發(fā)pyqtgraph0.13.x實(shí)時(shí)數(shù)據(jù)曲線(xiàn)繪制這里強(qiáng)調(diào)一下CUDA和PyTorch的配套問(wèn)題。很多同學(xué)在環(huán)境配置階段卡了一整天就是版本沒(méi)對(duì)上。PyTorch 1.13支持CUDA 11.7PyTorch 2.0支持CUDA 11.8裝的時(shí)候用官方命令直接裝對(duì)應(yīng)版本最穩(wěn)妥不要用pip默認(rèn)源。具體安裝命令文檔里都有后面部署章節(jié)我再展開(kāi)。2. 數(shù)據(jù)集構(gòu)建從采集到標(biāo)注的完整流程2.1 數(shù)據(jù)采集場(chǎng)景分析與樣本規(guī)劃數(shù)據(jù)是這套系統(tǒng)的地基模型性能的上限由數(shù)據(jù)決定。我見(jiàn)過(guò)不少同學(xué)拿了開(kāi)源數(shù)據(jù)集直接訓(xùn)練效果差了就抱怨模型不行其實(shí)問(wèn)題往往出在數(shù)據(jù)跟場(chǎng)景不匹配上。煤礦傳送帶堆煤檢測(cè)這個(gè)問(wèn)題必須用貼近真實(shí)場(chǎng)景的圖片來(lái)訓(xùn)練。數(shù)據(jù)采集階段要考慮幾個(gè)典型場(chǎng)景一是傳送帶正常運(yùn)行煤流均勻分布這是大量負(fù)樣本的來(lái)源二是堆煤初期煤開(kāi)始在小范圍堆積這是最關(guān)鍵的正樣本很多系統(tǒng)漏檢就是這類(lèi)樣本不夠三是嚴(yán)重堆煤煤已經(jīng)漫過(guò)托輥甚至溢出傳送帶邊緣這個(gè)階段樣本容易獲取但模型已經(jīng)“看得太晚”。另外還要覆蓋不同光照條件井下和地面?zhèn)魉蛶У墓庹詹町惥薮蟀滋?、夜間、逆光、粉塵遮擋都要考慮。如果自己沒(méi)有條件到現(xiàn)場(chǎng)拍有兩個(gè)替代方案第一用公開(kāi)的工業(yè)檢測(cè)數(shù)據(jù)集做預(yù)訓(xùn)練然后在少量現(xiàn)場(chǎng)數(shù)據(jù)上微調(diào)第二把自己拍的視頻按幀截取再做數(shù)據(jù)增強(qiáng)擴(kuò)充。這套系統(tǒng)壓縮包里附帶的數(shù)據(jù)集就是按照上述場(chǎng)景規(guī)劃采集并標(biāo)注好的大概有幾千張圖片類(lèi)別統(tǒng)一標(biāo)注格式為標(biāo)準(zhǔn)YOLO格式拿到手即可訓(xùn)練。2.2 數(shù)據(jù)標(biāo)注實(shí)操類(lèi)別設(shè)定與邊界框規(guī)則標(biāo)注環(huán)節(jié)我在實(shí)際操作中踩過(guò)不少坑這里分享幾個(gè)關(guān)鍵經(jīng)驗(yàn)。首先是類(lèi)別設(shè)定。堆煤檢測(cè)不像通用物體檢測(cè)有那么多類(lèi)別我建議只設(shè)一個(gè)類(lèi)別“coal_pile”堆煤把正常煤流和異常堆煤都作為同類(lèi)的不同狀態(tài)來(lái)處理。有人可能會(huì)想設(shè)兩個(gè)類(lèi)別“正常”和“異?！钡@會(huì)讓標(biāo)注變得很主觀邊界模糊模型反而學(xué)不到穩(wěn)健特征。單一類(lèi)別配合面積和連續(xù)幀判定是更干凈的方案。其次是邊界框規(guī)則這是最容易翻車(chē)的地方。標(biāo)注堆煤目標(biāo)時(shí)框不能只框住煤堆凸起的部分要把整個(gè)堆煤區(qū)域連同上方的煤塵聚集區(qū)域包含進(jìn)去。因?yàn)槎衙涸缙诿憾堰€比較矮如果框只標(biāo)到可見(jiàn)部分的邊界模型學(xué)到的是一個(gè)“切了一半”的目標(biāo)推理時(shí)很容易漏檢。另外標(biāo)注時(shí)寧大勿小。YOLO的矩形框天然會(huì)包含一些背景區(qū)域特別是堆煤場(chǎng)景里煤流和周?chē)O(shè)備顏色接近框稍微大一點(diǎn)對(duì)模型的影響不大但如果框太小漏掉了部分堆煤區(qū)域模型學(xué)到的特征就不完整。2.3 數(shù)據(jù)增強(qiáng)策略與訓(xùn)練集劃分煤礦現(xiàn)場(chǎng)的圖像質(zhì)量不穩(wěn)定粉塵、水霧、低光照都是常態(tài)。為了讓模型適應(yīng)這些環(huán)境數(shù)據(jù)增強(qiáng)必須做足不能只依賴(lài)原始圖片。我平時(shí)用的增強(qiáng)策略包括HSV色彩空間隨機(jī)調(diào)整、隨機(jī)翻轉(zhuǎn)、隨機(jī)縮放、馬賽克增強(qiáng)。其中馬賽克增強(qiáng)特別適合堆煤場(chǎng)景因?yàn)楝F(xiàn)場(chǎng)畫(huà)面中經(jīng)常有多處疑似堆煤區(qū)域馬賽克增強(qiáng)讓模型在訓(xùn)練時(shí)同步看到不同位置的堆煤形態(tài)泛化能力會(huì)明顯提升。但有一點(diǎn)要注意隨機(jī)旋轉(zhuǎn)的角度不要太大因?yàn)閭魉蛶?chǎng)景有明確的方向結(jié)構(gòu)旋轉(zhuǎn)角度過(guò)大反而會(huì)讓模型學(xué)到錯(cuò)誤的幾何關(guān)系。我在代碼里把旋轉(zhuǎn)角度限制在正負(fù)10度以?xún)?nèi)效果比我之前用正負(fù)30度要好不少。訓(xùn)練集劃分我按8:1:1來(lái)做訓(xùn)練集占八成、驗(yàn)證集和測(cè)試集各占一成。劃分時(shí)要用shuffle模式把不同場(chǎng)景的圖片交叉打散避免同一個(gè)視頻截幀的圖片全部落到訓(xùn)練集或測(cè)試集導(dǎo)致驗(yàn)證結(jié)果虛高。3. 模型訓(xùn)練實(shí)戰(zhàn)配置、參數(shù)與調(diào)優(yōu)細(xì)節(jié)3.1 環(huán)境配置與訓(xùn)練前的準(zhǔn)備訓(xùn)練這塊我從零開(kāi)始完整過(guò)一遍。如果你用的是官方提供的項(xiàng)目壓縮包里面已經(jīng)有一份requirements.txt和詳細(xì)的環(huán)境配置文檔按照文檔操作十分鐘就能完成環(huán)境搭建。這里我把核心步驟再列一下方便你們理解為什么這么做。第一步創(chuàng)建獨(dú)立的虛擬環(huán)境。建議使用conda避免不同項(xiàng)目的依賴(lài)相互污染。conda create -n coal_yolov8 python3.9 conda activate coal_yolov8第二步安裝PyTorch。在此之前先用nvidia-smi查看自己的顯卡驅(qū)動(dòng)版本確認(rèn)支持的最高CUDA版本然后安裝匹配的PyTorch。如果顯卡是GTX 1660 Ti這類(lèi)較老的卡建議用CUDA 11.7PyTorch 1.13組合穩(wěn)定性和兼容性最好。# CUDA 11.7對(duì)應(yīng)的安裝命令 pip install torch1.13.1cu117 torchvision0.14.1cu117 --extra-index-url https://download.pytorch.org/whl/cu117第三步安裝ultralytics和其他依賴(lài)。pip install ultralytics8.0.43 pip install opencv-python pyqt5 pyqtgraph裝完之后運(yùn)行一下python -c import torch; print(torch.cuda.is_available())輸出True就說(shuō)明環(huán)境沒(méi)問(wèn)題了。3.2 訓(xùn)練參數(shù)選擇與訓(xùn)練過(guò)程記錄訓(xùn)練參數(shù)這塊直接決定模型最終效果我把自己反復(fù)試過(guò)的參數(shù)組合寫(xiě)出來(lái)供參考。我用的模型是YOLOv8s相比nano版本精度更高相比medium版本推理速度更快是工業(yè)場(chǎng)景的平衡點(diǎn)。輸入分辨率設(shè)為640×640堆煤目標(biāo)屬于中等尺度目標(biāo)不需要像檢測(cè)小目標(biāo)那樣動(dòng)輒用1280分辨率640足夠。訓(xùn)練輪數(shù)設(shè)為100輪但開(kāi)啟了early stopping機(jī)制早停耐心15輪如果驗(yàn)證集損失連續(xù)15輪不下降就自動(dòng)停止防止過(guò)擬合。批量大小設(shè)為16這個(gè)數(shù)值要考慮顯存限制GTX 1660 Ti 6GB顯存用16是安全的如果顯存不足降到8。初始學(xué)習(xí)率設(shè)為0.01使用SGD優(yōu)化器momentum設(shè)為0.937。這里說(shuō)一個(gè)細(xì)節(jié)YOLOv8默認(rèn)的warmup輪數(shù)是3如果訓(xùn)練過(guò)程中出現(xiàn)早期的劇烈波動(dòng)把warmup提高到5到8輪會(huì)更平滑。訓(xùn)練時(shí)建議直接在終端里跑官方訓(xùn)練命令yolo detect train datacoal.yaml modelyolov8s.pt epochs100 batch16 imgsz640 patience15訓(xùn)練過(guò)程中我會(huì)持續(xù)觀察兩個(gè)指標(biāo)一個(gè)是訓(xùn)練集和驗(yàn)證集的loss曲線(xiàn)看有沒(méi)有過(guò)擬合的跡象另一個(gè)是驗(yàn)證集的mAP50和mAP50-95這兩個(gè)數(shù)值是判斷模型是否可用的核心依據(jù)。我這套數(shù)據(jù)集訓(xùn)練下來(lái)mAP50能到0.95以上mAP50-95在0.85左右檢測(cè)效果已經(jīng)相當(dāng)理想。3.3 模型評(píng)估與閾值選擇訓(xùn)練完成后不能只看一個(gè)mAP就完事還要針對(duì)堆煤檢測(cè)的特殊性做評(píng)估。我重點(diǎn)看的是精確率和召回率的平衡點(diǎn)。堆煤檢測(cè)屬于安全預(yù)警場(chǎng)景漏檢的代價(jià)遠(yuǎn)高于誤報(bào)因此召回率優(yōu)先級(jí)要高于精確率。在模型默認(rèn)的置信度閾值0.25下我的測(cè)試結(jié)果是精確率0.96、召回率0.93。但在實(shí)際界面里我把置信度閾值調(diào)到0.35同時(shí)對(duì)檢測(cè)框做進(jìn)一步的面積判定。調(diào)高閾值是為了減少誤報(bào)——煤礦現(xiàn)場(chǎng)的粉塵、水霧、燈光反射容易讓模型產(chǎn)生假陽(yáng)性而面積判定則保證只有足夠大的堆煤區(qū)域才會(huì)觸發(fā)預(yù)警。關(guān)于面積判定我多說(shuō)一句。YOLO輸出的檢測(cè)框坐標(biāo)映射到原始畫(huà)面后計(jì)算框面積占畫(huà)面總面積的比例。正常煤流也可能被模型識(shí)別為堆煤但它的面積占比通常小于5%異常堆煤往往在10%以上。我設(shè)定面積占比超過(guò)8%且持續(xù)5幀才進(jìn)入預(yù)警狀態(tài)這個(gè)參數(shù)組合在實(shí)測(cè)中基本沒(méi)有誤報(bào)同時(shí)堆煤剛形成時(shí)就能被及時(shí)捕捉。4. 可視化檢測(cè)界面與部署落地4.1 界面功能設(shè)計(jì)與實(shí)現(xiàn)細(xì)節(jié)可視化界面是這套系統(tǒng)最直觀的部分也是畢設(shè)答辯時(shí)最容易拿分的地方。我基于PyQt5開(kāi)發(fā)整體界面分為四個(gè)區(qū)域左側(cè)是實(shí)時(shí)視頻顯示區(qū)右上角是狀態(tài)指示區(qū)右中是檢測(cè)信息列表區(qū)底部是報(bào)警日志和操作控制區(qū)。視頻顯示區(qū)用QLabel作為畫(huà)布通過(guò)OpenCV讀取視頻幀后轉(zhuǎn)換成QImage格式再繪制檢測(cè)框和類(lèi)別標(biāo)簽。這里有個(gè)細(xì)節(jié)OpenCV讀到的圖像是BGR通道轉(zhuǎn)成RGB之后再顯示到界面上否則顏色會(huì)偏藍(lán)偏暗看起來(lái)很別扭。狀態(tài)指示區(qū)用三個(gè)圓形指示燈表示“正常運(yùn)行”“注意監(jiān)測(cè)”“嚴(yán)重預(yù)警”三種狀態(tài)通過(guò)QPainter繪制圓點(diǎn)并填充顏色切換狀態(tài)時(shí)同時(shí)更新顏色和文字。嚴(yán)重預(yù)警時(shí)還會(huì)讓整個(gè)視頻區(qū)域閃爍紅色邊框配合蜂鳴器報(bào)警發(fā)出聲音現(xiàn)場(chǎng)值班人員不需要一直盯著屏幕也能感知異常。檢測(cè)信息列表區(qū)用QTableWidget展示每一幀檢測(cè)到的目標(biāo)信息目標(biāo)ID、類(lèi)別、置信度、位置坐標(biāo)、面積占比。信息實(shí)時(shí)刷新方便后續(xù)追溯和分析。報(bào)警日志區(qū)記錄所有預(yù)警事件的截圖和時(shí)間戳自動(dòng)保存到本地日志目錄。這個(gè)功能在畢設(shè)答辯時(shí)特別好用可以直接展示完整的預(yù)警記錄說(shuō)明系統(tǒng)“真的能用”而不是停留在演示階段。4.2 界面與模型推理的聯(lián)動(dòng)邏輯界面和模型的聯(lián)動(dòng)是很多自己動(dòng)手做系統(tǒng)的同學(xué)容易搞亂的地方。我最初的做法是直接在界面主線(xiàn)程里跑模型推理結(jié)果畫(huà)面一卡一卡的其實(shí)原因是推理是耗時(shí)操作必須放到獨(dú)立線(xiàn)程里執(zhí)行界面才能保持流暢。我用的是QThread子線(xiàn)程處理視頻幀讀取和模型推理主線(xiàn)程只負(fù)責(zé)刷新界面。子線(xiàn)程每讀取一幀就交給模型推理然后把結(jié)果通過(guò)信號(hào)量發(fā)送給主線(xiàn)程主線(xiàn)程拿到結(jié)果后更新畫(huà)面和狀態(tài)信息。這樣視頻顯示能達(dá)到25 FPS以上界面完全不會(huì)阻塞。具體實(shí)現(xiàn)時(shí)我在VideoThread類(lèi)的run方法里循環(huán)讀取視頻幀調(diào)用模型執(zhí)行推理將結(jié)果封裝成一個(gè)字典通過(guò)pyqtSignal發(fā)射給主界面的槽函數(shù)。槽函數(shù)里完成檢測(cè)框繪制和狀態(tài)判定。這里有一件事要特別注意模型實(shí)例必須在子線(xiàn)程內(nèi)部創(chuàng)建不能在主線(xiàn)程創(chuàng)建后傳給子線(xiàn)程使用因?yàn)镻yTorch模型在不同線(xiàn)程之間共享會(huì)有變量沖突的問(wèn)題。4.3 部署方案從開(kāi)發(fā)機(jī)到工控機(jī)部署是這類(lèi)項(xiàng)目從“能跑”到“真正能用”的關(guān)鍵一步。我提供兩種部署方式分別對(duì)應(yīng)不同場(chǎng)景。第一種是最簡(jiǎn)單的源碼部署適合做畢設(shè)展示、課程設(shè)計(jì)或者短期的現(xiàn)場(chǎng)驗(yàn)證。把項(xiàng)目整個(gè)拷貝到目標(biāo)機(jī)器上配置好Python環(huán)境、安裝依賴(lài)、放置訓(xùn)練好的權(quán)重文件然后運(yùn)行主程序即可。這種方式的好處是方便調(diào)試和二次開(kāi)發(fā)壞處是要現(xiàn)場(chǎng)裝環(huán)境依賴(lài)容易出問(wèn)題。第二種是打包部署適合要交付給現(xiàn)場(chǎng)長(zhǎng)期運(yùn)行的情況。用PyInstaller把Python腳本打包成獨(dú)立的exe文件運(yùn)行環(huán)境一并打包進(jìn)去目標(biāo)機(jī)器上不需要安裝Python也能跑。打包命令大致如下pyinstaller -F -w -i icon.ico main.py --collect-all ultralytics不過(guò)PyInstaller打包YOLOv8項(xiàng)目有幾個(gè)坑要特別注意。ultralytics依賴(lài)了一些動(dòng)態(tài)導(dǎo)入的模塊打包時(shí)經(jīng)常漏掉需要在spec文件里手動(dòng)添加hidden imports權(quán)重文件默認(rèn)從相對(duì)路徑加載打包后路徑會(huì)變必須在代碼里用sys._MEIPASS處理資源路徑。項(xiàng)目壓縮包里的部署文檔對(duì)這些問(wèn)題都有詳細(xì)說(shuō)明按照文檔操作就能繞開(kāi)這些坑。實(shí)際的項(xiàng)目里我推薦在開(kāi)發(fā)機(jī)上訓(xùn)練好模型、調(diào)試好代碼然后用第二種方式打包好再部署到工控機(jī)。這樣做的好處是現(xiàn)場(chǎng)不需要碰代碼安裝完依賴(lài)或者直接雙擊exe就能跑運(yùn)維成本低很多。4.4 攝像頭RTSP流接入與實(shí)測(cè)試效果前面提到系統(tǒng)支持三種視頻輸入源本地視頻文件、攝像頭RTSP流和靜態(tài)圖片?，F(xiàn)場(chǎng)實(shí)測(cè)時(shí)我用RTSP流接入井下攝像頭延時(shí)在200毫秒以?xún)?nèi)完全能夠滿(mǎn)足實(shí)時(shí)監(jiān)控的需求。RTSP接入用OpenCV的VideoCapture就能實(shí)現(xiàn)關(guān)鍵是設(shè)置緩沖區(qū)和超時(shí)參數(shù)。直接這樣讀RTSP流經(jīng)常會(huì)卡在連接階段我加了兩個(gè)處理cap cv2.VideoCapture(rtsp_url, cv2.CAP_FFMPEG) cap.set(cv2.CAP_PROP_BUFFERSIZE, 1) cap.set(cv2.CAP_PROP_OPEN_TIMEOUT_MSEC, 5000) cap.set(cv2.CAP_PROP_READ_TIMEOUT_MSEC, 5000)把緩沖區(qū)設(shè)為1是防止OpenCV默認(rèn)緩存大量幀導(dǎo)致畫(huà)面延遲越來(lái)越高這個(gè)細(xì)節(jié)我試了很多次才定位到。另外現(xiàn)場(chǎng)攝像頭通常都有動(dòng)態(tài)碼流和幀率波動(dòng)如果檢測(cè)到丟幀嚴(yán)重可以在代碼里加一個(gè)自動(dòng)重連機(jī)制畫(huà)面斷開(kāi)后每隔兩秒嘗試重新連接。實(shí)測(cè)效果在傳送帶正常運(yùn)行狀態(tài)、煤流達(dá)到輸送量上限但未堆積時(shí)不觸發(fā)報(bào)警當(dāng)煤流在轉(zhuǎn)載點(diǎn)逐漸堆積堆煤面積達(dá)到畫(huà)面8%以上且持續(xù)5幀時(shí)界面切換為嚴(yán)重預(yù)警狀態(tài)報(bào)警日志同步記錄時(shí)間戳和當(dāng)前畫(huà)面截圖。這個(gè)判定邏輯在持續(xù)運(yùn)行中表現(xiàn)穩(wěn)定沒(méi)有出現(xiàn)過(guò)一次漏報(bào)。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 環(huán)境配置階段的典型錯(cuò)誤與處理環(huán)境配置是初學(xué)者最容易卡住的環(huán)節(jié)我在調(diào)試過(guò)程中整理了幾個(gè)高頻問(wèn)題的排查方法。第一個(gè)是torch.cuda.is_available()返回False。這個(gè)90%的情況是PyTorch和CUDA版本不匹配。用nvidia-smi查看驅(qū)動(dòng)支持的CUDA版本再用pip list | grep torch確認(rèn)自己的PyTorch是CPU版本還是GPU版本。如果裝了CPU版本卸載后用帶cu117或cu118的源重裝。第二個(gè)是ultralytics包導(dǎo)入報(bào)錯(cuò)提示缺少libiomp5md.dll或者類(lèi)似的DLL文件。這個(gè)問(wèn)題在Windows上很常見(jiàn)根源是OpenMP庫(kù)沖突可以通過(guò)在代碼開(kāi)頭加import os; os.environ[KMP_DUPLICATE_LIB_OK]TRUE來(lái)規(guī)避。雖然是臨時(shí)的解決方案但實(shí)測(cè)有效。第三個(gè)是顯存不足OOM。訓(xùn)練時(shí)報(bào)CUDA out of memory通常是因?yàn)榕看笮『湍Ｐ鸵?guī)模超出了顯卡容量?？梢园裝atch size降到8或4同時(shí)關(guān)閉數(shù)據(jù)加載時(shí)的workers數(shù)量減少內(nèi)存峰值。如果還不行把圖片分辨率降到416試試不過(guò)會(huì)損失一部分精度不建議作為常規(guī)方案。5.2 訓(xùn)練效果不理想的調(diào)優(yōu)思路很多同學(xué)問(wèn)為什么我訓(xùn)練出來(lái)的模型檢測(cè)效果差、誤報(bào)多、漏檢多這個(gè)問(wèn)題不能只看某一個(gè)方面需要系統(tǒng)排查。如果是漏檢先確認(rèn)是否是堆煤早期的目標(biāo)太小、邊緣模糊導(dǎo)致。我建議先用訓(xùn)練好的模型跑幾張標(biāo)注過(guò)的測(cè)試圖用代碼把檢測(cè)框和真實(shí)標(biāo)注框同時(shí)畫(huà)出來(lái)對(duì)比直觀地看出是哪類(lèi)目標(biāo)被漏掉了。如果是小目標(biāo)漏檢可以針對(duì)性增加小目標(biāo)樣本或者提高輸入分辨率到960。如果是誤報(bào)先把置信度閾值往上調(diào)一段觀察誤報(bào)是否減少。如果閾值調(diào)到0.6還是有誤報(bào)說(shuō)明模型學(xué)到了一些不該學(xué)的背景特征常見(jiàn)原因是數(shù)據(jù)集中負(fù)樣本不足。正常煤流、空載皮帶、檢修狀態(tài)等場(chǎng)景的圖片數(shù)量應(yīng)該至少占總樣本的兩成讓模型見(jiàn)過(guò)足夠多“沒(méi)有堆煤”的畫(huà)面。如果是檢測(cè)框不準(zhǔn)確比如框太大或者太小優(yōu)先檢查標(biāo)注質(zhì)量。我經(jīng)歷過(guò)一次因?yàn)闃?biāo)注時(shí)為了趕時(shí)間很多框沒(méi)標(biāo)到位后來(lái)用標(biāo)注工具重新對(duì)齊了一遍mAP直接提升了5個(gè)百分點(diǎn)。標(biāo)注質(zhì)量對(duì)YOLO系列模型的影響比大多數(shù)人想象的大得多。5.3 界面運(yùn)行卡頓與報(bào)警不觸發(fā)的排查界面卡頓和報(bào)警邏輯不觸發(fā)這兩個(gè)問(wèn)題在聯(lián)調(diào)階段也很常見(jiàn)?？D問(wèn)題通常出在線(xiàn)程設(shè)計(jì)上。如果推理和界面刷新在同一個(gè)線(xiàn)程卡頓是必然的。檢查一下你的視頻讀取和模型推理是否在獨(dú)立線(xiàn)程里運(yùn)行主線(xiàn)程是否只做UI更新和信號(hào)接收。另外OpenCV讀視頻時(shí)內(nèi)部也會(huì)有緩沖區(qū)即使子線(xiàn)程處理不及時(shí)畫(huà)面仍然會(huì)以最高速度讀取導(dǎo)致CPU占用高所以攝像頭輸入時(shí)要把CAP_PROP_BUFFERSIZE設(shè)為1。報(bào)警不觸發(fā)的問(wèn)題我把排查路徑整理成一張速查表癥狀可能原因排查方法檢測(cè)框正常但無(wú)報(bào)警面積占比閾值過(guò)高打印當(dāng)前檢測(cè)框面積調(diào)低面積閾值只在視頻后半段才報(bào)警連續(xù)幀計(jì)數(shù)邏輯寫(xiě)錯(cuò)了檢查幀計(jì)數(shù)重置條件用日志確認(rèn)狀態(tài)偶發(fā)性誤報(bào)無(wú)法消除置信度閾值偏低逐幀回放誤報(bào)畫(huà)面調(diào)高置信度閾值報(bào)警后無(wú)法恢復(fù)狀態(tài)轉(zhuǎn)換條件缺失檢查是否需要連續(xù)N幀無(wú)堆煤才解除報(bào)警最后一條我特別強(qiáng)調(diào)一下預(yù)警觸發(fā)之后一定要設(shè)置“解除報(bào)警”的條件比如連續(xù)20幀檢測(cè)不到堆煤才恢復(fù)為正常狀態(tài)。否則運(yùn)輸系統(tǒng)因?yàn)槊毫鞫秳?dòng)瞬間低于閾值就反復(fù)報(bào)警、恢復(fù)會(huì)讓人完全麻木反而不利于安全監(jiān)控。5.4 模型導(dǎo)出與硬件加速部署技巧如果系統(tǒng)要部署到無(wú)GPU的邊緣設(shè)備還可以把模型導(dǎo)出為不同的部署格式。YOLOv8支持導(dǎo)出ONNX、TensorRT、OpenVINO等格式我在項(xiàng)目里演示了導(dǎo)出ONNX和用OpenVINO加速的流程。導(dǎo)出ONNX的命令很簡(jiǎn)單yolo export modelbest.pt formatonnx imgsz640ONNX格式可以在CPU上通過(guò)ONNX Runtime直接推理雖然速度不如GPU但在沒(méi)有獨(dú)立顯卡的工控機(jī)上也能跑10 FPS以上。如果設(shè)備有Intel核顯還可以進(jìn)一步導(dǎo)出OpenVINO格式推理速度能再快兩到三倍。硬件加速這塊對(duì)煤礦現(xiàn)場(chǎng)的部署很有價(jià)值。很多煤礦的工控機(jī)不配獨(dú)立顯卡因?yàn)榫颅h(huán)境對(duì)設(shè)備穩(wěn)定性的要求遠(yuǎn)高于圖形性能。用OpenVINO或者TensorRT做推理優(yōu)化讓系統(tǒng)在只有CPU的機(jī)器上也能滿(mǎn)足實(shí)時(shí)監(jiān)測(cè)的幀率需求是從實(shí)驗(yàn)室demo走向真正工程化落地必須考慮的一步。項(xiàng)目代碼里已經(jīng)預(yù)留了ONNX推理的接口切換部署模式只需要改一行配置很方便。我在實(shí)際部署中發(fā)現(xiàn)用ONNX Runtime在CPU上跑640輸入尺寸的YOLOv8s單幀推理時(shí)間可以控制在90毫秒左右雖然達(dá)不到GPU的實(shí)時(shí)性但對(duì)于堆煤預(yù)警這種響應(yīng)時(shí)間要求不是特別苛刻的場(chǎng)景完全夠用。如果后續(xù)要進(jìn)一步提升性能可以把模型換成YOLOv8n尺寸更小推理速度能翻倍。本文還有配套的精品資源點(diǎn)擊獲取