拿到這套機(jī)器視覺框架源碼的那天晚上我其實(shí)沒抱太大希望。市面號(hào)稱“到手就能編譯”的源碼包十有八九是倒了好幾手的舊工程不是缺第三方庫(kù)就是VS版本對(duì)不上。但這版讓我意外解壓后目錄干凈依賴齊全VS2019打開解決方案直接生成幾乎沒有卡殼。它覆蓋了視覺檢測(cè)、AOI檢測(cè)、機(jī)械手定位這些工業(yè)現(xiàn)場(chǎng)最常用的場(chǎng)景代碼里既有底層算法封裝也有上位機(jī)界面和通信模塊對(duì)剛?cè)胄邢胱鲆曈X項(xiàng)目、或者公司想快速搭一套視覺驗(yàn)證環(huán)境的工程師來說價(jià)值很直接。這篇文章我不講虛的就把它從編譯到二次開發(fā)的完整鏈路包括那些文檔里不會(huì)寫的坑一次說清楚。1. 這套框架源碼解決的是什么樣的開發(fā)痛點(diǎn)1.1 為什么視覺項(xiàng)目的起步成本這么高做過機(jī)器視覺項(xiàng)目的人都懂真正耗時(shí)的事往往不是算法本身。相機(jī)選型、SDK對(duì)接、圖像算法調(diào)試、界面開發(fā)、與PLC或機(jī)械手通信每一個(gè)環(huán)節(jié)單獨(dú)拎出來都不算難但串在一起就很折磨人。尤其是從零開始搭項(xiàng)目框架時(shí)光是讓相機(jī)出圖、把圖像顯示到界面上、再跑通一個(gè)簡(jiǎn)單的檢測(cè)流程兩周時(shí)間就沒了。這中間最費(fèi)神的其實(shí)是那些“公共部分”相機(jī)采集線程怎么管理、結(jié)果顯示控件怎么刷新不卡頓、檢測(cè)參數(shù)怎么配置、日志怎么記錄、產(chǎn)線信號(hào)怎么交互。這些代碼沒有多少技術(shù)含量但每個(gè)項(xiàng)目都要重新寫一遍而且寫多了很容易出并發(fā)和內(nèi)存問題?？蚣茉创a的核心價(jià)值就是把這些公共能力提前做好讓后續(xù)項(xiàng)目只需要關(guān)注檢測(cè)邏輯本身。1.2 這套源碼的定位拿來用還是拿來改拿到源碼后首先要明確一個(gè)邊界這套框架不是一套完整的、開箱即用的商業(yè)機(jī)器視覺軟件而是一個(gè)適合做二次開發(fā)的框架底座。它提供了視覺項(xiàng)目最常用的幾大功能模塊——圖像采集、算法處理、結(jié)果顯示、數(shù)據(jù)通信、流程控制——但針對(duì)具體工件的檢測(cè)算法、針對(duì)具體機(jī)臺(tái)的通信協(xié)議仍然需要使用者自行開發(fā)或配置。這個(gè)定位其實(shí)很務(wù)實(shí)。工業(yè)視覺項(xiàng)目千差萬(wàn)別沒有一個(gè)框架能覆蓋所有工藝場(chǎng)景?？蚣苣茏龅氖前涯切懊總€(gè)項(xiàng)目都會(huì)用到、且有成熟通用方案”的模塊做好把接口留清晰。使用者把精力集中在算法層和工藝層項(xiàng)目的交付周期就能從幾個(gè)月壓縮到幾周。這也是我推薦團(tuán)隊(duì)以這套源碼為基底的原因前期花點(diǎn)時(shí)間吃透它后面每個(gè)項(xiàng)目都在復(fù)用越用越值。2. 拿到源碼的第一步VS2019環(huán)境準(zhǔn)備與依賴配置2.1 VS2019的工作負(fù)載選擇決定了編譯第一秒會(huì)不會(huì)報(bào)錯(cuò)很多人拿到源碼直接雙擊解決方案然后看著一堆紅色錯(cuò)誤發(fā)懵。絕大多數(shù)編譯失敗不是代碼本身的問題而是VS2019的組件沒裝對(duì)。這套框架是基于C開發(fā)的界面部分用了MFC算法部分依賴OpenCV和Halcon的C接口所以Visual Studio Installer里必須裝齊對(duì)應(yīng)的組件。我的實(shí)際建議是在VS2019安裝器里至少勾選以下工作負(fù)載“使用C的桌面開發(fā)”這一項(xiàng)是必須的在右側(cè)“單個(gè)組件”里確認(rèn)選中“適用于最新v142生成工具的C MFC”MFC這個(gè)組件默認(rèn)不安裝很多人漏掉它結(jié)果一編譯就報(bào)“無(wú)法打開包括文件: afxwin.h”。另外如果源碼里用到了.NET庫(kù)可能還要勾選“.NET桌面開發(fā)”不過這套源碼界面部分是用原生Win32寫的C負(fù)載裝好基本就夠了。2.2 OpenCV與Halcon依賴庫(kù)的版本匹配這套框架的算法層同時(shí)用到了OpenCV和Halcon。OpenCV負(fù)責(zé)圖像預(yù)處理和基礎(chǔ)形態(tài)學(xué)操作Halcon負(fù)責(zé)模板匹配和幾何測(cè)量。兩者需要安裝對(duì)應(yīng)版本并配置環(huán)境變量。OpenCV方面框架使用的是OpenCV 4.5.x版本。下載安裝后需要在系統(tǒng)環(huán)境變量Path中把opencv\build\x64\vc15\bin路徑加進(jìn)去同時(shí)把opencv\build\include和opencv\build\x64\vc15\lib配置到VS2019的包含目錄和庫(kù)目錄中。Halcon方面框架對(duì)接的是Halcon 20.11及以上的版本。安裝時(shí)注意選擇64位并在環(huán)境變量中確認(rèn)HALCONROOT等變量已生效。這套框架在代碼里通過#include halconcpp/HalconCpp.h引用Halcon的C接口如果你本機(jī)安裝的Halcon版本較新部分函數(shù)簽名可能略有變化需要做少量適配。依賴庫(kù)配置的通用建議是在解決方案里新建一個(gè)屬性表把所有三方庫(kù)的包含目錄、庫(kù)目錄和附加依賴項(xiàng)統(tǒng)一維護(hù)在一個(gè).props文件里而不是散落在各個(gè)項(xiàng)目里。系統(tǒng)找不到DLL時(shí)優(yōu)先檢查環(huán)境變量的路徑順序有些坑是裝了新版本OpenCV覆蓋了舊版本路徑導(dǎo)致的。2.3 先別急著改代碼先確認(rèn)生成環(huán)境能跑起來環(huán)境配置完成后我建議的編譯順序是不修改任何代碼直接用VS2019打開解決方案選擇Release x64執(zhí)行“重新生成解決方案”。如果沒有任何錯(cuò)誤就說明源碼自帶的環(huán)境和依賴描述是完整可用的。我第一次編譯時(shí)整個(gè)解決方案有十七個(gè)項(xiàng)目生成過程大概四五分鐘結(jié)束后沒有報(bào)一個(gè)錯(cuò)誤這個(gè)體驗(yàn)在同類源碼里屬于相當(dāng)難得的。提醒一件事編譯輸出目錄里會(huì)生成多個(gè)可執(zhí)行程序和DLL運(yùn)行Demo前要把Output目錄整體拷出來或者直接設(shè)置統(tǒng)一的輸出目錄不要到各個(gè)項(xiàng)目的Debug文件夾里找exe。最好的做法是確認(rèn)VS設(shè)置里“輸出目錄”統(tǒng)一指向$(SolutionDir)Bin\$(Configuration)\這樣生成的程序、DLL以及依賴的第三方庫(kù)都在同一個(gè)目錄后續(xù)部署時(shí)直接壓縮這一文件夾即可。3. 源碼架構(gòu)拆解從解決方案到核心模塊3.1 解決方案里的工程是怎么分層的打開解決方案十幾個(gè)項(xiàng)目乍一看有點(diǎn)慌但梳理一遍后會(huì)發(fā)現(xiàn)分層非常清晰基本遵循“界面層-業(yè)務(wù)層-算法層-驅(qū)動(dòng)層”的思路。界面層是主程序項(xiàng)目負(fù)責(zé)圖像顯示、參數(shù)設(shè)置、檢測(cè)結(jié)果展示和用戶交互。業(yè)務(wù)層負(fù)責(zé)檢測(cè)流程的調(diào)度比如觸發(fā)采集、調(diào)用算法、判斷結(jié)果、發(fā)送信號(hào)。算法層是一組獨(dú)立的DLL項(xiàng)目按功能拆分為圖像預(yù)處理模塊、模板匹配模塊、尺寸測(cè)量模塊和字符識(shí)別模塊。驅(qū)動(dòng)層則封裝了相機(jī)SDK、運(yùn)動(dòng)控制卡和IO卡的接口上層業(yè)務(wù)不需要關(guān)心具體的硬件廠商。這種分層的好處是依賴關(guān)系單一界面層依賴業(yè)務(wù)層業(yè)務(wù)層依賴算法層和驅(qū)動(dòng)層每一層都可以單獨(dú)編譯和替換。如果項(xiàng)目里要換一臺(tái)相機(jī)只需要改驅(qū)動(dòng)層的實(shí)現(xiàn)算法和界面不需要?jiǎng)?。如果你的團(tuán)隊(duì)后續(xù)要在這個(gè)框架上擴(kuò)展務(wù)必保持這個(gè)分層原則否則時(shí)間一長(zhǎng)項(xiàng)目會(huì)退化成經(jīng)典的一坨代碼。3.2 視覺檢測(cè)模塊的完整鏈路從采圖到輸出視覺檢測(cè)模塊是這套框架的核心它的完整數(shù)據(jù)鏈路是硬件觸發(fā)或軟件觸發(fā)→相機(jī)采集→圖像預(yù)處理→算法分析→結(jié)果判定→數(shù)據(jù)保存→IO輸出。相機(jī)采集部分框架封裝了一個(gè)相機(jī)線程類內(nèi)部處理了采圖超時(shí)、緩沖區(qū)管理、軟觸發(fā)與硬觸發(fā)切換等邏輯。使用者在采集回調(diào)函數(shù)中拿到的是標(biāo)準(zhǔn)格式的圖像數(shù)據(jù)框架內(nèi)部已經(jīng)對(duì)黑白相機(jī)和彩色相機(jī)做了統(tǒng)一處理。圖像預(yù)處理部分框架預(yù)設(shè)了幾種常用算子組合高斯濾波去噪、對(duì)比度增強(qiáng)、二值化、形態(tài)學(xué)開閉運(yùn)算。這些算子的參數(shù)都在界面層暴露給了用戶不需要改代碼就能調(diào)整。實(shí)際項(xiàng)目中打光方案和成像質(zhì)量決定檢測(cè)難度的80%預(yù)處理只是起到錦上添花的作用但它能讓算法更穩(wěn)定。算法分析部分框架把檢測(cè)拆成了兩類基于特征的檢測(cè)和基于模板的檢測(cè)。基于特征是測(cè)量工件的幾何尺寸比如圓直徑、邊緣距離、角度基于模板是判斷工件是否與標(biāo)準(zhǔn)件匹配比如檢查缺料、錯(cuò)料、劃痕。每一類算法都抽象出了基類開發(fā)者只需要繼承基類并實(shí)現(xiàn)具體檢測(cè)邏輯就能接入框架的流程調(diào)度。結(jié)果判定與輸出部分框架提供了判定規(guī)則的配置界面可實(shí)現(xiàn)“尺寸在上下限范圍內(nèi)判OK超差判NG”、“模板相似度大于閾值判OK”等邏輯。判定結(jié)果會(huì)同時(shí)驅(qū)動(dòng)界面顯示、數(shù)據(jù)庫(kù)記錄和IO信號(hào)輸出。3.3 AOI檢測(cè)模塊和普通視覺檢測(cè)的差異點(diǎn)AOI檢測(cè)即自動(dòng)光學(xué)檢測(cè)本質(zhì)上是一種高頻次、高一致性、需要海量數(shù)據(jù)管理的視覺檢測(cè)系統(tǒng)。這套源碼里的AOI模塊和普通的單站視覺檢測(cè)相比有幾個(gè)明顯差異。第一AOI的檢測(cè)項(xiàng)更多而且通常需要對(duì)同一產(chǎn)品執(zhí)行幾十道檢測(cè)步驟?？蚣艿腁OI模塊提供了一種“流程鏈”的機(jī)制可以把多個(gè)檢測(cè)步驟以列表形式串聯(lián)起來每個(gè)步驟有獨(dú)立的相機(jī)位、參數(shù)配置和檢測(cè)算法。步驟之間不是簡(jiǎn)單的順序執(zhí)行還可以配置“上一步NG則跳過后續(xù)步驟”的剪刀跳轉(zhuǎn)邏輯這樣能顯著壓縮檢測(cè)周期。第二AOI對(duì)NG圖像的追溯要求很高?？蚣芾餅锳OI模塊單獨(dú)設(shè)計(jì)了圖像緩存區(qū)和結(jié)果數(shù)據(jù)庫(kù)表每張NG圖都會(huì)自動(dòng)保存原圖和標(biāo)注圖并關(guān)聯(lián)產(chǎn)品條碼、檢測(cè)工序、缺陷類型和檢測(cè)時(shí)間。這個(gè)功能在實(shí)際產(chǎn)線中非常關(guān)鍵客戶投訴時(shí)要能精準(zhǔn)調(diào)出缺陷圖片。第三AOI的誤判率需要不斷調(diào)優(yōu)框架預(yù)設(shè)了一個(gè)“缺陷復(fù)審”模式把所有NG結(jié)果重新過一遍由人工確認(rèn)哪些是真實(shí)缺陷、哪些是過殺確認(rèn)結(jié)果會(huì)回流到樣本庫(kù)供后續(xù)算法調(diào)參參考。這種做法比直接在產(chǎn)線上調(diào)閾值更安全因?yàn)樗淮驍嗌a(chǎn)。3.4 機(jī)械手定位模塊坐標(biāo)轉(zhuǎn)換是靈魂標(biāo)題里提到的“機(jī)械手定”我理解就是機(jī)械手定位這套源碼里確實(shí)做得挺完整。視覺引導(dǎo)機(jī)械手抓取核心問題只有一個(gè)怎么把相機(jī)坐標(biāo)系下的坐標(biāo)轉(zhuǎn)成機(jī)械手能執(zhí)行的坐標(biāo)?？蚣芾飪?nèi)置了兩種標(biāo)定模式九點(diǎn)標(biāo)定和旋轉(zhuǎn)中心標(biāo)定。九點(diǎn)標(biāo)定適用于固定相機(jī)從上往下拍、機(jī)械手做平面移動(dòng)的場(chǎng)景。操作方法是在機(jī)械手工作范圍內(nèi)均勻取九個(gè)點(diǎn)讓機(jī)械手依次走到每個(gè)點(diǎn)記錄坐標(biāo)同時(shí)相機(jī)識(shí)別出每個(gè)點(diǎn)的像素坐標(biāo)。框架用一個(gè)最小二乘法擬合出像素坐標(biāo)到機(jī)械手坐標(biāo)的仿射變換矩陣拿到矩陣后視覺輸出的像素坐標(biāo)只要經(jīng)過矩陣變換就能直接變成機(jī)械手的抓取坐標(biāo)。旋轉(zhuǎn)中心標(biāo)定適用于機(jī)械手帶著工件旋轉(zhuǎn)后需要精準(zhǔn)放置的場(chǎng)景。比如機(jī)械手吸起一個(gè)工件相機(jī)拍它的當(dāng)前位置然后機(jī)械手旋轉(zhuǎn)一個(gè)角度再拍通過兩個(gè)位置的圖像坐標(biāo)反算旋轉(zhuǎn)中心。這個(gè)標(biāo)定過程在框架里有配套的引導(dǎo)界面只需要手動(dòng)移動(dòng)機(jī)械手到幾個(gè)位置并確認(rèn)標(biāo)定數(shù)據(jù)會(huì)自動(dòng)保存到配置文件中。實(shí)際產(chǎn)線部署時(shí)機(jī)械手定位項(xiàng)目經(jīng)常會(huì)遇到“精度差了0.3毫米”這類問題。多數(shù)情況下不是標(biāo)定算法的問題而是相機(jī)安裝不牢固、光源閃爍導(dǎo)致圖像灰度抖動(dòng)、機(jī)械手本身重復(fù)精度不足?？蚣苣茉趫D像坐標(biāo)穩(wěn)定性和機(jī)械手坐標(biāo)反饋之間做對(duì)比分析方便定位偏差來源。4. 編譯與聯(lián)調(diào)階段的排錯(cuò)實(shí)錄4.1 最常見的編譯錯(cuò)誤及排查鏈路拿到源碼后第一次編譯比較順利但后來我在另一臺(tái)電腦上重新配置環(huán)境時(shí)還是遇到了一些問題。這里把最有代表性的幾條排錯(cuò)鏈路寫出來供參考。第一個(gè)問題是“無(wú)法打開包括文件: opencv2/opencv.hpp”。排查思路不是先去檢查代碼而是先確認(rèn)OpenCV環(huán)境變量是否生效。可以在命令行里輸入echo %Path%看看是否包含OpenCV路徑。如果沒有就需要重啟電腦或手動(dòng)刷新環(huán)境變量。如果有了但VS里仍報(bào)錯(cuò)則檢查項(xiàng)目屬性里的“VC目錄”-“包含目錄”是否指向了正確的include文件夾。第二個(gè)問題是“‘MFC’未定義”或“無(wú)法打開包括文件: afxwin.h”。這個(gè)就是前面提到的MFC組件沒裝。打開Visual Studio Installer修改安裝勾選“適用于最新v142生成工具的C MFC”等待安裝完成重開VS即可。第三個(gè)問題是“LNK2038: 運(yùn)行時(shí)庫(kù)不匹配”。這個(gè)排查稍微復(fù)雜一些根源是多語(yǔ)言混合編程時(shí)MTd與MDd選項(xiàng)不一致。在項(xiàng)目屬性-“C/C”-“代碼生成”-“運(yùn)行庫(kù)”中確認(rèn)所有項(xiàng)目和依賴的第三方庫(kù)都保持一致。Debug模式下一般用“多線程調(diào)試DLL (/MDd)”Release模式用“多線程DLL (/MD)”這是最常見的組合。4.2 相機(jī)SDK與運(yùn)動(dòng)控制卡驅(qū)動(dòng)的兼容性處理這套框架在驅(qū)動(dòng)層默認(rèn)封裝了市面上常見的一個(gè)相機(jī)品牌和一個(gè)運(yùn)動(dòng)控制卡品牌的SDK。在實(shí)際項(xiàng)目里你手里拿到的硬件品牌大概率跟框架默認(rèn)的不一樣。這時(shí)候不需要改動(dòng)上層業(yè)務(wù)代碼只需要在驅(qū)動(dòng)層新增一個(gè)適配類。新增適配類的流程是在相機(jī)驅(qū)動(dòng)項(xiàng)目里新建一個(gè)類繼承框架定義的相機(jī)基類實(shí)現(xiàn)連接、斷開、軟觸發(fā)、硬觸發(fā)、取圖回調(diào)和參數(shù)設(shè)置這幾個(gè)虛函數(shù)。每個(gè)廠商的SDK調(diào)用方式不同但完成這些接口后上層業(yè)務(wù)就能像使用原品牌一樣使用新相機(jī)。需要特別注意的是SDK回調(diào)線程與業(yè)務(wù)UI線程的交互。很多相機(jī)SDK在取圖回調(diào)中上下文并不是主線程在回調(diào)里直接操作UI會(huì)閃退?？蚣茉诨卣{(diào)線程里統(tǒng)一做圖像格式轉(zhuǎn)換再通過PostMessage方式通知UI線程刷新顯示這個(gè)機(jī)制保留下來即可不要為了省事在回調(diào)里寫界面刷新。運(yùn)動(dòng)控制卡的適配同理?？蚣芴峁┝送ㄓ命c(diǎn)位運(yùn)動(dòng)接口包括單軸運(yùn)動(dòng)、多軸直線插補(bǔ)、回原點(diǎn)、限位信號(hào)讀取等。如果你的設(shè)備只有水平X/Y軸最簡(jiǎn)配置是每軸對(duì)應(yīng)一個(gè)電機(jī)通道號(hào)。4.3 運(yùn)行時(shí)DLL缺失的排查順序編譯成功后第一次運(yùn)行exe最常見的故障就是“找不到opencv_world450.dll”或“找不到halconcpp.dll”。很多人下意識(shí)去網(wǎng)上亂下載DLL往系統(tǒng)目錄里塞這是非常壞的習(xí)慣。正確排查順序是第一確認(rèn)這些DLL是否已經(jīng)存在于電腦某個(gè)路徑中比如OpenCV的bin目錄、Halcon的bin目錄。第二把程序輸出目錄整理好將這些DLL復(fù)制到exe同目錄下或檢查環(huán)境變量Path里是否包含這些路徑。第三用Dependencies工具檢查exe的依賴列表看具體缺的是哪個(gè)DLL以及它是否依賴了另一個(gè)DLL。原則上一個(gè)專業(yè)視覺項(xiàng)目的目錄結(jié)構(gòu)應(yīng)該是這樣的exe文件、第三方DLL、配置文件、算法模型文件、日志目錄全部放在同一個(gè)根目錄下。這樣在整體部署到工控機(jī)時(shí)直接拷目錄不容易出現(xiàn)缺少文件的問題。5. 在這套框架上做二次開發(fā)的擴(kuò)展點(diǎn)5.1 算法模塊的擴(kuò)展方式框架的算法層設(shè)計(jì)得比較開放新增一個(gè)算法模塊并不復(fù)雜。以新增一個(gè)基于深度學(xué)習(xí)的缺陷分類算法為例做法是在算法層項(xiàng)目里新建一個(gè)類繼承框架的DetectionBase基類重寫Detect(ImageInput, AlgorithmConfig, ResultOutput)方法?；惱镆呀?jīng)實(shí)現(xiàn)了圖像格式轉(zhuǎn)換、參數(shù)序列化、結(jié)果顯示和異常日志等公共邏輯開發(fā)者只需要在Detect方法里調(diào)用訓(xùn)練好的深度學(xué)習(xí)模型推理。深度學(xué)習(xí)模型的集成需要引入推理引擎的SDK比如ONNX Runtime或OpenVINO?？蚣鼙旧聿粡?qiáng)依賴深度學(xué)習(xí)框架它只負(fù)責(zé)在檢測(cè)流程中調(diào)用算法模塊的接口。模型文件放在指定目錄配置文件里用相對(duì)路徑引用這樣整體可移植性比較好。擴(kuò)展算法模塊時(shí)有一個(gè)容易忽略的點(diǎn)內(nèi)存管理。視覺檢測(cè)通常一秒處理好幾個(gè)產(chǎn)品如果算法內(nèi)部頻繁申請(qǐng)和釋放圖像內(nèi)存會(huì)產(chǎn)生內(nèi)存碎片跑時(shí)間長(zhǎng)了系統(tǒng)越來越卡。建議在算法模塊構(gòu)造函數(shù)中預(yù)分配緩沖在Detect方法里復(fù)用這些內(nèi)存。5.2 檢測(cè)流程與界面配置的定制除了加算法二次開發(fā)最常做的事是調(diào)整檢測(cè)流程?？蚣艿牧鞒膛渲帽４嬖赬ML文件里格式大概是這樣的DetectJob Name工件A Preprocess TypeGray Params/ Detect TypeCircleMeasurement MinDiameter10.0 MaxDiameter20.0/ Detect TypeTemplateMatch ModelFile模板A.shm MinScore0.85/ Logic Name結(jié)果判定 RuleCircle_Size_OK AND Template_Score_OK/ /DetectJob新的檢測(cè)項(xiàng)目只需要在對(duì)應(yīng)位置增加或刪除檢測(cè)節(jié)點(diǎn)框架啟動(dòng)時(shí)會(huì)自動(dòng)解析并加載流程。界面上的圖像顯示窗口支持多分屏顯示可以同時(shí)展示原圖、處理后的圖像、測(cè)量結(jié)果圖和缺陷區(qū)域放大圖。我在實(shí)際項(xiàng)目里通常會(huì)引導(dǎo)客戶只關(guān)注最終判定界面減少誤操作。界面定制方面主窗口采用Dock布局模塊窗口可以自由拖拽停靠。新手在這里不要輕易改窗口布局代碼容易造成界面異常。我一般是在現(xiàn)有布局基礎(chǔ)上新增一個(gè)自定義頁(yè)面把客戶關(guān)心的參數(shù)集中放進(jìn)去比如產(chǎn)品名稱、節(jié)拍時(shí)間、當(dāng)日產(chǎn)能、良品率和停機(jī)原因。5.3 從Demo到產(chǎn)線部署還差的最后一公里把Demo程序跑通、在實(shí)驗(yàn)室里能檢測(cè)出工件缺陷距離產(chǎn)線穩(wěn)定運(yùn)行還差很多事。根據(jù)我的交付經(jīng)驗(yàn)需要重點(diǎn)關(guān)注這幾個(gè)方面。數(shù)據(jù)管理要考慮的比較多?？蚣芤烟峁┍镜氐腟QLite數(shù)據(jù)庫(kù)用于記錄檢測(cè)記錄但產(chǎn)線上往往需要對(duì)接MES系統(tǒng)將每件產(chǎn)品的檢測(cè)數(shù)據(jù)實(shí)時(shí)上報(bào)?？蚣茴A(yù)留了數(shù)據(jù)上報(bào)接口通過HTTP接口把結(jié)果傳輸給MES。傳輸失敗時(shí)要有本地緩存和自動(dòng)重傳機(jī)制否則產(chǎn)品追溯鏈條會(huì)斷。權(quán)限管理也是容易被低估的一項(xiàng)。產(chǎn)線操作工不應(yīng)該能修改檢測(cè)閾值?？蚣苣J(rèn)提供了管理員、工程師、操作員三級(jí)權(quán)限需要確認(rèn)每個(gè)賬戶的權(quán)限范圍。這會(huì)給項(xiàng)目增加一點(diǎn)交付工作量但能避免很多“產(chǎn)品明明不合格卻被操作員改參數(shù)變合格”的隱患。軟件運(yùn)行日志和自動(dòng)重啟機(jī)制也是從實(shí)驗(yàn)室到產(chǎn)線的關(guān)鍵項(xiàng)?？蚣苤С挚撮T狗機(jī)制如果程序意外退出自動(dòng)拉起并重啟檢測(cè)流程同時(shí)保留異常前后的日志信息。工控機(jī)長(zhǎng)時(shí)間運(yùn)行偶爾會(huì)有內(nèi)存泄漏或硬件掉線導(dǎo)致程序崩潰沒有這個(gè)機(jī)制產(chǎn)線停一次就損失一次。6. 我在這套框架上實(shí)際踩過的幾個(gè)坑6.1 圖像采集回調(diào)里的圖像格式陷阱第一個(gè)比較典型的坑是相機(jī)采集回調(diào)里的圖像格式與框架算法模塊的圖像格式默認(rèn)假設(shè)不一致。部分相機(jī)默認(rèn)輸出的是BGR格式但框架內(nèi)部算法模塊默認(rèn)使用灰度圖。如果直接拿彩色圖去做模板匹配算法算子會(huì)多做一次格式轉(zhuǎn)換雖然也能出結(jié)果但整體周期變長(zhǎng)且某些算子對(duì)彩色圖處理結(jié)果不一致。解決辦法是在相機(jī)適配類的初始化參數(shù)中明確指定輸出格式為灰度圖或Bayer轉(zhuǎn)灰度這一步盡量在硬件采集環(huán)節(jié)完成而不是在算法處理前臨時(shí)轉(zhuǎn)換。這樣既能減少CPU開銷也能保證算法的輸入一致性。6.2 機(jī)械手定位項(xiàng)目中標(biāo)定板與相機(jī)高度的優(yōu)先級(jí)機(jī)械手定位項(xiàng)目里精度問題十有八九出在相機(jī)安裝高度與標(biāo)定平面的差異上。有些項(xiàng)目為了節(jié)省空間把相機(jī)傾斜安裝或者放在工件平面上方比較近的位置標(biāo)定時(shí)用一塊很薄的標(biāo)定板實(shí)際抓取時(shí)工件卻有一定高度。這種情況下即便標(biāo)定算得再好也會(huì)因?yàn)橐暡钤韼矸€(wěn)定的位置偏差。處理方式有兩種一是保證標(biāo)定平面與抓取平面的高度基本一致這是最穩(wěn)妥的二是通過框架里的“高度補(bǔ)償”功能測(cè)量出相機(jī)安裝高度與抓取平面高度的差值在輸出坐標(biāo)時(shí)增加對(duì)應(yīng)的像素偏移補(bǔ)償量。第一種方式優(yōu)先采用第二種是補(bǔ)救手段。在高精度項(xiàng)目中相機(jī)安裝支架的穩(wěn)固性幾乎決定了項(xiàng)目的上限。6.3 長(zhǎng)時(shí)間運(yùn)行時(shí)畫面卡頓的排查思路有客戶反饋設(shè)備連續(xù)運(yùn)行幾個(gè)小時(shí)后畫面刷新變得很慢操作延遲明顯。檢查之后發(fā)現(xiàn)是圖像顯示窗口的緩沖區(qū)沒有及時(shí)清理每拍一張圖就把Bitmap對(duì)象加入列表運(yùn)行幾小時(shí)后圖形對(duì)象內(nèi)存占用越來越大?？蚣芾镫m然已經(jīng)實(shí)現(xiàn)了雙緩沖顯示但還沒有加入顯示列表的自動(dòng)清理邏輯。我的解決辦法是在圖像顯示控件的刷新邏輯中加入一幀覆蓋機(jī)制——新圖像到來時(shí)直接替換當(dāng)前顯示圖像析構(gòu)舊的Bitmap而不是追加到列表中。同時(shí)用定時(shí)器定期清理歷史結(jié)果縮略圖避免縮略圖控件對(duì)象堆積。修改后設(shè)備連續(xù)運(yùn)行一整天內(nèi)存曲線平穩(wěn)。這個(gè)坑說明視覺框架這類長(zhǎng)期運(yùn)行的軟件內(nèi)存管理的優(yōu)先級(jí)一定要放在功能開發(fā)之后立刻處理不能等到現(xiàn)場(chǎng)出了問題再補(bǔ)。7. 這套框架適不適合你以及后續(xù)可以怎么擴(kuò)展拿到這套源碼之后可以先對(duì)照自身的項(xiàng)目情況做判斷如果公司準(zhǔn)備投入機(jī)器視覺方向團(tuán)隊(duì)想建立統(tǒng)一的視覺開發(fā)平臺(tái)這套框架作為底座是值得投入時(shí)間去研究的如果是個(gè)人學(xué)習(xí)視覺開發(fā)理解它的分層思路和模塊封裝方式也是一種快速進(jìn)步的方式。它不能替代Halcon的深入算法能力也無(wú)法覆蓋深度學(xué)習(xí)的模型訓(xùn)練但它提供了一個(gè)有序的工程容器讓你的算法能力能真正在產(chǎn)線上穩(wěn)定落地。順著這個(gè)源碼繼續(xù)擴(kuò)展有三個(gè)方向值得考慮。第一是算法層面接入深度學(xué)習(xí)推理框架把傳統(tǒng)視覺解決不了的復(fù)雜缺陷交給分類模型處理形成傳統(tǒng)算法與深度學(xué)習(xí)優(yōu)勢(shì)互補(bǔ)第二是增加多相機(jī)并行處理能力在框架里引入多線程流水線調(diào)度讓不同工位的相機(jī)同時(shí)采集和處理節(jié)拍能顯著提升第三是構(gòu)建數(shù)據(jù)看板和遠(yuǎn)程運(yùn)維模塊把各條產(chǎn)線的視覺檢測(cè)數(shù)據(jù)實(shí)時(shí)上傳到服務(wù)器在辦公室就能看到全局良率和故障分布。這些擴(kuò)展方向框架都有合適的接口承接二次開發(fā)的工作量完全可控。我個(gè)人的體會(huì)是好的視覺框架源碼的稀缺性其實(shí)不在算法有多先進(jìn)而在于它把那些重復(fù)性高、容易出錯(cuò)、又不得不做的事提前做完了。把時(shí)間花在處理痛點(diǎn)上而不是從零開始搭地基這才是源碼帶給項(xiàng)目最實(shí)際的價(jià)值。