簡介計算機視覺作為人工智能的重要分支其核心技術(shù)在于通過圖像處理手段提取有效信息。OpenCV作為業(yè)界標(biāo)準的圖像處理庫配合Python的簡潔高效為開發(fā)者提供了強大的圖像處理與模式識別能力。從灰度化、邊緣檢測到形態(tài)學(xué)操作與輪廓分析每項技術(shù)都在實際項目中發(fā)揮著關(guān)鍵作用。以車牌識別為例其流程涵蓋車牌定位、透視矯正、字符分割與模板匹配等環(huán)節(jié)完整呈現(xiàn)了從圖像預(yù)處理到分類識別的技術(shù)鏈路。該方案不依賴深度學(xué)習(xí)框架在普通CPU上即可高效運行適用于課程設(shè)計、畢業(yè)設(shè)計及入門實戰(zhàn)項目幫助開發(fā)者快速掌握計算機視覺的核心方法論。 車牌識別這個東西算是計算機視覺入門到進階的一個典型項目了。OpenCV加Python的組合既不用燒顯卡也不用上復(fù)雜的深度學(xué)習(xí)框架純靠圖像處理就能把車牌從圖片里摳出來再把字符一個個認出來。這套流程跑通了你對圖像處理的基本功——灰度化、邊緣檢測、形態(tài)學(xué)操作、輪廓分析、模板匹配——理解會上一個臺階。我最早接觸這個項目時也覺得挺玄乎真的動手做了一遍才發(fā)現(xiàn)核心邏輯拆開就三步車牌在哪、字怎么切開、每個字是什么。這篇文章把我完整的實現(xiàn)思路、參數(shù)調(diào)優(yōu)經(jīng)驗、踩過的坑都記錄下來適合學(xué)完P(guān)ython基礎(chǔ)、想找個實戰(zhàn)項目練手的同學(xué)也適合課程設(shè)計、畢業(yè)設(shè)計需要快速出成果的朋友參考。1. 項目整體設(shè)計與技術(shù)選型思路1.1 為什么選擇OpenCVPython方案先聊聊選型。車牌識別系統(tǒng)在工業(yè)界其實已經(jīng)很成熟了停車場道閘、電子警察、高速收費用的基本都是專用設(shè)備加深度模型。但作為學(xué)習(xí)項目或個人作品OpenCV加Python依然是最合適的組合。原因很實在OpenCV把所有底層圖像處理算法都封裝好了C接口性能最好但Python接口開發(fā)效率高代碼量少調(diào)試方便。同樣是做一個原型驗證C可能寫兩百行Python五十行就搞定了。對于學(xué)習(xí)理解算法原理來說Python的簡潔性讓我能更關(guān)注算法本身而不是糾結(jié)指針和內(nèi)存管理。而且OpenCV在圖像處理這塊兒幾乎是事實標(biāo)準它的cv2.findContours、cv2.Canny、cv2.dilate、cv2.matchTemplate這些函數(shù)隨便哪個拿出來都是經(jīng)過大量工業(yè)場景驗證的穩(wěn)定實現(xiàn)。自己從頭造輪子去寫一個邊緣檢測或者模板匹配不僅性能比不上精度也差得遠。車牌識別本身對實時性要求其實不高——識別一張靜態(tài)圖片用OpenCV的傳統(tǒng)圖像處理方法在普通CPU上跑也就幾十毫秒完全夠用。如果用深度學(xué)習(xí)方案單是環(huán)境配置、模型訓(xùn)練、數(shù)據(jù)集標(biāo)注這一套下來就要花掉大量時間。對于入門者和學(xué)生項目來說把傳統(tǒng)方法吃透比直接套用現(xiàn)成的YOLO模型更有價值。1.2 車牌識別系統(tǒng)的完整工作流程整個系統(tǒng)的流程可以拆成四個核心模塊我用一張流程圖來概括這里用文字描述輸入圖片 → 車牌定位 → 車牌矯正 → 字符分割 → 字符識別 → 輸出結(jié)果第一個環(huán)節(jié)是車牌定位目標(biāo)是從一張復(fù)雜的圖像中找到車牌所在的區(qū)域。這是整個系統(tǒng)中最關(guān)鍵的一步因為后續(xù)所有操作都依賴于這一步的準確性。如果車牌都沒找對后面做得再好也沒用。第二個環(huán)節(jié)是車牌矯正。實際拍攝的車牌往往是有傾斜的如果直接分割字符會導(dǎo)致切歪、切錯。所以要先對定位到的車牌區(qū)域做透視變換把它矯正成正面視角。第三個環(huán)節(jié)是字符分割。把矯正后的車牌圖片中的每個字符切出來變成一張張單獨的字符圖片。這個過程需要處理邊框、鉚釘、噪點等干擾。第四個環(huán)節(jié)是字符識別。對每個分割出來的字符圖片進行分類識別出它是哪個漢字、哪個字母、哪個數(shù)字。這里可以用模板匹配也可以用簡單的卷積神經(jīng)網(wǎng)絡(luò)。1.3 技術(shù)方案選型傳統(tǒng)視覺還是深度學(xué)習(xí)在做車牌識別時有個繞不開的問題用傳統(tǒng)圖像處理還是深度學(xué)習(xí)我的建議是都別偏科。傳統(tǒng)方法的核心優(yōu)勢在于可控性強、可解釋性強。每一步做了什么、為什么這樣做、參數(shù)為什么這么設(shè)都清清楚楚。出了問題也能一步步回溯排查。這對于學(xué)習(xí)理解圖像處理的基本原理非常有幫助。而深度學(xué)習(xí)的優(yōu)勢在于對復(fù)雜場景的魯棒性更強。比如夜間拍攝、車牌嚴重模糊、角度特別刁鉆等場景傳統(tǒng)方法可能就翻車了但深度學(xué)習(xí)模型經(jīng)過充分訓(xùn)練后能扛住更多干擾。實際項目中的做法是兩者結(jié)合用傳統(tǒng)方法做預(yù)處理和車牌定位速度快、穩(wěn)定性好用深度學(xué)習(xí)做字符識別精度高、泛化能力強。我的最終方案就是這種混合架構(gòu)OpenCV負責(zé)定位和分割Python加一個輕量級CNN模型負責(zé)字符識別。這樣兼顧了速度和精度代碼量也不會爆炸。2. 環(huán)境準備與基礎(chǔ)搭建2.1 Python與OpenCV的安裝與配置在做任何代碼之前先得把環(huán)境跑起來。這里我用的Python版本是3.9OpenCV版本是4.8.0這兩個版本兼容性很好不會有奇怪的報錯。安裝OpenCV最簡單的命令是pip install opencv-python但這里有個坑直接用pip install opencv-python裝的是OpenCV的CPU版本對入門學(xué)習(xí)完全夠用。但如果后續(xù)要做視頻流處理或者實時識別建議再裝一個opencv-contrib-python這個包包含了更多擴展模塊。我的建議是用虛擬環(huán)境來隔離項目依賴避免不同項目之間的包版本沖突。創(chuàng)建并激活虛擬環(huán)境的命令如下python -m venv lpr_env # Windows lpr_env\Scripts\activate # Linux/Mac source lpr_env/bin/activate pip install opencv-python numpy matplotlib scikit-learn2.2 項目依賴庫清單整個項目我用到的主要依賴庫如下庫名版本建議用途說明opencv-python4.8.0核心圖像處理、輪廓檢測、模板匹配numpy1.24.0數(shù)組運算、圖像矩陣操作matplotlib3.7.0圖像可視化、調(diào)試展示scikit-learn1.3.0制作數(shù)據(jù)集、訓(xùn)練分類器可選tensorflow / pytorch按需安裝輕量級CNN字符識別可選如果你只做傳統(tǒng)方案的車牌識別其實只需要前三個庫就夠了。深度學(xué)習(xí)部分可以后續(xù)再加。這里特別說一下numpy。OpenCV的圖像本質(zhì)上是numpy數(shù)組理解這一點很重要。一張彩色圖片在OpenCV里的形狀是(H, W, 3)的數(shù)組H是高度W是寬度3是BGR三個顏色通道注意OpenCV用的是BGR而不是RGB。整個圖像處理過程說白了就是在操作這些數(shù)組的數(shù)值。2.3 開發(fā)調(diào)試環(huán)境的配置要點我這里推薦用VS Code配合Python擴展來做開發(fā)簡單輕量調(diào)試方便。有一些小配置能顯著提升開發(fā)效率第一設(shè)置OpenCV顯示窗口的大小自適應(yīng)。如果你的屏幕分辨率不夠高OpenCV彈出的窗口可能會超出屏幕邊界看不到完整圖片?？梢栽诖a里加上這個cv2.namedWindow(result, cv2.WINDOW_NORMAL) cv2.resizeWindow(result, 800, 600)第二配置好圖像保存路徑。調(diào)試過程中經(jīng)常需要把中間結(jié)果保存下來查看建議在項目根目錄建一個output/文件夾專門存放中間處理結(jié)果。這樣既能追蹤算法每一步的輸出也方便在最終效果不好時排查是哪一步出了問題。第三善用cv2.imwrite而不是cv2.imshow來做輸出。在無圖形界面的服務(wù)器上調(diào)試或者批量處理圖片時cv2.imshow會直接報錯但cv2.imwrite可以正常使用。養(yǎng)成寫文件而不是彈窗口的調(diào)試習(xí)慣能少踩很多坑。3. 車牌定位從原圖到目標(biāo)區(qū)域3.1 圖像預(yù)處理灰度化、去噪與邊緣檢測車牌定位的第一步是做圖像預(yù)處理。一張原始圖片可能有各種顏色背景也可能很復(fù)雜——樹、墻壁、行人、其他車輛什么都有。直接在這張圖上找車牌是不現(xiàn)實的要先做減法。我采用的預(yù)處理流程是灰度化 → 高斯模糊 → 邊緣檢測 → 二值化。首先看灰度化。車牌的顏色信息藍色底白字、黃色底黑字、綠色底白字等在定位階段其實并不是必須的反而會讓計算量增大。把它變成灰度圖就是去掉顏色信息只保留亮度信息gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)接著做高斯模糊。這一步的作用是去除圖像中的噪聲和細節(jié)紋理。車牌邊緣相比于復(fù)雜的背景紋理來說是大尺度的特征模糊掉小紋理能減少干擾blurred cv2.GaussianBlur(gray, (5, 5), 0)高斯模糊的核大小(5, 5)是我在實測后覺得比較合適的核太小去噪效果差核太大又容易把車牌的邊緣細節(jié)也磨掉。然后是邊緣檢測我用的是Canny算子。這是OpenCV里最經(jīng)典的邊緣檢測算法它能在保持邊緣連續(xù)性的同時抑制噪聲edges cv2.Canny(blurred, 50, 150)Canny的兩個閾值參數(shù)也需要根據(jù)實際圖片調(diào)整。低閾值50、高閾值150是我在晴天、光線充足的車牌照片上調(diào)出來的經(jīng)驗值。如果圖片中車牌邊緣太弱、檢測不到可以把閾值調(diào)低到30~40反之如果檢測出太多噪聲邊緣則適當(dāng)調(diào)高。3.2 形態(tài)學(xué)操作讓車牌的輪廓連成一片邊緣檢測做完之后車牌的輪廓已經(jīng)能看到一些了但邊緣往往是斷斷續(xù)續(xù)的——因為車牌上的字符、邊框和背景之間有些地方的梯度不夠明顯Canny檢測出來的是斷開的碎片。這時候就需要形態(tài)學(xué)操作登場了。我做的是兩步先膨脹再閉運算。膨脹操作讓邊緣變得更粗、更連續(xù)kernel cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5)) dilated cv2.dilate(edges, kernel, iterations2)閉運算是先膨脹后腐蝕作用是把車牌區(qū)域內(nèi)部的小孔洞填上讓整個車牌區(qū)域變成一個實心的連通塊closed cv2.morphologyEx(dilated, cv2.MORPH_CLOSE, kernel)3.3 輪廓提取與候選區(qū)域篩選形態(tài)學(xué)處理完車牌區(qū)域已經(jīng)變成一個明顯的亮色塊狀區(qū)域了。接下來用cv2.findContours提取輪廓然后根據(jù)車牌的特征來篩選候選區(qū)域contours, hierarchy cv2.findContours(closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)提取到輪廓之后核心工作就是篩選。標(biāo)準車牌的寬高比大約是3.14:1440mm : 140mm這個比例是非常穩(wěn)定的特征。我設(shè)定的篩選取值范圍是for cnt in contours: x, y, w, h cv2.boundingRect(cnt) aspect_ratio w / float(h) area w * h # 車牌寬高比約3~4面積占圖片總面積比例在0.0004~0.02之間 if 2.5 aspect_ratio 4.5 and 0.0004 area / (image.shape[0] * image.shape[1]) 0.02: candidate cnt break這個范圍不是我隨便拍的。標(biāo)準車牌寬高比3.14但實際拍攝時因為角度、透視的影響這個值會在2.5到4.5之間波動。面積比例則是根據(jù)我的測試圖片尺寸約1920x1080車牌在圖中約占幾百到幾千像素來估算的。如果你自己的圖片里車牌占比更小或更大需要相應(yīng)調(diào)整這個范圍。如果一次篩選出多個候選區(qū)域我的策略是按照面積從大到小排序優(yōu)先選擇面積最大的那個——因為在實際拍攝中面積最大的那個輪廓通常就是距離最近、最清晰的車牌。篩選完成后cv2.boundingRect得到的是最小正矩形但如果車牌有傾斜正矩形包住的區(qū)域會包含很多背景。這時候就要用到最小外接矩形rect cv2.minAreaRect(cnt) box cv2.boxPoints(rect) box np.int0(box)cv2.minAreaRect返回一個旋轉(zhuǎn)矩形包含中心坐標(biāo)、寬高和旋轉(zhuǎn)角度這個角度在下一步矯正中非常關(guān)鍵。3.4 透視變換矯正傾斜的車牌實際拍攝的車牌幾乎不可能是絕對正對著鏡頭的多多少少有傾斜。如果直接分割字符會存在嚴重的誤差。矯正的方法是用透視變換把傾斜的車牌映射成一個正面的矩形。先獲取車牌四個角點映射到一個標(biāo)準的車牌尺寸上# 假設(shè)box是車牌區(qū)域的四個角點按照一定順序排列 src_pts np.array(box, dtypefloat32) # 標(biāo)準車牌尺寸以寬度440px、高度140px為例 dst_pts np.array([[0, 0], [440, 0], [440, 140], [0, 140]], dtypefloat32) # 計算透視變換矩陣 M cv2.getPerspectiveTransform(src_pts, dst_pts) # 執(zhí)行透視變換 warped cv2.warpPerspective(image, M, (440, 140))這里要注意src_pts角點的順序必須和dst_pts一一對應(yīng)否則變換結(jié)果會錯亂。cv2.boxPoints返回的角點順序不一定是我們想要的需要手動排個序——按左上、右上、右下、左下的順序排列。排序的代碼可以這樣寫def order_points(pts): rect np.zeros((4, 2), dtypefloat32) s pts.sum(axis1) rect[0] pts[np.argmin(s)] # 左上角xy最小 rect[2] pts[np.argmax(s)] # 右下角xy最大 diff np.diff(pts, axis1) rect[1] pts[np.argmin(diff)] # 右上角x-y最小 rect[3] pts[np.argmax(diff)] # 左下角x-y最大 return rect這一套流程跑完拿到的warped就是一張規(guī)規(guī)矩矩的車牌正面圖了。4. 車牌字符分割把牌照拆成單個字符4.1 二值化處理與去噪車牌區(qū)域拿到之后下一步是分割字符。字符分割的質(zhì)量直接決定了識別精度——如果字符切歪了、切殘了后面識別做再好也沒用。先對矯正后的車牌做預(yù)處理。首先是二值化把車牌圖片變成黑白兩色warped_gray cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY) _, binary cv2.threshold(warped_gray, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU)這里我使用了Otsu自適應(yīng)閾值它能根據(jù)圖片的灰度分布自動計算最佳的二值化閾值比固定閾值比如127魯棒得多。因為不同環(huán)境下拍攝的車牌亮度和對比度差異很大固定閾值很容易翻車。二值化之后還要去噪。車牌上常見噪聲來源有兩個一是鉚釘車牌四角的小圓點二是邊框。鉚釘和邊框如果在二值化圖片上殘留會干擾字符分割。去除鉚釘和邊框的方法有很多我用的是形態(tài)學(xué)開運算 邊框裁剪的組合kernel np.ones((3, 3), np.uint8) binary cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel)接著把車牌最外圈的幾行、幾列像素直接裁剪掉因為邊框在二值化后通常會連成一條白線h, w binary.shape binary binary[5:h-5, 5:w-5]4.2 字符分割的核心方法字符分割我嘗試過三種主流方法垂直投影法、連通域法、輪廓檢測法。垂直投影法的大致原理是把二值化后的車牌圖片的每一列的白像素數(shù)量做一個統(tǒng)計列與列之間形成波峰和波谷。字符所在區(qū)域白像素多波峰字符之間的間隙白像素少波谷。根據(jù)波峰波谷的分界就能把字符切出來。這在很多教程里是首選方法但我實測下來它對噪聲和粘連字符非常敏感只有當(dāng)車牌特別干凈、對比度特別高的時候才穩(wěn)定。稍微有點噪點就切不對。連通域法是把圖片中連通的白色區(qū)域找出來。字符和字符之間是分開的屬于不同連通域按x坐標(biāo)排序后就能依次切出。這比垂直投影更穩(wěn)定但也會把噪點、鉚釘誤判成字符。輪廓檢測法和連通域法原理類似但用的是cv2.findContours。我最終選用的就是輪廓檢測法配合寬高比和面積過濾contours, _ cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) char_regions [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) area w * h ratio h / float(w) # 字符寬度約占車牌寬度的10%~20%高度約占40%~90% if 0.1 * binary.shape[1] w 0.25 * binary.shape[1] \ and 0.4 * binary.shape[0] h 0.95 * binary.shape[0] \ and area 50: char_regions.append((x, y, w, h)) # 按x坐標(biāo)從小到大排序 char_regions.sort(keylambda r: r[0])4.3 字符歸一化處理分割出來的字符大小不一在做識別之前需要歸一化成統(tǒng)一的尺寸。標(biāo)準車牌字符的寬高比大約是0.5左右比如字符寬45mm、高90mm我這里把每個字符都縮放成20x40像素resized cv2.resize(char_img, (20, 40), interpolationcv2.INTER_AREA)INTER_AREA是縮小圖片時效果最好的插值算法不會產(chǎn)生明顯的鋸齒。放大時則用INTER_CUBIC效果更好但因為我們是在縮小車牌字符通常遠大于20x40像素所以用INTER_AREA。歸一化之后每個字符就變成了一組長度80020x40的特征向量后面無論是做模板匹配還是訓(xùn)練CNN輸入格式都統(tǒng)一了。分割完了還要做一步驗證標(biāo)準車牌是7個字符第一位是省份漢字簡稱第二位是字母后面五位是字母和數(shù)字混排所以正常情況下應(yīng)該分割出7個字符。如果少于6個或多于8個說明分割出問題了需要回到前面調(diào)整參數(shù)。5. 字符識別從模板匹配到輕量級CNN5.1 模板匹配的實現(xiàn)原理字符識別最簡單的方案就是模板匹配。思路很樸素準備一套標(biāo)準字符模板各省簡稱漢字、大寫字母A-Z、數(shù)字0-9然后把分割出來的字符圖片和每個模板做相似度比較取最相似的作為識別結(jié)果。OpenCV里用cv2.matchTemplate實現(xiàn)模板匹配再配合cv2.minMaxLoc取最佳匹配位置result cv2.matchTemplate(char_img, template_img, cv2.TM_CCOEFF_NORMED) _, max_val, _, _ cv2.minMaxLoc(result)TM_CCOEFF_NORMED是歸一化相關(guān)系數(shù)匹配法輸出值在-1到1之間越接近1表示匹配度越高。模板匹配的優(yōu)勢是簡單、快、不需要訓(xùn)練。它的劣勢也很明顯對字體變化、字符變形、模糊特別敏感。如果實際車牌用的字體和模板字體差太多識別率會直線下降。我做模板匹配時踩過最大的坑是沒有提前做二值化統(tǒng)一。如果分割出來的字符是灰度圖而模板是二值圖匹配結(jié)果就會很差。后來我把字符和模板都統(tǒng)一轉(zhuǎn)成相同尺寸的二值圖識別率才有了明顯提升。模板匹配適合做一個快速原型驗證或者作為最終方案的baseline。5.2 基于CNN的輕量級識別方案如果追求更高的識別精度我推薦用一個極簡的卷積神經(jīng)網(wǎng)絡(luò)來做字符分類。不需要很大很復(fù)雜的模型車牌字符數(shù)量和類別是固定的省份漢字約30個實際用到的沒有30個排除一些未使用的大寫字母24個去掉I和O數(shù)字10個總共約60~70個類別。這個分類規(guī)模很小用一個三層卷積加全連接的輕量網(wǎng)絡(luò)就夠了。我用PyTorch或TensorFlow/Keras搭了個結(jié)構(gòu)很簡單的小網(wǎng)絡(luò)import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes): super(SimpleCNN, self).__init__() self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.relu1 nn.ReLU() self.pool1 nn.MaxPool2d(2, 2) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.relu2 nn.ReLU() self.pool2 nn.MaxPool2d(2, 2) self.fc1 nn.Linear(64 * 5 * 10, 128) self.relu3 nn.ReLU() self.fc2 nn.Linear(128, num_classes) def forward(self, x): x self.pool1(self.relu1(self.conv1(x))) x self.pool2(self.relu2(self.conv2(x))) x x.view(x.size(0), -1) x self.relu3(self.fc1(x)) x self.fc2(x) return x輸入是1x20x40的灰度圖經(jīng)過兩層卷積池化后特征圖尺寸變成64x5x10然后接全連接層輸出類別概率。訓(xùn)練數(shù)據(jù)可以自己造用電腦里的字體生成各種車牌字符圖片加上一些旋轉(zhuǎn)、噪聲、縮放等數(shù)據(jù)增強。我實際訓(xùn)練時用了3000張左右的字符圖訓(xùn)練20個epoch驗證集準確率能到99%以上。在實際使用中對單張字符圖推理一次大概只需要幾毫秒完全滿足哪怕視頻流的實時性要求。5.3 識別結(jié)果的后處理與校驗?zāi)玫阶址R別結(jié)果后還要做一個后處理校驗。車牌的字符排列是有固定規(guī)律的第一位必須是省份漢字簡稱京、津、冀、晉、蒙、遼、吉、黑、滬、蘇、浙、皖、閩、贛、魯、豫、鄂、湘、粵、桂、瓊、渝、川、貴、云、藏、陜、甘、青、寧、新第二位是大寫字母對應(yīng)發(fā)牌機關(guān)代號通常排除I和O第三到七位是字母或數(shù)字混排但通常也會排除I和O為了避免和數(shù)字1、0混淆。所以我可以在輸出結(jié)果時加一個規(guī)則校驗province_chars 京津滬渝冀豫云遼黑湘皖魯新蘇浙贛鄂桂甘晉蒙陜吉閩貴粵青藏川寧瓊 digits 0123456789 letters ABCDEFGHJKLMNPQRSTUVWXYZ result .join(predicted_chars) # 校驗規(guī)則 if result[0] not in province_chars: print(第一位應(yīng)為省份簡稱) if result[1] not in letters: print(第二位應(yīng)為字母) for ch in result[2:]: if ch not in digits and ch not in letters: print(后五位應(yīng)為字母或數(shù)字)這套校驗?zāi)軒臀覀優(yōu)V掉一部分明顯的識別錯誤。比如識別結(jié)果第一位是數(shù)字那肯定是錯了可以回到字符分割環(huán)節(jié)檢查是不是把車牌的外框或噪聲當(dāng)成字符切進來了。6. 實操過程中的常見問題與避坑指南6.1 環(huán)境安裝與報錯排查OpenCV的環(huán)境安裝問題可能是初學(xué)者遇到最多的我在實踐中也碰到過不少。最典型的一個報錯是ModuleNotFoundError: No module named cv2這個錯誤的原因很簡單OpenCV沒裝成功或沒裝到當(dāng)前使用的Python環(huán)境里。常見解決方法是pip uninstall opencv-python pip install opencv-python --user還有一類報錯是用cv2.imshow時直接崩了或者白屏尤其是在遠程服務(wù)器或Docker容器里cv2.error: The function/feature is not implemented ...這是因為當(dāng)前環(huán)境中沒有圖形界面支持OpenCV無法創(chuàng)建顯示窗口。解決辦法是改用cv2.imwrite保存圖片到文件然后用其他工具查看。我在之前的項目里就是這么調(diào)試的——把處理中間結(jié)果全部保存成圖片一張張看。6.2 圖像質(zhì)量問題導(dǎo)致識別失敗實際拍攝的車牌圖片如果是在陰天、傍晚或者背光場景拍的車牌區(qū)域可能比較暗對比度不足。我實測后發(fā)現(xiàn)直接用Canny邊緣檢測會漏掉很多輪廓。這時候可以先做直方圖均衡化提升對比度gray_eq cv2.equalizeHist(gray)cv2.equalizeHist能把灰度分布拉開讓暗的地方變亮、亮的地方保持亮是低對比度場景下非常實用的預(yù)處理手段。需要注意的是直方圖均衡化只對灰度圖有效對彩色圖需要先轉(zhuǎn)成YCrCb之類的色彩空間只在Y通道上做均衡化否則會破壞顏色信息。另一個常見問題是車牌的藍色在灰度圖里和深色背景區(qū)分度不高。如果檢測不出來可以考慮增加顏色過濾的路子——直接在HSV空間里篩選藍色區(qū)域作為邊緣檢測的補充hsv cv2.cvtColor(image, cv2.COLOR_BGR2HSV) blue_mask cv2.inRange(hsv, (100, 100, 100), (130, 255, 255))藍色車牌對應(yīng)的H通道范圍大致在100~130之間。加上這層顏色過濾定位的成功率會大幅提升。當(dāng)然這也意味著系統(tǒng)只能識別藍底車牌如果想要兼容黃底、綠底車牌需要把對應(yīng)的顏色范圍都加進去。6.3 分割不準確時的調(diào)整思路字符分割常見的失敗表現(xiàn)有兩個一個是切出來的字符粘連在一起一個是字符被攔腰斬斷。粘連的原因通常是字符間距過小或者圖像分辨率不夠兩個字符的二值化區(qū)域連成了一片。我的經(jīng)驗是優(yōu)先檢查二值化閾值是否合適。用Otsu自動閾值仍然粘連的話可以試試自適應(yīng)閾值cv2.adaptiveThreshold它對光照不均的處理更好binary cv2.adaptiveThreshold(warped_gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 2)字符被切斷則往往是因為邊緣檢測或形態(tài)學(xué)操作參數(shù)太激進把字符內(nèi)部的筆畫當(dāng)成了背景。可以把膨脹迭代次數(shù)從2降為1或者把閉運算的核尺寸調(diào)小。如果分割結(jié)果不穩(wěn)定我還有一個調(diào)試技巧把每一張分割出的字符圖單獨保存到一個目錄里按順序用數(shù)字命名。這樣一眼就能看出分割是否錯位、是否多了或少了字符。這也是我前面說的output/目錄的用途之一。6.4 性能優(yōu)化建議雖然靜態(tài)圖片識別不需要太關(guān)注性能但如果要用在視頻流或嵌入式設(shè)備上就有優(yōu)化空間了。首選的優(yōu)化方向是降低處理分辨率。車牌識別對分辨率的敏感度沒那么高——車牌本身是高頻信息集中的區(qū)域只要車牌區(qū)域在圖片中足夠大就好。我的做法是如果原始圖片是1920x1080先縮放到1280x720再處理。實測下來精度幾乎不受影響速度提升卻能接近一倍。第二個優(yōu)化方向是縮小搜索范圍。攝像頭固定場景下比如停車場入口車牌通常出現(xiàn)在畫面的中下區(qū)域、固定的幾個車道位置?？梢韵茸鲆粭lROI感興趣區(qū)域設(shè)定只在這個區(qū)域里做車牌定位能省掉大量背景干擾也大幅減少計算量。第三個優(yōu)化方向是避免重復(fù)計算。如果在做視頻流識別相鄰幀之間車牌位置變化很小可以用上一幀定位到的位置作為當(dāng)前幀的初始搜索區(qū)域只在這個小區(qū)域內(nèi)重新定位。這種跟蹤式的思路能大幅提升幀率。7. 項目完整代碼框架下面是我項目的完整代碼框架你可以直接參考或在此基礎(chǔ)上擴展。完整的代碼我按模塊組織方便調(diào)試和復(fù)用。主程序main.pyimport cv2 import numpy as np from plate_locator import locate_plate from char_segmenter import segment_chars from char_recognizer import recognize_chars def main(image_path): # 1. 讀取圖片 img cv2.imread(image_path) if img is None: print(圖片讀取失敗) return # 2. 車牌定位 plate_img locate_plate(img) if plate_img is None: print(未檢測到車牌) return # 3. 字符分割 char_imgs segment_chars(plate_img) if len(char_imgs) 7: print(字符分割異常分割出 %d 個字符 % len(char_imgs)) return # 4. 字符識別 result recognize_chars(char_imgs) print(車牌號碼, result) if __name__ __main__: main(test_car.jpg)車牌定位模塊plate_locator.pyimport cv2 import numpy as np def order_points(pts): rect np.zeros((4, 2), dtypefloat32) s pts.sum(axis1) rect[0] pts[np.argmin(s)] rect[2] pts[np.argmax(s)] diff np.diff(pts, axis1) rect[1] pts[np.argmin(diff)] rect[3] pts[np.argmax(diff)] return rect def locate_plate(image): # 預(yù)處理 gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) gray cv2.equalizeHist(gray) blurred cv2.GaussianBlur(gray, (5, 5), 0) # 邊緣檢測 edges cv2.Canny(blurred, 50, 150) # 形態(tài)學(xué)操作 kernel cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5)) dilated cv2.dilate(edges, kernel, iterations2) closed cv2.morphologyEx(dilated, cv2.MORPH_CLOSE, kernel) # 輪廓檢測 contours, _ cv2.findContours(closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) h, w image.shape[:2] best_area 0 best_box None for cnt in contours: rect cv2.minAreaRect(cnt) box cv2.boxPoints(rect) box np.int0(box) roi_w rect[1][0] roi_h rect[1][1] if roi_w roi_h: roi_w, roi_h roi_h, roi_w aspect_ratio roi_w / float(roi_h) area roi_w * roi_h if 2.5 aspect_ratio 4.5 and area best_area: # 面積比例和寬高比都滿足條件 if 0.0004 area / (h * w) 0.02: best_area area best_box box if best_box is None: return None # 透視變換 src_pts order_points(best_box) dst_pts np.array([[0, 0], [440, 0], [440, 140], [0, 140]], dtypefloat32) M cv2.getPerspectiveTransform(src_pts, dst_pts) warped cv2.warpPerspective(image, M, (440, 140)) return warped字符分割模塊char_segmenter.pyimport cv2 import numpy as np def segment_chars(plate_img): gray cv2.cvtColor(plate_img, cv2.COLOR_BGR2GRAY) # 二值化 _, binary cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) # 去除邊框 h, w binary.shape binary binary[3:h-3, 3:w-3] # 輪廓檢測 contours, _ cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) char_regions [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) area w * h ratio h / float(w) if w 0 else 0 if 0.1 * binary.shape[1] w 0.25 * binary.shape[1] \ and 0.4 * binary.shape[0] h 0.95 * binary.shape[0] \ and area 50: char_regions.append((x, y, w, h)) char_regions.sort(keylambda r: r[0]) char_imgs [] for (x, y, w, h) in char_regions: char binary[y:yh, x:xw] resized cv2.resize(char, (20, 40), interpolationcv2.INTER_AREA) char_imgs.append(resized) return char_imgs字符識別模塊char_recognizer.pyimport cv2 import numpy as np import os class CharRecognizer: def __init__(self, template_dir, char_dict_path): self.templates [] self.labels [] # 加載模板這里支持從一個目錄中讀取所有模板圖片 for label in os.listdir(template_dir): label_path os.path.join(template_dir, label) for file in os.listdir(label_path): img cv2.imread(os.path.join(label_path, file), 0) img cv2.resize(img, (20, 40), interpolationcv2.INTER_AREA) _, img cv2.threshold(img, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) self.templates.append(img) self.labels.append(label) def recognize(self, char_imgs): result for char in char_imgs: _, char cv2.threshold(char, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) best_score -1 best_label ? for template, label in zip(self.templates, self.labels): score cv2.matchTemplate(char, template, cv2.TM_CCOEFF_NORMED)[0][0] if score best_score: best_score score best_label label result best_label return result def recognize_chars(char_imgs): # 這里可以替換成CNN實現(xiàn) recognizer CharRecognizer(templates/, None) return recognizer.recognize(char_imgs)這套代碼框架雖然樸素但把整個流程跑通是沒問題的。如果你后續(xù)接入CNN識別只需要修改recognize_chars函數(shù)的實現(xiàn)車牌定位和字符分割的代碼可以完全復(fù)用。8. 個人的一些實操心得做這個車牌識別項目我最大的感受是算法這東西紙上談兵是一回事跑起來是完全另一回事。你可能在理論上覺得車牌定位很簡單——不就是找輪廓嘛——但實際一跑發(fā)現(xiàn)光照、角度、背景雜色都會把結(jié)果搞得一團糟。每一步的參數(shù)調(diào)整都是基于大量實拍的反復(fù)試錯。我給準備做這個項目的朋友三個建議第一不要一開始就追求復(fù)雜方案。先跑通傳統(tǒng)方法讓整個鏈路work起來再逐步替換或進化某個環(huán)節(jié)。直接一上來就上YOLO加CNN代碼是跑通了但你什么都沒學(xué)到。第二一定要自己準備測試集。不要只用網(wǎng)上教程里的那幾張圖片做驗證。自己拿手機拍各種場景——白天、晚上、晴天、陰天、遠距離、近距離、不同顏色車牌——測試集越多樣你對算法穩(wěn)健性的理解就越深。第三做好可視化調(diào)試。把每一步的中間結(jié)果都保存成圖片肉眼觀察變化是最有效的調(diào)試方式。不要只盯著最后輸出中間過程往往藏著問題的根源。車牌識別系統(tǒng)雖然看起來是個小項目但它覆蓋了圖像處理的大部分核心知識點。真正吃透這個項目你再去學(xué)人臉檢測、物體識別、OCR這些方向會發(fā)現(xiàn)很多東西是相通的。這套從定位到分割到識別的思維框架在計算機視覺領(lǐng)域里可以復(fù)用到很多場景。本文還有配套的精品資源點擊獲取