OpenCV學(xué)習(xí)進(jìn)入第四天。前幾天都在處理圖像的“形狀”——怎么讀進(jìn)來、怎么顯示、怎么做縮放旋轉(zhuǎn)今天開始碰真正的像素級(jí)計(jì)算濾波和邊緣檢測。這篇筆記就把我第四天做的實(shí)驗(yàn)、踩的坑、調(diào)參心得一次性寫清楚給正在按類似路徑學(xué)OpenCV的朋友做個(gè)參考。濾波和邊緣檢測聽起來是兩件事一個(gè)讓圖變“糊”一個(gè)讓邊緣變“清晰”但它們在實(shí)際項(xiàng)目里幾乎總是成對(duì)出現(xiàn)。無論做車道線識(shí)別、文檔掃描、還是工業(yè)缺陷檢測第一步往往不是直接找目標(biāo)而是先做降噪、再提取邊緣后面的輪廓分析、特征匹配才有干凈的數(shù)據(jù)可用。所以day_4是我這條學(xué)習(xí)線里第一個(gè)“從讀圖轉(zhuǎn)向分析”的轉(zhuǎn)折點(diǎn)。1. 第四天學(xué)什么濾波與邊緣檢測1.1 承前啟后的學(xué)習(xí)節(jié)奏前三天我分別做了圖像讀寫與顯示、顏色空間轉(zhuǎn)換、幾何變換。這些操作有一個(gè)共同特點(diǎn)——它們改變的是整張圖的位置、尺寸、色彩屬性但每個(gè)像素本身的計(jì)算邏輯相對(duì)獨(dú)立。到了第四天情況變了。濾波一個(gè)像素要參考它周圍的鄰居像素邊緣檢測要看相鄰像素之間的差異像素之間開始“互相協(xié)作”了。我特意把這兩項(xiàng)放到同一天學(xué)是因?yàn)樗鼈兲烊汇暯酉葹V波去掉噪聲再找邊緣才能找到真實(shí)的邊界反過來如果你先做邊緣檢測再做濾波噪聲會(huì)被當(dāng)成一堆假邊緣標(biāo)出來后續(xù)處理全亂套。這個(gè)順序問題初學(xué)者很容易忽略實(shí)際工程里非常重要。1.2 濾波和邊緣檢測到底能做什么濾波最常見的用途是去噪。拍照在高ISO下出現(xiàn)彩色噪點(diǎn)、掃描文檔有灰塵感、視頻壓縮產(chǎn)生塊狀偽影這些都可以用濾波做一定程度的修復(fù)。邊緣檢測則是很多視覺任務(wù)的“前置步驟”車牌識(shí)別前需要框出字符區(qū)域醫(yī)學(xué)影像需要標(biāo)出器官邊界自動(dòng)對(duì)焦需要判斷畫面中最銳利的輪廓——它們依賴的都是高質(zhì)量的邊緣圖。我用一個(gè)生活化類比來理解這兩個(gè)概念。濾波相當(dāng)于把一張照片放進(jìn)磨砂玻璃后面看細(xì)節(jié)變?nèi)岷汀⒋萄鄣念w粒感消失邊緣檢測相當(dāng)于用鉛筆描出畫面里的輪廓線只留下形狀丟掉填充色。今天要做的就是先“磨砂”再“描線”。2. 濾波的原理與選型2.1 卷積鄰域計(jì)算的底層邏輯濾波背后的基本操作是卷積。用一個(gè)固定大小的小矩陣通常叫“核”或“濾波器”在圖像上滑動(dòng)每滑動(dòng)到一個(gè)位置就把核里的權(quán)重和對(duì)應(yīng)位置的像素相乘、求和結(jié)果作為輸出圖像該位置的像素值。比如一個(gè)3x3均值核每個(gè)權(quán)重都是1/9等效于把周圍9個(gè)像素求平均。一個(gè)重要細(xì)節(jié)是核的大小為什么要用奇數(shù)因?yàn)槠鏀?shù)核才有唯一的中心像素處理時(shí)能讓輸出像素對(duì)齊到當(dāng)前處理的位置。OpenCV里很多濾波函數(shù)對(duì)核大小有要求如果你傳一個(gè)偶數(shù)過去要么報(bào)錯(cuò)要么行為不符合預(yù)期。濾波核越大參與計(jì)算的鄰域越廣模糊效果越強(qiáng)但代價(jià)是邊緣細(xì)節(jié)也一起丟了。2.2 三種常用濾波器的選擇邏輯OpenCV里最常用的三種濾波分別是均值濾波、高斯濾波、中值濾波。我第一次把他們?nèi)颗芰艘槐閷?duì)比效果非常直觀濾波器核心思路適合場景注意點(diǎn)均值濾波cv2.blur鄰域像素求平均去除均勻分布的隨機(jī)噪聲也會(huì)平滑掉邊緣圖容易“霧化”高斯濾波cv2.GaussianBlur按正態(tài)分布分配權(quán)重中心權(quán)重最大高斯噪聲、一般圖像預(yù)處理需要設(shè)置sigma默認(rèn)自動(dòng)計(jì)算中值濾波cv2.medianBlur取鄰域像素的中位數(shù)椒鹽噪聲、極值點(diǎn)干擾對(duì)邊緣保留相對(duì)好但核不能太大我實(shí)際使用后的建議是沒有特別明確噪聲類型的情況下優(yōu)先用高斯濾波做輕度模糊因?yàn)樗鼘?duì)邊緣的破壞比均值濾波小。均值濾波雖然簡單但會(huì)把邊緣和噪聲一視同仁地“平均”掉。如果看到圖像上有那種黑白點(diǎn)狀的椒鹽噪聲比如老照片上的霉點(diǎn)、掃描稿上的灰塵顆粒直接用中值濾波效果立竿見影。再補(bǔ)一句關(guān)于高斯濾波的sigma當(dāng)sigma設(shè)為0時(shí)OpenCV會(huì)根據(jù)核大小自動(dòng)計(jì)算日常實(shí)驗(yàn)完全夠用。不建議一上來就手動(dòng)亂調(diào)sigma因?yàn)楹舜笮『蛃igma需要聯(lián)合考慮手動(dòng)調(diào)容易出“圖糊成一片但邊緣全沒”的結(jié)果。2.3 核大小與邊界處理的隱藏細(xì)節(jié)濾波核大小是第一個(gè)要調(diào)的參數(shù)。以3x3、5x5、7x7為例核越大計(jì)算量越大但模糊程度不是線性增長而是“參與平均的像素變多細(xì)節(jié)丟失更嚴(yán)重”。我測試一張紋理豐富的圖時(shí)3x3高斯濾波還能看清布料紋路7x7之后紋路就完全是霧狀了。所以如果你只想輕微去噪從3x3開始如果噪聲很重再逐步加大。另一個(gè)經(jīng)常被忽略的點(diǎn)是邊界處理。濾波核在圖像邊緣時(shí)鄰域會(huì)超出圖像范圍OpenCV通過borderType參數(shù)來決定怎么補(bǔ)像素。默認(rèn)的BORDER_DEFAULT實(shí)際上等效于BORDER_REFLECT_101會(huì)把邊界外的像素按鏡像方式補(bǔ)齊效果自然如果你手動(dòng)指定BORDER_CONSTANT補(bǔ)黑邊輸出圖像四周就會(huì)出現(xiàn)一圈偏暗的邊框因?yàn)楹谏袼赝系土肃徲蚓?。這個(gè)現(xiàn)象在排查“為什么圖片四周變暗”時(shí)非常常見。3. 邊緣檢測從梯度到Canny3.1 圖像梯度Sobel與Scharr邊緣的本質(zhì)是像素值的突變。要量化這種突變就要用到梯度。對(duì)圖像求導(dǎo)像素值變化劇烈的地方梯度幅值就大這些位置就是邊緣。OpenCV里最常用的梯度算子是Sobel它通過兩個(gè)方向的卷積核分別計(jì)算水平梯度Gx和垂直梯度Gy。實(shí)際寫代碼時(shí)有個(gè)大坑Sobel輸出的是浮點(diǎn)類型而圖像的像素值范圍通常是0到255。如果直接顯示計(jì)算結(jié)果所有負(fù)數(shù)都會(huì)被截?cái)喑?導(dǎo)致圖像上一片黑。正確做法是取絕對(duì)值再轉(zhuǎn)換回8位整數(shù)。我第一遍跑Sobel時(shí)沒轉(zhuǎn)結(jié)果梯度圖幾乎全黑排查了半天才發(fā)現(xiàn)是負(fù)值被截?cái)嗔恕obel還有一個(gè)增強(qiáng)版本叫ScharrOpenCV在ksize傳入-1時(shí)會(huì)自動(dòng)啟用Scharr。相比3x3的SobelScharr的權(quán)重設(shè)計(jì)對(duì)方向更敏感得到的邊緣細(xì)節(jié)更連續(xù)。工程上如果你覺得Sobel結(jié)果太“虛”換Scharr往往能少調(diào)半天參數(shù)。更進(jìn)一步很多人會(huì)把Gx和Gy合成梯度幅值公式是sqrt(Gx2Gy2)OpenCV里可以用cv2.magnitude直接算。不過實(shí)際項(xiàng)目中很多流程做到Canny之后就很少單獨(dú)用Sobel結(jié)果了所以學(xué)習(xí)階段重點(diǎn)是把原理跑通不必追求每個(gè)中間結(jié)果都處理得完美。3.2 Canny的雙閾值為什么是核心Canny邊緣檢測是目前綜合效果最好的通用邊緣提取算法。它的流程是先用高斯濾波去噪再用Sobel計(jì)算梯度方向與幅值接著做非極大值抑制——把梯度方向上不是最大值的像素都干掉讓邊緣變成細(xì)線而不是粗的色塊——最后一步是雙閾值篩選這也是Canny的核心設(shè)計(jì)。雙閾值的意思是設(shè)置兩個(gè)閾值高閾值和低閾值。凡是梯度幅值高于高閾值的像素確定為強(qiáng)邊緣保留低于低閾值的直接丟棄介于兩者之間的只有當(dāng)它和某個(gè)強(qiáng)邊緣相連時(shí)才保留。這個(gè)“滯后”邏輯非常聰明它能保留那些強(qiáng)度不夠但連續(xù)性很好的弱邊緣同時(shí)過濾掉孤立的噪聲點(diǎn)。我理解雙閾值其實(shí)就像公司招聘高閾值是硬標(biāo)準(zhǔn)明確符合的直接錄取低閾值是備選池只有被已經(jīng)有資格的人“推薦”相連才留下。這比只設(shè)一個(gè)閾值要穩(wěn)健得多。3.3 參數(shù)調(diào)節(jié)的常見思路Canny參數(shù)怎么調(diào)是我第四天花時(shí)間最多的地方。OpenCV函數(shù)簽名是cv2.Canny(image, threshold1, threshold2)注意threshold1是低閾值threshold2是高閾值別寫反了。經(jīng)驗(yàn)規(guī)律是高閾值約為低閾值的2到3倍。我的測試結(jié)果是50和150這對(duì)組合在多數(shù)光照均勻的圖上表現(xiàn)不錯(cuò)100和200會(huì)更干凈但細(xì)邊緣明顯減少30和90邊緣很豐富但噪聲也一起出來了。如果你發(fā)現(xiàn)檢測出的邊緣斷成一截一截的大概率是高閾值太高把弱邊緣都丟掉了如果圖上全是密密麻麻的短線則是低閾值太低噪聲被當(dāng)成邊緣保留。還有一個(gè)容易被忽略的技巧如果圖像光照不均勻直接Canny會(huì)在暗部丟邊緣、亮部噪聲多。可以先用cv2.equalizeHist做直方圖均衡化或者用createCLAHE做局部對(duì)比度增強(qiáng)再進(jìn)Canny邊緣的穩(wěn)定性會(huì)好很多。4. 動(dòng)手實(shí)驗(yàn)把濾波和邊緣串成一線4.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)準(zhǔn)備我用的環(huán)境是Python 3.x OpenCV安裝命令就是常規(guī)的pip install opencv-python opencv-contrib-python numpy matplotlib。這里多說一句opencv-python和opencv-contrib-python建議都裝后者包含了一些擴(kuò)展模塊后續(xù)學(xué)特征匹配會(huì)用到。測試圖我選用了一張室內(nèi)實(shí)拍照片有物體輪廓也有紋理背景能同時(shí)檢驗(yàn)濾波的平滑能力和邊緣檢測的細(xì)節(jié)保留能力。核心流程分四步讀圖轉(zhuǎn)灰度、施加三種濾波做對(duì)比、Sobel看梯度、Canny調(diào)雙閾值。為了在終端環(huán)境穩(wěn)定運(yùn)行我統(tǒng)一用imwrite保存結(jié)果圖而不是在彈窗里看避免無GUI環(huán)境直接崩潰。4.2 實(shí)驗(yàn)一不同濾波器的去噪效果對(duì)比下面是我跑的第一段核心代碼邏輯很簡單但很能說明問題import cv2 import numpy as np import matplotlib.pyplot as plt # 讀取并轉(zhuǎn)為灰度圖 img cv2.imread(test_scene.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 三種濾波 blurred cv2.blur(gray, (5, 5)) gaussian cv2.GaussianBlur(gray, (5, 5), 0) median cv2.medianBlur(gray, 5) # 用matplotlib拼起來對(duì)比 images [gray, blurred, gaussian, median] titles [Original Gray, Blur(5x5), GaussianBlur(5x5), MedianBlur(5x5)] plt.figure(figsize(12, 8)) for i in range(4): plt.subplot(2, 2, i 1) plt.imshow(images[i], cmapgray) plt.title(titles[i]) plt.axis(off) plt.savefig(filter_compare.png, dpi150)從結(jié)果看均值濾波的畫面整體發(fā)灰物體的銳利邊緣開始變虛高斯濾波的平滑更“自然”邊緣輪廓還在中值濾波在我這張無明顯椒鹽噪聲的圖上表現(xiàn)并不驚艷。為了驗(yàn)證中值濾波的威力我還人為加了一層椒鹽噪聲# 人為添加椒鹽噪聲 noisy np.copy(gray) num_white 3000 num_black 3000 h, w gray.shape for _ in range(num_white): x, y np.random.randint(0, w), np.random.randint(0, h) noisy[y, x] 255 for _ in range(num_black): x, y np.random.randint(0, w), np.random.randint(0, h) noisy[y, x] 0 median_denoised cv2.medianBlur(noisy, 5) cv2.imwrite(noisy.png, noisy) cv2.imwrite(median_denoised.png, median_denoised)加了3000個(gè)白點(diǎn)和3000個(gè)黑點(diǎn)之后高斯濾波和均值濾波雖然能把噪聲“揉淡”但圖像上依然殘留明顯的灰斑中值濾波因?yàn)橹苯尤∴徲蛑形粩?shù)那些孤立的黑白點(diǎn)基本被剔除干凈了這個(gè)實(shí)驗(yàn)讓我徹底理解了“選濾波器要看噪聲類型”這句話。4.3 實(shí)驗(yàn)二Canny邊緣檢測與參數(shù)調(diào)優(yōu)濾波實(shí)驗(yàn)結(jié)束后我接著跑Canny梯度實(shí)驗(yàn)。代碼片段如下# Sobel梯度注意輸出浮點(diǎn)類型取絕對(duì)值再轉(zhuǎn)回8位 sobel_x cv2.Sobel(gray, cv2.CV_64F, 1, 0, ksize3) sobel_y cv2.Sobel(gray, cv2.CV_64F, 0, 1, ksize3) sobel_x_abs cv2.convertScaleAbs(sobel_x) sobel_y_abs cv2.convertScaleAbs(sobel_y) # Scharr更敏感的方向梯度 scharr_x cv2.Sobel(gray, cv2.CV_64F, 1, 0, ksize-1) scharr_x_abs cv2.convertScaleAbs(scharr_x) # Canny參數(shù)順序?yàn)榈烷撝?、高閾?edges_loose cv2.Canny(gaussian, 30, 90) edges_mid cv2.Canny(gaussian, 50, 150) edges_strict cv2.Canny(gaussian, 100, 200) cv2.imwrite(edges_loose.png, edges_loose) cv2.imwrite(edges_mid.png, edges_mid) cv2.imwrite(edges_strict.png, edges_strict)三組結(jié)果的差異非常典型。30和90這對(duì)低閾值組合畫面里到處是短線包括背景墻上的紋理和陰影邊界噪聲和真邊緣混雜50和150適中主體輪廓清晰背景細(xì)節(jié)明顯減少100和200雖然干凈但物體的一些細(xì)部輪廓出現(xiàn)了斷裂。最終我選50和150做后續(xù)實(shí)驗(yàn)。另一個(gè)值得記錄的對(duì)比是直接對(duì)原圖做Canny vs 對(duì)高斯濾波后的圖做Canny。直接對(duì)原圖跑邊緣圖中會(huì)夾雜很多由傳感器噪聲引起的細(xì)碎亮線而先在高斯圖上做Canny邊緣明顯連貫雜訊大幅下降。有意思的是Canny內(nèi)部本身就包含高斯濾波但我在實(shí)驗(yàn)中發(fā)現(xiàn)外部再疊一次高斯模糊仍然能進(jìn)一步穩(wěn)定結(jié)果尤其是原圖噪聲較重的時(shí)候。5. 第四天踩坑記錄與問題速查5.1 最容易犯的四個(gè)錯(cuò)誤第一個(gè)坑是顯示浮點(diǎn)圖像沒有取絕對(duì)值。Sobel計(jì)算出的梯度有正有負(fù)如果直接imshow或保存為8位圖負(fù)值會(huì)被當(dāng)作0截?cái)鄨D上大量信息直接消失。正確姿勢是cv2.convertScaleAbs先轉(zhuǎn)換。第二個(gè)坑是Canny閾值順序搞反。把高閾值寫得比低閾值小圖像會(huì)變成一團(tuán)亂線寫反了則幾乎輸出空白。我的習(xí)慣是先用50和150做基準(zhǔn)再根據(jù)邊緣密度往兩個(gè)方向微調(diào)。第三個(gè)坑是濾波核和sigma一起調(diào)導(dǎo)致過度模糊。我一開始把GaussianBlur的核設(shè)成9x9sigma又手動(dòng)設(shè)成5結(jié)果邊緣檢測時(shí)主體輪廓幾乎找不到了。后來固定sigma為0只從3x3開始遞增核大小問題立刻變清晰。第四個(gè)坑是拿到圖片后沒有檢查是否讀取成功。cv2.imread如果路徑有中文或文件缺失不會(huì)報(bào)錯(cuò)只會(huì)返回None后面的代碼就會(huì)拋各種莫名其妙的異常。建議讀圖后立刻判斷img is None。5.2 問題排查速查表我把第四天遇到的問題整理成一個(gè)速查表后面幾天調(diào)試時(shí)可以直接對(duì)照現(xiàn)象可能原因處理方式Sobel結(jié)果顯示一片黑負(fù)梯度被截?cái)嘤胏v2.convertScaleAbs取絕對(duì)值Canny邊緣斷斷續(xù)續(xù)高閾值設(shè)置過高降低threshold2或先增強(qiáng)對(duì)比度Canny圖全是雜亂短線低閾值設(shè)置低、噪聲多提高threshold1或先高斯濾波去噪圖四周出現(xiàn)暗邊邊界補(bǔ)丁用了黑色常量使用默認(rèn)BORDER_DEFAULT或鏡像邊界中值濾波無效噪聲不是椒鹽型換高斯濾波或均值濾波濾波后主體邊緣丟失核太大或sigma手動(dòng)調(diào)過頭核從3x3起調(diào)sigma保持0自動(dòng)計(jì)算5.3 光照不均時(shí)的處理技巧這個(gè)不算坑但我認(rèn)為很值得額外提一筆。如果測試圖是室內(nèi)暗光場景暗部區(qū)域在Canny里經(jīng)常什么都檢測不到。我試過先對(duì)灰度圖做cv2.equalizeHist再跑Canny暗部的邊緣能明顯浮現(xiàn)出來。但直方圖均衡化會(huì)放大噪聲所以更穩(wěn)的方案是用CLAHE限制對(duì)比度增強(qiáng)的幅度代碼就兩行clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) enhanced clahe.apply(gray) edges cv2.Canny(enhanced, 50, 150)這個(gè)組合在我后來的很多測試圖上都表現(xiàn)穩(wěn)定尤其是光照復(fù)雜、前景背景區(qū)分度不高的場景建議直接進(jìn)你的常用預(yù)案里。6. 寫在第四天之后第四天學(xué)完我最明顯的感受是OpenCV里真正花時(shí)間的不是API怎么調(diào)用而是參數(shù)和流程的選擇。濾波那么多、邊緣檢測也有好幾種為什么在某個(gè)場景用這個(gè)而不是那個(gè)背后全是圖像本身的特性決定的。噪聲類型、光照條件、目標(biāo)邊緣的粗細(xì)、后續(xù)任務(wù)對(duì)細(xì)節(jié)的要求每一項(xiàng)都會(huì)影響最終方案。我給自己留了一個(gè)小習(xí)慣每次拿到新圖固定的調(diào)試路徑是先看直方圖判斷對(duì)比度再用三種濾波各跑一遍并保存結(jié)果最后把Canny的閾值從低到高多試幾組文件名里帶上參數(shù)值。這樣回頭對(duì)比時(shí)一眼就能看出參數(shù)變化帶來的影響比在代碼里反復(fù)改數(shù)字高效太多。第四天只是OpenCV圖像處理的一個(gè)節(jié)點(diǎn)后面還有形態(tài)學(xué)操作、輪廓查找、特征匹配這些內(nèi)容等著串聯(lián)起來。如果你也剛好學(xué)到這一天建議別急著往后趕把濾波和邊緣檢測在五六張不同風(fēng)格的圖上跑熟后面的學(xué)習(xí)會(huì)順暢很多。