簡介基于YOLO深度學(xué)習(xí)框架的電池缺陷檢測系統(tǒng)設(shè)計(jì)項(xiàng)目適合深度學(xué)習(xí)課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)及人工智能方向?qū)W習(xí)者完整覆蓋數(shù)據(jù)預(yù)處理、缺陷標(biāo)注、模型選擇訓(xùn)練、評(píng)估優(yōu)化、系統(tǒng)集成與結(jié)果分析等環(huán)節(jié)。壓縮包共555個(gè)文件約45MB主要包含217個(gè)Python腳本、135個(gè)pyc編譯文件、79張測試樣例與流程圖、55個(gè)YAML配置以及模型權(quán)重pt、CUDA/C擴(kuò)展源碼、Markdown說明、CSV結(jié)果數(shù)據(jù)等結(jié)構(gòu)清晰便于檢索和二次開發(fā)。目前已有38人學(xué)習(xí)下載可快速參考工程化的YOLO缺陷檢測方案。內(nèi)含預(yù)訓(xùn)練模型與mAP評(píng)估圖附帶熱圖生成、COCO數(shù)據(jù)轉(zhuǎn)換等輔助腳本支持從模型搭建到性能分析的全流程實(shí)踐對(duì)工業(yè)視覺智能檢測場景具有直接借鑒價(jià)值。1. 電池缺陷檢測上YOLO先用三個(gè)工位場景說清它解決什么動(dòng)力電池外觀質(zhì)檢工位上一道細(xì)劃痕可能只有十幾像素寬卻要在幾百毫秒內(nèi)被抓住。人眼盯久了漏檢率會(huì)飄傳統(tǒng)視覺換一個(gè)型號(hào)的電池就要重新調(diào)參?；赮OLO的電池缺陷檢測系統(tǒng)設(shè)計(jì)核心就是把“劃痕、凹坑、臟污、極耳翻折”這些缺陷當(dāng)成目標(biāo)用檢測模型一次性給出位置和類別。它適合兩類人一類要在產(chǎn)線上快速驗(yàn)證視覺方案的現(xiàn)場工程師另一類是手里有幾百張瑕疵樣本、想拿真實(shí)工業(yè)數(shù)據(jù)練手的新手團(tuán)隊(duì)。這個(gè)方案的重點(diǎn)不是把mAP刷高而是缺陷找得準(zhǔn)、推理跟得上節(jié)拍、誤檢在現(xiàn)場可控。標(biāo)題里的.zip只是交付形態(tài)解壓后是數(shù)據(jù)轉(zhuǎn)換腳本、訓(xùn)練配置和部署推理流程不是一篇只能看的論文。2. 選型先過三個(gè)硬約束節(jié)拍、小目標(biāo)與灰度圖YOLO的邊界在哪在決定用YOLO之前我會(huì)先問三個(gè)問題一個(gè)節(jié)拍有多少時(shí)間、缺陷最小多大、現(xiàn)場成像對(duì)比度夠不夠。這三個(gè)問題直接決定模型選型和能不能落地。2.1 節(jié)拍約束產(chǎn)線一秒要檢幾張電池圖電池產(chǎn)線的視覺檢測有兩種場景離線抽檢和在線全檢。離線抽檢節(jié)拍松模型慢一些沒關(guān)系在線全檢時(shí)每個(gè)電芯經(jīng)過工位通常只有幾百毫秒相機(jī)還要分Top面和側(cè)面多個(gè)工位單張圖的推理預(yù)算往往在50毫秒以內(nèi)。這是YOLO在工業(yè)檢測里被大量采用的首要原因它在GPU上的推理延遲可控一個(gè)yolov5s或yolov8n級(jí)別的小模型640輸入下推理耗時(shí)能壓到幾十毫秒如果現(xiàn)場只有CPU就得配合ONNX Runtime做線程調(diào)優(yōu)再上INT8量化否則很難跑進(jìn)預(yù)算。這里有一個(gè)我常用的方案對(duì)比方案定位能力單幀耗時(shí)經(jīng)驗(yàn)區(qū)間換型成本適用工位傳統(tǒng)視覺閾值形態(tài)學(xué)只能判區(qū)域最快高需重調(diào)參數(shù)單一缺陷、光照恒定分類網(wǎng)絡(luò)ResNet等無快低只分好/壞無法給位置YOLO檢測框級(jí)定位GPU上毫秒級(jí)低加類別即擴(kuò)缺陷多類型缺陷、在線全檢基于Transformer的檢測框級(jí)定位一般比YOLO慢低精度要求極高、節(jié)拍寬松Transformer系檢測模型在個(gè)別缺陷上的精度有優(yōu)勢但部署生態(tài)和邊緣設(shè)備支持不如YOLO成熟節(jié)拍緊的時(shí)候基本不會(huì)選它。這也是YOLO在產(chǎn)線檢測里一直占主流的原因。2.2 小目標(biāo)缺陷YOLO比分類模型強(qiáng)在哪電池缺陷數(shù)據(jù)里最讓人頭疼的不是缺陷多而是缺陷小。以面陣相機(jī)1280×1024的圖像為例一道劃痕可能只有幾個(gè)像素寬、幾十像素長凹坑的直徑也就二十來個(gè)像素。yolo數(shù)據(jù)集里大量這樣的目標(biāo)分類模型把整張圖壓縮成特征向量再做全局池化小目標(biāo)的特征在壓縮過程中被背景稀釋最后只能輸出“有缺陷”還是“無缺陷”。在混料階段區(qū)分合格品與不良品分類模型夠用但一旦需要告訴機(jī)械手缺陷在哪個(gè)位置分類模型就沒有這個(gè)輸出能力了。YOLO把圖像劃分成網(wǎng)格每個(gè)網(wǎng)格預(yù)測若干個(gè)框再通過FPN多尺度特征融合讓小目標(biāo)的特征在上采樣路徑里被保留下來。同一張圖上yolo系列對(duì)比的差距主要體現(xiàn)在neck和head結(jié)構(gòu)設(shè)計(jì)但整體思路仍是不同尺度用不同層級(jí)特征去匹配。所以它能在幾十像素的缺陷上輸出穩(wěn)定框。選型時(shí)我關(guān)注的是體量數(shù)據(jù)量小、標(biāo)注少先選小體量版本跑通鏈路再往大模型換而不是一上來就用最大號(hào)。電池表面大多是金屬灰RGB信息對(duì)缺陷判別的貢獻(xiàn)很小真正起作用的是灰度梯度。很多產(chǎn)線相機(jī)直接輸出8位灰度圖這類圖轉(zhuǎn)成三通道喂給YOLO沒問題但要注意別做多余的色彩增強(qiáng)。訓(xùn)練時(shí)如果發(fā)現(xiàn)缺陷和背景的灰度差不大召回率會(huì)明顯掉——這不是模型問題而是成像對(duì)比度不夠優(yōu)先調(diào)光源角度而不是調(diào)模型參數(shù)。2.3 什么時(shí)候別用YOLO傳統(tǒng)視覺與分割模型的適用邊界YOLO不是萬能鑰匙。我見過不少工程師拿到新缺陷就往YOLO上套結(jié)果調(diào)參兩周不如老線上一段閾值邏輯可靠。有三條邊界值得記一下。第一個(gè)邊界是光照恒定、背景均勻、缺陷類型固定的場景。某廠只檢電池殼體上的連接片劃痕固定工位、固定光源下用灰度閾值加連通域分析一臺(tái)工控機(jī)就能跑滿節(jié)拍還不用訓(xùn)練數(shù)據(jù)。第二個(gè)邊界是需要像素級(jí)輸出時(shí)。比如漏液缺陷要按面積計(jì)算等級(jí)檢測框會(huì)把背景和缺陷混在一起面積統(tǒng)計(jì)完全對(duì)不上這時(shí)用yolo實(shí)例分割或Mask R-CNN更合適YOLO本身也提供了seg版本但標(biāo)注成本和推理耗時(shí)都會(huì)上去。第三個(gè)邊界是大圖配極小目標(biāo)。整張電池模組圖幾千像素寬缺陷只有十幾個(gè)像素直接全圖推理必然吃虧。常見做法是先切片把大圖切成若干小圖切片后再用YOLO檢測檢測框坐標(biāo)換算回原圖。切片重疊率、切片尺寸對(duì)結(jié)果影響很大這個(gè)坑后面避坑章還會(huì)展開。3. VOC標(biāo)注轉(zhuǎn)YOLO格式轉(zhuǎn)換腳本與四個(gè)邊界坑3.1 工業(yè)圖采集與壞圖清洗光線、遮擋與灰度分布有了模型選型下一步是喂數(shù)據(jù)。電池缺陷的開源數(shù)據(jù)集很少絕大多數(shù)項(xiàng)目都要現(xiàn)場自采面陣相機(jī)加環(huán)形光源或線掃相機(jī)配合傳送帶。采集環(huán)節(jié)最容易被忽略的是壞圖清洗。工業(yè)現(xiàn)場總有一部分圖像過曝、欠曝、運(yùn)動(dòng)模糊或被機(jī)械手遮擋這些圖不會(huì)讓訓(xùn)練報(bào)錯(cuò)但會(huì)拖低整套系統(tǒng)的準(zhǔn)確率。一個(gè)簡單的腳本可以先把明顯壞圖挑出來import cv2 def check_bad_image(path, min_mean40, max_mean215, min_std10): img cv2.imread(path, cv2.IMREAD_GRAYSCALE) mean img.mean() std img.std() if mean min_mean or mean max_mean or std min_std: print(f{path}: mean{mean:.1f}, std{std:.1f} - 建議復(fù)核) return img邏輯說明mean反映整體亮度過曝圖mean會(huì)接近255std反映灰度離散度一張灰蒙蒙的圖標(biāo)準(zhǔn)差很小上面的標(biāo)注大概率是臟標(biāo)簽。min_mean、min_std按現(xiàn)場光源調(diào)整我一般先統(tǒng)計(jì)50張正常圖的均值范圍再定閾值。這一步做完再把確實(shí)有缺陷的圖重新檢查標(biāo)注框是否貼合。另外如果下載來的zip壓縮包解壓時(shí)報(bào)“需要密碼”先別急著找密碼。很多這類zip是偽加密文件只是把加密標(biāo)志位置了1實(shí)際沒加密內(nèi)容。換用支持修復(fù)的工具解壓或者用命令行工具忽略標(biāo)志位即可不用去破解。這個(gè)問題在Windows自帶解壓器上最容易誤導(dǎo)人。3.2 VOC標(biāo)注轉(zhuǎn)YOLO轉(zhuǎn)換腳本與歸一化參數(shù)標(biāo)注工具常用LabelImg導(dǎo)出的是VOC格式xml。YOLO訓(xùn)練需要的是每張圖一個(gè)同名txt每行一個(gè)目標(biāo)類id加歸一化的中心x、中心y、寬、高。轉(zhuǎn)換腳本我一般這樣寫import xml.etree.ElementTree as ET from pathlib import Path def voc_to_yolo(xml_path, class_names): tree ET.parse(xml_path) root tree.getroot() size root.find(size) img_w float(size.find(width).text) img_h float(size.find(height).text) lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_names: continue cls_id class_names.index(name) bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) x_center (xmin xmax) / 2 / img_w y_center (ymin ymax) / 2 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) return lines if __name__ __main__: class_names [scratch, dent, dirty, tab_fold] xml_dir Path(annotations) out_dir Path(labels) out_dir.mkdir(exist_okTrue) for xml_file in xml_dir.glob(*.xml): lines voc_to_yolo(xml_file, class_names) if not lines: continue out_path out_dir / (xml_file.stem .txt) out_path.write_text(\n.join(lines) \n)參數(shù)說明img_w和img_h必須從xml的size塊讀取不要用外部傳入的寬高因?yàn)橛行?biāo)注工具導(dǎo)出的size是ROI尺寸而不是原圖尺寸class_names的順序就是訓(xùn)練配置文件里的names順序順序一旦錯(cuò)位訓(xùn)練loss不降卻很難排查?？諛?biāo)注的xml被continue跳過這在圖片很多時(shí)沒問題。四個(gè)邊界坑值得寫出來。一是xml里可能帶difficult字段老數(shù)據(jù)集里difficult1的困難樣本建議直接跳過或單獨(dú)作為難例集。二是bbox越界標(biāo)注時(shí)鼠標(biāo)拉框可能超出圖像邊緣導(dǎo)致w或h大于1YOLO訓(xùn)練預(yù)處理會(huì)裁掉目標(biāo)等效于漏檢轉(zhuǎn)換前要做clamp。三是xml的size和實(shí)際圖片分辨率不一致常見于標(biāo)注后圖片被批量resize過這時(shí)要按實(shí)際圖片尺寸重新歸一化。四是空txt不能亂刪一張圖沒有任何缺陷時(shí)保留空txt文件訓(xùn)練代碼遇到空文件會(huì)跳過讀取刪了txt會(huì)導(dǎo)致圖片不帶標(biāo)簽?zāi)J(rèn)落到background類別反而干擾訓(xùn)練。3.3 數(shù)據(jù)增強(qiáng)的邊界翻轉(zhuǎn)、馬賽克與缺陷消失數(shù)據(jù)增強(qiáng)是雙刃劍。馬賽克增強(qiáng)在通用目標(biāo)檢測里收益明顯對(duì)電池小目標(biāo)也有幫助因?yàn)樗阉膹垐D拼在一起等比例放大了小目標(biāo)出現(xiàn)頻次。但要注意如果單張?jiān)紙D里缺陷本來就少mosaic之后圖里可能只有一兩個(gè)目標(biāo)模型學(xué)不到正負(fù)樣本的平衡感。翻轉(zhuǎn)要分缺陷類型。水平翻轉(zhuǎn)會(huì)把左側(cè)極耳的缺陷搬到右側(cè)。如果現(xiàn)場采集時(shí)電池朝向固定翻轉(zhuǎn)后的樣本就和真實(shí)分布不一致驗(yàn)證時(shí)會(huì)掉點(diǎn)。我一般的習(xí)慣是劃痕、凹坑、臟污這類中心對(duì)稱缺陷可以開翻轉(zhuǎn)極耳翻折、焊接不良這類與結(jié)構(gòu)位置強(qiáng)相關(guān)的缺陷關(guān)掉水平翻轉(zhuǎn)。HSV增強(qiáng)里對(duì)電池場景最有價(jià)值的是亮度擾動(dòng)其次是飽和度色相擾動(dòng)完全可以關(guān)掉。有些新手直接套用COCO數(shù)據(jù)增強(qiáng)三件套結(jié)果把灰度對(duì)比度洗沒了小目標(biāo)缺陷在增強(qiáng)圖里幾乎看不見訓(xùn)練loss好看但驗(yàn)證集召回爛。4. 訓(xùn)練與調(diào)參預(yù)訓(xùn)練權(quán)重、損失函數(shù)與日志判讀4.1 預(yù)訓(xùn)練模型下載與選擇從哪個(gè)backbone起步電池缺陷數(shù)據(jù)集通常只有幾百到幾千張從頭訓(xùn)練很難收斂。常見做法是下載YOLO官方在COCO上預(yù)訓(xùn)練好的權(quán)重作為起點(diǎn)再用電池?cái)?shù)據(jù)微調(diào)。這是這套系統(tǒng)能在小數(shù)據(jù)量下跑起來的主要原因。yolo預(yù)訓(xùn)練模型下載時(shí)注意版本匹配v5和v8結(jié)構(gòu)不同不同tag的權(quán)重文件結(jié)構(gòu)也可能不同用新代碼加載舊權(quán)重會(huì)出現(xiàn)層名不匹配yolov8的權(quán)重硬塞給v5模型肯定跑不起來。版本選擇上我遵循三個(gè)原則。第一邊緣部署設(shè)備定了再選體量如果現(xiàn)場是rk3588這類邊緣盒優(yōu)先yolov8n或yolov5s模型大了NPU轉(zhuǎn)換后幀率也壓不下來如果訓(xùn)練機(jī)是v100這類數(shù)據(jù)中心卡且標(biāo)注數(shù)據(jù)在幾千張以上可以試試m或l體量。第二預(yù)訓(xùn)練權(quán)重版本要匹配代碼版本別把不同系列的權(quán)重混用。第三默認(rèn)權(quán)重本身就是一個(gè)可跑通的基線先跑通鏈路再定模型大小不要在最開始陷入調(diào)參泥潭。之前提到y(tǒng)olo環(huán)境配置的問題這里順帶說一句最好鎖一套CUDA和PyTorch版本組合Ultralytics包升級(jí)后命令行參數(shù)可能變復(fù)現(xiàn)舊實(shí)驗(yàn)時(shí)環(huán)境不一致會(huì)浪費(fèi)很多時(shí)間。4.2 訓(xùn)練命令與關(guān)鍵參數(shù)epoch、imgsz、batch、lr0的取值邏輯以Ultralytics YOLO系的命令行為例訓(xùn)練入口長這樣yolo detect train \ databattery.yaml \ modelyolov8n.pt \ imgsz1280 \ batch16 \ epochs100 \ lr00.01 \ lrf0.01 \ cacheTrue參數(shù)逐個(gè)說。imgsz對(duì)電池缺陷檢測是影響最直接的參數(shù)640下面一個(gè)小劃痕只有幾個(gè)像素經(jīng)過幾次下采樣就到特征圖邊緣召回必然受限提到1280小目標(biāo)對(duì)應(yīng)的特征格數(shù)翻倍但顯存占用和推理耗時(shí)同步上漲。我一般先用640跑通驗(yàn)證集指標(biāo)再看混淆矩陣?yán)锬念惾毕萋z再?zèng)Q定是否上1280。batch和lr0要聯(lián)動(dòng)。batch16配lr00.01是常見組合batch減到4以下BN統(tǒng)計(jì)量波動(dòng)大容易出現(xiàn)“yolo訓(xùn)練中bn崩潰”引起的loss異常。如果顯存不夠優(yōu)先降imgsz而不是無限降batch。epochs先給100讓模型能看到完整的過擬合曲線有些數(shù)據(jù)增強(qiáng)策略會(huì)在后50輪逐步關(guān)閉早停時(shí)注意保存的best.pt是否落在關(guān)增強(qiáng)之后。cacheTrue對(duì)小數(shù)據(jù)集能省不少磁盤讀時(shí)間但如果硬盤空間吃緊改成cacheram更穩(wěn)妥。這里多說一句lr0是訓(xùn)練里最玄學(xué)的參數(shù)之一。0.01是從小模型經(jīng)驗(yàn)值來的換了大模型或數(shù)據(jù)分布變了這個(gè)值不一定合適。我在電池項(xiàng)目里習(xí)慣先跑20輪看loss曲線如果前幾個(gè)epoch loss不降反升先把lr0壓到0.005或0.001再繼續(xù)。4.3 損失函數(shù)電池缺陷場景下的focal loss表現(xiàn)yolo損失函數(shù)由邊界框損失、分類損失和DFL三塊組成。分類分支默認(rèn)帶了focal loss邏輯目的是把注意力放在難分樣本上。電池缺陷檢測里最常見的困境是類別極端不平衡合格品占絕大多數(shù)某一類缺陷比如漏液可能只有幾十張。遇到這種數(shù)據(jù)我一般做兩個(gè)動(dòng)作。一是在data配置里給稀有類別設(shè)置權(quán)重讓分類損失對(duì)稀有類放大二是調(diào)整focal loss的gamma參數(shù)。v5風(fēng)格的配置里有fl_gamma默認(rèn)0表示關(guān)閉類別不平衡嚴(yán)重時(shí)我會(huì)調(diào)到1.5到2.0驗(yàn)證集上召回往往能拉回幾個(gè)點(diǎn)。注意調(diào)損失參數(shù)是正交實(shí)驗(yàn)一次只動(dòng)一個(gè)變量別和imgsz調(diào)整混在一起否則根本說不清是哪個(gè)改進(jìn)起了作用。4.4 訓(xùn)練日志判讀mAP、混淆矩陣、PR曲線訓(xùn)練結(jié)束先看三張圖mAP曲線、混淆矩陣、PR曲線。mAP50代表“框大概對(duì)就行”的得分mAP50-95對(duì)定位精度更苛刻。電池小缺陷容易出現(xiàn)mAP50高但mAP50-95低的組合這說明框的抖動(dòng)大、定位不夠精細(xì)這時(shí)候加epoch或調(diào)大imgsz比繼續(xù)調(diào)閾值有效。混淆矩陣是現(xiàn)場驗(yàn)收前必看的圖。很多人會(huì)注意到一個(gè)現(xiàn)象yolo混淆矩陣總合不唯一行或列加起來和驗(yàn)證集數(shù)量對(duì)不上。這是正常的一個(gè)真實(shí)框可能被多個(gè)預(yù)測框同時(shí)命中一個(gè)預(yù)測框在NMS沒做干凈時(shí)也會(huì)對(duì)應(yīng)兩個(gè)真實(shí)框還有一部分預(yù)測落在背景列里背景類也算一格?？椿煜仃嚂r(shí)重點(diǎn)看主對(duì)角線以及哪類缺陷的誤檢最多落在背景上而不是去死磕數(shù)字求和。要評(píng)估漏檢看每類的召回和PR曲線比加總混淆矩陣更直觀。5. 五個(gè)電池缺陷檢測的常見坑從loss崩潰到部署掉速下面的問題我在電池項(xiàng)目的不同階段都踩過每一條按現(xiàn)象、原因、解決來寫。5.1 現(xiàn)象loss在十幾個(gè)epoch內(nèi)變成NaN訓(xùn)練直接翻車原因最常見是學(xué)習(xí)率偏大加batch太小梯度在某一步爆炸其次是標(biāo)注文件里出現(xiàn)w或h大于1的越界框預(yù)處理在縮放時(shí)產(chǎn)生異常值還有一類是預(yù)訓(xùn)練權(quán)重層名與當(dāng)前模型結(jié)構(gòu)不匹配加載時(shí)報(bào)錯(cuò)但你用了ignore繼續(xù)跑。解決先把lr0壓到0.001跑一輪確認(rèn)曲線能下降再調(diào)回去寫個(gè)腳本檢查所有txt里寬高的最大值超過1的先修正換用官方發(fā)布的最新tag權(quán)重重新開始。另外注意清掉runs目錄下的舊緩存文件緩存損壞有時(shí)比模型問題更隱蔽。我吃過一次虧后養(yǎng)成習(xí)慣凡是復(fù)現(xiàn)不了的問題先把緩存放一邊從干凈狀態(tài)重新跑。5.2 現(xiàn)象驗(yàn)證集里幾十像素的劃痕幾乎全漏檢召回率只有三成原因第一個(gè)嫌疑是imgsz太小小目標(biāo)特征在深層特征圖里丟失第二個(gè)是劃痕長寬比極端預(yù)設(shè)anchor與目標(biāo)匹配度低第三個(gè)是該類樣本太少模型偏置到了背景。解決imgsz提到1280再復(fù)測給劃痕類補(bǔ)標(biāo)樣本至少湊到幾百張訓(xùn)練配置里開anchor自動(dòng)聚類讓先驗(yàn)框適應(yīng)極端長寬比。另外可以用切片推理在部署環(huán)節(jié)把大圖切成小塊檢測再把坐標(biāo)拼回原圖能明顯救回小目標(biāo)。切片尺寸一般取640或1280重疊率留20%到30%防止缺陷正好落在切片邊界被截成兩半。5.3 現(xiàn)象yolo混淆矩陣總合不唯一列加起來和驗(yàn)證集數(shù)量對(duì)不上原因混淆矩陣的統(tǒng)計(jì)口徑不是按圖像而是按目標(biāo)框。一張圖里有三個(gè)真實(shí)缺陷就有三格的計(jì)數(shù)如果這個(gè)真實(shí)框被兩個(gè)預(yù)測框都命中在預(yù)測框到真實(shí)框的方向上會(huì)貢獻(xiàn)兩個(gè)TP。NMS沒有去重、置信度閾值不同都會(huì)讓數(shù)字看起來“多余”。解決固定驗(yàn)證集劃分不要每次換隨機(jī)種子統(tǒng)計(jì)時(shí)統(tǒng)一指定confidence閾值別只看默認(rèn)圖要評(píng)估漏檢看每類的召回和PR曲線而不是加總混淆矩陣。做實(shí)驗(yàn)記錄時(shí)每次訓(xùn)練用同一個(gè)驗(yàn)證集和同一個(gè)閾值指標(biāo)才有可比性。5.4 現(xiàn)象GPU上30ms一幀部署在rk3588上變成200ms節(jié)拍壓不住原因模型在GPU上的基準(zhǔn)不代表邊緣設(shè)備表現(xiàn)。輸入imgsz1280時(shí)NPU算力直接吃滿fp32模型推理比int8慢更常見的是沒有把ONNX轉(zhuǎn)成rk3588需要的rknn格式實(shí)際跑的是CPU回退幾個(gè)小時(shí)都調(diào)不好。解決邊緣設(shè)備部署走完整鏈路pt先導(dǎo)出ONNX再用RKNN工具鏈轉(zhuǎn)成rknn優(yōu)先int8量化。如果量化后召回掉太多嘗試只量化部分層或者用更多校準(zhǔn)圖參與量化。模型體量換回yolov8n輸入尺寸降到640用小模型重新校準(zhǔn)。推理速度永遠(yuǎn)以現(xiàn)場demo為準(zhǔn)別信GPU上的數(shù)字。5.5 現(xiàn)象現(xiàn)場誤檢率高極耳反光被識(shí)別成劃痕原因電池金屬表面弧面高光在灰度圖上和劃痕很像訓(xùn)練數(shù)據(jù)里正樣本多、高反光負(fù)樣本少模型學(xué)到的“劃痕”其實(shí)包含了“高灰度梯度區(qū)域”。解決采集環(huán)節(jié)在鏡頭前加偏振片把鏡面反射壓下去數(shù)據(jù)環(huán)節(jié)補(bǔ)拍一批高反光滑亮部位作為背景樣本讓模型見過長得很像劃痕但不是缺陷的東西后處理環(huán)節(jié)對(duì)極耳等固定ROI區(qū)域單獨(dú)控制置信度比如極耳區(qū)域的置信度閾值比其他區(qū)域提高0.1。這一條能快速壓掉現(xiàn)場誤報(bào)但根子還是在數(shù)據(jù)別只靠后處理打補(bǔ)丁。6. 進(jìn)階校準(zhǔn)閾值掃描與誤檢分類把誤檢壓下去6.1 固定驗(yàn)證集先做閾值掃描現(xiàn)場驗(yàn)收最有效的動(dòng)作不是繼續(xù)調(diào)訓(xùn)練參數(shù)而是在固定驗(yàn)證集上做一次置信度閾值掃描。YOLO部署時(shí)有兩個(gè)閾值置信度conf和NMS的iou。默認(rèn)conf0.25偏向召回現(xiàn)場誤檢率高時(shí)把conf提到0.4甚至0.5漏檢又會(huì)抬頭。正確做法是def scan_threshold(results, conf_rangerange(10, 100, 5)): best None for conf in conf_range: p, r, f1 evaluate_at_conf(results, conf / 100) if best is None or f1 best[1]: best (conf / 100, f1, p, r) return best說明evaluate_at_conf在驗(yàn)證集上按指定置信度統(tǒng)計(jì)precision和recall選f1最高的點(diǎn)作為部署初值。這個(gè)掃描每次訓(xùn)練都要做因?yàn)槟Ｐ头植紩?huì)隨epoch移動(dòng)。掃描時(shí)把漏檢代價(jià)也考慮進(jìn)去電池缺陷漏檢比誤檢嚴(yán)重所以我會(huì)在f1接近時(shí)偏向召回更高的閾值而不是機(jī)械地選f1最大點(diǎn)。6.2 現(xiàn)場誤檢分類不是所有FP都該調(diào)閾值如果掃描后誤檢仍頂著把FP框?qū)С鰜砜匆豢词菢O耳反光是焊縫紋理還是標(biāo)錯(cuò)的真缺陷極耳反光這類結(jié)構(gòu)性強(qiáng)誤檢用ROI后處理去掉灰度紋理類誤檢則回到數(shù)據(jù)補(bǔ)難例。閾值只是最后一道閥門不能替代訓(xùn)練階段的難例挖掘。我現(xiàn)在每訓(xùn)完一個(gè)版本固定驗(yàn)證集掃描一次閾值把結(jié)果記進(jìn)實(shí)驗(yàn)表再上現(xiàn)場現(xiàn)場反饋新誤檢類型時(shí)先看是不是數(shù)據(jù)里沒有的紋理再?zèng)Q定改閾值還是補(bǔ)樣本。這個(gè)習(xí)慣幫我少跑了很多趟現(xiàn)場。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取