簡(jiǎn)介資源包圍繞基于Vision Transformer的圖像去霧算法提供完整Python源碼、預(yù)訓(xùn)練權(quán)重與使用說明適用于具備一定深度學(xué)習(xí)基礎(chǔ)、希望復(fù)現(xiàn)并繼續(xù)訓(xùn)練去霧模型的研究者或工程師。包內(nèi)共340個(gè)文件約156.34MB主體為204個(gè)py腳本涵蓋模型構(gòu)建、訓(xùn)練與推理流程另有yaml配置文件、csv訓(xùn)練日志、ipynb演示筆記、png/gif圖示及說明文檔等便于按目錄檢索和二次開發(fā)。option.py集中管理訓(xùn)練參數(shù)例如--train_ps可設(shè)置輸入patch大小--pretrain_weights可指定預(yù)訓(xùn)練權(quán)重路徑方便按數(shù)據(jù)集切換模型。資源還包含損失景觀等csv數(shù)據(jù)及多個(gè)演示圖可輔助理解訓(xùn)練過程與損失變化同時(shí)提供預(yù)訓(xùn)練權(quán)重和項(xiàng)目介紹包內(nèi)另含多個(gè)按數(shù)據(jù)集劃分的預(yù)訓(xùn)練權(quán)重目錄省去自行訓(xùn)練的前置時(shí)間能明顯降低環(huán)境搭建與調(diào)參門檻。已有468人學(xué)習(xí)下載適合用于課程設(shè)計(jì)、算法對(duì)比或科研復(fù)現(xiàn)。1. 基于 Vision Transformer 的圖像去霧算法從“看不清”到能跑通的 Python 工程監(jiān)控、自動(dòng)駕駛和戶外視覺設(shè)備在霧天拍出來的圖像暴露的不只是“模糊”對(duì)比度被壓到很低遠(yuǎn)景細(xì)節(jié)直接丟失天空部分一片灰白。用暗通道先驗(yàn)這類經(jīng)典手段去霧近景小圖看還行一碰到大片天空和空間變化的霧就很容易出現(xiàn)偏色和光暈?；?Vision Transformer 的圖像去霧算法把去霧當(dāng)成一個(gè)全局建模問題用自注意力抓取霧在空間上的分布在 RESIDE 這類基準(zhǔn)上的 PSNR 明顯高出傳統(tǒng)方法一截。這套 Python 源碼的價(jià)值是給出了一個(gè)從數(shù)據(jù)準(zhǔn)備、訓(xùn)練到指標(biāo)評(píng)估的完整閉環(huán)適合剛?cè)胧秩レF方向的研究生復(fù)現(xiàn) baseline也適合做視覺工程的工程師改骨干網(wǎng)絡(luò)、改損失函數(shù)并遷移到自己的數(shù)據(jù)上。2. 為什么去霧要選 Vision Transformer物理模型與全局建模的取舍2.1 從暗通道先驗(yàn)到大氣散射模型物理先驗(yàn)的瓶頸圖像去霧問題的起點(diǎn)不是神經(jīng)網(wǎng)絡(luò)而是大氣散射模型這是后續(xù)所有算法繞不開的物理基礎(chǔ)。一張有霧圖像 I 可以描述為清晰輻射圖 J、全局大氣光 A 和透射率圖 t 的組合I(x)J(x)t(x)A(1-t(x))。去霧最樸素的思路是把 A 和 t 估計(jì)出來再用這個(gè)公式反解出 J。暗通道先驗(yàn)DCP是這一類方法的代表它觀察到一個(gè)統(tǒng)計(jì)規(guī)律在圖像大多數(shù)局部塊里至少有一個(gè)顏色通道的強(qiáng)度非常低一旦有霧這個(gè)通道會(huì)被大氣光托高暗通道的最小值就不再接近零。暗通道先驗(yàn)的透射率估計(jì)公式可以寫成 t(x)1-ω·min_c(min_{y∈Ω(x)} I_c(y)/A_c)其中 Ω 是局部塊ω 通常取 0.95用來保留少量霧以維持景深真實(shí)感。這個(gè)公式把全局大氣光 A 當(dāng)作已知常量實(shí)際估計(jì) A 時(shí)又常常直接取暗通道中最亮的那部分像素于是近景出現(xiàn)大塊亮色物體時(shí)t 會(huì)被低估去霧圖隨之偏暗。引導(dǎo)濾波雖然能把邊緣修得干凈但“局部塊內(nèi)霧均勻”的假設(shè)沒有變本質(zhì)矛盾并沒有被解決。DCP 的失效模式也因此非常明確遇到大片天空、白色物體、或遠(yuǎn)景連成一片的濃霧時(shí)“局部塊里至少一個(gè)通道強(qiáng)度低”的假設(shè)不再成立估出來的透射率就是錯(cuò)的最終結(jié)果圖上出現(xiàn)明顯偏色和塊狀偽影。這也是從業(yè)者把 DCP 定位成“能出圖、難落地”的原因。更進(jìn)一步看CNN 架構(gòu)也不是不能做去霧像 AOD-Net 這類輕量模型在低分辨率下表現(xiàn)并不差但卷積本質(zhì)上是局部算子要獲得全局上下文只能靠加深網(wǎng)絡(luò)和擴(kuò)大感受野參數(shù)量和推理延遲都上去了對(duì)霧這種空間連續(xù)變化的退化來說效率遠(yuǎn)不如自注意力直接建立長(zhǎng)距離依賴。提示合成數(shù)據(jù)集里的霧通常按 te^{-βd} 渲染β 是散射系數(shù)d 是場(chǎng)景深度。同一張清晰圖可以生成多張不同濃度的霧圖這也是 RESIDE 里一張清晰圖對(duì)應(yīng)多個(gè)霧圖文件名的原因。2.2 ViT 的 Patch Embedding 與自注意力如何提取霧的分布Vision Transformer 的輸入處理流程比 CNN 直接把一張 H×W×3 的圖切成 N 個(gè) P×P×3 的 patch每個(gè) patch 展平后過線性投影變成 embedding再疊加位置編碼送入 Transformer 編碼器。這里的 P 是 patch size是全局建模能力與計(jì)算開銷的核心平衡點(diǎn)。patch 切得越小序列長(zhǎng)度 NHW/P2 越長(zhǎng)自注意力復(fù)雜度按 O(N2·d) 上漲顯存開銷跟著暴漲patch 切得越大序列短了、計(jì)算省了但小尺度細(xì)節(jié)在 patch 內(nèi)部被直接平均掉去霧結(jié)果容易出現(xiàn)紋理模糊。多頭自注意力會(huì)把每個(gè) embedding 分別映射成 query、key、value用點(diǎn)積計(jì)算每個(gè) patch 與所有 patch 的相關(guān)性再按權(quán)重聚合全局信息。這個(gè)機(jī)制讓模型在淺層就有能力把遠(yuǎn)處的霧和近處明顯未受霧影響的路面關(guān)聯(lián)起來而不是等深層卷積慢慢把感受野撐大。位置編碼給每個(gè) patch 補(bǔ)上它在原圖中的空間坐標(biāo)信息相對(duì)位置編碼比絕對(duì)位置編碼更適合圖像恢復(fù)任務(wù)Swin Transformer 主要使用相對(duì)位置偏移這也是它在去霧任務(wù)上比原版 ViT 更容易收斂的原因之一。圖像去霧落地時(shí)純 ViT 其實(shí)不是最常用的選擇。多數(shù)工程實(shí)現(xiàn)會(huì)用 Swin Transformer 這類帶窗口注意力的變體自注意力只在局部窗口內(nèi)計(jì)算再用移位窗口做跨窗口信息交互復(fù)雜度被壓回與圖像尺寸近似線性同時(shí)保留長(zhǎng)距離建模能力。不少去霧開源項(xiàng)目標(biāo)題寫 ViT實(shí)際骨干是 Swin 或其變形這不算偷換概念Transformer 家族解決的是同一個(gè)問題讓每個(gè)輸出位置的預(yù)測(cè)都能看到全圖范圍的上下文。patch size 的選擇要結(jié)合輸入分辨率一起看常見做法是在 256×256 輸入上用 patch_size4 或 8在 512×512 輸入上用 14 或 16。顯存不夠時(shí)先降 batch size再考慮提高 patch size不要一上來就把輸入縮到 128×128——霧的細(xì)節(jié)被壓掉模型會(huì)把“模糊”和“霧”一起學(xué)進(jìn)去。2.3 去霧任務(wù)建模透射率圖回歸 vs 端到端清晰圖重建使用 ViT 做去霧時(shí)模型輸出層決定了整個(gè)訓(xùn)練目標(biāo)這個(gè)選擇直接影響損失函數(shù)設(shè)計(jì)和最終視覺質(zhì)量。第一種是透射率圖回歸模型輸出一張 t 圖配合全局估計(jì)的大氣光 A再用大氣散射模型反解出清晰圖。這類方法物理可解釋但 A 的估計(jì)誤差會(huì)被放大到整張圖上而且 t 圖真值只在合成數(shù)據(jù)里容易獲取真實(shí)霧圖沒有 t 的標(biāo)簽。第二種是端到端清晰圖重建模型直接輸出 J用 L1、感知損失、SSIM 損失聯(lián)合約束工程上它是主流因?yàn)槔@開了 t 真值問題網(wǎng)絡(luò)也能把“去霧”和“細(xì)節(jié)重建”一步完成。選型上不要盲目跟風(fēng)。數(shù)據(jù)集里只有霧圖和清晰圖對(duì)時(shí)端到端重建最省事、實(shí)踐中也最穩(wěn)。未來要做無人機(jī)、遙感這類有高度或深度先驗(yàn)的場(chǎng)景透射率回歸的可解釋性更值得保留t 圖可以進(jìn)一步轉(zhuǎn)換成能見度估計(jì)服務(wù)后續(xù)決策。兩類建模方式的差異可以匯總成一張選擇表對(duì)比項(xiàng)透射率圖回歸端到端清晰圖重建主要監(jiān)督信號(hào)需要 t 圖真值只需要清晰圖物理可解釋性強(qiáng)t 可轉(zhuǎn)能見度弱內(nèi)部表達(dá)隱式真實(shí)霧圖適配很難獲得 t 真值更直接后端模塊需額外估計(jì) A一步到位常見輸出頭sigmoid 限制到 01tanh 或線性加 clamp在這個(gè)表的基礎(chǔ)上輸出頭設(shè)計(jì)也要跟著變。透射率回歸路線常用 sigmoid 把輸出限制在 01端到端重建路線可選 tanh 或線性加 clamp配合殘差連接讓網(wǎng)絡(luò)更容易擬合高頻細(xì)節(jié)。很多實(shí)現(xiàn)會(huì)把兩者結(jié)合解碼器同時(shí)輸出 t 圖和殘差圖再通過一個(gè)可微的大氣散射層合成最終結(jié)果物理約束和端到端訓(xùn)練兩不誤代價(jià)是結(jié)構(gòu)更復(fù)雜、收斂更慢。損失函數(shù)不能拍腦袋。只用 L1 或 L2輸出容易被平滑只加感知損失紋理會(huì)被往訓(xùn)練數(shù)據(jù)集的風(fēng)格上帶。我一般用 L1 0.1×perceptual 0.05×SSIM 作為起點(diǎn)已經(jīng)夠穩(wěn)。先把收斂曲線跑穩(wěn)再在驗(yàn)證集上調(diào)權(quán)重才有可比性。3. 用 Python 源碼跑通 ViT 去霧數(shù)據(jù)集、訓(xùn)練命令與推理評(píng)估3.1 數(shù)據(jù)集準(zhǔn)備RESIDE 的目錄結(jié)構(gòu)與 Dataloader 約定RESIDE 是去霧方向被引用最多的基準(zhǔn)數(shù)據(jù)集這套源碼的訓(xùn)練和評(píng)估基本圍繞它展開。常見做法是把 ITS室內(nèi)訓(xùn)練子集和 OTS室外訓(xùn)練子集解壓后整理成統(tǒng)一目錄結(jié)構(gòu)data 下分 hazy 和 clear 兩個(gè)文件夾文件名一一對(duì)應(yīng)。合成霧數(shù)據(jù)集的命名通常帶生成參數(shù)比如 0001_0.8_0.2.png 表示清晰圖 0001 在特定散射系數(shù)和方向參數(shù)下生成的霧圖Dataloader 要能從霧圖文件名反推出清晰圖文件名。data/RESIDE/ ├── ITS_train/ │ ├── hazy/ # 有霧輸入圖如 0001_0.8_0.2.png │ └── clear/ # 清晰參考圖如 0001.png └── SOTS_test/ ├── hazy/ └── clear/Dataloader 的寫法不復(fù)雜但文件名配對(duì)邏輯必須和數(shù)據(jù)集命名一致。下面這段是這類項(xiàng)目里最常見的 Dataset 實(shí)現(xiàn)import os from PIL import Image from torch.utils.data import Dataset class DehazeDataset(Dataset): def __init__(self, root, transformNone): self.hazy_dir os.path.join(root, hazy) self.clear_dir os.path.join(root, clear) self.hazy_names sorted(os.listdir(self.hazy_dir)) self.transform transform def __len__(self): return len(self.hazy_names) def __getitem__(self, idx): hazy_name self.hazy_names[idx] hazy_path os.path.join(self.hazy_dir, hazy_name) # 從霧圖文件名反推清晰圖文件名 clear_name hazy_name.split(_)[0] .png clear_path os.path.join(self.clear_dir, clear_name) hazy Image.open(hazy_path).convert(RGB) clear Image.open(clear_path).convert(RGB) if self.transform: hazy, clear self.transform([hazy, clear]) return hazy, clear這段代碼的關(guān)鍵在于 clear_name 的推導(dǎo)hazy_name.split(_)[0] 取出清晰圖的基準(zhǔn)文件名再補(bǔ)上 .png 后綴霧圖和清晰圖的配對(duì)就成立了。注意這里假設(shè)清晰圖文件名不帶下劃線如果你的數(shù)據(jù)集命名規(guī)則不同這段邏輯要跟著改。很多訓(xùn)練跑了一半才發(fā)現(xiàn)圖片配錯(cuò)的情況都是因?yàn)檫@個(gè)簡(jiǎn)單的推導(dǎo)沒對(duì)準(zhǔn)數(shù)據(jù)集命名所以拿到任何新數(shù)據(jù)集時(shí)第一件事是打印幾個(gè)樣本檢查 hazy 和 clear 是否真的對(duì)應(yīng)。如果你卡在環(huán)境配置這一步常見做法是先建一個(gè) python 3.9 的虛擬環(huán)境再安裝依賴多數(shù)基于 PyTorch 的 ViT 去霧項(xiàng)目對(duì) python 版本沒有強(qiáng)制要求3.8 到 3.10 都能跑但建議別直接在系統(tǒng)環(huán)境里裝項(xiàng)目之間依賴打架會(huì)浪費(fèi)一晚上。3.2 訓(xùn)練命令與核心超參數(shù)batch size、patch size、學(xué)習(xí)率訓(xùn)練入口一般是 train.py用 argparse 接收超參數(shù)。不同版本的項(xiàng)目參數(shù)名會(huì)略有差異比如混合精度有的腳本叫 --amp有的叫 --use_amp但下面幾個(gè)核心項(xiàng)幾乎每個(gè) ViT 去霧訓(xùn)練腳本里都有。以常見的 Swin 骨干為例一個(gè)能起步的配置大概是python train.py \ --model swin_v2 \ --data_dir data/RESIDE/ITS_train \ --patch_size 14 \ --batch_size 8 \ --lr 1e-4 \ --weight_decay 0.01 \ --use_amp \ --epochs 300 \ --exp_name dehaze_swin_v2逐項(xiàng)說下--model 指定骨干網(wǎng)絡(luò)swin_v2 指帶相對(duì)位置編碼的 Swin 變體--patch_size 14 是 Swin 在視覺任務(wù)里的常用配置patch 越大顯存越省但細(xì)節(jié)損失越多--batch_size 8 是在 8GB 顯存和 256×256 輸入下的穩(wěn)妥值--lr 1e-4 配合 warmup 使用Transformer 類模型對(duì)學(xué)習(xí)率比 CNN 敏感直接上 1e-3 大概率在訓(xùn)練初期就把 loss 沖亂--use_amp 開啟自動(dòng)混合精度能省大約 30%40% 顯存代價(jià)是偶爾驗(yàn)證階段出現(xiàn)輕微波動(dòng)只要不 NaN 問題不大。300 個(gè) epoch 看起來多但對(duì)合成霧數(shù)據(jù)集來說并不夸張。ViT 去霧模型通常在前 50 個(gè) epoch 快速收斂后面進(jìn)入平臺(tái)期PSNR 每 20 個(gè) epoch 可能只漲 0.1 到 0.2 dB。訓(xùn)練過程中建議每個(gè) epoch 保存一次 checkpoint并記錄驗(yàn)證集上最優(yōu) PSNR 對(duì)應(yīng)的權(quán)重這個(gè) best_psnr.pth 就是后續(xù)推理要用的文件。訓(xùn)練日志里的 PSNR 是訓(xùn)練集上的不能替代驗(yàn)證集指標(biāo)兩個(gè)數(shù)之間的差距過大說明出現(xiàn)過擬合需要加數(shù)據(jù)增強(qiáng)或調(diào)大權(quán)重衰減。3.3 測(cè)試與評(píng)估加載權(quán)重、輸出去霧圖、計(jì)算 PSNR/SSIM訓(xùn)練完成后使用說明里最該寫清楚的是推理腳本。下面是用訓(xùn)練好的 checkpoint 對(duì)單張霧圖做推理的標(biāo)準(zhǔn)流程import torch from PIL import Image from models import build_model model build_model(model_nameswin_v2, in_channels3) checkpoint torch.load(checkpoints/best_psnr.pth, map_locationcpu) model.load_state_dict(checkpoint[state_dict]) model.eval().cuda() hazy load_image(data/RESIDE/SOTS_test/hazy/0001_0.8_0.2.png) with torch.no_grad(): pred model(hazy.unsqueeze(0).cuda()).clamp(0, 1) # 從 0-1 浮點(diǎn)轉(zhuǎn)回 uint8 并保存 out (pred.squeeze(0).permute(1, 2, 0).cpu().numpy() * 255).astype(uint8) Image.fromarray(out).save(result_0001.png)load_state_dict 之前要確認(rèn) checkpoint 里保存的鍵名。有的訓(xùn)練腳本保存的是 model.state_dict()有的保存的是整段字典 {state_dict: ..., epoch: ..., best_psnr: ...}兩者加載方式不一樣報(bào) missing keys 或 unexpected keys 時(shí)先檢查這里。clamp(0, 1) 是必須的模型輸出可能落在 [0,1] 之外不 clamp 直接存圖會(huì)出現(xiàn)異常亮斑。評(píng)估指標(biāo)用下面兩個(gè)函數(shù)即可不必引入重型框架import numpy as np def psnr(img1, img2): # 輸入為 uint8 的 RGB 圖范圍 0-255 mse np.mean((img1.astype(np.float64) - img2.astype(np.float64)) ** 2) if mse 0: return float(inf) return 10 * np.log10(255.0 ** 2 / mse) # 建議直接使用 skimage 的 SSIM from skimage.metrics import structural_similarity as ssim計(jì)算 PSNR 前去霧圖和真值圖像素必須嚴(yán)格對(duì)齊裁邊、縮放、通道順序不一致都會(huì)讓指標(biāo)失真。SSIM 直接調(diào) skimage 實(shí)現(xiàn)注意指定 win_size 和 data_range。skimage 不同版本對(duì) data_range 的默認(rèn)值不一致升了版本后指標(biāo)會(huì)變這是很多人對(duì)比結(jié)果時(shí)發(fā)現(xiàn)數(shù)字和論文對(duì)不上的原因之一。3.4 推理新數(shù)據(jù)的邊界模型工作范圍與輸入約束把模型用到來路不明的真實(shí)霧圖之前先確認(rèn)幾個(gè)邊界條件。首先是輸入分辨率ViT 的 patch embedding 要求輸入尺寸能被 patch size 整除否則序列長(zhǎng)度不對(duì)前向傳播直接報(bào)維度錯(cuò)誤。處理辦法是把輸入縮放到 patch size 的整數(shù)倍比如 patch_size14 時(shí)輸入可以是 224、280、336 這些 14 的倍數(shù)。其次是通道數(shù)模型如果在 RGB 三通道上訓(xùn)練灰度圖直接喂進(jìn)去會(huì)報(bào)錯(cuò)或出現(xiàn)奇怪偏色統(tǒng)一用 convert(RGB) 轉(zhuǎn)一下再進(jìn)模型。最后是圖像來源監(jiān)控視頻抽幀和單張照片是兩回事視頻幀帶噪聲模型在合成霧圖上沒訓(xùn)練過噪聲退化直接推理會(huì)連噪聲一起放大。實(shí)時(shí)性也要提前評(píng)估。Swin 骨干的 ViT 去霧模型在 512×512 圖上單張 RTX 3090 推理大約幾十毫秒具體依賴 patch size 和模型層數(shù)。如果目標(biāo)是嵌入式設(shè)備或視頻流需要先用 ONNX 或 TensorRT 導(dǎo)出并壓測(cè)不要指望 Python 原版推理腳本直接扛住線上流量。源碼加使用說明的意義不在于把一切邊界都說死而是讓你在跑通之前先知道哪一步最容易出問題。4. 訓(xùn)練 ViT 去霧的 5 個(gè)避坑記錄從顯存溢出到真實(shí)霧圖翻車這一章每條記錄按“現(xiàn)象 → 原因 → 解決”組織都是跑 ViT 去霧時(shí)容易碰到的工程問題。4.1 顯存溢出patch size、batch size 與混合精度的組合拳現(xiàn)象訓(xùn)練剛開始第一個(gè) batch 還沒走完直接報(bào) CUDA out of memory有時(shí)連數(shù)據(jù)加載階段就崩了。256×256 輸入下patch_size4 的 ViT 即使 batch_size4 也能吃滿 8GB 顯存換成 patch_size14、batch_size812GB 顯存未必扛得住。原因ViT 的自注意力矩陣和中間激活對(duì)顯存的需求隨序列長(zhǎng)度平方增長(zhǎng)。patch 切得越小序列越長(zhǎng)顯存占用漲得越快。CNN 時(shí)代能把 batch_size 拉到 32 的習(xí)慣在這里完全不適用。解決優(yōu)先開啟混合精度顯存能省約三成再把 batch_size 降到 4 或 2配合梯度累積模擬較大 batch最后才考慮調(diào)大 patch size。如果 swap 掉 patch_size 后依然溢出剪掉最后一層 Transformer block 或減少 attention head 數(shù)比縮輸入分辨率對(duì)最終效果的影響更小。顯存優(yōu)化的順序應(yīng)是降 batch → 混合精度 → 調(diào)大 patch → 減少層數(shù)不要一上來就縮輸入尺寸。4.2 損失為 NaN學(xué)習(xí)率、權(quán)重衰減與梯度裁剪現(xiàn)象訓(xùn)練到第幾十個(gè) iterationloss 突然變 NaN之后一直 NaNcheckpoint 被污染重新加載就得從頭開始。原因最常見是學(xué)習(xí)率過大導(dǎo)致梯度爆炸Transformer 對(duì)學(xué)習(xí)率敏感1e-3 以上的初始學(xué)習(xí)率很容易讓 attention 的 softmax 在反向傳播時(shí)溢出。其次是混合精度下 loss 數(shù)值范圍過大梯度縮放到 fp16 時(shí)溢出為 inf繼續(xù)回傳就變成 NaN。第三個(gè)隱蔽來源是 AdamW 的 weight_decay 設(shè)得過大配合大 lr 在正則化項(xiàng)上出現(xiàn)數(shù)值不穩(wěn)。解決把初始學(xué)習(xí)率壓到 1e-4 級(jí)別加線性 warmup讓模型在前 5 個(gè) epoch 從小學(xué)習(xí)率起爬混合精度訓(xùn)練時(shí)檢查是否漏了 GradScaler 縮放再加全局梯度裁剪max_norm 設(shè)在 1.0 到 2.0 之間。排查時(shí)先關(guān)掉 AMP 跑 100 個(gè) iteration如果不再 NaN焦點(diǎn)放在混合精度處理上如果仍然 NaN再查學(xué)習(xí)率和數(shù)據(jù)里是否包含 NaN 像素。4.3 合成霧效果好、真實(shí)霧圖翻車域差距與微調(diào)策略現(xiàn)象模型在 SOTS 測(cè)試集上 PSNR 28 dB、SSIM 0.88 這類常見水平拿攝像頭在霧天拍的真實(shí)圖一測(cè)輸出發(fā)灰、去霧不徹底甚至出現(xiàn)偽影。這是把合成驗(yàn)證與真實(shí)場(chǎng)景混為一談的典型教訓(xùn)。原因RESIDE 的合成霧是用大氣散射模型渲染出來的霧的空間分布均勻、光照路徑單一真實(shí)霧天還有大氣湍流、傳感器噪聲、非均勻霧層和復(fù)雜光照合成數(shù)據(jù)學(xué)到的映射在真實(shí)域里不完全成立。解決收集幾十張真實(shí)霧圖加載預(yù)訓(xùn)練權(quán)重在真實(shí)數(shù)據(jù)上做短周期微調(diào)學(xué)習(xí)率降到 1e-5訓(xùn)練 1020 個(gè) epoch。如果真實(shí)清晰圖不可得用無參考評(píng)估指標(biāo)挑選輸出質(zhì)量高的樣本做偽標(biāo)簽再拿偽標(biāo)簽微調(diào)。更實(shí)用的方案是訓(xùn)練時(shí)加入域隨機(jī)化對(duì)霧圖做隨機(jī)亮度、色溫、噪聲擾動(dòng)提升模型對(duì)真實(shí)分布的容忍度。真實(shí)霧圖翻車不是 ViT 一個(gè)模型的問題任何在合成域訓(xùn)練的去霧模型都會(huì)遇到關(guān)鍵不要把驗(yàn)證集全部寄托在 SOTS 上。4.4 Windows 路徑分隔符與 checkpoint 加載失敗現(xiàn)象Windows 上訓(xùn)練完換一臺(tái) Windows 機(jī)器推理torch.load 沒問題但 load_state_dict 報(bào) unexpected keys或者代碼把 checkpoint 路徑寫死成帶反斜杠的絕對(duì)路徑項(xiàng)目一遷移到 Linux 就加載失敗。原因Dataloader 或腳本里硬編碼了 “/” 拼接路徑Windows 下混用分隔符導(dǎo)致路徑不存在checkpoint 的 state_dict 鍵名帶路徑前綴換機(jī)器后鍵名對(duì)不上還有的清單文件保存了絕對(duì)路徑換目錄后全部失效。解決統(tǒng)一用 os.path.join 或 pathlib.Path 拼接路徑手寫字符串加 “/” 的習(xí)慣改掉訓(xùn)練腳本固定用相對(duì)路徑保存 checkpoint 前綴不要把機(jī)器的絕對(duì)路徑寫進(jìn)文件。加載權(quán)重時(shí)遇到 unexpected keys先打印 state_dict 的前幾個(gè)鍵和模型當(dāng)前鍵名做對(duì)比常見是模塊前綴不一致去掉前綴再重載即可。4.5 輸出圖像偏灰或偏暗歸一化、clip 與評(píng)估口徑現(xiàn)象去霧結(jié)果輪廓清晰、霧也去掉了但整張圖灰蒙蒙或暗部細(xì)節(jié)被壓死同時(shí) PSNR 分?jǐn)?shù)并不低讓人以為是自己眼睛出了問題。原因模型輸出范圍與保存圖片時(shí)的預(yù)期范圍不一致。比如輸出沒有經(jīng)過 sigmoid 或 clamp預(yù)測(cè)值落在 [-1,1]被直接當(dāng) [0,1] 存圖整體偏灰或者訓(xùn)練時(shí)輸入除以 255 歸一化到 [0,1]推理時(shí)忘了做同樣處理輸入范圍變成 [0,255]輸出也跟著偏移。評(píng)估 PSNR 時(shí)真值轉(zhuǎn)成 uint8 而預(yù)測(cè)值還是 [0,1] 浮點(diǎn)范圍對(duì)不上指標(biāo)也會(huì)虛高或虛低。解決統(tǒng)一規(guī)范化路徑訓(xùn)練和推理都用除以 255 歸一化模型輸出經(jīng) sigmoid 或 clamp 后再乘 255 存圖評(píng)估時(shí)確保兩張圖都轉(zhuǎn)成相同位深再計(jì)算。調(diào)模型之前先打印預(yù)測(cè)輸出的 min、max 和均值這個(gè)動(dòng)作能省下一個(gè)下午的 debug 時(shí)間。圖像偏灰很多時(shí)候不是模型質(zhì)量問題而是數(shù)據(jù)前后處理不一致先查這個(gè)再動(dòng) loss。5. 從評(píng)估到落地PSNR/SSIM 的局限與三種進(jìn)階驗(yàn)證技巧先別只信 PSNR 和 SSIM 這兩個(gè)數(shù)字。它們只能衡量合成域的像素一致性不能完全代表真實(shí)霧天的去霧效果。比較好用的做法是引入分層評(píng)估與交叉驗(yàn)證把調(diào)參與落地區(qū)別對(duì)待。第一種技巧是固定隨機(jī)種子。ViT 去霧訓(xùn)練里存在大量初始化隨機(jī)性不固定 seed 的話同樣的代碼跑兩次 PSNR 差 0.5 dB 是常態(tài)這不是模型不穩(wěn)是隨機(jī)的黑匣子效應(yīng)。訓(xùn)練腳本開頭加上面這段代碼保證實(shí)驗(yàn)可復(fù)現(xiàn)import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)第二種技巧是按霧濃度分層評(píng)估。把測(cè)試集按霧濃度分成輕霧、中霧、重霧三組分別統(tǒng)計(jì) PSNR/SSIM可以借助暗通道均值或 FADE 值來劃分。很多模型整體分?jǐn)?shù)不差重霧組卻掉到 20 dB 以下這就是需要針對(duì)性優(yōu)化的短板場(chǎng)景。把分層數(shù)字寫進(jìn)實(shí)驗(yàn)記錄比總平均更有說服力。第三種技巧是真實(shí)霧圖上的無參考驗(yàn)證。真實(shí)霧圖沒有真值PSNR/SSIM 算不了這時(shí)用 FADE霧密度評(píng)估和常見無參考指標(biāo)做交叉驗(yàn)證。標(biāo)準(zhǔn)做法是評(píng)價(jià)去霧前后的兩張圖去霧后的 FADE 應(yīng)明顯下降如果上升說明模型把霧去掉的同時(shí)也破壞了圖像結(jié)構(gòu)大概率是過增強(qiáng)。我自己踩過的最深的坑就是只看重霧組平均 PSNR把真實(shí)霧圖調(diào)得過度銳化天空區(qū)域出現(xiàn)明顯色斑。后來在評(píng)估階段把 PSNR 分層并加入無參考指標(biāo)復(fù)核才真正把問題暴露出來。從那以后任何去霧模型在我手上都必須過“分層指標(biāo) 真實(shí)圖抽查”這兩關(guān)才敢往下走。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取