1. 從文件夾結(jié)構(gòu)到訓(xùn)練數(shù)據(jù)ImageFolder 到底解決了什么問(wèn)題搞深度學(xué)習(xí)的人都有一個(gè)共識(shí)模型結(jié)構(gòu)再花哨如果數(shù)據(jù)管道沒(méi)搭好訓(xùn)練過(guò)程就是一場(chǎng)災(zāi)難。我見(jiàn)過(guò)太多人把大量時(shí)間花在調(diào)網(wǎng)絡(luò)層數(shù)、換損失函數(shù)上結(jié)果卡在第一步——數(shù)據(jù)加載。尤其是做圖像分類任務(wù)時(shí)手頭一堆圖片散落在不同文件夾里怎么高效地喂給模型這本身就是個(gè)值得認(rèn)真對(duì)待的工程問(wèn)題。torchvision.datasets.ImageFolder就是在這個(gè)環(huán)節(jié)出場(chǎng)的。它的核心價(jià)值可以用一句話概括把符合特定目錄結(jié)構(gòu)的圖像文件夾自動(dòng)映射成圖像, 類別標(biāo)簽的數(shù)據(jù)集對(duì)象。你不需要寫任何遍歷文件、解析路徑、分配標(biāo)簽的代碼只要文件夾組織對(duì)了它就能直接工作。這個(gè)類適合誰(shuí)用如果你正在做圖像分類任務(wù)數(shù)據(jù)來(lái)源是本地磁盤上的圖片文件類別信息可以通過(guò)文件夾名稱區(qū)分那 ImageFolder 基本就是你的第一選擇。它特別適合以下場(chǎng)景自己爬取或整理的圖片數(shù)據(jù)集、從公開(kāi)數(shù)據(jù)集解壓出來(lái)的標(biāo)準(zhǔn)分類目錄、以及需要快速搭建 baseline 的實(shí)驗(yàn)階段。但這里有個(gè)前提條件必須說(shuō)清楚ImageFolder 對(duì)目錄結(jié)構(gòu)有嚴(yán)格要求。它期望的格式是這樣的root/ ├── class_a/ │ ├── img_001.jpg │ ├── img_002.jpg │ └── ... ├── class_b/ │ ├── img_001.jpg │ ├── img_002.jpg │ └── ... └── class_c/ ├── img_001.jpg └── ...根目錄下每個(gè)子文件夾代表一個(gè)類別子文件夾的名字就是類別名稱里面的圖片文件屬于該類。ImageFolder 會(huì)自動(dòng)掃描這個(gè)結(jié)構(gòu)按文件夾名的字母順序給類別編號(hào)class_to_idx然后為每張圖片分配對(duì)應(yīng)的整數(shù)標(biāo)簽。我剛開(kāi)始用的時(shí)候犯過(guò)一個(gè)低級(jí)錯(cuò)誤把圖片直接放在根目錄下沒(méi)有分子文件夾。結(jié)果 ImageFolder 直接報(bào)錯(cuò)說(shuō)找不到有效類別。后來(lái)才明白它的設(shè)計(jì)哲學(xué)就是用目錄結(jié)構(gòu)表達(dá)類別信息這個(gè)約定必須遵守。還有一個(gè)容易忽略的點(diǎn)ImageFolder 返回的標(biāo)簽是整數(shù)索引不是類別名稱字符串。如果你后續(xù)需要把預(yù)測(cè)結(jié)果映射回可讀的類別名得自己保存dataset.classes或dataset.class_to_idx。這個(gè)細(xì)節(jié)在模型部署和結(jié)果展示時(shí)非常關(guān)鍵我后面會(huì)詳細(xì)講怎么處理。2. 目錄結(jié)構(gòu)踩坑實(shí)錄那些年我遇到過(guò)的報(bào)錯(cuò)與排查過(guò)程2.1 類別文件夾里混入了非圖片文件這是最常見(jiàn)的問(wèn)題之一。假設(shè)你的class_a文件夾里除了 jpg 圖片還有一個(gè)desktop.ini或者.DS_Store文件macOS 系統(tǒng)自動(dòng)生成的ImageFolder 默認(rèn)會(huì)嘗試用 PIL 打開(kāi)這些文件然后拋出UnidentifiedImageError。我第一次遇到這個(gè)報(bào)錯(cuò)時(shí)完全懵了因?yàn)閺奈募芾砥骺次募A里明明只有圖片。后來(lái)用ls -la才發(fā)現(xiàn)隱藏文件的存在。解決辦法有兩個(gè)一是手動(dòng)清理這些系統(tǒng)文件二是在創(chuàng)建 ImageFolder 時(shí)傳入is_valid_file參數(shù)來(lái)過(guò)濾。import os from torchvision.datasets import ImageFolder def is_image_file(filename): valid_extensions (.jpg, .jpeg, .png, .bmp, .tiff, .webp) return filename.lower().endswith(valid_extensions) dataset ImageFolder( root./data/train, is_valid_fileis_image_file )這個(gè)is_valid_file參數(shù)接收一個(gè)函數(shù)返回 True 表示該文件是有效圖片。實(shí)測(cè)下來(lái)加上這個(gè)過(guò)濾之后那些系統(tǒng)生成的隱藏文件就不會(huì)再干擾了。2.2 類別文件夾命名帶來(lái)的排序陷阱ImageFolder 給類別分配標(biāo)簽的依據(jù)是文件夾名稱的字母順序。注意是字符串排序不是自然數(shù)排序。這意味著如果你有class_1到class_10這樣的文件夾排序結(jié)果會(huì)是class_1, class_10, class_2, class_3, ..., class_9而不是你期望的 1, 2, 3, ..., 10。這個(gè)坑我在一個(gè)多類別項(xiàng)目里踩過(guò)當(dāng)時(shí)發(fā)現(xiàn)模型訓(xùn)練時(shí)標(biāo)簽完全對(duì)不上排查了半天才意識(shí)到是文件夾命名的問(wèn)題。建議類別文件夾統(tǒng)一使用零填充命名比如class_01、class_02或者直接用有意義的英文類別名避免純數(shù)字后綴。如果你已經(jīng)有一批數(shù)據(jù)且不想重命名文件夾那就在訓(xùn)練前打印dataset.class_to_idx確認(rèn)映射關(guān)系把這個(gè)字典保存下來(lái)后續(xù)推理時(shí)按同樣的映射解析結(jié)果。2.3 圖片格式損壞導(dǎo)致的間歇性崩潰有些圖片文件從網(wǎng)上下載下來(lái)時(shí)就是不完整的文件擴(kuò)展名是.jpg但實(shí)際內(nèi)容損壞。這種情況下ImageFolder 在__getitem__時(shí)才會(huì)嘗試打開(kāi)圖片所以報(bào)錯(cuò)發(fā)生在訓(xùn)練循環(huán)中而不是數(shù)據(jù)集初始化時(shí)。這種間歇性崩潰特別難排查因?yàn)殄e(cuò)誤發(fā)生在 DataLoader 的多進(jìn)程 worker 里堆棧信息往往不完整。我的做法是寫一個(gè)預(yù)檢查腳本在訓(xùn)練前遍歷所有圖片嘗試用 PIL 打開(kāi)并驗(yàn)證from PIL import Image import os def validate_images(root_dir): bad_files [] for dirpath, _, filenames in os.walk(root_dir): for fname in filenames: fpath os.path.join(dirpath, fname) try: with Image.open(fpath) as img: img.verify() except Exception as e: bad_files.append((fpath, str(e))) return bad_files bad validate_images(./data/train) for fpath, err in bad: print(f損壞文件: {fpath} - {err})跑一遍這個(gè)腳本把所有損壞文件列出來(lái)刪掉或修復(fù)能省去后續(xù)大量調(diào)試時(shí)間。2.4 子文件夾層級(jí)過(guò)深或存在嵌套ImageFolder 只掃描根目錄下的一級(jí)子文件夾作為類別。如果你的目錄結(jié)構(gòu)是這樣的root/ ├── train/ │ ├── class_a/ │ └── class_b/ └── val/ ├── class_a/ └── class_b/那你的root應(yīng)該設(shè)為./root/train或./root/val而不是./root。如果直接指向./rootImageFolder 會(huì)把train和val當(dāng)成兩個(gè)類別這顯然不是你想要的結(jié)果。我一般會(huì)在代碼里加一個(gè)斷言來(lái)檢查類別數(shù)量是否符合預(yù)期dataset ImageFolder(root./data/train, transformtrain_transform) print(f檢測(cè)到類別數(shù): {len(dataset.classes)}) print(f類別列表: {dataset.classes}) assert len(dataset.classes) EXPECTED_NUM_CLASSES, 類別數(shù)量不符請(qǐng)檢查目錄結(jié)構(gòu)這個(gè)簡(jiǎn)單的檢查能幫你快速發(fā)現(xiàn)目錄結(jié)構(gòu)問(wèn)題避免在訓(xùn)練了很久之后才發(fā)現(xiàn)標(biāo)簽全錯(cuò)了。3. transform 管道的設(shè)計(jì)邏輯為什么順序不能隨便調(diào)3.1 transform 在 ImageFolder 中的執(zhí)行時(shí)機(jī)ImageFolder 的__getitem__方法做的事情很清晰用 PIL 打開(kāi)圖片 → 如果有 transform 就應(yīng)用 → 返回處理后的張量和標(biāo)簽。關(guān)鍵點(diǎn)在于transform 是在每次取數(shù)據(jù)時(shí)實(shí)時(shí)執(zhí)行的而不是在初始化時(shí)預(yù)處理所有圖片。這個(gè)設(shè)計(jì)的好處是內(nèi)存占用小你可以處理遠(yuǎn)大于內(nèi)存容量的數(shù)據(jù)集。代價(jià)是每個(gè) epoch 都要重復(fù)做同樣的圖像變換CPU 壓力會(huì)比較大。實(shí)際項(xiàng)目中如果數(shù)據(jù)集不大且 CPU 是瓶頸可以考慮預(yù)先處理好圖片存成張量文件但這屬于優(yōu)化范疇初期用實(shí)時(shí) transform 完全夠用。3.2 標(biāo)準(zhǔn) transform 管道的構(gòu)建順序一個(gè)典型的訓(xùn)練用 transform 管道長(zhǎng)這樣from torchvision import transforms train_transform transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(degrees15), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])這個(gè)順序不是隨便排的每一步都有講究。Resize和RandomCrop放在最前面是因?yàn)閹缀巫儞Q在 PIL 圖像上做比在張量上做更高效。ToTensor()必須放在所有 PIL 層面的操作之后因?yàn)樗?PIL Image 轉(zhuǎn)成 PyTorch 張量后續(xù)的Normalize只能作用于張量。Normalize放在最后是硬性要求它接收的 mean 和 std 是 ImageNet 的統(tǒng)計(jì)值。如果你用的是自己數(shù)據(jù)集從頭訓(xùn)練理論上應(yīng)該計(jì)算自己數(shù)據(jù)集的均值和標(biāo)準(zhǔn)差但實(shí)踐中直接用 ImageNet 的值效果也不會(huì)差太多除非你的數(shù)據(jù)分布和自然圖像差異極大。3.3 驗(yàn)證集 transform 的關(guān)鍵差異驗(yàn)證集和測(cè)試集的 transform 管道必須去掉所有隨機(jī)性操作val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])RandomCrop換成CenterCropRandomHorizontalFlip和RandomRotation直接去掉。原因很簡(jiǎn)單驗(yàn)證階段需要的是穩(wěn)定、可復(fù)現(xiàn)的評(píng)估結(jié)果隨機(jī)增強(qiáng)會(huì)讓每次評(píng)估的結(jié)果產(chǎn)生波動(dòng)無(wú)法準(zhǔn)確反映模型性能。我見(jiàn)過(guò)有人在驗(yàn)證集上也用了隨機(jī)增強(qiáng)然后困惑為什么驗(yàn)證準(zhǔn)確率每次都不一樣。這不是模型的問(wèn)題是評(píng)估管道的問(wèn)題。3.4 數(shù)據(jù)增強(qiáng)的度怎么把握數(shù)據(jù)增強(qiáng)是把雙刃劍。增強(qiáng)太弱模型容易過(guò)擬合增強(qiáng)太強(qiáng)模型學(xué)到的分布偏離真實(shí)分布反而降低性能。我的經(jīng)驗(yàn)是水平翻轉(zhuǎn)大多數(shù)自然圖像場(chǎng)景都可以用p0.5 是安全值。但如果你做的是文字識(shí)別、醫(yī)學(xué)影像左右有明確語(yǔ)義差異就不要用。隨機(jī)裁剪配合 Resize 使用裁剪比例不要太小否則會(huì)丟失關(guān)鍵信息。一般從原圖面積的 0.6~1.0 之間裁剪比較合理。顏色抖動(dòng)brightness、contrast、saturation 的參數(shù)控制在 0.2~0.3 之間再大就可能讓圖片失真嚴(yán)重。隨機(jī)旋轉(zhuǎn)15 度以內(nèi)比較安全超過(guò) 30 度很多圖像的內(nèi)容就不合理了。一個(gè)實(shí)用技巧先把增強(qiáng)后的圖片可視化出來(lái)看看。如果人眼都覺(jué)得增強(qiáng)后的圖片不像正常圖片那模型大概率也學(xué)不好。4. 從 ImageFolder 到 DataLoader批量加載的工程細(xì)節(jié)4.1 DataLoader 的核心參數(shù)配置ImageFolder 本身只是一個(gè) Dataset 對(duì)象真正在訓(xùn)練循環(huán)里干活的是 DataLoader。它的參數(shù)配置直接影響訓(xùn)練效率和穩(wěn)定性from torch.utils.data import DataLoader train_loader DataLoader( datasettrain_dataset, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue, drop_lastTrue, persistent_workersTrue )逐個(gè)說(shuō)這些參數(shù)的選擇邏輯。batch_size取決于顯存大小一般從 32 或 64 起步顯存不夠就往下調(diào)。shuffleTrue在訓(xùn)練時(shí)必須開(kāi)否則模型會(huì)學(xué)到樣本順序帶來(lái)的虛假模式。num_workers控制數(shù)據(jù)加載的并行進(jìn)程數(shù)設(shè)置成 CPU 核心數(shù)的 2~4 倍比較常見(jiàn)但也不是越大越好太多 worker 反而會(huì)因?yàn)檫M(jìn)程切換開(kāi)銷降低效率。pin_memoryTrue在 GPU 訓(xùn)練時(shí)建議開(kāi)啟它會(huì)把數(shù)據(jù)加載到鎖頁(yè)內(nèi)存加速 CPU 到 GPU 的傳輸。drop_lastTrue在訓(xùn)練時(shí)建議開(kāi)啟避免最后一個(gè)不完整的 batch 影響 BatchNorm 的統(tǒng)計(jì)。persistent_workersTrue在 num_workers 0 時(shí)有用它讓 worker 進(jìn)程在 epoch 之間保持存活減少反復(fù)創(chuàng)建銷毀的開(kāi)銷。4.2 num_workers 設(shè)置的實(shí)測(cè)經(jīng)驗(yàn)num_workers 這個(gè)參數(shù)我踩過(guò)不少坑。設(shè)成 0 意味著在主進(jìn)程里加載數(shù)據(jù)調(diào)試方便但速度慢。設(shè)成大于 0 的值會(huì)啟用多進(jìn)程加載但有幾個(gè)注意事項(xiàng)在 Windows 系統(tǒng)上多進(jìn)程 DataLoader 需要把訓(xùn)練代碼放在if __name__ __main__:保護(hù)塊里否則會(huì)無(wú)限遞歸創(chuàng)建進(jìn)程。這個(gè)坑我在 Windows 上第一次用 DataLoader 時(shí)踩得很慘程序直接卡死。另外num_workers 設(shè)得過(guò)大時(shí)如果每個(gè) worker 都要打開(kāi)大量文件可能會(huì)遇到文件句柄耗盡的問(wèn)題。我一般會(huì)先用較小的值比如 4跑一遍觀察 GPU 利用率。如果 GPU 利用率經(jīng)常掉到 50% 以下說(shuō)明數(shù)據(jù)加載是瓶頸可以適當(dāng)增加 num_workers如果 GPU 利用率穩(wěn)定在 90% 以上就沒(méi)必要再加了。4.3 自定義 collate_fn 處理異常樣本默認(rèn)的 collate_fn 會(huì)把一個(gè) batch 的數(shù)據(jù)堆疊成張量。但如果某個(gè)樣本在 transform 過(guò)程中出錯(cuò)比如圖片損壞整個(gè) batch 都會(huì)失敗。一個(gè)更健壯的做法是自定義 collate_fn跳過(guò)異常樣本def safe_collate(batch): batch [item for item in batch if item is not None] if len(batch) 0: return None return torch.utils.data.dataloader.default_collate(batch)配合在 Dataset 的__getitem__里加 try-except返回 None 表示該樣本無(wú)效。這樣即使有個(gè)別損壞圖片也不會(huì)中斷整個(gè)訓(xùn)練過(guò)程。當(dāng)然更好的做法還是訓(xùn)練前就把損壞文件清理干凈這只是最后一道防線。4.4 訓(xùn)練和驗(yàn)證的 DataLoader 差異驗(yàn)證集的 DataLoader 和訓(xùn)練集有幾個(gè)關(guān)鍵區(qū)別參數(shù)訓(xùn)練集驗(yàn)證集shuffleTrueFalsedrop_lastTrueFalsebatch_size32/64/128可以更大transform含隨機(jī)增強(qiáng)僅確定性變換驗(yàn)證集不需要 shuffle因?yàn)樵u(píng)估結(jié)果與順序無(wú)關(guān)而且關(guān)閉 shuffle 后結(jié)果可復(fù)現(xiàn)。drop_lastFalse確保所有驗(yàn)證樣本都被評(píng)估到。batch_size 可以設(shè)得比訓(xùn)練集大因?yàn)轵?yàn)證時(shí)不需要反向傳播顯存占用小很多。5. 類別不平衡與樣本權(quán)重ImageFolder 之外的補(bǔ)充手段5.1 用 WeightedRandomSampler 處理不平衡數(shù)據(jù)ImageFolder 本身不提供類別平衡機(jī)制。如果你的數(shù)據(jù)集里某些類別樣本特別少模型會(huì)傾向于預(yù)測(cè)多數(shù)類。這時(shí)候需要引入WeightedRandomSamplerimport numpy as np from torch.utils.data import WeightedRandomSampler targets [label for _, label in train_dataset] class_counts np.bincount(targets) class_weights 1.0 / class_counts sample_weights [class_weights[t] for t in targets] sampler WeightedRandomSampler( weightssample_weights, num_sampleslen(sample_weights), replacementTrue ) train_loader DataLoader( train_dataset, batch_size32, samplersampler, # 注意用了 sampler 就不能再設(shè) shuffleTrue num_workers4 )這個(gè)采樣器的邏輯是給每個(gè)樣本分配一個(gè)權(quán)重權(quán)重與它所屬類別的樣本數(shù)量成反比。這樣少數(shù)類樣本被抽到的概率更高每個(gè) batch 里各類別的比例會(huì)更均衡。有個(gè)細(xì)節(jié)要注意用了 sampler 之后DataLoader 的 shuffle 參數(shù)必須去掉或設(shè)為 False否則會(huì)報(bào)錯(cuò)。因?yàn)?sampler 和 shuffle 是互斥的。5.2 從 class_to_idx 反查類別分布在決定是否需要用采樣器之前先看看數(shù)據(jù)分布from collections import Counter targets [label for _, label in train_dataset] counter Counter(targets) idx_to_class {v: k for k, v in train_dataset.class_to_idx.items()} for idx, count in sorted(counter.items()): print(f{idx_to_class[idx]}: {count} 張)如果最多類別和最少類別的樣本數(shù)差距在 3 倍以內(nèi)一般不需要特殊處理。差距超過(guò) 10 倍就必須用采樣器或類別權(quán)重來(lái)干預(yù)了。5.3 類別權(quán)重在損失函數(shù)中的使用除了采樣器另一種方式是在損失函數(shù)里給不同類別加權(quán)import torch.nn as nn class_counts np.bincount(targets) weights 1.0 / class_counts weights weights / weights.sum() * len(class_counts) class_weights torch.FloatTensor(weights).to(device) criterion nn.CrossEntropyLoss(weightclass_weights)這種方式不改變數(shù)據(jù)采樣分布而是在計(jì)算 loss 時(shí)讓少數(shù)類的錯(cuò)誤被放大。兩種方式可以結(jié)合使用也可以只用一種。我的經(jīng)驗(yàn)是如果類別極度不平衡比如 100:1采樣器效果更明顯如果只是輕度不平衡比如 5:1損失加權(quán)就夠了。6. 推理階段的標(biāo)簽映射與結(jié)果還原6.1 保存和加載 class_to_idx 映射訓(xùn)練完成后dataset.class_to_idx這個(gè)字典必須保存下來(lái)。推理時(shí)模型輸出的是類別索引你需要用它反查類別名稱import json # 訓(xùn)練時(shí)保存 with open(class_mapping.json, w) as f: json.dump(train_dataset.class_to_idx, f) # 推理時(shí)加載 with open(class_mapping.json, r) as f: class_to_idx json.load(f) idx_to_class {v: k for k, v in class_to_idx.items()} # 假設(shè)模型輸出 logits predicted_idx torch.argmax(logits, dim1).item() predicted_class idx_to_class[predicted_idx] print(f預(yù)測(cè)類別: {predicted_class})這個(gè)映射文件是模型部署的必備產(chǎn)物和模型權(quán)重同等重要。我見(jiàn)過(guò)有人只保存了模型權(quán)重部署時(shí)忘了類別映射結(jié)果預(yù)測(cè)結(jié)果全是錯(cuò)的。6.2 單張圖片推理的完整流程推理時(shí)的 transform 必須和驗(yàn)證集完全一致不能有任何隨機(jī)性from PIL import Image import torch def predict_single_image(image_path, model, transform, idx_to_class, device): model.eval() image Image.open(image_path).convert(RGB) input_tensor transform(image).unsqueeze(0).to(device) with torch.no_grad(): logits model(input_tensor) probabilities torch.softmax(logits, dim1) confidence, predicted_idx torch.max(probabilities, dim1) predicted_class idx_to_class[predicted_idx.item()] confidence_score confidence.item() return predicted_class, confidence_score注意unsqueeze(0)這一步它給單張圖片增加了一個(gè) batch 維度因?yàn)槟Ｐ推谕妮斎胧?4 維張量batch, channel, height, width。這個(gè)細(xì)節(jié)新手很容易漏掉導(dǎo)致維度不匹配的報(bào)錯(cuò)。6.3 批量推理與結(jié)果導(dǎo)出如果要對(duì)整個(gè)測(cè)試集做推理并導(dǎo)出結(jié)果可以復(fù)用 ImageFolder 加 DataLoader 的方式test_dataset ImageFolder(root./data/test, transformval_transform) test_loader DataLoader(test_dataset, batch_size64, shuffleFalse, num_workers4) all_predictions [] all_labels [] model.eval() with torch.no_grad(): for images, labels in test_loader: images images.to(device) logits model(images) preds torch.argmax(logits, dim1).cpu().numpy() all_predictions.extend(preds) all_labels.extend(labels.numpy()) # 導(dǎo)出結(jié)果 import pandas as pd results pd.DataFrame({ true_label: [idx_to_class[l] for l in all_labels], predicted_label: [idx_to_class[p] for p in all_predictions] }) results.to_csv(predictions.csv, indexFalse)這里有個(gè)容易忽略的點(diǎn)test_dataset的class_to_idx必須和訓(xùn)練時(shí)一致。如果測(cè)試集的文件夾結(jié)構(gòu)和訓(xùn)練集不同或者類別文件夾命名不一致映射關(guān)系就會(huì)錯(cuò)亂。所以我在實(shí)際項(xiàng)目中會(huì)強(qiáng)制要求訓(xùn)練集和測(cè)試集使用完全相同的類別文件夾命名。7. 性能優(yōu)化與常見(jiàn)問(wèn)題速查7.1 數(shù)據(jù)加載成為瓶頸時(shí)的排查思路訓(xùn)練時(shí)如果發(fā)現(xiàn) GPU 利用率忽高忽低大概率是數(shù)據(jù)加載拖了后腿。排查步驟先用num_workers0跑一個(gè) epoch記錄時(shí)間作為基準(zhǔn)逐步增加 num_workers4, 8, 16觀察每個(gè) epoch 的耗時(shí)變化如果增加 worker 后耗時(shí)不再下降說(shuō)明瓶頸不在數(shù)據(jù)加載可能在模型計(jì)算或 GPU 傳輸檢查 transform 管道里是否有特別耗時(shí)的操作比如大尺寸圖片的旋轉(zhuǎn)我遇到過(guò)一次數(shù)據(jù)加載特別慢的情況最后發(fā)現(xiàn)是RandomRotation在大尺寸圖片上做雙三次插值單張圖要花 200ms。解決辦法是先 Resize 到較小尺寸再做旋轉(zhuǎn)速度直接提升了一個(gè)數(shù)量級(jí)。7.2 內(nèi)存不足的幾種表現(xiàn)和應(yīng)對(duì)內(nèi)存問(wèn)題分兩種CPU 內(nèi)存不足和 GPU 顯存不足。CPU 內(nèi)存不足通常發(fā)生在 num_workers 設(shè)得太大時(shí)每個(gè) worker 都會(huì)復(fù)制一份數(shù)據(jù)集索引和緩存。解決辦法是降低 num_workers或者用persistent_workersFalse讓 worker 在 epoch 之間釋放。GPU 顯存不足則要降低 batch_size或者用梯度累積來(lái)模擬大 batchaccumulation_steps 4 optimizer.zero_grad() for i, (images, labels) in enumerate(train_loader): images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) / accumulation_steps loss.backward() if (i 1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()梯度累積讓模型在多個(gè)小 batch 上累積梯度后再更新參數(shù)效果等價(jià)于用更大的 batch 訓(xùn)練但顯存占用不變。7.3 常見(jiàn)報(bào)錯(cuò)速查表報(bào)錯(cuò)信息原因解決方案FileNotFoundError: Found no valid file for the classes類別文件夾為空或只有非圖片文件檢查文件夾內(nèi)容添加 is_valid_file 過(guò)濾UnidentifiedImageError圖片文件損壞或格式不支持預(yù)檢查并清理?yè)p壞文件RuntimeError: DataLoader worker exited unexpectedlyworker 進(jìn)程崩潰通常是內(nèi)存不足降低 num_workers 或 batch_sizeValueError: num_samples should be a positive integerWeightedRandomSampler 的 num_samples 設(shè)置錯(cuò)誤設(shè)為 len(dataset) 或正整數(shù)CUDA out of memory顯存不足降低 batch_size 或用梯度累積這張表里的問(wèn)題我基本都遇到過(guò)尤其是第一個(gè)和第二個(gè)在整理新數(shù)據(jù)集時(shí)幾乎必然出現(xiàn)。建議把預(yù)檢查腳本作為數(shù)據(jù)準(zhǔn)備流程的標(biāo)準(zhǔn)步驟能省去大量調(diào)試時(shí)間。7.4 關(guān)于 ImageFolder 的適用邊界最后說(shuō)一個(gè)判斷標(biāo)準(zhǔn)什么時(shí)候不該用 ImageFolder。如果你的數(shù)據(jù)標(biāo)簽不是通過(guò)文件夾結(jié)構(gòu)組織的比如標(biāo)簽存在 CSV 文件里、或者一張圖對(duì)應(yīng)多個(gè)標(biāo)簽多標(biāo)簽分類、或者做的是目標(biāo)檢測(cè)和分割任務(wù)那 ImageFolder 就不適用了。這些場(chǎng)景需要自定義 Dataset 類繼承torch.utils.data.Dataset并實(shí)現(xiàn)__len__和__getitem__。ImageFolder 的定位很明確單標(biāo)簽、文件夾組織、圖像分類。在這個(gè)范圍內(nèi)它是最省事的方案超出這個(gè)范圍就別硬套了自定義 Dataset 更靈活。我在實(shí)際項(xiàng)目中用 ImageFolder 處理過(guò)幾萬(wàn)到幾十萬(wàn)張圖片的數(shù)據(jù)集只要目錄結(jié)構(gòu)規(guī)范、預(yù)處理到位它的穩(wěn)定性和效率完全夠用。真正花時(shí)間的從來(lái)不是 ImageFolder 本身而是數(shù)據(jù)清洗、目錄整理和 transform 調(diào)優(yōu)這些周邊工作。把這幾塊做好了ImageFolder 就是一條順暢的數(shù)據(jù)管道讓你能把精力集中在模型設(shè)計(jì)和訓(xùn)練策略上。