1. 項(xiàng)目概述pytorch到底在解決什么問(wèn)題先直接說(shuō)結(jié)論pytorch是目前深度學(xué)習(xí)實(shí)踐中最容易上手、最利于調(diào)試的框架之一。對(duì)于絕大多數(shù)做模型訓(xùn)練、算法驗(yàn)證、科研復(fù)現(xiàn)甚至工業(yè)落地的開(kāi)發(fā)者來(lái)說(shuō)它已經(jīng)從一個(gè)“可選工具”變成了“默認(rèn)選項(xiàng)”。我最早接觸深度學(xué)習(xí)時(shí)用的是別的框架后來(lái)轉(zhuǎn)到pytorch最大的感受就是代碼終于跟腦子里的計(jì)算過(guò)程對(duì)齊了寫模型不再像在解謎。圍繞pytorch這個(gè)標(biāo)題很多人第一反應(yīng)是“一個(gè)Python深度學(xué)習(xí)庫(kù)”但這個(gè)理解太淺了。pytorch真正解決的是三個(gè)層面的問(wèn)題第一如何用靈活的方式定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二如何自動(dòng)完成反向傳播計(jì)算梯度第三如何把訓(xùn)練過(guò)程打包成一套可復(fù)用的流程。這三個(gè)能力疊加起來(lái)才讓它成為能處理圖像分類、目標(biāo)檢測(cè)、自然語(yǔ)言處理、推薦系統(tǒng)等各類任務(wù)的基礎(chǔ)設(shè)施。這篇內(nèi)容適合的人群很廣剛?cè)腴T深度學(xué)習(xí)、想在課程項(xiàng)目中快速實(shí)現(xiàn)模型的新手已經(jīng)會(huì)用框架但不太清楚背后計(jì)算邏輯的開(kāi)發(fā)者以及需要把模型跑通并部署的算法工程師。我會(huì)從核心概念講到完整訓(xùn)練流程再整理我實(shí)際踩過(guò)的坑盡量做到每一步都能直接照著做。文章里涉及的所有代碼都是我自己在模擬項(xiàng)目中反復(fù)驗(yàn)證過(guò)的可以直接抄但更重要的是理解每一個(gè)步驟為什么存在。pytorch的魅力不在于它的API有多炫而在于它的設(shè)計(jì)邏輯跟人的思維習(xí)慣高度一致。把這一點(diǎn)想清楚后面寫任何模型都會(huì)順手很多。2. 核心概念拆解張量、自動(dòng)求導(dǎo)、模型模塊、數(shù)據(jù)加載2.1 張量不是簡(jiǎn)單的多維數(shù)組pytorch里的核心數(shù)據(jù)結(jié)構(gòu)叫torch.Tensor中文一般譯為張量。你可以把它理解為“帶計(jì)算能力的多維數(shù)組”和numpy的ndarray很像但有本質(zhì)區(qū)別張量可以放在GPU上運(yùn)算并且會(huì)在運(yùn)算過(guò)程中自動(dòng)記錄計(jì)算路徑為后面的梯度計(jì)算做準(zhǔn)備。我記得當(dāng)初剛學(xué)的時(shí)候總是搞不清tensor和numpy到底有什么區(qū)別。后來(lái)用一個(gè)類比才真正想通numpy數(shù)組就像手寫計(jì)算器你按一個(gè)鍵出一個(gè)結(jié)果按完就忘了剛才的過(guò)程而pytorch的張量更像記賬本每一次加減乘除都被記錄在案后續(xù)要算“你每一步變化對(duì)結(jié)果的影響”時(shí)翻賬本就能算出來(lái)。這個(gè)“記賬本”特性就是自動(dòng)求導(dǎo)的基礎(chǔ)。實(shí)際操作中張量有幾個(gè)必須記住的屬性和方法。shape屬性表示維度形狀比如torch.Size([32, 3, 224, 224])表示一批32張三通道224x224的圖片dtype表示數(shù)據(jù)類型默認(rèn)是torch.float32改精度時(shí)用tensor.float()或tensor.half()device表示數(shù)據(jù)放在CPU還是GPU上用tensor.cuda()或tensor.to(cuda)搬到顯存。很多人第一次寫代碼報(bào)錯(cuò)十有八九是device不一致一個(gè)張量在CPU一個(gè)在GPU一相加就報(bào)錯(cuò)。這類問(wèn)題排查起來(lái)不難但非常煩人后面我會(huì)專門列一節(jié)。張量之間的運(yùn)算也不只是加減乘除。兩個(gè)形狀不同的張量做運(yùn)算時(shí)會(huì)觸發(fā)廣播機(jī)制比如形狀是[3, 1]和[1, 4]的兩個(gè)張量相加pytorch會(huì)自動(dòng)擴(kuò)展成[3, 4]再相加。這個(gè)機(jī)制用好了能省很多代碼但用不好就會(huì)出現(xiàn)“結(jié)果出來(lái)了但含義完全不對(duì)”的隱蔽bug。我自己的習(xí)慣是凡是涉及維度變化的操作先打印一下結(jié)果形狀確認(rèn)無(wú)誤再繼續(xù)往后寫。2.2 自動(dòng)求導(dǎo)反向傳播的幕后引擎深度學(xué)習(xí)訓(xùn)練的核心是梯度下降而梯度計(jì)算靠的就是反向傳播。pytorch的autograd模塊把這個(gè)過(guò)程完全自動(dòng)化了。你只要在創(chuàng)建張量時(shí)設(shè)置requires_gradTrue之后所有涉及這個(gè)張量的運(yùn)算都會(huì)被記錄然后調(diào)用backward()就能得到每個(gè)葉子節(jié)點(diǎn)的梯度。用生活中的例子來(lái)解釋假設(shè)你要調(diào)整一鍋湯的咸淡目標(biāo)是味道剛剛好。你每次嘗完湯需要判斷是加鹽還是加水、加多少。反向傳播就像是在做“誤差歸因”——把這個(gè)湯咸了或淡了的責(zé)任按比例分?jǐn)偟矫恳环N調(diào)料上。自動(dòng)求導(dǎo)則把這個(gè)歸因過(guò)程變成了全自動(dòng)你只要定義好湯的配方和味道評(píng)分標(biāo)準(zhǔn)它自動(dòng)告訴你每一種調(diào)料該調(diào)整多少。在代碼層面有個(gè)關(guān)鍵點(diǎn)每次反向傳播后梯度是累積的不是清零的。也就是說(shuō)如果你在一個(gè)循環(huán)里多次調(diào)用backward()而不手動(dòng)清零梯度會(huì)不斷疊加。標(biāo)準(zhǔn)做法是在每次參數(shù)更新前調(diào)用optimizer.zero_grad()把所有參數(shù)的grad屬性歸零。這個(gè)細(xì)節(jié)幾乎所有新手都會(huì)忽略導(dǎo)致的癥狀是loss曲線詭異波動(dòng)甚至不降反升。我最初也踩過(guò)一次后來(lái)養(yǎng)成習(xí)慣optimizer.zero_grad()、loss.backward()、optimizer.step()這三步永遠(yuǎn)是連在一起寫缺一不可。值得多提一句的是pytorch默認(rèn)是動(dòng)態(tài)圖機(jī)制。所謂動(dòng)態(tài)圖就是每次前向傳播都重新構(gòu)建計(jì)算圖這意味著你可以在代碼里寫if條件、for循環(huán)甚至print中間結(jié)果來(lái)調(diào)試而不需要像靜態(tài)圖框架那樣先定義完整的計(jì)算圖再執(zhí)行。這個(gè)特性在研究和項(xiàng)目調(diào)試階段極其重要也是很多人選pytorch而不是其他框架的直接原因。2.3 模型與優(yōu)化器torch.nn模塊的用法torch.nn是pytorch用來(lái)構(gòu)建神經(jīng)網(wǎng)絡(luò)的模塊核心類有兩個(gè)nn.Module和nn.Parameter。簡(jiǎn)單理解nn.Module是所有網(wǎng)絡(luò)的基類你的模型必須繼承這個(gè)類實(shí)現(xiàn)__init__和forward兩個(gè)方法nn.Parameter是張量的一個(gè)子類默認(rèn)requires_gradTrue會(huì)作為模型參數(shù)被優(yōu)化器自動(dòng)追蹤。一個(gè)最常見(jiàn)的入門模型是這樣寫的定義一個(gè)類在__init__里聲明各個(gè)層比如nn.Linear(784, 256)表示一個(gè)輸入784維輸出256維的全連接層然后實(shí)現(xiàn)forward方法指定數(shù)據(jù)從輸入到輸出的流動(dòng)路徑。這里的forward方法非常關(guān)鍵pytorch對(duì)模型調(diào)用model(x)時(shí)實(shí)際執(zhí)行的是model.forward(x)。也就是說(shuō)前向傳播邏輯完全由你自己控制想怎么連就怎么連。損失函數(shù)和優(yōu)化器也在torch.nn和torch.optim里。常用的損失函數(shù)有分類任務(wù)用nn.CrossEntropyLoss回歸任務(wù)用nn.MSELoss。優(yōu)化器常見(jiàn)的包括SGD和Adam推薦入門默認(rèn)用Adam它的收斂穩(wěn)定性更好對(duì)學(xué)習(xí)率的敏感度更低。選學(xué)習(xí)率時(shí)我習(xí)慣從1e-3開(kāi)始嘗試然后觀察loss曲線動(dòng)態(tài)調(diào)整。如果loss震蕩明顯可以降到1e-4如果收斂太慢再適度調(diào)高到3e-3。學(xué)習(xí)率不是一個(gè)需要精確求解的參數(shù)根據(jù)曲線變化靈活調(diào)整才是常態(tài)。2.4 Dataset與DataLoader數(shù)據(jù)管線的設(shè)計(jì)邏輯數(shù)據(jù)加載這一環(huán)經(jīng)常被人忽略但它對(duì)訓(xùn)練效率和效果的影響非常大。pytorch提供了兩個(gè)配套類torch.utils.data.Dataset和DataLoader。Dataset負(fù)責(zé)定義“怎么拿到一條數(shù)據(jù)”DataLoader負(fù)責(zé)在訓(xùn)練時(shí)“如何批量、亂序、并行地取出數(shù)據(jù)”。我自己的理解是Dataset像是廚房里的備菜員DataLoader像是上菜的服務(wù)員。備菜員按標(biāo)準(zhǔn)流程把每道菜需要的食材準(zhǔn)備好服務(wù)員則按桌號(hào)快速把菜端上去同時(shí)保證節(jié)奏不拖沓。在實(shí)際寫代碼時(shí)你只要實(shí)現(xiàn)Dataset的__len__和__getitem__兩個(gè)方法剩下的多線程預(yù)加載、shuffle、批次劃分全部交給DataLoader。關(guān)于shuffle有個(gè)容易被忽視的細(xì)節(jié)訓(xùn)練階段shuffleTrue可以避免模型學(xué)到樣本順序相關(guān)的假模式但驗(yàn)證和測(cè)試階段shuffle必須設(shè)為False否則評(píng)估指標(biāo)會(huì)因隨機(jī)順序而波動(dòng)導(dǎo)致結(jié)果不可復(fù)現(xiàn)。此外num_workers這個(gè)參數(shù)設(shè)置了數(shù)據(jù)加載的子進(jìn)程數(shù)Windows系統(tǒng)上設(shè)大于0有時(shí)會(huì)報(bào)錯(cuò)Linux則通常沒(méi)問(wèn)題。初學(xué)者在這個(gè)問(wèn)題上卡住的不在少數(shù)但是理解了它的作用后心里就有底了它只是提速用的不是必須調(diào)大的參數(shù)。3. 實(shí)操落地從數(shù)據(jù)準(zhǔn)備到模型訓(xùn)練的完整流程3.1 環(huán)境搭建先跑通最小案例再追求性能在開(kāi)始寫代碼之前先把環(huán)境準(zhǔn)備好。安裝pytorch最穩(wěn)妥的方式是到官網(wǎng)選擇對(duì)應(yīng)的操作系統(tǒng)和CUDA版本復(fù)制生成的pip命令直接執(zhí)行。這里要提醒一個(gè)容易踩的坑如果你的機(jī)器沒(méi)有NVIDIA顯卡就不需要也不應(yīng)該安裝CUDA版本安裝CPU版本就夠了如果機(jī)器有顯卡那優(yōu)先安裝對(duì)應(yīng)CUDA版本的pytorch因?yàn)镃PU訓(xùn)練一個(gè)像樣的模型可能要幾個(gè)小時(shí)GPU則只需要幾分鐘。確認(rèn)環(huán)境是否正常我一般跑這么一小段代碼import torch print(torch.__version__) print(torch.cuda.is_available())torch.cuda.is_available()返回True代表GPU可用返回False則說(shuō)明只能用CPU。后面寫代碼時(shí)我習(xí)慣在一開(kāi)始就定義一個(gè)device變量比如device torch.device(cuda if torch.cuda.is_available() else cpu)然后所有張量和模型都用.to(device)轉(zhuǎn)到對(duì)應(yīng)設(shè)備上。這種做法雖然看起來(lái)多寫了幾行但能保證同一份代碼在有無(wú)GPU的機(jī)器上都能運(yùn)行避免了設(shè)備不一致的報(bào)錯(cuò)。3.2 數(shù)據(jù)準(zhǔn)備用圖像分類Demo走通全流程我以最簡(jiǎn)單的圖像分類為例目標(biāo)是識(shí)別手寫數(shù)字。pytorch內(nèi)置了MNIST數(shù)據(jù)集在/torchvision/datasets里可以直接下載。第一步是創(chuàng)建Dataset對(duì)象第二步是把它交給DataLoader。from torch.utils.data import DataLoader from torchvision import datasets, transforms transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST( root./data, trainTrue, downloadTrue, transformtransform ) test_dataset datasets.MNIST( root./data, trainFalse, downloadTrue, transformtransform ) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse)這里normalization的均值和標(biāo)準(zhǔn)差是MNIST官方的統(tǒng)計(jì)值直接拿來(lái)用就行。預(yù)處理的作用是把像素值從0到1之間再對(duì)齊到約-1到1的分布這樣模型收斂會(huì)快得多。實(shí)測(cè)下來(lái)不做歸一化直接把原始像素喂進(jìn)去模型不僅能訓(xùn)練loss也能下降但收斂速度明顯更慢精度也會(huì)略差。3.3 模型定義一個(gè)能跑通的全連接網(wǎng)絡(luò)針對(duì)MNIST這種簡(jiǎn)單任務(wù)一個(gè)三層全連接網(wǎng)絡(luò)已經(jīng)足夠了。輸入層是28x28784個(gè)像素值第一個(gè)全連接層將其映射到128維激活函數(shù)用ReLU第二個(gè)全連接層再映射到10個(gè)類別得分。import torch.nn as nn class SimpleNet(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(784, 128) self.fc2 nn.Linear(128, 10) self.relu nn.ReLU() def forward(self, x): x x.view(x.size(0), -1) x self.relu(self.fc1(x)) x self.fc2(x) return xview(x.size(0), -1)是把形狀為[64, 1, 28, 28]的批量圖片展平成[64, 784]。這一步幾乎每個(gè)視覺(jué)任務(wù)都會(huì)用到要理解它的含義而不是死記。模型定義好之后實(shí)例化并轉(zhuǎn)到設(shè)備上model SimpleNet().to(device)3.4 訓(xùn)練循環(huán)核心三行代碼的固定范式pytorch的訓(xùn)練循環(huán)寫法高度統(tǒng)一核心邏輯可以用一張流程圖概括取一批數(shù)據(jù)、前向傳播、計(jì)算損失、梯度清零、反向傳播、更新參數(shù)。import torch.optim as optim criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) for epoch in range(5): model.train() total_loss 0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() avg_loss total_loss / len(train_loader) accuracy 100.0 * correct / total print(fEpoch {epoch1}, Loss: {avg_loss:.4f}, Accuracy: {accuracy:.2f}%)這里有個(gè)值得注意的細(xì)節(jié)model.train()和model.eval()看起來(lái)無(wú)關(guān)緊要但它控制著dropout和batch normalization在訓(xùn)練和推理階段的不同行為。只在訓(xùn)練循環(huán)里寫train、在驗(yàn)證循環(huán)里寫eval很多人漏掉之后模型性能會(huì)忽高忽低搞不清楚原因。另外loss.item()是在把GPU上的標(biāo)量拉回CPU并轉(zhuǎn)為Python數(shù)值方便打印和記錄但要記住只能對(duì)不含梯度信息的標(biāo)量做這個(gè)操作否則會(huì)額外計(jì)算一次CPU同步導(dǎo)致訓(xùn)練變慢。3.5 評(píng)估、保存與復(fù)用模型才算真正完成訓(xùn)練完成后需要在測(cè)試集上做一次完整評(píng)估。評(píng)估時(shí)不需要計(jì)算梯度用with torch.no_grad()包裹起來(lái)可以節(jié)省內(nèi)存和計(jì)算時(shí)間。model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in test_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() print(fTest Accuracy: {100.0 * correct / total:.2f}%)保存模型有兩條路線。只保存學(xué)到的參數(shù)torch.save(model.state_dict(), model_weights.pth)保存完整模型torch.save(model, full_model.pth)我更推薦第一種。state_dict只存參數(shù)文件更小加載時(shí)也必須要先構(gòu)造模型類再load版本兼容性問(wèn)題更少。加載方式如下model SimpleNet().to(device) model.load_state_dict(torch.load(model_weights.pth)) model.eval()加載后又是一個(gè)必須寫eval()的場(chǎng)景。如果你加載模型后直接做預(yù)測(cè)但忘了調(diào)用model.eval()那些帶batch normalization或dropout的模型結(jié)果會(huì)非常奇怪。這個(gè)坑我在實(shí)驗(yàn)里遇到過(guò)不止一次每次都排查了很久才意識(shí)到是忘了這行。把“訓(xùn)練用train推斷用eval”當(dāng)成肌肉記憶能省掉大量排查時(shí)間。4. 高頻問(wèn)題與排查技巧實(shí)錄4.1 顯存不足不是所有情況都要調(diào)小batch報(bào)錯(cuò)信息通常長(zhǎng)這樣RuntimeError: CUDA out of memory。這幾乎每個(gè)用過(guò)GPU訓(xùn)練的人都會(huì)碰到。最直接的解決方法是調(diào)小batch_size但還有一個(gè)常被忽略的方案是檢查數(shù)據(jù)處理流程中是否有張量被意外擴(kuò)大了。比如圖片縮放到224x224后如果你在訓(xùn)練循環(huán)里額外做了變換又沒(méi)及時(shí)釋放中間變量顯存占用就會(huì)飆升。我的習(xí)慣是在循環(huán)里避免創(chuàng)建過(guò)大臨時(shí)張量如果不得不創(chuàng)建用del和torch.cuda.empty_cache()來(lái)釋放。另一個(gè)技巧是用梯度累積模擬更大的batch比如目標(biāo)batch是128顯存只夠跑32那就每4個(gè)batch累加一次梯度再更新參數(shù)。這樣能在不改變模型和損失計(jì)算邏輯的前提下擴(kuò)大有效batch操作起來(lái)也簡(jiǎn)單backward后先不step等滿4次再統(tǒng)一step并清零。4.2 維度不匹配先打印shape再排查維度報(bào)錯(cuò)是入門階段遇到最多的一類報(bào)錯(cuò)信息如“mat1 and mat2 shapes cannot be multiplied”。看到這類信息不要慌第一件事是打印出輸入張量的shape確認(rèn)網(wǎng)絡(luò)每一層的輸入輸出維度是否對(duì)得上。全連接層要求輸入是二維的而卷積層的輸出通常是四維的中間漏掉view或flatten一步就會(huì)出現(xiàn)維度沖突。我見(jiàn)過(guò)太多人遇到維度錯(cuò)誤時(shí)反復(fù)修改模型結(jié)構(gòu)最后越改越亂。其實(shí)90%的維度問(wèn)題都是數(shù)據(jù)形狀和層定義不匹配導(dǎo)致的?？焖倥挪榉椒ㄊ窃趂orward的每一層后面加上注釋標(biāo)出預(yù)期輸入輸出維度或者臨時(shí)加一行print(x.shape)執(zhí)行一遍。一個(gè)穩(wěn)妥的技巧是每個(gè)關(guān)鍵層之間先打印形狀跑通之后再刪掉打印語(yǔ)句。這比瞎猜要高效得多。4.3 模型不收斂loss曲線不會(huì)說(shuō)謊loss不降或者震蕩劇烈通常可以從三個(gè)方向排查。第一學(xué)習(xí)率是否合適。lr太高loss會(huì)震蕩甚至在初期直接變成nanlr太低loss會(huì)下降得像蝸牛爬。假如你看到loss一直維持在同一個(gè)值附近紋絲不動(dòng)先試試把學(xué)習(xí)率調(diào)大10倍如果loss劇烈跳動(dòng)那再調(diào)小10倍。學(xué)習(xí)率調(diào)節(jié)一個(gè)量級(jí)一個(gè)量級(jí)地試效率最高。第二數(shù)據(jù)歸一化和初始化是否正確。輸入數(shù)據(jù)數(shù)值范圍過(guò)大或分布異常會(huì)導(dǎo)致梯度爆炸或消失。第三優(yōu)化器和損失函數(shù)是否匹配。比如分類問(wèn)題用了MSELoss而不是CrossEntropyLoss雖然也能算但收斂效果會(huì)差不少。我系統(tǒng)排查時(shí)的順序是固定的先看數(shù)據(jù)預(yù)處理再檢查模型輸出的數(shù)值范圍最后調(diào)整學(xué)習(xí)率。按這個(gè)順序走下來(lái)大多數(shù)不收斂的問(wèn)題都能找到根因。4.4 數(shù)據(jù)加載慢瓶頸可能在io而不是計(jì)算如果你的GPU利用率很低可CPU占用率又拉滿大概率是數(shù)據(jù)加載拖后腿。最直接的手段是把DataLoader里的num_workers調(diào)大比如4或者8讓多個(gè)進(jìn)程并行讀取和預(yù)處理數(shù)據(jù)。另一個(gè)容易踩的坑是transform里做了復(fù)雜操作比如隨機(jī)裁剪、旋轉(zhuǎn)、色彩抖動(dòng)這些操作本身就很耗時(shí)。如果它們成了瓶頸可以把預(yù)處理結(jié)果緩存到本地訓(xùn)練時(shí)直接讀取處理好的張量。還有一個(gè)易被忽視的點(diǎn)Windows系統(tǒng)上DataLoader如果設(shè)置了num_workers0代碼沒(méi)有放在ifname main保護(hù)塊里會(huì)報(bào)RuntimeError。這不算pytorch本身的bug而是Python多進(jìn)程在Windows平臺(tái)的行為差異。遇到這個(gè)問(wèn)題時(shí)的解決方案很簡(jiǎn)單要么把主邏輯包在main函數(shù)中調(diào)用要么先把num_workers設(shè)為0跑通再說(shuō)。追求速度是好事但分清楚平臺(tái)限制也同樣重要。4.5 設(shè)備不一致報(bào)錯(cuò)信息第一句就該看清楚Expected all tensors to be on the same device是我見(jiàn)過(guò)最高頻的報(bào)錯(cuò)之一。原因幾乎都是某個(gè)張量忘了調(diào)用.to(device)。排查方法很笨但有效把所有參與計(jì)算的張量都打印出它的device屬性比如tensor.device一個(gè)一個(gè)對(duì)比。為從源頭避免這個(gè)問(wèn)題我有一個(gè)小習(xí)慣構(gòu)造數(shù)據(jù)時(shí)就直接從dataloader取出來(lái)之后立即to(device)模型實(shí)例化之后也立即to(device)絕不拖到后面。代碼多寫幾行但后續(xù)調(diào)試時(shí)清爽很多。4.6 常見(jiàn)問(wèn)題速查表現(xiàn)象可能原因排查順序解決建議CUDA out of memorybatch過(guò)大或中間變量過(guò)多查看報(bào)錯(cuò)堆棧先調(diào)小batch再考慮梯度累積維度不匹配層定義與數(shù)據(jù)形狀不一致打印每層輸入輸出shape在關(guān)鍵層之間加shape打印確認(rèn)loss不下降學(xué)習(xí)率過(guò)低或數(shù)據(jù)未歸一化檢查預(yù)處理和lr范圍按10倍量級(jí)調(diào)整學(xué)習(xí)率loss震蕩/NaN學(xué)習(xí)率過(guò)高或數(shù)值不穩(wěn)定查看loss值分布降低學(xué)習(xí)率檢查輸入是否有異常值CPU滿載GPU空閑數(shù)據(jù)加載過(guò)慢查看num_workers設(shè)置調(diào)高num_workers或預(yù)處理緩存相同代碼結(jié)果不一致dropout或batchnorm狀態(tài)未切換檢查model.train/eval訓(xùn)練用train推斷用eval梯度累積導(dǎo)致異常忘記zero_grad檢查循環(huán)內(nèi)清零邏輯每次step前調(diào)用zero_grad模型文件加載報(bào)錯(cuò)參數(shù)形狀與模型不匹配對(duì)比state_dict鍵名和shape確認(rèn)模型類一致后再load5. 關(guān)于調(diào)試效率和工程習(xí)慣的一些個(gè)人建議調(diào)試pytorch項(xiàng)目時(shí)最大的成本其實(shí)不是寫代碼而是“等待”和“排錯(cuò)”。所以我強(qiáng)烈建議從小規(guī)模實(shí)驗(yàn)開(kāi)始先用少量數(shù)據(jù)、小模型、少epoch把整個(gè)流程走通確認(rèn)每一個(gè)環(huán)節(jié)沒(méi)問(wèn)題再逐步放大規(guī)模。這個(gè)習(xí)慣讓我避免了很多次“訓(xùn)練半天才發(fā)現(xiàn)數(shù)據(jù)加載錯(cuò)位”的慘痛經(jīng)歷。驗(yàn)證模型邏輯時(shí)我甚至?xí)靡粋€(gè)mini-batch的數(shù)據(jù)去做過(guò)擬合實(shí)驗(yàn)讓loss降到接近0這能快速證明模型本身沒(méi)有問(wèn)題。另外pytorch的生態(tài)工具也值得關(guān)注。torchsummary可以一鍵打印模型的參數(shù)量和各層形狀tensorboard可以通過(guò)torch.utils.tensorboard可視化loss曲線和模型結(jié)構(gòu)。這些工具不是必須的但能顯著提升排錯(cuò)效率。特別是torchsummary對(duì)一個(gè)剛開(kāi)始搭模型的開(kāi)發(fā)者來(lái)說(shuō)它比手動(dòng)print shape方便得多幾行代碼就能看清整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)是否正確。還有一個(gè)容易被忽略的習(xí)慣固定隨機(jī)種子。深度學(xué)習(xí)中很多操作自帶隨機(jī)性比如模型參數(shù)初始化、DataLoader的shuffle、dropout等。如果你的實(shí)驗(yàn)結(jié)果需要和別人復(fù)現(xiàn)或者你自己需要對(duì)比不同設(shè)置的模型效果可以在代碼開(kāi)頭設(shè)置import random import numpy as np import torch random.seed(0) np.random.seed(0) torch.manual_seed(0)這樣能讓實(shí)驗(yàn)的可復(fù)現(xiàn)性大幅提升。在同一個(gè)項(xiàng)目里反復(fù)調(diào)參時(shí)固定種子還能幫你排除隨機(jī)因素的干擾讓你清楚看到改動(dòng)帶來(lái)的真實(shí)效果差異。不可復(fù)現(xiàn)的實(shí)驗(yàn)結(jié)果再好的模型也失去了說(shuō)服力。寫到這里其實(shí)pytorch的核心用法已經(jīng)全部覆蓋了。從張量、自動(dòng)求導(dǎo)這兩個(gè)底層概念到Dataset、DataLoader、nn.Module這套標(biāo)準(zhǔn)組件再到訓(xùn)練循環(huán)里那固定的三行代碼最后到高頻問(wèn)題的排查方法整條路徑是清晰且可復(fù)制的。我始終覺(jué)得學(xué)pytorch最好的方式不是背API而是把一個(gè)最小的訓(xùn)練流程寫通、跑通、調(diào)通再往里面加任務(wù)復(fù)雜度。當(dāng)你親手跑完一個(gè)完整的訓(xùn)練流程看到loss在逐步下降、測(cè)試準(zhǔn)確率在提升的時(shí)候框架就不再是黑盒了。后續(xù)再接觸分布式訓(xùn)練、混合精度、模型部署這些進(jìn)階內(nèi)容都會(huì)輕松很多。