簡介針對(duì)基于能量的先驗(yàn)改進(jìn)物理信息神經(jīng)網(wǎng)絡(luò)訓(xùn)練的復(fù)現(xiàn)需求這份源碼包聚焦電阻抗斷層掃描(EIT)成像場景面向研究PINN反演算法、能量先驗(yàn)建模和醫(yī)學(xué)電阻抗圖像重建的學(xué)者、研究生及工程開發(fā)人員可幫助讀者快速搭建實(shí)驗(yàn)框架并減少重復(fù)編碼成本。包內(nèi)共35個(gè)文件以13個(gè)Python腳本與17個(gè)MATLAB腳本為主Python部分承擔(dān)能量先驗(yàn)?zāi)Ｐ?、評(píng)分匹配、分類器與網(wǎng)絡(luò)訓(xùn)練等任務(wù)MATLAB部分覆蓋網(wǎng)格生成、有限元正問題求解、心肺及異常體成像數(shù)據(jù)構(gòu)造等環(huán)節(jié)同時(shí)附有說明文檔、HTML可視化頁面和示例圖便于快速理解算法流程。整包僅141KB結(jié)構(gòu)按正問題求解、逆問題求解、能量先驗(yàn)?zāi)K劃分思路清晰配合數(shù)據(jù)生成腳本可直接復(fù)現(xiàn)實(shí)驗(yàn)。目前已有168人學(xué)習(xí)查看適合用于EIT反演學(xué)習(xí)、算法對(duì)比或作為后續(xù)改進(jìn)的基線實(shí)現(xiàn)。1. 能量先驗(yàn)不是錦上添花是PINN做EIT的保命丸做過電阻抗斷層掃描EIT重建的人都清楚這活兒比CT和超聲都難伺候。邊界上幾十個(gè)電極測到的電壓數(shù)據(jù)看著挺多實(shí)際有效信息量低得可憐——你要從這些電壓里反推出整個(gè)截面的電導(dǎo)率分布而問題本身是嚴(yán)重病態(tài)的無窮多個(gè)電導(dǎo)率分布能產(chǎn)生幾乎一樣的邊界電壓。物理信息神經(jīng)網(wǎng)絡(luò)PINN因?yàn)槟馨衙枋鲭姶艌龅钠⒎址匠讨苯訉戇M(jìn)損失函數(shù)成了這兩年不少人嘗試的方向。但模型在真實(shí)噪聲數(shù)據(jù)上很容易訓(xùn)偏網(wǎng)絡(luò)學(xué)會(huì)了滿足物理方程卻忠實(shí)錯(cuò)解成了那個(gè)無害但沒有臨床意義的平凡解。我的實(shí)踐經(jīng)驗(yàn)是單純把EIT的物理方程塞進(jìn)PINN約束不夠必須額外給解空間的形狀加一個(gè)能量先驗(yàn)——先告訴網(wǎng)絡(luò)“哪些電導(dǎo)率分布是合理的”再讓它去找物理一致的解。這個(gè)改動(dòng)帶來的訓(xùn)練穩(wěn)定性提升遠(yuǎn)比把網(wǎng)絡(luò)加深兩個(gè)數(shù)量級(jí)來得實(shí)在。2. 為什么EIT反問題先把PINN逼瘋了病態(tài)性與能量景觀2.1 EIT逆問題為什么天生病態(tài)對(duì)比度與邊界測量EIT的正問題在數(shù)學(xué)上很干凈給定區(qū)域內(nèi)部的電導(dǎo)率分布σ(x)求解拉普拉斯形式的電流場方程再從邊界電極拿到電壓測量值U。反問題就是把U映射回σ。這個(gè)映射的病態(tài)程度可以用一個(gè)簡單的仿真告訴你一個(gè)圓形區(qū)域內(nèi)放兩個(gè)電導(dǎo)率對(duì)比度1:20的小目標(biāo)比如模擬腫瘤在16個(gè)電極的配置下邊界電壓分布的變化量在噪聲幅度為0.5%時(shí)就完全淹沒在測量誤差里了。更麻煩的是解的個(gè)數(shù)不是有限多個(gè)而是連續(xù)無窮多——不同形狀、不同位置的內(nèi)部異常完全可能給出幾乎相同的邊界電壓。這就是為什么EIT的臨床重建一直依賴強(qiáng)先驗(yàn)。醫(yī)院里常用的時(shí)間差分成像可以靠上一次的健康掃描作為基線來抵消病態(tài)性但絕對(duì)成像沒有歷史基線就慘了你面對(duì)的是一堆接近零的奇異值。我見過不少人在這個(gè)環(huán)節(jié)翻車以為PINN能把物理約束當(dāng)救命稻草結(jié)果PDE殘差項(xiàng)確實(shí)收斂到了很小重建出來的電導(dǎo)率圖像卻是一團(tuán)完全沒有結(jié)構(gòu)的光滑云團(tuán)。2.2 傳統(tǒng)正則化治標(biāo)不治本TV太糙L2太糊先看兩個(gè)最常見的傳統(tǒng)正則化手段為什么在EIT上讓人又愛又恨。L2正則Tikhonov把解往零或者某個(gè)平均分布拉數(shù)學(xué)性質(zhì)好閉式解都有但代價(jià)是重建圖像被均勻模糊——要是病灶邊界就是你最關(guān)心的信息L2基本給不了你。全變分TV正則化保護(hù)邊界代價(jià)是會(huì)把連續(xù)漸變的組織區(qū)域切成一塊塊硬邊而且對(duì)噪聲敏感每次測量的噪聲形態(tài)不同TV最優(yōu)參數(shù)就跟著漂你得重新調(diào)平衡因子。這兩種正則化在實(shí)際EIT項(xiàng)目里都被大量使用但它們本質(zhì)上都是手工設(shè)計(jì)的先驗(yàn)——只約束解的平滑程度或稀疏程度完全不理會(huì)這個(gè)領(lǐng)域的電導(dǎo)率分布到底長什么樣。PINN訓(xùn)練遇到的就是同一類問題你給網(wǎng)絡(luò)的物理約束只說了“這個(gè)解要滿足電磁場方程”沒說“這個(gè)解要長得像真實(shí)的人體組織”。于是網(wǎng)絡(luò)找到了無數(shù)個(gè)滿足方程的解而梯度下降把模型帶到了哪個(gè)解基本看初始化隨機(jī)種子和優(yōu)化器的心情。2.3 能量先驗(yàn)把解拉回低能流形能量先驗(yàn)的思路從根本上換了個(gè)方向。與其手工設(shè)計(jì)一個(gè)正則項(xiàng)不如讓網(wǎng)絡(luò)自己學(xué)一個(gè)函數(shù)E(σ)輸入一個(gè)電導(dǎo)率分布輸出一個(gè)標(biāo)量能量值——低能量表示這個(gè)分布“看起來合理”接近真實(shí)組織的形態(tài)、對(duì)比度范圍、邊界特征高能量表示“這是網(wǎng)絡(luò)在瞎編”比如在組織內(nèi)部出現(xiàn)了不可能的條紋狀震蕩。在訓(xùn)練時(shí)這個(gè)能量函數(shù)作為額外的一項(xiàng)約束加進(jìn)總損失。為什么它比手工正則化強(qiáng)因?yàn)檫@是數(shù)據(jù)驅(qū)動(dòng)的先驗(yàn)——你有一批歷史EIT重建結(jié)果、或者來自其他成像模態(tài)的同一區(qū)域結(jié)構(gòu)分布就能學(xué)到這個(gè)能量函數(shù)。它比TV和L2都更“懂”這個(gè)具體應(yīng)用場景。更關(guān)鍵的是它天然適合和PINN配合PINN負(fù)責(zé)把解囚禁在物理方程的解流形上能量先驗(yàn)負(fù)責(zé)在這個(gè)流形上挑出那些與真實(shí)組織結(jié)構(gòu)一致的點(diǎn)。兩個(gè)約束一個(gè)管物理一致性一個(gè)管結(jié)構(gòu)合理性互不干擾。這里有一些數(shù)學(xué)直覺值得說清楚。總損失長這樣L λ_pde · L_pde λ_data · L_data λ_e · E(σ)E(σ)是能量函數(shù)后文會(huì)講怎么構(gòu)建。本質(zhì)上這是一個(gè)受限優(yōu)化問題在PDE殘差和數(shù)據(jù)擬合的約束下找能量最小的那個(gè)解。物理信息神經(jīng)網(wǎng)絡(luò)用梯度下降同時(shí)優(yōu)化這三個(gè)目標(biāo)相比把能量先驗(yàn)做成硬約束這種方式實(shí)現(xiàn)簡單而且調(diào)損失權(quán)重比改網(wǎng)絡(luò)結(jié)構(gòu)容易得多。在實(shí)際實(shí)驗(yàn)中我推薦把λ_e設(shè)為一個(gè)較小值0.01~0.1量級(jí)讓能量項(xiàng)起引導(dǎo)作用而不是主導(dǎo)作用——否則網(wǎng)絡(luò)會(huì)學(xué)著把輸出抹成一個(gè)低能量的平庸分布物理損失又反彈了。3. 用python搭一套EIT-PINN最小可跑系統(tǒng)3.1 正問題有限差分求解器EIT-PINN整套系統(tǒng)需要一個(gè)能反復(fù)調(diào)用的正問題求解器給定σ算出邊界電壓U。理論上有無數(shù)種方法——有限元、邊界元、有限差分但對(duì)一個(gè)demo來說圓形域上的有限差分是性價(jià)比最高的選擇。用python實(shí)現(xiàn)注意保持代碼簡單直觀不犧牲可讀性。import numpy as np def solve_eit_forward(sigma, n_elec16, n_grid64, n_iter2000): 極簡圓形域EIT正問題求解器有限差分 電流注入模式 sigma: (n_grid, n_grid) 電導(dǎo)率分布邊界外為0 n_elec: 電極數(shù)量均勻分布在圓邊界 n_iter: 共軛梯度迭代次數(shù)控制內(nèi)部迭代精度 返回: (n_elec, n_elec) 電壓矩陣第i行是第i對(duì)電極注入時(shí)的邊界電壓 h 2.0 / n_grid # 把圓形域映射到[-1, 1]^2的網(wǎng)格格距 x np.linspace(-1, 1, n_grid) mask x[:, None]**2 x[None, :]**2 1.0 # 圓形域掩膜 # 電極位置16個(gè)均勻分布在圓上對(duì)應(yīng)角度 k * 2pi/16 angles np.arange(n_elec) * 2 * np.pi / n_elec elec_pos [(1.0 * np.cos(a), 1.0 * np.sin(a)) for a in angles] voltages np.zeros((n_elec, n_elec)) # 對(duì)每一對(duì)相鄰電極注入電流相鄰激勵(lì)模式求解電壓 for src_idx in range(n_elec): # 構(gòu)建離散拉普拉斯算子-div(sigma * grad(u)) # 用五點(diǎn)差分sigma在網(wǎng)格中心取值 # 這是一個(gè)稀疏矩陣但demo里直接稠密求解也沒問題64x64網(wǎng)格 A build_stiffness_matrix(sigma, mask, h) b build_current_vector(n_elec, src_idx, mask, angles) # 求解 Au b用共軛梯度這里簡化成直接求解 u np.linalg.solve(A, b) # 電極測量取電極附近網(wǎng)格點(diǎn)的電壓值 for dst_idx in range(n_elec): i_near, j_near find_nearest_grid(elec_pos[dst_idx], n_grid) voltages[src_idx, dst_idx] u[i_near, j_near] return voltages這段代碼有三處值得留意的設(shè)計(jì)決策。第一用稠密矩陣而不是稀疏矩陣——64×64網(wǎng)格只有4096個(gè)未知數(shù)直接np.linalg.solve又快又穩(wěn)等做到256×256以上再換scipy.sparse不遲。第二相鄰電極注入模式是EIT最常見的激勵(lì)策略對(duì)應(yīng)實(shí)際硬件里相鄰電極對(duì)間的恒流源激勵(lì)這一模式的信噪比表現(xiàn)相對(duì)均衡。第三我沒有顯式處理邊界條件中的接觸阻抗真實(shí)系統(tǒng)里電極-皮膚接觸阻抗會(huì)給測量值帶來明顯的乘性偏移這在demo里用一個(gè)統(tǒng)一的校正因子近似就夠了。3.2 PINN的損失函數(shù)四件套PINN的核心不是網(wǎng)絡(luò)結(jié)構(gòu)多花哨而是損失函數(shù)怎么組織。EIT場景下我一般把總損失拆成四個(gè)部分PDE殘差、邊界條件殘差、電壓測量數(shù)據(jù)擬合、能量先驗(yàn)項(xiàng)。前兩項(xiàng)是PINN的老本行后兩項(xiàng)決定這個(gè)模型能不能在真實(shí)數(shù)據(jù)上干活。import torch import torch.nn as nn class EITPINN(nn.Module): def __init__(self, n_dim2, n_hidden128, n_layers5): super().__init__() layers [nn.Linear(n_dim, n_hidden), nn.Tanh()] for _ in range(n_layers - 1): layers [nn.Linear(n_hidden, n_hidden), nn.Tanh()] layers.append(nn.Linear(n_hidden, 1)) self.net nn.Sequential(*layers) # 用sigmoid把輸出限制在合理電導(dǎo)率范圍 [0.01, 2.0] self.output_scale nn.Sigmoid() def forward(self, x, y): # 輸入是物理坐標(biāo)輸出是電導(dǎo)率 coords torch.cat([x, y], dim-1) raw self.net(coords) # 0.01-2.0 S/m人體組織的電導(dǎo)率大致落在這個(gè)范圍 return 0.01 1.99 * self.output_scale(raw)def pinn_loss(model, x_pde, y_pde, x_bc, y_bc, u_measured, elec_coords, sigma_prior, lambda_e0.05): 計(jì)算EIT-PINN的四項(xiàng)損失 x_pde, y_pde: 域內(nèi)的采樣點(diǎn)坐標(biāo)物理約束點(diǎn) x_bc, y_bc: 邊界采樣點(diǎn)坐標(biāo)電流絕緣邊界 u_measured: 實(shí)測邊界電壓 sigma_prior: 能量先驗(yàn)函數(shù)后文實(shí)現(xiàn)輸入電導(dǎo)率分布輸出能量標(biāo)量 # 1. PDE殘差?·(σ?u) 0 在域內(nèi)成立 # 這里有個(gè)關(guān)鍵點(diǎn)PINN直接輸出σ而u來自正問題求解器 # 所以PDE殘差重寫為通過自動(dòng)微分驗(yàn)證網(wǎng)絡(luò)輸出σ是否滿足方程 sigma model(x_pde, y_pde) # 需要u所以我們把正問題求解器包裝成可微分版本 # 完整實(shí)現(xiàn)里用torch的自動(dòng)微分重寫拉普拉斯算子 u differentiable_forward(model, x_pde, y_pde) # 簡化示意 # 手動(dòng)計(jì)算?·(σ?u)需要二階導(dǎo) u_x torch.autograd.grad(u, x_pde, create_graphTrue)[0] u_y torch.autograd.grad(u, y_pde, create_graphTrue)[0] sigma_x torch.autograd.grad(sigma, x_pde, create_graphTrue)[0] sigma_y torch.autograd.grad(sigma, y_pde, create_graphTrue)[0] pde_residual sigma * (torch.autograd.grad(u_x, x_pde, create_graphTrue)[0] torch.autograd.grad(u_y, y_pde, create_graphTrue)[0]) \ sigma_x * u_x sigma_y * u_y loss_pde torch.mean(pde_residual**2) # 2. 邊界條件電流不能流出邊界諾伊曼邊界 sigma_bc model(x_bc, y_bc) # 邊界上法向?qū)?shù)為零近似——簡化處理為邊界上σ梯度為零 loss_bc torch.mean(torch.autograd.grad(sigma_bc, x_bc, create_graphTrue)[0]**2) \ torch.mean(torch.autograd.grad(sigma_bc, y_bc, create_graphTrue)[0]**2) # 3. 電壓數(shù)據(jù)擬合模型預(yù)測的電極電壓 vs 實(shí)測電壓 sigma_elec model(elec_coords[:, 0], elec_coords[:, 1]) u_pred differentiable_forward(model, elec_coords[:, 0], elec_coords[:, 1]) loss_data torch.mean((u_pred - u_measured)**2) # 4. 能量先驗(yàn)項(xiàng) loss_energy lambda_e * sigma_prior(sigma) return loss_pde loss_bc loss_data loss_energy這里有個(gè)容易繞暈的地方PINN輸出的是σ但PDE殘差需要u。所以你必須把正問題求解器嵌入到訓(xùn)練圖里即每次forward都要解一次正問題。這在實(shí)踐中怎么實(shí)現(xiàn)兩種常見做法一是把正問題求解器重寫成PyTorch可微分的迭代求解層二是把σ的預(yù)測值喂給一個(gè)用torch重寫的有限差分求解器讓梯度可以穿透過去。我推薦第二種——網(wǎng)絡(luò)參數(shù)經(jīng)過σ影響u最后影響損失梯度回傳路徑清晰。3.3 訓(xùn)練循環(huán)與參數(shù)設(shè)置def train_eit_pinn(model, train_data, n_epochs10000, lr1e-3): optimizer torch.optim.Adam(model.parameters(), lrlr, weight_decay1e-5) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxn_epochs) for epoch in range(n_epochs): # 每個(gè)epoch重新采樣域內(nèi)點(diǎn)和邊界點(diǎn)這是PINN的常見技巧 x_pde, y_pde sample_interior(512) # 域內(nèi)隨機(jī)采樣 x_bc, y_bc sample_boundary(128) # 邊界隨機(jī)采樣 total_loss pinn_loss(model, x_pde, y_pde, x_bc, y_bc, train_data[u_measured], train_data[elec_coords], energy_prior, lambda_e0.05) optimizer.zero_grad() total_loss.backward() optimizer.step() scheduler.step() if epoch % 500 0: print(fEpoch {epoch}: PDE{loss_pde.item():.6f}, Data{loss_data.item():.6f}, Energy{loss_energy.item():.6f})訓(xùn)練循環(huán)里最容易被忽略但又影響巨大的是采樣策略。每個(gè)epoch重新隨機(jī)采樣域內(nèi)點(diǎn)和邊界點(diǎn)比固定一組點(diǎn)訓(xùn)到底要穩(wěn)得多——這相當(dāng)于做數(shù)據(jù)增強(qiáng)讓網(wǎng)絡(luò)在各個(gè)空間位置都滿足物理約束而不是只在初始采樣的那些點(diǎn)上過擬合。優(yōu)化器選擇Adam配余弦退火學(xué)習(xí)率是PINN訓(xùn)練里的常規(guī)搭配Adam能在前期快速下降余弦退火幫后期收斂不震蕩。learning rate從1e-3起步一般能覆蓋大部分案例如果loss出現(xiàn)震蕩優(yōu)先降到3e-4。4. 注入能量先驗(yàn)的三種寫法soft約束、hard映射、兩階段熱身4.1 soft約束能量項(xiàng)進(jìn)總損失第一種注入方式最簡單直接像前面代碼那樣把能量函數(shù)作為一個(gè)損失項(xiàng)直接加進(jìn)總損失通過λ_e控制它的影響力。這能work關(guān)鍵在于能量函數(shù)本身的設(shè)計(jì)。class EnergyPrior(nn.Module): 基于能量的先驗(yàn)輸入電導(dǎo)率分布輸出一個(gè)標(biāo)量能量 用一個(gè)小型判別器網(wǎng)絡(luò)實(shí)現(xiàn)訓(xùn)練時(shí)讓真實(shí)分布的能量低、偽分布的能量高 def __init__(self, n_grid64): super().__init__() # 把64x64的電導(dǎo)率圖下采樣到16x16再送入MLP self.downsample nn.AvgPool2d(4) # 64x64 - 16x16 self.fc nn.Sequential( nn.Linear(16*16, 256), nn.ReLU(), nn.Linear(256, 64), nn.ReLU(), nn.Linear(64, 1) # 輸出能量不做sigmoid保留幅度信息 ) def forward(self, sigma): # sigma: (batch, 1, 64, 64) 或 (batch, 64, 64) if sigma.dim() 3: sigma sigma.unsqueeze(1) x self.downsample(sigma) x x.view(x.size(0), -1) return self.fc(x).squeeze(-1) # (batch,)這個(gè)網(wǎng)絡(luò)本質(zhì)上是一個(gè)判別器但和GAN里的判別器稍有不同輸出不是0~1的真假概率而是任意標(biāo)量能量值。訓(xùn)練時(shí)用對(duì)比樣本對(duì)真實(shí)電導(dǎo)率分布來自臨床數(shù)據(jù)或高精度重建結(jié)果標(biāo)簽為低能量網(wǎng)絡(luò)生成的分布機(jī)動(dòng)為高能量用margin ranking loss來訓(xùn)練。這種設(shè)計(jì)的好處是給能量函數(shù)留出了“不論怎么輸出都能拉大真實(shí)和偽造差距”的自由度而不是把判別器逼成飽和的sigmoid。soft約束最大的坑是權(quán)重分配。λ_e太小能量先驗(yàn)形同虛設(shè)λ_e太大能量梯度會(huì)把σ往平均分布?jí)簩?dǎo)致PDE殘差反彈。我的經(jīng)驗(yàn)是λ_e初始設(shè)0.01跑50個(gè)epoch后觀察loss各項(xiàng)的量級(jí)如果能量損失已經(jīng)比PDE殘差小兩個(gè)數(shù)量級(jí)就把λ_e逐步調(diào)大到0.05~0.1。這個(gè)過程值得花精力因?yàn)椴煌珽IT數(shù)據(jù)集的能量尺度完全不一樣。4.2 hard映射用編碼器限制輸出流形soft約束的問題在于網(wǎng)絡(luò)仍然可以在輸出空間里自由游走能量函數(shù)只能“拽”它不能“鎖”它。hard映射的思路是把σ的生成路徑重新設(shè)計(jì)網(wǎng)絡(luò)先輸出一個(gè)低維隱變量z再經(jīng)過一個(gè)固定的解碼器從隱空間到電導(dǎo)率分布得到σ。解碼器是預(yù)先用大量真實(shí)分布訓(xùn)練好的自編碼器——相當(dāng)于把解空間硬性限制在低能量流形上。class HardPriorPINN(nn.Module): 用自編碼器的解碼器作為輸出層硬性約束解在低能流形上 def __init__(self, decoder, latent_dim32, n_hidden128): super().__init__() self.decoder decoder # 預(yù)訓(xùn)練的自編碼器解碼器參數(shù)固定 self.decoder.eval() for p in self.decoder.parameters(): p.requires_grad False # PINN部分只負(fù)責(zé)把坐標(biāo)映射到隱變量 self.coord_net nn.Sequential( nn.Linear(2, n_hidden), nn.Tanh(), nn.Linear(n_hidden, n_hidden), nn.Tanh(), nn.Linear(n_hidden, latent_dim) ) def forward(self, x, y): coords torch.cat([x, y], dim-1) z self.coord_net(coords) # (batch, latent_dim) # 解碼器輸出是(1, 64, 64)的分布圖但我們需要的是每個(gè)坐標(biāo)點(diǎn)的σ值 # 做法解碼器生成完整分布圖再雙線性插值到坐標(biāo)點(diǎn) sigma_map self.decoder(z) # (batch, 1, 64, 64) sigma_vals bilinear_sample(sigma_map, x, y) # 從圖中采樣 return sigma_valshard映射優(yōu)點(diǎn)明顯網(wǎng)絡(luò)不可能輸出能量函數(shù)認(rèn)為是“離譜”的分布因?yàn)樗荒茉诮獯a器的輸出流形上活動(dòng)。這在訓(xùn)練初期尤其珍貴——傳統(tǒng)PINN經(jīng)常在最初幾千步產(chǎn)生一些完全非物理的σ需要花大量epoch才能拉回來而hard映射從一開始就把輸出限制在合理的結(jié)構(gòu)形態(tài)內(nèi)。代價(jià)也明顯解碼器的表達(dá)能力就是瓶頸。如果自編碼器的latent dimension太小能表達(dá)的分布細(xì)節(jié)不夠重建的圖像會(huì)丟失精細(xì)邊界如果latent dimension太大流形約束又弱化了。我在EIT實(shí)驗(yàn)中通常選32~64維的隱變量配合一個(gè)帶跳連接的自編碼器結(jié)構(gòu)能在保留邊界銳度的同時(shí)壓制大部分病態(tài)解。解碼器的預(yù)訓(xùn)練數(shù)據(jù)來源可以是同一批病人的歷史重建結(jié)果也可以用仿真數(shù)據(jù)——用仿真數(shù)據(jù)時(shí)記得加入不同噪聲水平防止解碼器只學(xué)會(huì)理想無噪聲的形態(tài)。4.3 兩階段熱身先壓低能量再同時(shí)優(yōu)化第三種方式最實(shí)用兩階段訓(xùn)練。第一階段固定PINN的主網(wǎng)絡(luò)只訓(xùn)練能量函數(shù)——用真實(shí)歷史重建結(jié)果作為正樣本用當(dāng)前PINN輸出的分布作為負(fù)樣本讓能量函數(shù)快速學(xué)會(huì)區(qū)分合理與不合理的σ。這一階段通常只跑幾百個(gè)epoch目的是讓能量先驗(yàn)在PINN正式訓(xùn)練時(shí)就已經(jīng)是個(gè)有判別力的函數(shù)而不是一個(gè)從零開始瞎猜的隨機(jī)網(wǎng)絡(luò)。第二階段凍結(jié)能量函數(shù)的所有參數(shù)把能量項(xiàng)加進(jìn)PINN的損失里開始正式的端到端訓(xùn)練。def two_stage_train(model, energy_net, real_sigmas, train_data, stage1_epochs500, stage2_epochs10000): # 第一階段只訓(xùn)練能量函數(shù) energy_optimizer torch.optim.Adam(energy_net.parameters(), lr1e-3) margin 1.0 # ranking loss的margin for epoch in range(stage1_epochs): # 正樣本真實(shí)電導(dǎo)率分布 real_batch sample_batch(real_sigmas, 16) # 負(fù)樣本當(dāng)前PINN的輸出 fake_batch model.sample_sigma(16).detach() # 不反傳梯度給模型 real_energy energy_net(real_batch) fake_energy energy_net(fake_batch) # margin ranking loss讓real_energy fake_energy - margin loss torch.relu(fake_energy - real_energy margin).mean() energy_optimizer.zero_grad() loss.backward() energy_optimizer.step() # 第二階段凍結(jié)能量函數(shù)訓(xùn)練PINN for p in energy_net.parameters(): p.requires_grad False pinn_optimizer torch.optim.Adam(model.parameters(), lr1e-3) # ... 標(biāo)準(zhǔn)PINN訓(xùn)練循環(huán)loss中加 energy_net(model輸出) 項(xiàng)兩階段訓(xùn)練的好處在第100個(gè)epoch就體現(xiàn)得很明顯能量函數(shù)不是隨機(jī)初始化噪聲的時(shí)候它給出的梯度信號(hào)更有方向性——指向“更像真實(shí)組織”的方向而不是“隨意壓低能量”的方向。這緩解了soft約束一個(gè)隱性困難當(dāng)能量函數(shù)還沒訓(xùn)練好時(shí)它給出的懲罰梯度可能完全隨機(jī)反而干擾PINN原有的收斂方向。有個(gè)細(xì)節(jié)值得記錄負(fù)樣本的更新頻率。第一階段里負(fù)樣本來自當(dāng)前PINN的輸出但PINN本身也在隨著階段推進(jìn)而更新雖然我們不訓(xùn)練它但它的權(quán)重可能在某些代碼實(shí)現(xiàn)中意外變了。更穩(wěn)的做法是第一次生成一批負(fù)樣本后用緩存——每50個(gè)epoch重新生成一次避免能量函數(shù)和PINN形成對(duì)抗式的共同演化陷入類似GAN訓(xùn)練的不穩(wěn)定循環(huán)。5. PINNEIT常見翻車現(xiàn)場與排查手冊(cè)5.1 現(xiàn)象一loss卡死在物理殘差項(xiàng)幾乎為零但電壓擬合很差這種情況我遇到過至少三次。曲線特征是loss_pde掉到1e-6以下漂亮的不能再漂亮但loss_data居高不下重建圖的內(nèi)部結(jié)構(gòu)完全對(duì)不上電壓數(shù)據(jù)。原因在于網(wǎng)絡(luò)找到了一個(gè)“偽物理解”——在采樣點(diǎn)上恰好滿足方程但因?yàn)椴蓸狱c(diǎn)分布不均勻或數(shù)量不夠整個(gè)域內(nèi)的真實(shí)解被跳過了。這是PINN的經(jīng)典失敗模式采樣密度低的區(qū)域約束力弱網(wǎng)絡(luò)在那里自由發(fā)揮。解決思路是動(dòng)態(tài)采樣。固定每個(gè)epoch的512個(gè)域內(nèi)點(diǎn)不夠尤其是邊界附近電流密度變化劇烈的位置需要加密采樣。我一般會(huì)每200個(gè)epoch檢查一次PDE殘差的空間分布把殘差大的區(qū)域追加采樣點(diǎn)相當(dāng)于把自適應(yīng)網(wǎng)格思想搬進(jìn)PINN訓(xùn)練。5.2 現(xiàn)象二加能量先驗(yàn)后重建圖像被“抹平”能量先驗(yàn)的權(quán)重設(shè)太大模型輸出會(huì)被壓向訓(xùn)練數(shù)據(jù)集中的平均形態(tài)邊界模糊、對(duì)比度下降甚至兩個(gè)相鄰目標(biāo)被融合成一個(gè)。原因好理解能量函數(shù)只學(xué)了“這像不像真實(shí)組織”沒有保留“這是哪個(gè)真實(shí)組織”的區(qū)分度——能量只對(duì)結(jié)構(gòu)類型敏感對(duì)個(gè)體細(xì)節(jié)遲鈍。解決方法是降低λ_e但更本質(zhì)的辦法是不要讓能量函數(shù)單打獨(dú)斗。我這里實(shí)踐有效的做法是給能量函數(shù)輸入時(shí)加上高頻細(xì)節(jié)通道——除了σ本身再加一個(gè)σ的梯度幅度圖作為第二個(gè)輸入通道。這樣能量函數(shù)就有條件區(qū)分“光滑但錯(cuò)誤的平均分布”和“帶細(xì)節(jié)但結(jié)構(gòu)合理的分布”避免把網(wǎng)絡(luò)的輸出慣性壓向平庸。5.3 現(xiàn)象三每一次訓(xùn)練初始化不同重建結(jié)果完全不同EIT的病態(tài)性和PINN的非凸優(yōu)化合在一起結(jié)果就是隨機(jī)種子的微小差異能引出完全不同的局部最優(yōu)解。這個(gè)問題在純PINN上就存在加能量先驗(yàn)后會(huì)緩解一些但hard mapping如果預(yù)訓(xùn)練解碼器的隱空間本身有多模態(tài)仍然會(huì)翻車。我的排查順序是先固定seed跑三次看離散程度同時(shí)visualize能量函數(shù)的決策邊界——把能量函數(shù)的輸出對(duì)σ做二維投影看能量景觀有沒有多個(gè)低洼盆地。如果確實(shí)多盆地給訓(xùn)練加一個(gè)簡單的模擬退火前500個(gè)epoch把λ_e拉高迫使模型快速落入某個(gè)盆地之后按余弦退火降下來讓細(xì)粒度重建恢復(fù)。5.4 現(xiàn)象四能量判別器loss震蕩不收斂經(jīng)典GAN式訓(xùn)練不穩(wěn)定的翻版在soft約束和兩階段的第一階段都可能出現(xiàn)?，F(xiàn)象是energy loss在某個(gè)值附近來回震蕩誤差沒有單邊下降趨勢。此時(shí)能量函數(shù)給PINN的梯度本質(zhì)上在隨機(jī)游走——這次說往左下次說往右把主訓(xùn)練也帶得搖擺不定。解決重點(diǎn)是讓能量函數(shù)的學(xué)習(xí)率比主網(wǎng)絡(luò)低一個(gè)量級(jí)。用1e-4而不是1e-3同時(shí)加上譜歸一化或者梯度裁剪。更狠的做法是在能量函數(shù)輸入里不直接給原始σ而是給帶噪聲的版本——輸入加噪噪聲幅度為σ量級(jí)的1%~2%相當(dāng)于一個(gè)正則器讓能量函數(shù)不再對(duì)細(xì)節(jié)過擬合訓(xùn)練穩(wěn)定性有明顯改善。5.5 現(xiàn)象五正問題邊界電極模型對(duì)重建影響過大這是EIT項(xiàng)目里最常見的“隱藏坑”不在PINN本身而在于正問題仿真與真實(shí)硬件的差異。如果正問題里電極被建模成完美點(diǎn)電極而真實(shí)硬件用的是有一定寬度的貼片電極那么邊界電壓的系統(tǒng)性誤差會(huì)直接變成重建誤差——尤其集中在靠近電極的淺表區(qū)域出現(xiàn)一圈明顯的偽影。解決方法是正問題里引入電極的接觸阻抗模型。最簡單的做法是把每個(gè)電極等效成一個(gè)“電壓測量點(diǎn)接觸阻抗電阻”在求解方程時(shí)在邊界條件里加上一項(xiàng)R_contact·II是流過電極的電流。R_contact的值可以通過先做一次均勻介質(zhì)比如測量前用已知電導(dǎo)率的鹽水校準(zhǔn)來標(biāo)定。這個(gè)校準(zhǔn)步驟對(duì)重建質(zhì)量的影響經(jīng)常比換一個(gè)更好的網(wǎng)絡(luò)結(jié)構(gòu)還大。6. 驗(yàn)證重建質(zhì)量的實(shí)用指標(biāo)與對(duì)比基線6.1 三個(gè)量化指標(biāo)NTD、邊界模糊帶、SSIM自己寫的代碼自己說好不算數(shù)EIT重建需要合同行信服的量化指標(biāo)。推薦三個(gè)在論文和臨床評(píng)估里都認(rèn)的指標(biāo)。歸一化均方根誤差NTD最基礎(chǔ)評(píng)估的是整體重建精度計(jì)算方式是重建圖和真值圖的逐像素差再按真值圖的標(biāo)準(zhǔn)差歸一化。結(jié)構(gòu)相似性SSIM評(píng)估的是空間結(jié)構(gòu)一致性窗口大小建議設(shè)成16×16因?yàn)镋IT重建的空間分辨率天生低窗口太小會(huì)被噪聲主導(dǎo)。邊界模糊帶edge blur width是我自己愛用的指標(biāo)專門看重建圖里真實(shí)邊界處從高到低過渡的像素寬度單位是網(wǎng)格數(shù)這個(gè)指標(biāo)能捕捉NTD和SSIM都容易忽略的“邊界位置對(duì)但糊了一片”的問題——TV正則化撐出來的銳利邊界在這里就能得分。驗(yàn)證集不能和訓(xùn)練集重疊。如果能量先驗(yàn)是用歷史重建結(jié)果訓(xùn)練的驗(yàn)證樣本必須來自沒參與過先驗(yàn)訓(xùn)練的病人或仿真對(duì)象。這一點(diǎn)疏忽了能量先驗(yàn)就直接退化成作弊器指標(biāo)數(shù)字再漂亮也沒有臨床參考價(jià)值。6.2 基線對(duì)比矩陣怎么設(shè)實(shí)驗(yàn)數(shù)據(jù)講到這里最后收在驗(yàn)證方案上。拿一套有真值的數(shù)據(jù)構(gòu)建一個(gè)對(duì)比矩陣最核心的三條基線是無先驗(yàn)PINN、帶TV正則化的經(jīng)典重建算法、帶能量先驗(yàn)的完整方案。加一個(gè)可選的第四條帶能量先驗(yàn)但去掉PDE項(xiàng)——用來量化物理約束在這個(gè)項(xiàng)目里到底貢獻(xiàn)了多少。每個(gè)方法都在同樣的噪聲水平建議從0.1%到2%取三檔下跑5次不同隨機(jī)種子報(bào)告三個(gè)指標(biāo)各自的均值和方差。這樣一套驗(yàn)證跑下來大約需要半天時(shí)間但它能告訴你三件事能量先驗(yàn)到底值不值得加它在低噪聲和高噪聲的收益差多少以及和TV這種傳統(tǒng)方案比新方案的優(yōu)勢是否真實(shí)。我在做這類實(shí)驗(yàn)時(shí)有個(gè)習(xí)慣值得分享先不加能量先驗(yàn)跑通整個(gè)流程確認(rèn)基線結(jié)果合理再逐步加上能量先驗(yàn)做增量對(duì)比。這樣每加一個(gè)模塊都能清晰地定位它的邊際貢獻(xiàn)而不是等所有模塊都堆上去之后才在總效果里拼命拆解單模塊的功勞。整個(gè)過程里不要因?yàn)橹亟▓D看上去順眼就跳過定量評(píng)估——EIT太容易看上去順眼了。希望這套方案和踩坑整理幫到你愿你的PINN訓(xùn)練不再玄學(xué)收?qǐng)?。本文還有配套的精品資源點(diǎn)擊獲取