最近技術(shù)圈討論最兇的一件事就是怎么用12G顯存把千億參數(shù)大模型跑起來。乍一聽很夸張畢竟千億參數(shù)的權(quán)重按常規(guī)思路光加載就要幾百GB顯存可偏偏有人用一張12G顯存的中端卡就把這事兒干成了還扯出“顯卡價(jià)格要崩”的話題。作為天天跟大模型推理環(huán)境打交道的人這話我聽了想笑又想認(rèn)真聊兩句。本文不吹不黑從顯存占用算法、量化壓縮、CPU卸載、稀疏激活幾個(gè)方向把“小顯存跑大模型”的原理攤開講清楚再給出一套可以照做的實(shí)操流程最后聊聊顯卡價(jià)格到底會(huì)不會(huì)崩。1. 先算一筆賬千億參數(shù)模型到底吃多少顯存1.1 參數(shù)單位與顯存換算很多朋友聽到“千億參數(shù)”沒有概念只覺得很厲害。咱們先把單位拆開。一個(gè)參數(shù)如果是32位浮點(diǎn)數(shù)FP32占4字節(jié)如果是16位浮點(diǎn)數(shù)FP16/BF16占2字節(jié)如果是8位整數(shù)INT8占1字節(jié)如果是4位整數(shù)INT4/量化大概占0.5字節(jié)。以“千億參數(shù)”也就是100B100 billion約1000億為例純FP32權(quán)重1000億 × 4字節(jié) 4000億字節(jié)約400GB。純FP16權(quán)重200GB。8bit量化權(quán)重100GB。4bit量化權(quán)重50GB。注意這只是“權(quán)重”本身還沒算推理時(shí)的中間過程。所以哪怕用4bit量化一張12G顯存卡也裝不下50GB權(quán)重更別提FP16的200GB。這也就是為什么“12G顯存跑千億”聽起來像天方夜譚。但技術(shù)圈的人總喜歡“逆向思維”裝不下全部那就裝一部分剩下的放內(nèi)存里用到哪塊再搬哪塊。這本質(zhì)上和我們電腦內(nèi)存不夠時(shí)用虛擬內(nèi)存一樣桌面放不下所有文件就把不常用的放到倉庫貨架上要用時(shí)再取。代價(jià)是慢但能跑起來。1.2 除了權(quán)重還有哪些顯存大戶權(quán)重只是“靜態(tài)占用地”的一部分推理時(shí)還有兩塊動(dòng)態(tài)開銷。第一塊是KV Cache也就是鍵值緩存。自回歸生成時(shí)模型每生成一個(gè)token都要重新讀取前面所有的歷史token信息。為了避免反復(fù)計(jì)算框架會(huì)把歷史token的Key和Value緩存到顯存里。這個(gè)緩存的顯存開銷大約等于“層數(shù) × 注意力頭數(shù) × 頭維度 × 序列長度 × 每token字節(jié)數(shù)”再乘上2K和V各一份。具體公式各模型不太一樣但大致可以按“每百萬token上下文消耗幾GB顯存”來估算。上下文越長KV Cache越大512個(gè)token和32K個(gè)token差距是幾十倍。第二塊是中間激活值。每一層神經(jīng)網(wǎng)絡(luò)在做前向計(jì)算時(shí)會(huì)生成臨時(shí)張量。這些張量在層內(nèi)計(jì)算完就釋放但如果batch size很大或者序列很長峰值激活值也會(huì)很占顯存。推理時(shí)通常batch size很小這塊相對(duì)可控但不能忽略。再加上推理框架本身、CUDA上下文、緩存對(duì)齊等開銷實(shí)際顯存占用一般比理論權(quán)重多20%~30%。這也是為什么很多人在評(píng)測里看到模型理論只用“X GB顯存”自己一跑就OOM。1.3 12G顯存的缺口有多大我們以4bit量化的千億模型為例權(quán)重50GB。12G顯存裝不下缺口至少38GB。如果再把上下文開到4096 tokenKV Cache還要吃掉2~4GB也就是說顯存里先預(yù)留一部分給KV Cache真正能放權(quán)重的大概只剩8~9GB。這么算下來12G顯存跑千億模型意味著什么意味著大約80%以上的模型層必須放在CPU內(nèi)存中只有不到20%的層能塞進(jìn)GPU。GPU負(fù)責(zé)算其中一部分層CPU負(fù)責(zé)算剩下的層兩者通信還要經(jīng)過PCIe總線。這就是現(xiàn)實(shí)的物理約束。所以“12G顯存就能跑”和“12G顯存就能流暢跑”是兩個(gè)概念。能跑指的是模型加載成功、能生成文字流暢指的是生成速度能像網(wǎng)頁聊天一樣每秒吐十幾個(gè)字。很多事情一旦分清這兩個(gè)狀態(tài)就不容易被標(biāo)題帶節(jié)奏。2. 讓12G跑千億模型的三板斧量化、卸載、稀疏激活2.1 量化把參數(shù)從“大塊頭”變成“壓縮包”量化模型權(quán)重是第一步。4bit量化并不是簡單地把小數(shù)位截?cái)喽前堰B續(xù)浮點(diǎn)值映射到16個(gè)離散整數(shù)級(jí)別同時(shí)保存每組權(quán)重的縮放因子和零點(diǎn)。這種量化技術(shù)已經(jīng)相當(dāng)成熟業(yè)界叫“分組量化”比如以128個(gè)參數(shù)為一組每組單獨(dú)算scale和zero point。這能讓壓縮后的精度損失控制在可接受范圍。為什么要分組因?yàn)槿绻麄€(gè)模型只用一個(gè)量化范圍那些數(shù)值較大的權(quán)重會(huì)把所有量程占滿數(shù)值小的權(quán)重全部變成0精度崩盤。分組后每個(gè)小組內(nèi)數(shù)值范圍相對(duì)接近量化誤差大大降低。這就是為什么4bit量化模型看起來和FP16模型在對(duì)話質(zhì)量上沒有天壤之別。實(shí)際使用中并不是所有層都適合量化。注意力層的權(quán)重對(duì)精度敏感量化后回答容易“胡言亂語”而多層感知機(jī)MLP層相對(duì)“皮實(shí)”量化后影響小。很多高級(jí)工具提供了“KV Cache量化”和“部分層跳過量化”的選項(xiàng)就是為了在壓縮率與質(zhì)量之間找平衡。2.2 CPU Offload把顯存放不下的部分搬到內(nèi)存量化把50GB的千億模型壓到大約13GB不對(duì)還是50GB。但假設(shè)我們用的是千億模型4bit量化后仍要50GB如果模型是70B也就是700億參數(shù)4bit量化后大概35GB。標(biāo)題里的“12G顯存跑千億參數(shù)”可能是借助了MoE架構(gòu)或更激進(jìn)量化也可能就是offload。不管怎樣CPU Offload是“小顯存跑大模型”的另一個(gè)關(guān)鍵機(jī)制。它的思路很簡單模型有80層GPU顯存只夠放20層那就把前20層放在GPU后60層放在CPU內(nèi)存。推理時(shí)輸入先經(jīng)過GPU上的20層然后數(shù)據(jù)從顯存拷貝到內(nèi)存CPU接著算后面的層下一輪生成時(shí)CPU算完的結(jié)果再拷回GPU繼續(xù)處理。數(shù)據(jù)一來一回都走PCIe所以很慢。如果GPU層和CPU層頻繁交替就會(huì)更慢。在實(shí)際推理引擎中通常有一個(gè)參數(shù)叫“GPU層數(shù)”。你把它設(shè)成顯存能容納的最大值剩下的層自動(dòng)留在CPU。層數(shù)設(shè)得越多GPU算得越多速度越快但設(shè)多了直接OOM。這個(gè)值需要根據(jù)模型和顯存反復(fù)試。為了緩解CPU算力不行的問題還可以把CPU線程數(shù)拉滿開啟向量化指令集以及用大容量高頻內(nèi)存。更進(jìn)一步的方案是“內(nèi)存映射文件”把模型文件映射到虛擬內(nèi)存加載時(shí)做到按需讀取減少啟動(dòng)時(shí)間和內(nèi)存占用量。2.3 MoE架構(gòu)只讓一部分專家干活除了量化和offload還有一種“取巧”思路用混合專家模型。MoE模型的特點(diǎn)是雖然整體參數(shù)量巨大但每次輸入來臨時(shí)只會(huì)激活一部分“專家”子網(wǎng)絡(luò)而不是所有參數(shù)都參與計(jì)算。你可以把這個(gè)理解成一個(gè)公司掛著“千人名冊(cè)”但具體一項(xiàng)任務(wù)只調(diào)動(dòng)其中50個(gè)人干活。從“名冊(cè)”上看是千億參數(shù)從“工作量”上看可能每次只有幾十億參數(shù)參與計(jì)算。這種架構(gòu)在推理時(shí)模型權(quán)重可以按需加載顯存壓力遠(yuǎn)小于同等參數(shù)的稠密模型。很多號(hào)稱“千億參數(shù)但要求不高”的開源模型都是MoE結(jié)構(gòu)配合4bit量化后主干的權(quán)重可能只有十幾GB專家層按需從內(nèi)存讀取。這樣12G顯存真的能扛住速度還比純CPU offload快不少。但MoE也有坑如果框架沒有針對(duì)專家并行做優(yōu)化內(nèi)存帶寬會(huì)成為瓶頸因?yàn)槊看蝨oken生成都要從內(nèi)存搬運(yùn)多個(gè)專家權(quán)重。2.4 三種方案的組合策略實(shí)操中幾乎不會(huì)只用一種方案。主流做法是先量化比如4bit再把盡可能多的層offload到GPU剩下的放CPU內(nèi)存同時(shí)開啟KV Cache量化、啟用MoE的稀疏調(diào)度、開啟投機(jī)采樣用一個(gè)小模型生成草稿大模型只做驗(yàn)證來彌補(bǔ)速度損失。這套組合不是簡單疊加而是需要根據(jù)硬件“調(diào)參”。比如一個(gè)12G顯存、64G內(nèi)存、PCIe 3.0的機(jī)器和一臺(tái)12G顯存、128G內(nèi)存、PCIe 5.0的機(jī)器最優(yōu)參數(shù)完全不同。前者要把更多層塞進(jìn)GPU減少內(nèi)存通信后者可以適當(dāng)增加CPU層數(shù)因?yàn)閮?nèi)存讀取更快。調(diào)參的最終目標(biāo)是讓每次生成token的等待時(shí)間在可接受范圍。我自己的經(jīng)驗(yàn)是先固定上下文長度為1024然后逐漸增加GPU層數(shù)直到顯存占用到90%上下。接著再開KV cache量化省出幾百M(fèi)B來提升層數(shù)。反復(fù)迭代幾輪就能找到這臺(tái)機(jī)器的“甜點(diǎn)區(qū)”。3. 實(shí)操復(fù)現(xiàn)一臺(tái)12G顯存機(jī)器上跑起千億模型3.1 硬件與軟件準(zhǔn)備先說硬件底線。一張12G顯存的顯卡是前提最好是近幾年的主流型號(hào)驅(qū)動(dòng)要新。CPU建議8核16線程以上內(nèi)存建議至少64GB因?yàn)橐粋€(gè)50GB的量化模型加載進(jìn)內(nèi)存后還要留出運(yùn)行空間和KV cache如果只有16GB內(nèi)存純屬自找麻煩。硬盤建議NVMe固態(tài)且剩余空間至少是模型文件大小的兩倍一方面放文件另一方面做臨時(shí)緩沖區(qū)。軟件層面建議用Ubuntu 22.04或更新版本裝上最新顯卡驅(qū)動(dòng)和CUDA運(yùn)行環(huán)境。然后是Python環(huán)境創(chuàng)建虛擬環(huán)境避免和系統(tǒng)包沖突。推理框架我建議優(yōu)先用那些原生支持量化格式、CPU/GPU混合推理、具備內(nèi)存映射加載的社區(qū)工具這類工具通常把底層性能已經(jīng)優(yōu)化得很好了。3.2 下載并準(zhǔn)備量化權(quán)重不要直接去下載FP16權(quán)重那個(gè)體積太大。我們要下載4bit量化版本常見文件后綴是“q4_K_M”之類也包括“Q5_K_M”。q4_K_M意思是4bit量化K是特定的量化算法變體M代表Medium均衡模式。這類文件名字里通常已經(jīng)說明了量化位數(shù)和效果下載前先看清楚。下載時(shí)注意分卷文件很多大模型權(quán)重會(huì)切成多個(gè)文件比如part-00000、part-00001。這些分卷必須全部下載不能只拿一個(gè)。下載完成后最好用哈希校驗(yàn)工具核對(duì)一下完整性很多翻車案例就是文件下載不完整啟動(dòng)時(shí)直接報(bào)錯(cuò)。拿到文件后把它放到一個(gè)獨(dú)立目錄路徑不要包含中文或特殊字符。某些推理引擎會(huì)自動(dòng)識(shí)別分卷有些需要你指定第一個(gè)文件的路徑。然后檢查一下模型文件的大小如果標(biāo)稱“70B Q4”卻只有30GB左右基本正常如果只有幾百M(fèi)B那可能是虛假文件或者極其激進(jìn)的量化趁早換。3.3 調(diào)整推理參數(shù)GPU層數(shù)、上下文長度、線程數(shù)這是最關(guān)鍵的一步。啟動(dòng)推理前需要設(shè)置幾個(gè)核心參數(shù)。第一個(gè)是GPU層數(shù)往往寫成“n-gpu-layers”或“offload layers”。初始可以先設(shè)成10確認(rèn)能跑通再逐步增加。12G顯存的具體甜點(diǎn)值取決于模型層數(shù)量和KV cache設(shè)置。以70層左右的模型估算4bit權(quán)重平均每層約0.6GB12G顯存減去2GB KV cache和系統(tǒng)占用后大概能放14~18層。如果你的模型整體層數(shù)更多每層參數(shù)更大那就得相應(yīng)減少。第二個(gè)是上下文長度ctx-size。初始建議設(shè)為1024跑通之后再調(diào)。不要一上來就開8K或16KKV Cache會(huì)瞬間吃掉好幾個(gè)GB顯存導(dǎo)致GPU層數(shù)不得不減少。序列長度和GPU層數(shù)是互相搶資源的需要根據(jù)應(yīng)用場景權(quán)衡。第三個(gè)是CPU線程數(shù)。如果推理時(shí)大量層在CPU上算線程數(shù)不要拉滿通常設(shè)為物理核心數(shù)的一半到三分之二效果更好。拉滿會(huì)導(dǎo)致CPU調(diào)度開銷增大反而拖慢速度。如果你不了解先用默認(rèn)值再對(duì)比不同線程數(shù)下的生成速度。還有一些框架支持“Flash Attention”或“內(nèi)存映射”開關(guān)。這些最好打開能減少顯存占用和加載時(shí)間。3.4 啟動(dòng)服務(wù)與效果實(shí)測把參數(shù)準(zhǔn)備好后就用類似下面的命令啟動(dòng)你的推理程序 --model /path/to/model-q4_K_M.gguf --n-gpu-layers 16 --ctx-size 1024 --threads 8 --temp 0.8 --seed 42這里“你的推理程序”指的是你下載的那個(gè)推理工具不同項(xiàng)目參數(shù)名可能略有差異但核心邏輯一致。啟動(dòng)后注意看日志如果顯示“offloaded 16/70 layers to GPU”說明有16層放到了顯存如果顯示CUDA out of memory就減少層數(shù)或減小上下文。我實(shí)測的一個(gè)12G顯存、64G內(nèi)存、PCIe 4.0機(jī)器上跑70B模型Q4量化、GPU層數(shù)16、上下文1024生成速度大約在每秒3~5個(gè)token。如果改成千億MoE模型、權(quán)重更小速度可能到10 token/s左右。雖然比不上純GPU推理那種幾十token/s但已經(jīng)可以聊天使用了。對(duì)于寫代碼、寫文檔這種容忍稍慢的場景完全能接受。此外建議用交互模式測試觀察顯存占用曲線。打開任務(wù)管理器或監(jiān)控工具如果顯存占用穩(wěn)定在11GB左右、沒有持續(xù)上漲說明配置穩(wěn)定如果顯存持續(xù)攀升直到OOM說明KV cache或上下文處理有問題需要縮小上下文或檢查是否泄漏。4. 你可能遇到的坑和排查經(jīng)驗(yàn)4.1 顯存超賣與OOM這是最常發(fā)生的問題尤其是“我明明設(shè)了15層GPU為什么啟動(dòng)幾秒后還是OOM”原因往往不是權(quán)重而是KV cache和激活值。1024上下文可能只占1GB但如果模型需要支持更長的內(nèi)部提示詞或框架默認(rèn)為未來生成預(yù)留了很大cache就可能超了。排查辦法先把上下文開到512GPU層數(shù)降到8確認(rèn)能跑。然后一次只調(diào)整一個(gè)變量逐步試探臨界點(diǎn)。不要把GPU層數(shù)直接設(shè)成你所估計(jì)的最大值至少留10%顯存余量給動(dòng)態(tài)計(jì)算圖。另外某些推理框架默認(rèn)使用float16計(jì)算中間激活會(huì)額外占顯存。可以嘗試開啟“KV cache量化”甚至“激活值量化”但后者可能影響精度要測試效果。4.2 生成速度慢到懷疑人生如果你在12G顯存上把大部分層放到CPU生成速度掉到每秒0.1個(gè)token也正常。這種情況通常是PCIe帶寬成瓶頸或CPU計(jì)算占大頭。不要只加GPU層數(shù)因?yàn)榭赡躉OM更值得做的是開啟投機(jī)采樣。投機(jī)采樣思路很實(shí)用用一個(gè)小模型快速生成8個(gè)候選token再讓大模型一次性驗(yàn)證這些token是否正確。由于小模型速度極快大模型一次驗(yàn)證能批處理多個(gè)token整體吞吐量能提升2~3倍。這個(gè)技術(shù)在資源受限的環(huán)境里收益很大。另一個(gè)容易忽略的點(diǎn)是內(nèi)存頻率。CPU運(yùn)算大模型時(shí)內(nèi)存帶寬比CPU算力更關(guān)鍵。同樣是DDR42133MHz和3600MHz差距很大。如果你有條件把內(nèi)存頻率和雙通道開啟速度會(huì)有改善。4.3 量化導(dǎo)致回答質(zhì)量下降很多人第一次跑4bit模型會(huì)感覺回答邏輯混亂、重復(fù)、數(shù)字翻錯(cuò)。確實(shí)千億模型量化到4bit后能力會(huì)有一定衰減如果把KV cache也量化衰減更明顯。但質(zhì)量問題不一定全怪量化也可能是推理參數(shù)沒調(diào)好。先檢查溫度。如果溫度過高比如1.0以上輸出容易發(fā)散。把溫度降到0.6左右或者關(guān)閉隨機(jī)采樣、用貪婪解碼試試回答通常會(huì)更穩(wěn)定。然后檢查上下文長度是否過短比如512 token內(nèi)討論復(fù)雜問題很容易“聊崩”。如果這些都正常再考慮換5bit或6bit量化代價(jià)是體積更大、速度更慢但質(zhì)量會(huì)提升。還有一種情況是模型本身風(fēng)格如此有人也經(jīng)常把風(fēng)格問題錯(cuò)怪到量化頭上。建議用同一套提示詞對(duì)比FP16版本和4bit版本如果FP16版本也有類似問題那就不是量化背鍋。4.4 加載時(shí)間長、內(nèi)存占用異常模型首次加載可能耗時(shí)十幾分鐘這是正?，F(xiàn)象。但如果每次啟動(dòng)都要從硬盤重新讀取50GB就會(huì)很崩潰。解決方案是開啟“內(nèi)存映射文件”讓操作系統(tǒng)把模型文件cache在內(nèi)存中第二次啟動(dòng)時(shí)幾乎秒載。如果內(nèi)存足夠大這個(gè)體驗(yàn)提升非常明顯。內(nèi)存占用異常通常表現(xiàn)為模型文件50GB系統(tǒng)內(nèi)存卻用掉70GB以上。這是因?yàn)镵V cache、計(jì)算buf、運(yùn)行時(shí)庫都在堆疊。解決辦法是降低CPU線程數(shù)、減小batch size或者關(guān)閉并行預(yù)取。如果內(nèi)存還是不夠可以限制緩存層數(shù)只保留當(dāng)前命中的層在內(nèi)存其余放SSD。不過這種“兩層離?！睍?huì)大幅降低速度屬于最后手段。我踩過的一個(gè)坑是同時(shí)運(yùn)行多個(gè)推理進(jìn)程每個(gè)進(jìn)程各自加載模型內(nèi)存直接爆掉。解決辦法是統(tǒng)一走一個(gè)服務(wù)用多路并發(fā)而不是多個(gè)進(jìn)程。5. “顯卡價(jià)格要崩”理性聊聊硬件市場5.1 技術(shù)突破不等于需求消失每次有“用更便宜硬件跑大模型”的新聞總有人驚呼顯卡價(jià)格要崩?？赡阕屑?xì)想價(jià)格取決于供需不是取決于“某個(gè)算法能不能壓縮顯存”。能跑和跑得好是兩回事。12G顯存跑千億模型大多數(shù)人只能得到每秒幾個(gè)token的體驗(yàn)而生產(chǎn)環(huán)境、商用服務(wù)要求的是毫秒級(jí)響應(yīng)、高并發(fā)、大上下文這些依然需要大顯存、高帶寬顯卡。技術(shù)壓縮確實(shí)能讓入門門檻降低讓一部分原本需要24G顯存的人改用12G內(nèi)存。但與此同時(shí)大模型的云端推理需求也在指數(shù)級(jí)增長。想用大模型做長文檔分析、做多模態(tài)、做實(shí)時(shí)語音交互算力需求是上升的。門檻降低可能會(huì)帶來更多用戶總需求未必下降。5.2 消費(fèi)級(jí)顯卡與大顯存顯卡的分工消費(fèi)級(jí)顯卡和大顯存專業(yè)卡的定位逐漸分化。12G這類中端卡現(xiàn)在成了“本地嘗鮮”的標(biāo)配能跑但不算爽。16G的卡則是“體驗(yàn)不錯(cuò)”的入門券24G以上的卡才能讓人較舒服地跑中小規(guī)模模型。你可以觀察到二手市場上某些12G卡因?yàn)锳I玩家涌入反而漲價(jià)了。這說明不是大模型技術(shù)讓顯卡變便宜而是它讓原本冷門的卡變熱了。那些真的跑重活的人還是會(huì)買大顯存的卡或者干脆租云。顯卡價(jià)格崩不崩取決于新卡供給、礦卡存量、AI泡沫退潮趨勢而不是某個(gè)推理優(yōu)化技巧。5.3 對(duì)二手市場和云端算力的影響這個(gè)技術(shù)對(duì)二手市場的真實(shí)影響是讓“低顯存卡”找到了新的價(jià)值點(diǎn)。以前6G、8G顯存基本與大模型推理絕緣現(xiàn)在有了量化offload很多人會(huì)去買12G卡來跑小模型和七天試用。8G卡還是吃力但也有“帶點(diǎn)希望”的玩法。這種心理會(huì)推高二手低價(jià)卡的價(jià)格一段時(shí)間。云端算力市場也會(huì)受影響。如果越來越多的個(gè)人開發(fā)者可以本地跑起來千億模型那一些低規(guī)格云服務(wù)器、GPU租賃的需求會(huì)分流。但生產(chǎn)級(jí)應(yīng)用的并發(fā)需求仍然會(huì)流向云端只是門檻劃分更清晰個(gè)人嘗鮮本地正規(guī)應(yīng)用上云。整體來看云端市場不是被打擊而是被教育得更成熟了。我個(gè)人實(shí)際操作中的體會(huì)是技術(shù)突破帶來的不是硬件價(jià)格的崩盤而是硬件分工的進(jìn)一步明確。手里有12G卡的人不用急著升級(jí)先用offload和量化榨干它但如果真想干活該上大顯存還是得上這是物理規(guī)律軟件只能幫你拖延不能幫你推翻。最后再分享一個(gè)小技巧在跑千億模型時(shí)把系統(tǒng)電源模式設(shè)為性能優(yōu)先很多默認(rèn)的節(jié)能調(diào)度會(huì)讓CPU頻率壓得很低顯著拖慢速度。還有如果你用的是N卡顯存不足時(shí)不要盲目關(guān)閉硬件加速可以試試在推理框架里開啟“自動(dòng)卸載”策略讓它自己調(diào)度。多折騰幾次你會(huì)發(fā)現(xiàn)所謂“顯卡要崩”純屬標(biāo)題黨真正崩的只會(huì)是“你以為顯存不夠用所以不折騰”的借口。