1. 我先說(shuō)清楚大模型微調(diào)到底在“調(diào)”什么先說(shuō)點(diǎn)實(shí)在的。這兩年“大模型微調(diào)”這個(gè)詞被說(shuō)得太多了但很多人其實(shí)沒(méi)搞明白它和“訓(xùn)練大模型”的區(qū)別。我剛開(kāi)始接觸的時(shí)候也繞了一陣以為微調(diào)就是從零開(kāi)始訓(xùn)練一個(gè)模型后來(lái)才知道這完全是兩碼事。大模型的預(yù)訓(xùn)練階段好比一個(gè)人讀了十幾年書(shū)掌握了語(yǔ)言、常識(shí)和邏輯的“通識(shí)能力”而微調(diào)是給這個(gè)已經(jīng)讀了很多書(shū)的人做有針對(duì)性的“職業(yè)培訓(xùn)”讓他在某個(gè)具體崗位上干得更順手。所以微調(diào)不是“重新造人”而是“定向塑造”。那“調(diào)”的到底是什么本質(zhì)上是模型的輸出行為?；Ｐ褪裁炊紩?huì)一點(diǎn)但你要它穩(wěn)定輸出某種風(fēng)格、某種格式、某個(gè)領(lǐng)域內(nèi)的專業(yè)回答它就未必聽(tīng)話了。比如你拿一個(gè)通用模型做法律問(wèn)答它可能說(shuō)得頭頭是道但一落到具體法條引用就開(kāi)始胡編。微調(diào)做的事情就是給模型大量看“這個(gè)領(lǐng)域的輸入和正確輸出”讓它把“這種輸入對(duì)應(yīng)這種輸出”的規(guī)律內(nèi)化成自己的行為習(xí)慣。用更技術(shù)的話說(shuō)是在基座模型已有的參數(shù)基礎(chǔ)上繼續(xù)做有監(jiān)督訓(xùn)練讓損失函數(shù)在目標(biāo)分布上持續(xù)走低。不是從零學(xué)起而是在原有參數(shù)空間里找準(zhǔn)一個(gè)更貼合你場(chǎng)景的方向。這一篇是給小白看的實(shí)戰(zhàn)總結(jié)所以我默認(rèn)讀者的情況是懂一些Python會(huì)跑訓(xùn)練腳本但對(duì)大模型內(nèi)部不太熟手里可能只有一塊消費(fèi)級(jí)顯卡或者干脆只有一些云服務(wù)器額度想把自己的業(yè)務(wù)場(chǎng)景或者某個(gè)垂直領(lǐng)域的問(wèn)題用一個(gè)開(kāi)源模型來(lái)解決。這個(gè)定位很關(guān)鍵因?yàn)槲⒄{(diào)這條路不同資源條件的人走法完全不一樣。我下面所有內(nèi)容都是圍繞“消費(fèi)級(jí)硬件 開(kāi)源模型 參數(shù)高效微調(diào)”的組合來(lái)展開(kāi)的這也是目前門(mén)檻最低、性價(jià)比最高的方案。還有一個(gè)誤區(qū)得先破掉很多人以為微調(diào)以后模型就“無(wú)所不能”了這是最要命的預(yù)期。微調(diào)不改變模型的知識(shí)上限它改變的是模型對(duì)你指定的任務(wù)的對(duì)齊程度。模型原本不知道的冷知識(shí)微調(diào)并不能讓它變知道模型原本容易說(shuō)錯(cuò)的格式微調(diào)可以幫它改過(guò)來(lái)。所以做微調(diào)之前先想清楚一個(gè)事你到底是想讓模型“變得更懂某個(gè)領(lǐng)域”還是“變得更聽(tīng)你的話”。前者靠數(shù)據(jù)和領(lǐng)域知識(shí)后者靠高質(zhì)量對(duì)話樣本。大部分實(shí)際項(xiàng)目里兩者是混在一起的但心里要有個(gè)側(cè)重點(diǎn)。我在后文會(huì)按照一條完整的實(shí)操鏈路來(lái)講環(huán)境怎么準(zhǔn)備基座模型怎么選數(shù)據(jù)怎么弄訓(xùn)練怎么跑參數(shù)怎么調(diào)效果怎么評(píng)踩坑怎么排。整個(gè)過(guò)程全程按照我自己做過(guò)的項(xiàng)目來(lái)復(fù)盤(pán)用到的方法也都是被驗(yàn)證過(guò)能跑的。部分細(xì)節(jié)屬于“常見(jiàn)實(shí)踐下的推薦方案”和你在教程里看到的一致但我盡量把那些教程里不會(huì)寫(xiě)的取舍邏輯也講出來(lái)。2. 硬件、框架與基座模型開(kāi)干之前把家伙什備齊微調(diào)的第一步不是寫(xiě)代碼是把自己手里的牌先理順。很多人上來(lái)就卡在環(huán)境上其實(shí)不是因?yàn)殡y而是因?yàn)椴恢雷约涸谀膫€(gè)資源檔位上、該用什么方案。2.1 顯存這根“緊箍咒”怎么破大模型微調(diào)最硬的門(mén)檻就是顯存。模型權(quán)重本身就要占顯存訓(xùn)練過(guò)程中還要額外保存梯度、優(yōu)化器狀態(tài)如果做全參數(shù)微調(diào)一塊24GB的消費(fèi)級(jí)顯卡連7B級(jí)別的模型都未必塞得下。我見(jiàn)過(guò)的項(xiàng)目里最常見(jiàn)的情況是辛辛苦苦把數(shù)據(jù)準(zhǔn)備好了一啟動(dòng)訓(xùn)練就報(bào)CUDA out of memory然后整個(gè)人就懵了。解決思路有三條路可以走按推薦順序排列第一條是參數(shù)高效微調(diào)。這類方法只訓(xùn)練模型里新增的一小部分參數(shù)絕大多數(shù)原始參數(shù)被凍結(jié)不動(dòng)所以顯存壓力和最終產(chǎn)物大小都大幅降低。市面上最常用的是LoRA和QLoRALoRA相當(dāng)于在模型原有的權(quán)重旁邊掛了幾塊小小的“補(bǔ)丁板”訓(xùn)練時(shí)只調(diào)補(bǔ)丁板上的參數(shù)QLoRA更進(jìn)一步把基座模型的權(quán)重先做4bit量化后再加載把顯存占用再砍一截。這基本就是目前消費(fèi)級(jí)硬件玩微調(diào)的主流方案。我自己跑7B模型用QLoRA在8GB到12GB左右的顯卡上就能啟動(dòng)雖然慢一點(diǎn)但能跑。第二條是減小模型尺寸。如果你手里的卡只有6GB甚至4GB就別惦記13B、14B的模型了老老實(shí)實(shí)選3B以下的小模型?，F(xiàn)在的1.5B級(jí)別小模型在垂直任務(wù)上的表現(xiàn)其實(shí)已經(jīng)相當(dāng)能打尤其是做輕量工具類、文本分類、簡(jiǎn)單生成類任務(wù)。小模型微調(diào)跑起來(lái)快迭代周期短適合驗(yàn)證想法。等驗(yàn)證好了再?zèng)Q定要不要換大模型做蒸餾遷移。第三條是換訓(xùn)練環(huán)境。本地卡不夠用的時(shí)候可以把訓(xùn)練放到云上跑?，F(xiàn)在很多云平臺(tái)都支持按小時(shí)租用GPU實(shí)例短期跑一兩個(gè)微調(diào)任務(wù)成本比買一塊大顯存顯卡低得多而且不用考慮散熱、功耗、驅(qū)動(dòng)兼容這些破事。唯一要留意的是數(shù)據(jù)安全敏感數(shù)據(jù)你沒(méi)法控制云端的存儲(chǔ)和傳輸鏈路這個(gè)得自己權(quán)衡。2.2 框架選型別在工具叢林里迷路現(xiàn)在微調(diào)工具鏈已經(jīng)比前兩年成熟太多基本不用自己重復(fù)造輪子。我用的組合是“開(kāi)源深度學(xué)習(xí)框架 微調(diào)工具庫(kù) 向量可視化工具”這三層各干各的活。底層框架選擇主流開(kāi)源深度學(xué)習(xí)框架就行生態(tài)完備、資料多、出問(wèn)題能問(wèn)到人。它負(fù)責(zé)的是張量運(yùn)算、自動(dòng)求導(dǎo)、分布式訓(xùn)練這些基礎(chǔ)設(shè)施。微調(diào)工具庫(kù)建議優(yōu)先選擇專門(mén)做參數(shù)高效微調(diào)的庫(kù)。這類庫(kù)把LoRA、QLoRA的各種細(xì)節(jié)都封裝好了從模型的加載、量化、注入適配器到訓(xùn)練過(guò)程的檢查點(diǎn)保存、恢復(fù)都是開(kāi)箱即用。我第一次用的時(shí)候最大的感受是官方文檔里給的示例代碼真的是能直接跑通的這一點(diǎn)省了非常多的排查時(shí)間。這些庫(kù)社區(qū)活躍新模型發(fā)布后很快就能看到支持更新。還有一個(gè)容易被忽略的工具是訓(xùn)練過(guò)程的監(jiān)控與記錄面板。它能把loss曲線、學(xué)習(xí)率變化、顯存占用這些指標(biāo)實(shí)時(shí)畫(huà)出來(lái)。訓(xùn)練跑起來(lái)以后時(shí)不時(shí)瞄一眼loss曲線心里就有底了。沒(méi)有這個(gè)工具的時(shí)候訓(xùn)練過(guò)程就像黑盒出了問(wèn)題只能靠猜。選框架的一個(gè)核心建議別貪多。選定一套組合就用到底。微調(diào)的項(xiàng)目卡環(huán)境的問(wèn)題九成都是因?yàn)閾Q庫(kù)、換版本、換接口導(dǎo)致的。我見(jiàn)過(guò)有同事為了試一個(gè)新出來(lái)的庫(kù)把整個(gè)環(huán)境的依賴都升級(jí)了一遍結(jié)果原來(lái)的腳本全跑不起來(lái)了一排查就是一下午。工具的成熟度遠(yuǎn)比功能花哨程度重要。2.3 基座模型怎么挑不是越大越好要看任務(wù)在不在它的“射程”內(nèi)基座模型的選擇是很多小白最容易忽略、但其實(shí)影響最大的一步。這里的核心邏輯很簡(jiǎn)單微調(diào)是在基座模型的能力基礎(chǔ)上做增量基座模型不具備的能力你微調(diào)也逼不出來(lái)。所以選基座模型不光是看參數(shù)規(guī)模和跑分榜單更要看它本身的預(yù)訓(xùn)練覆蓋面和指令遵從能力。我自己的經(jīng)驗(yàn)是分三步走第一步確定任務(wù)類型。如果是做中文場(chǎng)景的對(duì)話、寫(xiě)作、內(nèi)容生成選擇中文能力強(qiáng)的開(kāi)源基座模型如果是做代碼補(bǔ)全、代碼解釋代碼類模型或通用模型都可以考慮如果是做多模態(tài)相關(guān)圖生文、圖文理解那就要選帶視覺(jué)能力的模型系列這類通常需要更大顯存消費(fèi)級(jí)硬件就得掂量掂量了。第二步看社區(qū)的反饋和兼容性?；Ｐ蛥?shù)的優(yōu)劣除了一方面看官方報(bào)告更靠譜的是看真實(shí)用戶跑出來(lái)的經(jīng)驗(yàn)。去開(kāi)源社區(qū)搜“某某模型 微調(diào) 實(shí)測(cè)”把出現(xiàn)頻率高的問(wèn)題記錄下來(lái)。如果你要用的微調(diào)工具庫(kù)在社區(qū)里已經(jīng)有人驗(yàn)證過(guò)這個(gè)基座模型能順利跑通那你能省掉非常多適配層面的坑。第三步做小規(guī)模試跑。正式花時(shí)間準(zhǔn)備數(shù)據(jù)之前先用一個(gè)幾十條的極小的樣本集把從加載到訓(xùn)練的整個(gè)流程跑通觀察結(jié)果是否有基本的合理性。這一步特別重要因?yàn)榛Ｐ偷摹靶愿瘛辈煌械哪Ｐ驼f(shuō)話風(fēng)格啰嗦有的模型答非所問(wèn)的傾向比較明顯。盡早發(fā)現(xiàn)和預(yù)期之間的差距能避免后面白費(fèi)功夫。我個(gè)人的傾向是能用7B級(jí)模型就不要硬上13B能用量化跑就不要追求全精度。做微調(diào)這件事不斷迭代、盡快跑通閉環(huán)才是關(guān)鍵一次性追求大模型但卡在資源上進(jìn)不了下一步就本末倒置了。3. 數(shù)據(jù)準(zhǔn)備決定微調(diào)成敗的第一道關(guān)卡我毫不夸張地說(shuō)數(shù)據(jù)質(zhì)量對(duì)微調(diào)效果的影響超過(guò)其他所有環(huán)節(jié)加起來(lái)。模型的參數(shù)、框架、算力在數(shù)據(jù)面前都只能往后排。我在前幾次做微調(diào)的時(shí)候總想著多喂數(shù)據(jù)一個(gè)禮拜攢了兩萬(wàn)條對(duì)話結(jié)果訓(xùn)練完效果反而稀爛。后來(lái)復(fù)盤(pán)才發(fā)現(xiàn)數(shù)據(jù)里充滿了重復(fù)、錯(cuò)誤的樣本和噪聲模型被“教壞”是很正常的事。3.1 微調(diào)數(shù)據(jù)長(zhǎng)什么樣理解指令-回應(yīng)對(duì)微調(diào)階段用的數(shù)據(jù)形態(tài)上比預(yù)訓(xùn)練語(yǔ)料要“規(guī)矩”得多。最常見(jiàn)的格式是“指令-回答”對(duì)每條樣本就是在描述一個(gè)任務(wù)要求以及期望模型給出的正確答案。這是一個(gè)監(jiān)督學(xué)習(xí)的過(guò)程模型學(xué)習(xí)的是“面對(duì)這句話我應(yīng)該這么答”的模式。具體到文件格式主流的開(kāi)源微調(diào)庫(kù)支持一種叫對(duì)話模板的結(jié)構(gòu){ conversations: [ { role: user, content: 用一句話解釋什么是反卷積 }, { role: assistant, content: 反卷積是一種用于恢復(fù)特征圖尺寸的上采樣操作它通過(guò)在輸入特征之間插入零值并執(zhí)行卷積來(lái)增加空間分辨率。 } ] }實(shí)際寫(xiě)數(shù)據(jù)的時(shí)候每條樣本就是按照這個(gè)結(jié)構(gòu)組織起來(lái)的一組user和assistant交替對(duì)話。要注意的是模型輸出的目標(biāo)就是assistant那一段內(nèi)容而user那一段是輸入條件。數(shù)據(jù)集中可以包含多輪對(duì)話但如果任務(wù)本身是單輪問(wèn)答就別強(qiáng)行編一堆多輪對(duì)白反而增加干擾。還有一種數(shù)據(jù)組織形式適合純生成類任務(wù)——不搞對(duì)話就是讓模型學(xué)習(xí)“上文接下文”{ instruction: 根據(jù)以下需求生成一條短信提醒客戶明天上午十點(diǎn)參加產(chǎn)品培訓(xùn), output: 【溫馨提醒】您好您報(bào)名參加的產(chǎn)品培訓(xùn)將于明天上午10點(diǎn)準(zhǔn)時(shí)開(kāi)始請(qǐng)?zhí)崆?0分鐘到場(chǎng)簽到謝謝 }不管用哪種格式有一條原則是一致的喂給模型的數(shù)據(jù)必須和你上線以后讓模型工作的方式完全一致。如果你上線的時(shí)候會(huì)在輸入前面加上系統(tǒng)和角色的各種設(shè)定那訓(xùn)練數(shù)據(jù)里最好也有類似的結(jié)構(gòu)。這個(gè)習(xí)慣很多人不重視結(jié)果訓(xùn)練時(shí)模型看的是“裸輸入”上線時(shí)又套了殼效果理所當(dāng)然地打折扣。3.2 數(shù)據(jù)量多少才夠別被“十萬(wàn)條”嚇到關(guān)于數(shù)據(jù)量網(wǎng)上眾說(shuō)紛紜。有人動(dòng)輒說(shuō)“微調(diào)至少要十萬(wàn)條”搞得新手很焦慮。根據(jù)我實(shí)跑下來(lái)的感受這個(gè)數(shù)字要分場(chǎng)景看。如果你的目標(biāo)是讓模型學(xué)會(huì)一個(gè)特定格式的輸出比如打分、情感分類、關(guān)鍵信息抽取那幾千條甚至幾百條高質(zhì)量數(shù)據(jù)就足夠了。模型畢竟有基礎(chǔ)的通識(shí)能力它缺的只是“在這個(gè)特殊任務(wù)上的行為模式”你給夠代表性的例子它很快就能學(xué)會(huì)。如果你的目標(biāo)是讓模型成為一個(gè)垂直領(lǐng)域?qū)＜冶热鐚I(yè)法律問(wèn)答、醫(yī)療咨詢那數(shù)據(jù)量要求確實(shí)高得多。這個(gè)場(chǎng)景下模型不僅需要學(xué)會(huì)格式還要學(xué)會(huì)大量領(lǐng)域的措辭習(xí)慣、知識(shí)點(diǎn)邊界和判斷邏輯。沒(méi)有幾萬(wàn)條像樣的領(lǐng)域數(shù)據(jù)效果很難達(dá)到可用程度。即便湊夠了幾萬(wàn)條也要注意這些數(shù)據(jù)本身是否真的涵蓋領(lǐng)域里大部分情況如果只是把網(wǎng)上能爬到的幾百篇文檔改寫(xiě)擴(kuò)展成幾萬(wàn)條本質(zhì)信息量還是那幾百篇模型的水平仍然會(huì)被圈在里面。我建議的新手起步方案是先用一千到三千條高質(zhì)量數(shù)據(jù)做第一輪跑通流程、觀察效果然后再根據(jù)模型在測(cè)試集上的表現(xiàn)做定向補(bǔ)充數(shù)據(jù)。這樣既不會(huì)因?yàn)橐簧蟻?lái)就準(zhǔn)備海量數(shù)據(jù)導(dǎo)致拖延也不會(huì)因?yàn)槊つ慷蚜坷托Ч?.3 數(shù)據(jù)清洗的實(shí)際操作別讓臟數(shù)據(jù)毀了整個(gè)模型我把自己踩過(guò)坑之后總結(jié)的數(shù)據(jù)清洗SOP放在這里你可以直接照著做第一步去重。把完全重復(fù)和接近重復(fù)的樣本篩掉。重復(fù)樣本會(huì)導(dǎo)致模型對(duì)那幾條內(nèi)容過(guò)度學(xué)習(xí)影響泛化能力。我見(jiàn)過(guò)一份兩萬(wàn)條的數(shù)據(jù)里直接重復(fù)的就有一千多條模型訓(xùn)練出來(lái)遇到相似問(wèn)題就一直往那幾個(gè)答案上靠。第二步清噪聲。有缺失符號(hào)、斷句錯(cuò)誤、英文標(biāo)點(diǎn)混用中文標(biāo)點(diǎn)、脫敏不完全的樣本統(tǒng)統(tǒng)處理掉。這些看起來(lái)是小問(wèn)題但在模型眼里都是“輸入信號(hào)”它會(huì)把不規(guī)范的輸入格式也一起學(xué)進(jìn)去。第三步查答案質(zhì)量。assistant的輸出部分必須逐條看一遍。這個(gè)環(huán)節(jié)不能偷懶因?yàn)橛?xùn)練樣本里的內(nèi)容包括正確范例和錯(cuò)誤范例模型沒(méi)能力分辨對(duì)錯(cuò)它只會(huì)照單全收。我訓(xùn)練一個(gè)文案生成模型發(fā)現(xiàn)數(shù)據(jù)里有一條assistant輸出明顯是亂寫(xiě)的結(jié)果模型還真就學(xué)到了那種亂寫(xiě)的表達(dá)習(xí)慣。第四步一致性檢查。同一類問(wèn)題輸出風(fēng)格要統(tǒng)一。如果兩個(gè)樣本的user問(wèn)題幾乎相同但一個(gè)assistant用幾百字詳細(xì)回答另一個(gè)只回了一句話模型就會(huì)困惑到底該怎么答。做指令微調(diào)時(shí)輸出的長(zhǎng)度、語(yǔ)氣、詳細(xì)程度都要盡量一致這是讓模型“聽(tīng)話”的底層前提。有條件的可以用向量嵌入的方式來(lái)輔助去重和聚類分析但小項(xiàng)目手工多輪篩查基本就夠了。總之記住一句話數(shù)據(jù)準(zhǔn)備寧可慢、寧可少也要干凈。臟數(shù)據(jù)帶來(lái)的后果后面你可能要花十倍的時(shí)間在效果補(bǔ)救上。4. 上手實(shí)操一條能跑通的最小微調(diào)流程在這里我把一個(gè)可復(fù)現(xiàn)的最小微調(diào)流程完整寫(xiě)出來(lái)包含了我平時(shí)項(xiàng)目里實(shí)際跑通的代碼路徑。考慮到大部分讀者可能是第一次接觸我特意把很多“因?yàn)榇蠹叶级越坛虘械脤?xiě)”的中間細(xì)節(jié)也補(bǔ)齊了。4.1 加載基座模型從本地路徑出發(fā)別每次都去云端拉權(quán)重準(zhǔn)備工作的第一步是獲取模型權(quán)重。為了保證實(shí)驗(yàn)可復(fù)現(xiàn)和不受網(wǎng)絡(luò)波動(dòng)影響我強(qiáng)烈建議把基座模型權(quán)重下載到本地磁盤(pán)上。第一次加載時(shí)先做一次完整下載之后每次加載就直接指向本地路徑。下載方式就是在模型托管平臺(tái)上找到對(duì)應(yīng)模型的倉(cāng)庫(kù)用倉(cāng)庫(kù)地址把權(quán)重拉下來(lái)。保存到本地以后核對(duì)一下md5哈希值是否與頁(yè)面標(biāo)注一致避免下載過(guò)程損壞文件。這一步看起來(lái)多余但真遇到過(guò)斷點(diǎn)續(xù)傳后文件校驗(yàn)失敗的情況訓(xùn)練跑到一半才發(fā)現(xiàn)權(quán)重是壞的前面的時(shí)間全搭進(jìn)去了。有了本地權(quán)重接下來(lái)的第一個(gè)動(dòng)作是用“量化加載”的方式把它裝到顯存里。以4bit量化為例加載后模型顯存占用大幅下降這讓消費(fèi)級(jí)顯卡啟動(dòng)訓(xùn)練成為可能。同時(shí)把注意力實(shí)現(xiàn)切換到更省顯存的框架版本。加載完先做一次默認(rèn)推理prompt 你好請(qǐng)介紹一下你自己 # 假設(shè)已得到可對(duì)話的模型實(shí)例 response generate(prompt) print(response)如果這一步輸出的內(nèi)容本身混亂不堪說(shuō)明基座模型加載有問(wèn)題或者這個(gè)模型的對(duì)話模板格式跟你輸入法不匹配。這需要先解決掉再進(jìn)入訓(xùn)練環(huán)節(jié)否則后面的訓(xùn)練結(jié)果沒(méi)法看。4.2 配置LoRA參數(shù)與訓(xùn)練參數(shù)每項(xiàng)都帶注釋微調(diào)工具庫(kù)中LoRA的相關(guān)配置有幾組關(guān)鍵參數(shù)我逐個(gè)解釋一下用途和推薦值。參數(shù)推薦值作用r8-16控制補(bǔ)丁矩陣的秩值越大可學(xué)習(xí)的參數(shù)越多表達(dá)能力強(qiáng)但顯存壓力也大alpha16-32縮放系數(shù)一般設(shè)為r的2倍影響補(bǔ)丁權(quán)重的更新幅度dropout0.05-0.1防止過(guò)擬合數(shù)據(jù)量小時(shí)可以適當(dāng)調(diào)高target_modules視模型而定指定要掛補(bǔ)丁的模塊一般選query和value投影層做第一輪實(shí)驗(yàn)時(shí)r取8alpha取16dropout取0.05這是一個(gè)穩(wěn)妥的起點(diǎn)。別一上來(lái)就調(diào)大r除非你已經(jīng)明確知道小r滿足不了需求。訓(xùn)練參數(shù)的配置同樣有幾個(gè)關(guān)鍵項(xiàng)參數(shù)推薦值作用per_device_train_batch_size1-4每塊顯卡單次處理的樣本數(shù)顯存緊張就設(shè)1gradient_accumulation_steps4-16累積多少步再更新一次參數(shù)等效擴(kuò)大批次learning_rate1e-4到5e-4LoRA訓(xùn)練常用量級(jí)比全參微調(diào)的學(xué)習(xí)率大一些num_train_epochs2-5遍歷整個(gè)訓(xùn)練集的次數(shù)不是越多越好logging_steps10-20每多少步記錄一次訓(xùn)練指標(biāo)方便觀察曲線save_strategyepoch或steps定期保存檢查點(diǎn)防止訓(xùn)練中斷前功盡棄訓(xùn)練時(shí)總有效批次大小的計(jì)算公式是顯卡數(shù)量 × per_device_train_batch_size × gradient_accumulation_steps。注意梯度累積只是在更新頻率上等效于更大的批次它不會(huì)減少單次前向傳播的顯存消耗。4.3 訓(xùn)練、保存與合并完整閉環(huán)配置完成后進(jìn)入訓(xùn)練環(huán)節(jié)。首先要做的是驗(yàn)證數(shù)據(jù)集格式能不能被工具庫(kù)正確解析可以用一個(gè)很小的子集比如64條樣本先跑一到兩步確認(rèn)過(guò)程中沒(méi)有報(bào)錯(cuò)再放開(kāi)全量數(shù)據(jù)跑。這個(gè)“冒煙測(cè)試”能省下的時(shí)間非?？捎^因?yàn)橐坏?shù)據(jù)集格式有問(wèn)題跑大數(shù)據(jù)的錯(cuò)誤日志會(huì)讓人看得頭皮發(fā)麻。訓(xùn)練跑起來(lái)以后記錄面板上要盯兩個(gè)指標(biāo)一個(gè)是loss正常應(yīng)該整體走低另一個(gè)是學(xué)習(xí)率它按調(diào)度策略變化是正常的。如果loss出現(xiàn)劇烈抖動(dòng)或者不降反升先停一下訓(xùn)練回到數(shù)據(jù)清洗那一步重新排查。訓(xùn)練結(jié)束時(shí)模型的工作目錄里會(huì)留下最終的LoRA適配器權(quán)重。這些權(quán)重只包含訓(xùn)練過(guò)程中更新的那部分補(bǔ)丁參數(shù)體積很小。要真正用它做推理通常需要把它和基座模型合并導(dǎo)出一個(gè)完整的模型文件。合并操作直接用工具庫(kù)提供的腳本就能完成合并后保存到本地目錄然后加載合并模型用之前預(yù)留的測(cè)試問(wèn)題做一輪人工檢查。我把整個(gè)流程濃縮成六個(gè)步驟你可以照著順序執(zhí)行加載基座模型做量化驗(yàn)證推理正常。準(zhǔn)備訓(xùn)練數(shù)據(jù)拆成訓(xùn)練集和驗(yàn)證集。注入LoRA配置設(shè)定訓(xùn)練參數(shù)。先跑小樣本冒煙測(cè)試確認(rèn)無(wú)報(bào)錯(cuò)。啟動(dòng)完整訓(xùn)練盯loss曲線和保存檢查點(diǎn)。合并LoRA權(quán)重到基座模型導(dǎo)出并做推理驗(yàn)證。一個(gè)最容易忽視的細(xì)節(jié)是對(duì)話模板的一致性。工具庫(kù)在訓(xùn)練時(shí)會(huì)自動(dòng)將數(shù)據(jù)集中的每條樣本套上模型的對(duì)話模板比如加上角色標(biāo)簽、換行符、結(jié)束符。如果你自己寫(xiě)代碼加載模型做推理時(shí)沒(méi)有套用同樣的模板那么你的輸入和訓(xùn)練時(shí)的輸入格式就會(huì)不一致這在知識(shí)層面也許差別不大但對(duì)模型的輸出穩(wěn)定性和格式遵從度影響巨大。我在這里的建議是推理時(shí)直接復(fù)用微調(diào)工具庫(kù)內(nèi)置的模板封裝不要自己拼字符串。5. 那些沒(méi)人告訴你但繞不過(guò)去的參數(shù)坑參數(shù)這關(guān)是最勸退新手的部分。訓(xùn)練腳本能跑起來(lái)、loss也在降但出來(lái)的模型效果就是不行這種痛苦我太熟悉了。這里我把實(shí)踐中高頻出現(xiàn)的幾個(gè)參數(shù)相關(guān)坑位一個(gè)個(gè)擺出來(lái)說(shuō)透。5.1 學(xué)習(xí)率不是越小越穩(wěn)也不是越大越快很多教程都會(huì)告訴你“學(xué)習(xí)率設(shè)1e-4到5e-4”但沒(méi)人告訴你的是這個(gè)范圍對(duì)LoRA而言成立對(duì)全參微調(diào)來(lái)說(shuō)幾乎一定炸。因?yàn)長(zhǎng)oRA只更新極少量參數(shù)所以可以用偏大的學(xué)習(xí)率如果拿這個(gè)去微調(diào)全量參數(shù)很快就loss飛升。所以在選學(xué)習(xí)率之前先確定自己用的是哪一種策略。我的一般做法是先設(shè)成3e-4跑一輪觀察loss曲線是不是平滑下降。如果loss震蕩得厲害說(shuō)明學(xué)習(xí)率偏大減半如果loss降得很慢很肉說(shuō)明學(xué)習(xí)率偏小可以加倍。一次只改一個(gè)因素不要同時(shí)動(dòng)學(xué)習(xí)率和批次大小。經(jīng)驗(yàn)法則調(diào)整學(xué)習(xí)率優(yōu)先于調(diào)整epoch。另外要留意學(xué)習(xí)率調(diào)度器對(duì)最終效果的影響。有warmup的調(diào)度策略在訓(xùn)練初期會(huì)讓學(xué)習(xí)率慢慢爬升這能防止開(kāi)頭幾步因?yàn)樘荻冗^(guò)大把參數(shù)沖到不可控的方向。如果你發(fā)現(xiàn)loss在一開(kāi)始就飆升可以先檢查是不是warmup比例設(shè)置得太低甚至沒(méi)設(shè)置。5.2 Epoch不是越多越好過(guò)擬合看什么指標(biāo)訓(xùn)練輪次多了不一定效果好這點(diǎn)我反復(fù)栽過(guò)跟頭。用一套三千條的數(shù)據(jù)訓(xùn)練一個(gè)寫(xiě)作類任務(wù)第一次跑了10個(gè)epoch出來(lái)的模型幾乎把訓(xùn)練集中的句子背了個(gè)滾瓜爛熟但換一批新問(wèn)題就東拉西扯。很多小白看loss來(lái)判斷過(guò)不過(guò)擬合其實(shí)不夠全面。訓(xùn)練集上的loss低只能說(shuō)明模型把訓(xùn)練數(shù)據(jù)“記住”了不能說(shuō)明它“理解”了。判斷是否過(guò)擬合要看驗(yàn)證集或測(cè)試集上的表現(xiàn)。具體操作是訓(xùn)練前先從全量數(shù)據(jù)里拿出一部分比如5%-10%專門(mén)用作驗(yàn)證集每個(gè)epoch結(jié)束時(shí)在驗(yàn)證集上跑一下評(píng)估。當(dāng)驗(yàn)證集上的指標(biāo)不再提升甚至開(kāi)始下降而訓(xùn)練集loss還在持續(xù)走低這就是明確的過(guò)擬合信號(hào)。我踩這種坑后的教訓(xùn)就是寧愿只訓(xùn)練2到3個(gè)epoch也不要盲目追多。LoRA本身的參數(shù)量小擬合能力有限通常需要的epoch并不大。數(shù)據(jù)質(zhì)量越高需要的epoch越少數(shù)據(jù)噪聲越大你越容易覺(jué)得“多訓(xùn)幾輪會(huì)更有效”實(shí)際上只是模型在反復(fù)記憶噪聲。5.3 梯度累積與批次大小效果和顯存的平衡術(shù)梯度累積是消費(fèi)級(jí)顯卡玩家的標(biāo)配技巧。它的原理很樸素顯卡放不下大批次那就分小批次一次次前向計(jì)算先把梯度攢起來(lái)攢夠了再統(tǒng)一更新一次參數(shù)。實(shí)際項(xiàng)目里的一個(gè)經(jīng)驗(yàn)公式是如果你觀察訓(xùn)練曲線有嚴(yán)重的鋸齒狀震蕩往往是單步批次太小、梯度噪聲太大。這時(shí)可以通過(guò)加大gradient_accumulation_steps來(lái)等效放大更新時(shí)的批次大小讓參數(shù)更新方向更穩(wěn)定、更平滑。反向調(diào)整也一樣如果顯存吃得消就減少累積步數(shù)訓(xùn)練速度反而更快。有一點(diǎn)特別容易踩梯度累積的步數(shù)也要和數(shù)據(jù)總量配合。如果你工一共就一千條數(shù)據(jù)設(shè)置accumulation_steps16那就是六千四百步才完整過(guò)一遍數(shù)據(jù)很多參數(shù)還沒(méi)真正學(xué)到東西一輪就結(jié)束了。邏輯上每個(gè)epoch模型的更新次數(shù)是數(shù)據(jù)量除以有效批次大小這個(gè)數(shù)值要在合理范圍內(nèi)一般幾十到幾百步之間。5.4 顯存不足的完整排查順序訓(xùn)練中報(bào)CUDA out of memory別再只看顯卡了按這個(gè)順序排查批次大小把per_device_train_batch_size降到1這是見(jiàn)效最快的。量化等級(jí)確認(rèn)基座加載用的是4bit量化而不是8bit或全精度。序列長(zhǎng)度限制如果有輸入長(zhǎng)度上限參數(shù)把它從2048降到1024甚至512。微調(diào)任務(wù)通常不需要超長(zhǎng)上下文。額外開(kāi)銷關(guān)閉或者降低驗(yàn)證集評(píng)估頻率驗(yàn)證階段也會(huì)消耗顯存。檢查后臺(tái)進(jìn)程是否有其他程序占著顯存未釋放用查詢命令看一眼最直接。按這個(gè)順序走完絕大部分顯存問(wèn)題都能解決。如果實(shí)在解決不了那就只能換更小的模型或者換更大的卡了別硬撐。6. 效果評(píng)估與迭代不能只看loss下降模型訓(xùn)練完真正的麻煩才開(kāi)始。評(píng)估模型不是簡(jiǎn)單問(wèn)它幾個(gè)問(wèn)題就完事那是“看上去不錯(cuò)”的錯(cuò)覺(jué)。我在多次項(xiàng)目復(fù)盤(pán)里總結(jié)出一套對(duì)這種“指令微調(diào)結(jié)果”的評(píng)估打法分成定量、定性和線上效果三個(gè)維度。6.1 定量評(píng)估跑測(cè)試題的優(yōu)缺點(diǎn)在準(zhǔn)備數(shù)據(jù)的時(shí)候就要有意識(shí)地留下一部分“考試題”——這些樣本絕不參與訓(xùn)練只用于評(píng)估。評(píng)估時(shí)給模型跑這批測(cè)試題人工看回答的對(duì)錯(cuò)率。最好格式和任務(wù)都對(duì)齊真實(shí)場(chǎng)景比如做分類任務(wù)就看準(zhǔn)確率做抽取任務(wù)就看字段級(jí)匹配率。如果拿到的標(biāo)注不夠多也可以用一些通行的基準(zhǔn)測(cè)試集來(lái)做輔助評(píng)估。但這里有個(gè)坑通用基準(zhǔn)里的題目跟你的業(yè)務(wù)場(chǎng)景差異可能很大分?jǐn)?shù)高不代表你的任務(wù)就做得好。我見(jiàn)過(guò)一個(gè)做醫(yī)療問(wèn)答的模型在通用題庫(kù)上表現(xiàn)還不錯(cuò)一聊到具體科室問(wèn)題就露餡。所以盡量?jī)?yōu)先用自己的測(cè)試集通用基準(zhǔn)只做參考。6.2 定性評(píng)估把模型當(dāng)成員工來(lái)面試定性評(píng)估是小白最容易忽略的但也是最有效的。具體做法是準(zhǔn)備一組覆蓋各種邊界情況的真實(shí)問(wèn)題逐一讓模型回答然后對(duì)照標(biāo)準(zhǔn)答案人工打分。打分維度建議包括內(nèi)容準(zhǔn)確性、語(yǔ)義完整性、格式遵從度、是否出現(xiàn)幻覺(jué)編造不存在的內(nèi)容。我常用的面試問(wèn)題集大概長(zhǎng)這樣最核心、最典型的問(wèn)題模型必須答好用戶表達(dá)不完整、錯(cuò)別字多的邊緣問(wèn)題考驗(yàn)魯棒性本身無(wú)法回答或超出范圍的問(wèn)題考驗(yàn)是否瞎編語(yǔ)氣和格式有特殊要求的指令考驗(yàn)對(duì)齊能力每次微調(diào)迭代以后都拿同一套面試題去考模型把回答記錄下來(lái)。不要憑印象說(shuō)“感覺(jué)比之前好了”一定要能看到前后對(duì)比的內(nèi)容。文本這類不固定的輸出對(duì)比尤其重要。6.3 迭代策略怎么根據(jù)壞例子補(bǔ)數(shù)據(jù)第一次微調(diào)效果不好太正常了關(guān)鍵是知道怎么迭代。常見(jiàn)的失敗模式和對(duì)策我整理成一張表失敗表現(xiàn)可能原因?qū)Σ咭恢敝貜?fù)同一句話或幾個(gè)字訓(xùn)練數(shù)據(jù)里回答太短或訓(xùn)練輪次過(guò)多增加多樣化回答樣本降低epoch格式不聽(tīng)話、不按模板輸出數(shù)據(jù)中格式不一致或推理模板和訓(xùn)練模板不統(tǒng)一統(tǒng)一數(shù)據(jù)格式和推理模板答非所問(wèn)、自說(shuō)自話數(shù)據(jù)里user和assistant對(duì)應(yīng)關(guān)系混亂全面檢查數(shù)據(jù)配對(duì)刪除錯(cuò)位樣本一本正經(jīng)地胡說(shuō)八道模型知識(shí)不夠缺乏可靠來(lái)源約束在instruction中明確邊界補(bǔ)充“不知道”的表達(dá)樣本每次迭代只改一個(gè)變量不要同時(shí)換數(shù)據(jù)又換參數(shù)。我見(jiàn)過(guò)很多新手一次改了一堆東西最后效果好但不知道好在哪、差也不知道差在哪完全喪失學(xué)習(xí)閉環(huán)。最好的迭代習(xí)慣是記錄下每一輪的訓(xùn)練數(shù)據(jù)版本、參數(shù)配置、評(píng)估結(jié)果形成一張對(duì)照表后面所有調(diào)整決策都基于這張表來(lái)做。7. 我私藏的幾個(gè)小技巧從“能跑通”到“用得好”到了這一步你應(yīng)該已經(jīng)能跑通微調(diào)全流程了。不過(guò)我最后想分享幾個(gè)自己長(zhǎng)期收集和沉淀下來(lái)的小技巧這些內(nèi)容不屬于某個(gè)具體框架但在每個(gè)項(xiàng)目里都用得上。7.1 用“局部實(shí)驗(yàn)”代替“宏大實(shí)驗(yàn)”不要一開(kāi)始就想著把所有數(shù)據(jù)、所有技巧都用在一次訓(xùn)練里。正確做法是先用最小數(shù)據(jù)量、最精簡(jiǎn)配置跑通一個(gè)“端到端”的閉環(huán)數(shù)據(jù)整理、加載模型、訓(xùn)練、合并、推理。哪怕效果一般這個(gè)閉環(huán)本身就是巨大的進(jìn)度因?yàn)楹罄m(xù)所有迭代都是在它上面做增量。每加一個(gè)新要素比如換一種數(shù)據(jù)處理方式、調(diào)一組新參數(shù)都單獨(dú)驗(yàn)證效果不要批量操作。這樣你可以非常清楚地知道到底是什么起了作用、什么在拖后腿。7.2 維護(hù)一份“微調(diào)實(shí)驗(yàn)筆記本”記錄每一輪實(shí)驗(yàn)的詳細(xì)信息這看起來(lái)是麻煩但長(zhǎng)期價(jià)值極大。我的記錄格式很簡(jiǎn)單日期、基座模型版本、LoRA參數(shù)、學(xué)習(xí)率、epoch、數(shù)據(jù)版本、數(shù)據(jù)規(guī)模、測(cè)試集結(jié)果、面試題表現(xiàn)截圖、備注。回頭翻的時(shí)候能非?？斓囟ㄎ坏侥硞€(gè)好效果是“哪次歪打正著”搞出來(lái)的。筆記本的另一個(gè)用途是避免重復(fù)勞動(dòng)。過(guò)了一個(gè)月以后再做一個(gè)類似項(xiàng)目你不會(huì)想再?gòu)念^探索一遍參數(shù)組合。有記錄在直接復(fù)用上次的實(shí)驗(yàn)配置再根據(jù)新場(chǎng)景微調(diào)即可?？雌饋?lái)多花了幾分鐘記錄時(shí)間實(shí)際省下的是幾天的大量試錯(cuò)成本。7.3 模板統(tǒng)一性是一個(gè)隱蔽的殺手這個(gè)我前面提過(guò)但值得再說(shuō)一次。很多模型微調(diào)后的效果不好根本不是模型沒(méi)學(xué)好而是訓(xùn)練時(shí)的數(shù)據(jù)格式和推理時(shí)的數(shù)據(jù)格式不一致。比如訓(xùn)練數(shù)據(jù)里每條user內(nèi)容都帶“請(qǐng)回答”前綴推理時(shí)你直接發(fā)了個(gè)裸輸入那模型的行為當(dāng)然和訓(xùn)練時(shí)習(xí)得的不一樣。調(diào)試的時(shí)候如果發(fā)現(xiàn)模型表現(xiàn)不穩(wěn)定第一時(shí)間檢查你的推理代碼是不是復(fù)用的微調(diào)庫(kù)里的模板而不是自己拼出來(lái)的字符串。這個(gè)問(wèn)題排查起來(lái)很隱蔽因?yàn)橐谎劭催^(guò)去“都是文字”但模型看到的是細(xì)微的格式差異。只要統(tǒng)一效果往往能提升一個(gè)檔次。7.4 小數(shù)據(jù)量時(shí)如何把數(shù)據(jù)用好當(dāng)你的高質(zhì)量數(shù)據(jù)只有幾百條時(shí)有一些針對(duì)性的小技巧一是擴(kuò)充數(shù)據(jù)。在不改變語(yǔ)義的前提下改寫(xiě)樣本的表達(dá)方式換句式、換近義詞、調(diào)整用戶問(wèn)題的問(wèn)法但assistant的答案保持不變。這樣模型學(xué)到的是“無(wú)論如何問(wèn)都應(yīng)該給出格式一致的答案”而不是只認(rèn)某一種死板的問(wèn)法。二是增加負(fù)例。給模型一些它“不該答”的樣本。比如針對(duì)“超出范圍的問(wèn)題”明確告訴它“這個(gè)問(wèn)題超出我的能力范圍建議您咨詢專業(yè)人士”。負(fù)例的占比不用太高控制在5%左右即可但能讓模型在邊界上的表現(xiàn)穩(wěn)健很多。三是平衡分布。數(shù)據(jù)里不同問(wèn)題的數(shù)量要盡量均衡不要某個(gè)類型占了一大半其他類型只有零星幾條。模型訓(xùn)練時(shí)會(huì)被高頻樣本帶著走低頻樣本的能力很容易被淹沒(méi)。按類型做一次數(shù)量統(tǒng)計(jì)如果不均衡先針對(duì)低數(shù)量類型想辦法補(bǔ)數(shù)據(jù)再?zèng)Q定要不要啟動(dòng)訓(xùn)練。7.5 分享一個(gè)小工具流程自動(dòng)記錄訓(xùn)練環(huán)境與依賴版本訓(xùn)練環(huán)境版本不一致是復(fù)現(xiàn)實(shí)驗(yàn)結(jié)果的頭號(hào)敵人。以前我跑完一個(gè)項(xiàng)目隔一周再打開(kāi)連之前用的是哪個(gè)依賴版本都記不清。后來(lái)我發(fā)現(xiàn)可以在訓(xùn)練腳本開(kāi)頭加一段自動(dòng)記錄環(huán)境的邏輯把依賴列表、Python版本、關(guān)鍵參數(shù)全部寫(xiě)進(jìn)一個(gè)日志文件和訓(xùn)練產(chǎn)物存放在一起。這樣每次打開(kāi)訓(xùn)練目錄環(huán)境信息一目了然復(fù)現(xiàn)實(shí)驗(yàn)只需要按日志重建環(huán)境即可。這也是我“收藏技巧”里最重要的一條把環(huán)境、參數(shù)、數(shù)據(jù)版本和模型產(chǎn)物放進(jìn)同一個(gè)目錄形成一個(gè)自包含的實(shí)驗(yàn)歸檔。以后無(wú)論是自己回來(lái)繼續(xù)改還是發(fā)給別人復(fù)現(xiàn)都會(huì)順暢很多。8. 最后再說(shuō)點(diǎn)掏心窩的話整個(gè)微調(diào)流程走下來(lái)我最大的感觸是這個(gè)領(lǐng)域現(xiàn)在的門(mén)檻已經(jīng)比以前低太多了但信息密度太大新手上路容易迷失。網(wǎng)上的教程不是太少而是太多且很多教程只給結(jié)論不給緣由讓人跑通了卻不懂為什么。你如果真的想在這個(gè)方向上積累能力最靠譜的辦法就是自己動(dòng)手把一個(gè)最小的閉環(huán)跑通然后基于閉環(huán)去疊加理解和優(yōu)化。我的建議很簡(jiǎn)單先不要焦慮數(shù)據(jù)夠不夠多、參數(shù)夠不夠優(yōu)用現(xiàn)有資源把流程完整走一遍哪怕結(jié)果不行也沒(méi)關(guān)系。當(dāng)你能熟練地重復(fù)“加載模型 - 處理數(shù)據(jù) - 跑訓(xùn)練 - 合并導(dǎo)出 - 驗(yàn)證效果”這個(gè)循環(huán)以后底層原理、參數(shù)含義、工具特性都會(huì)在一次次試錯(cuò)中自然內(nèi)化成你自己的判斷力。以后再看到任何一個(gè)新模型或者新工具你都不會(huì)慌因?yàn)槟阋呀?jīng)知道微調(diào)的核心骨架是什么了剩下的都只是在不同環(huán)節(jié)上的優(yōu)化和替換。如果這篇文章只留一句話我希望是把流程走通比把所有參數(shù)調(diào)對(duì)更重要。參數(shù)可以慢慢試數(shù)據(jù)可以慢慢補(bǔ)但如果你連一個(gè)完整的閉環(huán)都無(wú)法穩(wěn)定復(fù)現(xiàn)所有優(yōu)化的討論都是空中樓閣。從今天開(kāi)始給自己定一個(gè)小目標(biāo)跑完一個(gè)最小微調(diào)流程哪怕只用了五百條數(shù)據(jù)。跑完了你就已經(jīng)跨過(guò)這個(gè)領(lǐng)域最陡的那道坡了。