欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從零開(kāi)始大模型開(kāi)發(fā)與微調(diào):基于PyTorch與ChatGLM的實(shí)戰(zhàn)指南

從零開(kāi)始大模型開(kāi)發(fā)與微調(diào):基于PyTorch與ChatGLM的實(shí)戰(zhàn)指南 聊點(diǎn)實(shí)在的。這兩年“大模型開(kāi)發(fā)與微調(diào)”幾乎成了算法崗簡(jiǎn)歷上的標(biāo)配關(guān)鍵詞但真正從零開(kāi)始上手的人里十個(gè)有八個(gè)都卡在第一步環(huán)境裝不起來(lái)模型加載報(bào)錯(cuò)更別提拿自己的業(yè)務(wù)數(shù)據(jù)去微調(diào)了。這篇內(nèi)容就圍繞《從零開(kāi)始大模型開(kāi)發(fā)與微調(diào)基于PyTorch與ChatGLM》這條完整路線把我自己踩過(guò)坑之后整理出來(lái)的流程寫(xiě)一遍——從 PyTorch 環(huán)境搭建、CUDA 適配到 ChatGLM 模型加載、數(shù)據(jù)處理再到用 LoRA 跑通一次真正的微調(diào)訓(xùn)練最后配上模型合并和推理驗(yàn)證。適合剛?cè)腴T(mén)算法的同學(xué)也適合有 PyTorch 基礎(chǔ)、但還沒(méi)碰過(guò)開(kāi)源大模型微調(diào)的工程師。1. 先從整體思路說(shuō)起你真正要做的“大模型開(kāi)發(fā)”是什么1.1 預(yù)訓(xùn)練和你關(guān)系不大微調(diào)才是主線很多人聽(tīng)到“從零開(kāi)始大模型開(kāi)發(fā)”第一反應(yīng)是“我要重寫(xiě)一遍 Transformer從頭訓(xùn)練一個(gè) GPT”。真沒(méi)必要。以 ChatGLM 為例ChatGLM-6B 這種量級(jí)的模型一次預(yù)訓(xùn)練的成本是百萬(wàn)級(jí)算力小時(shí)起步個(gè)人或者小團(tuán)隊(duì)根本扛不住。實(shí)際工程里說(shuō)的“從零開(kāi)始”指的是從零開(kāi)始掌握這套工具鏈拿一個(gè)成熟的開(kāi)源基座模型加載起來(lái)用自有數(shù)據(jù)做微調(diào)最后部署成能回答業(yè)務(wù)問(wèn)題的服務(wù)。這里要先把“預(yù)訓(xùn)練”和“微調(diào)”這兩個(gè)詞掰開(kāi)。預(yù)訓(xùn)練是拿海量通用文本讓模型學(xué)會(huì)語(yǔ)言本身的規(guī)律相當(dāng)于把一個(gè)人培養(yǎng)成受過(guò)通識(shí)教育的普通人微調(diào)是用領(lǐng)域里的高質(zhì)量數(shù)據(jù)讓模型學(xué)會(huì)你期望它掌握的技能和表達(dá)方式相當(dāng)于給這個(gè)人做崗位培訓(xùn)。大模型在預(yù)訓(xùn)練階段已經(jīng)會(huì)說(shuō)話、會(huì)推理但沒(méi)接觸過(guò)你的私有數(shù)據(jù)和業(yè)務(wù)場(chǎng)景所以直接問(wèn)它“請(qǐng)按我們公司的格式寫(xiě)周報(bào)”它即使能答也答不到點(diǎn)子上。微調(diào)的目的就是讓它從“通用”走向“特定”。這里還有一個(gè)常見(jiàn)誤解微調(diào)不是“給模型灌知識(shí)”。模型記不住太多新事實(shí)它真正學(xué)的是“對(duì)話的格式、任務(wù)的模式、輸出的風(fēng)格”。想讓它記住大量知識(shí)優(yōu)先考慮檢索增強(qiáng)而不是硬灌這一點(diǎn)在后面的數(shù)據(jù)準(zhǔn)備部分還會(huì)展開(kāi)。1.2 為什么偏偏是 PyTorch 加 ChatGLM先說(shuō)框架。PyTorch 在今天的大模型圈子里基本是事實(shí)標(biāo)準(zhǔn)HuggingFace Transformers、PEFT參數(shù)高效微調(diào)、bitsandbytes、accelerate 這些工具鏈都是優(yōu)先支持 PyTorch 的。TensorFlow 也能做大模型但你搜資料時(shí)會(huì)發(fā)現(xiàn)凡是涉及 LoRA、QLoRA、DeepSpeed 的教程十篇里有九篇是 PyTorch 代碼。選 PyTorch本質(zhì)上是選生態(tài)不讓自己在起跑線上就陷入“找半天沒(méi)有一個(gè)能直接跑的 demo”的窘境。再說(shuō)模型。ChatGLM 是智譜AI開(kāi)源的中文對(duì)話大模型系列ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B 都是公開(kāi)權(quán)重可以本地跑的。為什么拿它當(dāng)教學(xué)載體三個(gè)理由第一中文效果好中文踩坑案例也多第二6B 參數(shù)量在消費(fèi)級(jí)顯卡上有機(jī)會(huì)跑微調(diào)換成 65B 的模型個(gè)人電腦基本沒(méi)戲第三它原生接近對(duì)話場(chǎng)景做完微調(diào)能直接做智能客服、文檔問(wèn)答這類(lèi)演示正反饋來(lái)得快。對(duì)于從零開(kāi)始的開(kāi)發(fā)者這個(gè)組合試錯(cuò)成本最低。1.3 零基礎(chǔ)怎么規(guī)劃學(xué)習(xí)路徑如果連 PyTorch 都還沒(méi)入門(mén)直接沖 ChatGLM 微調(diào)會(huì)很難受。我給你一個(gè)按比例分配時(shí)間的路徑先用一到兩周過(guò) PyTorch 基礎(chǔ)重點(diǎn)看張量操作、自動(dòng)求導(dǎo)、nn.Module、DataLoader 和訓(xùn)練循環(huán)這五件事不用摳得太深能跟著教程跑通一個(gè)圖像分類(lèi)或文本分類(lèi)就夠了。很多人說(shuō)自己是看入門(mén)視頻起步的這個(gè)路線沒(méi)問(wèn)題關(guān)鍵是要親手敲代碼不能只看然后花三到五天熟悉 HuggingFace 的加載與推理流程把模型加載、tokenizer 那套邏輯跑通最后再進(jìn)入微調(diào)階段。這個(gè)順序看起來(lái)慢實(shí)際上最快。我見(jiàn)過(guò)太多一上來(lái)就找“ChatGLM 微調(diào)代碼”的人結(jié)果模型加載完連 loss 是怎么算出來(lái)的都不知道訓(xùn)練崩了也不知道從哪查起。PyTorch 基礎(chǔ)不是可選項(xiàng)是排查問(wèn)題的底氣。2. 環(huán)境準(zhǔn)備PyTorch 安裝與 CUDA 適配最容易翻車(chē)的一步2.1 硬件要求先對(duì)齊別拿集顯硬扛跑 ChatGLM-6B 的推理至少要 12GB 顯存fp16 精度下做 LoRA 微調(diào)建議 16GB 以上24GB 的顯卡RTX 3090、4090 或 A5000 之類(lèi)體驗(yàn)比較舒服。全參微調(diào) 6B 模型對(duì)個(gè)人玩家就不太現(xiàn)實(shí)了動(dòng)輒 40GB 以上顯存所以后面我會(huì)把重點(diǎn)放在 LoRA 上。沒(méi)有 N 卡怎么辦兩個(gè)選擇一是用 CPU 推理跑通流程能跑但很慢而且微調(diào)基本不用想二是租云 GPU 實(shí)例按小時(shí)付費(fèi)很多平臺(tái)有 24GB 顯存的卡可選新手練習(xí)反而比買(mǎi)卡劃算。另外像 MX150 這種入門(mén)級(jí)獨(dú)顯跑點(diǎn)小規(guī)模 PyTorch 練習(xí)沒(méi)問(wèn)題大模型就別指望了該上云上云。2.2 Anaconda 創(chuàng)建隔離環(huán)境別碰系統(tǒng) Python環(huán)境管理這一步強(qiáng)烈建議用 Anaconda 建虛擬環(huán)境。原因很樸素深度學(xué)習(xí)項(xiàng)目依賴(lài)版本沖突太常見(jiàn)了今天裝的 torch 版本很可能跟下個(gè)項(xiàng)目的 torchvision 打架。用 conda 把每個(gè)項(xiàng)目隔開(kāi)出了問(wèn)題直接刪環(huán)境重建五分鐘就能恢復(fù)。conda create -n llm python3.10 conda activate llm為什么要 3.10這是個(gè)兼容性經(jīng)驗(yàn)值。ChatGLM 相關(guān)依賴(lài)鏈transformers、peft、datasets、accelerate 等在 Python 3.8 到 3.11 之間都能工作但 3.10 是這幾個(gè)庫(kù)支持最均衡的版本太低的 Python 對(duì)一些新庫(kù)支持不好太新的可能遇到個(gè)別依賴(lài)沒(méi)跟上。后續(xù)所有操作都在這個(gè) llm 環(huán)境里進(jìn)行。2.3 PyTorch 與 CUDA 版本匹配三個(gè)概念先分清這一步是新手最常翻車(chē)的地方。先記住三件事顯卡驅(qū)動(dòng)driver、CUDA Toolkit、PyTorch 編譯時(shí)用的 CUDA 版本是三樣?xùn)|西不是一回事。顯卡驅(qū)動(dòng)是底層的它決定了系統(tǒng)能不能讓程序調(diào)用 GPU。驅(qū)動(dòng)版本太老上面跑什么都會(huì)報(bào)錯(cuò)。CUDA Toolkit 是開(kāi)發(fā)庫(kù)里面是編譯器和運(yùn)行時(shí)庫(kù)。很多博客會(huì)讓你去官網(wǎng)單獨(dú)裝 Toolkit但在 PyTorch 場(chǎng)景下通常不強(qiáng)制手動(dòng)裝PyTorch 的安裝包里自帶一部分運(yùn)行時(shí)依賴(lài)。PyTorch 的 whl 包名里的 cu 后綴代表它鏈接的 CUDA 版本。比如 torch-2.1.2cu118 表示這個(gè)包匹配 CUDA 11.8torch-2.3.1cu121 匹配 CUDA 12.1。理解了這三者的關(guān)系判斷兼容性就一句話顯卡驅(qū)動(dòng)版本不能低于 PyTorch 所對(duì)應(yīng) CUDA 版本的最低驅(qū)動(dòng)要求否則程序就跑不起來(lái)。怎么知道自己該裝哪個(gè)先用一條命令看驅(qū)動(dòng)支持到什么級(jí)別nvidia-smi右上角會(huì)顯示 CUDA Version這個(gè)值代表當(dāng)前驅(qū)動(dòng)最高支持的 CUDA 版本。比如它顯示 12.1那你可以放心選擇 cu121 甚至更低的 cu118 版本安裝都不會(huì)超出驅(qū)動(dòng)能力。如果驅(qū)動(dòng)只支持到 11.8那就老老實(shí)實(shí)裝 cu118 的版本。推薦一套組合PyTorch 2.1.2 CUDA 11.8或者 PyTorch 2.3.1 CUDA 12.1。前者兼容性強(qiáng)后者更接近新版。安裝命令統(tǒng)一用 pip 就行pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118裝完先驗(yàn)證這一步別跳過(guò)import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果輸出的 torch.version末尾帶 cpu說(shuō)明下載成了 CPU 版本趕緊重裝如果 is_available() 是 False優(yōu)先懷疑驅(qū)動(dòng)太舊。2.4 Ubuntu 和 CentOS 下的環(huán)境坑Ubuntu 相對(duì)省心CentOS 用戶在裝依賴(lài)時(shí)容易遇到缺底層庫(kù)的問(wèn)題這里給一段通用排查思路。如果是服務(wù)器內(nèi)網(wǎng)環(huán)境不能直接在線裝就用離線方案在一臺(tái)有網(wǎng)且系統(tǒng)架構(gòu)一致的機(jī)器上執(zhí)行 pip download把所有 wheel 包拉下來(lái)打包拷貝到目標(biāo)機(jī)器再 pip install --no-index --find-links./wheelhouse 安裝。注意 PyTorch 的 wheel 包很大下載時(shí)要確認(rèn)磁盤(pán)空間充足。還有一個(gè)容易被忽略的點(diǎn)別把 pip 和 conda 混著隨便裝。我建議虛擬環(huán)境里優(yōu)先用 pip 裝 Python 包c(diǎn)onda 主要管 Python 版本和環(huán)境的創(chuàng)建銷(xiāo)毀?;煊萌菀装寻囊蕾?lài)解析搞亂后期一升級(jí)就出幺蛾子。很多人報(bào)環(huán)境問(wèn)題最后追查下來(lái)都是因?yàn)樵?jīng)在同一個(gè)環(huán)境里用 conda 裝了一個(gè)包、用 pip 裝了另一個(gè)兩個(gè)依賴(lài)圖互相覆蓋一升級(jí)就崩。2.5 低端卡也能學(xué) PyTorch但別做大模型如果你的顯卡是 MX150 這類(lèi)入門(mén)卡甚至核顯不是說(shuō)不能學(xué)。學(xué) PyTorch 基礎(chǔ)、跑小網(wǎng)絡(luò)、處理自己的小數(shù)據(jù)集完全沒(méi)問(wèn)題很多熱詞里提到的“PyTorch 處理高光譜 hdr 文件”“UCF101 視頻分類(lèi)”“TD3 強(qiáng)化學(xué)習(xí)”這類(lèi)項(xiàng)目在低配機(jī)器上都能跑。但這些項(xiàng)目練完之后要意識(shí)到大模型是另一個(gè)量級(jí)硬件不夠就上云別在本地硬耗時(shí)間。3. 加載 ChatGLM理解模型結(jié)構(gòu)再動(dòng)手寫(xiě)代碼3.1 ChatGLM 背后的 GLM 架構(gòu)是怎么回事先別急著復(fù)制粘貼代碼花五分鐘了解下它是什么。ChatGLM 系列用的是 GLMGeneral Language Model架構(gòu)和 GPT 那種標(biāo)準(zhǔn)自回歸模型有一個(gè)關(guān)鍵區(qū)別GPT 是從左往右一個(gè)字一個(gè)字預(yù)測(cè)GLM 是“自回歸空白填充”可以理解成一個(gè)高級(jí)版完形填空——給定一部分文本讓它預(yù)測(cè)被摳掉的片段預(yù)測(cè)時(shí)按自回歸方式一個(gè) token 一個(gè) token 生成。這個(gè)設(shè)計(jì)帶來(lái)的好處是GLM 既能做生成任務(wù)也能做理解任務(wù)所以中文能力表現(xiàn)不錯(cuò)。對(duì)于你來(lái)說(shuō)這些細(xì)節(jié)暫時(shí)不需要完全吃透但至少要記住它是個(gè) Transformer 家族模型所以用 transformers 庫(kù)就能加載它的代碼里帶有 chat 方法所以可以很方便地做多輪對(duì)話。這些認(rèn)知會(huì)在排查問(wèn)題時(shí)派上用場(chǎng)比如看到報(bào)錯(cuò)里出現(xiàn) Transformer 層的名字你能大概定位到是哪一部分出了問(wèn)題。3.2 用 HuggingFace Transformers 加載模型加載 ChatGLM 權(quán)重非常標(biāo)準(zhǔn)幾行代碼import torch from transformers import AutoModel, AutoTokenizer model_name THUDM/chatglm3-6b tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModel.from_pretrained( model_name, trust_remote_codeTrue, torch_dtypetorch.float16, device_mapauto ).eval()這里有幾個(gè)點(diǎn)值得展開(kāi)說(shuō)說(shuō)。trust_remote_codeTrue 是因?yàn)?ChatGLM 的模型定義需要執(zhí)行官方倉(cāng)庫(kù)里附帶的自定義代碼不加這個(gè)參數(shù)會(huì)直接報(bào)錯(cuò)torch_dtypetorch.float16 是把模型權(quán)重加載成半精度顯存占用幾乎減半在消費(fèi)級(jí)顯卡上這是標(biāo)配操作device_mapauto 讓框架自動(dòng)把模型分配到可用設(shè)備上。第一次執(zhí)行會(huì)從 HuggingFace 下載權(quán)重6B 模型的 fp16 權(quán)重有 12GB 左右網(wǎng)速不理想時(shí)會(huì)很煎熬。我的經(jīng)驗(yàn)是先把權(quán)重手動(dòng)下載到本地目錄然后用本地路徑加載。下載下來(lái)后檢查目錄里要有 pytorch_model.bin 或多個(gè) .safetensors 分片文件、config.json、tokenization 相關(guān)文件缺一不可。批量下載一堆二進(jìn)制大文件時(shí)文件名要對(duì)上錯(cuò)一個(gè)文件名加載時(shí)就各種詭異報(bào)錯(cuò)。3.3 指令微調(diào)數(shù)據(jù)長(zhǎng)什么樣微調(diào) ChatGLM 這種對(duì)話模型數(shù)據(jù)格式遵循“指令-輸出”的結(jié)構(gòu)。我常用的是一份 JSONL 文件每一行是一條訓(xùn)練樣本{instruction: 請(qǐng)用一句話解釋什么是反向傳播, input: , output: 反向傳播是從損失函數(shù)出發(fā)沿網(wǎng)絡(luò)結(jié)構(gòu)反向逐層計(jì)算每個(gè)參數(shù)梯度的算法。} {instruction: 根據(jù)給定的需求寫(xiě)一段商品文案, input: 商品無(wú)線藍(lán)牙耳機(jī)賣(mài)點(diǎn)降噪、續(xù)航24小時(shí), output: 這款無(wú)線藍(lán)牙耳機(jī)主打深度降噪單次充電續(xù)航長(zhǎng)達(dá)24小時(shí)讓通勤路上徹底告別外界喧囂。}注意 input 字段是可選的沒(méi)有額外輸入就留空。數(shù)據(jù)數(shù)量上新手階段準(zhǔn)備幾百條高質(zhì)量樣本就能看到明顯效果比一次性塞幾萬(wàn)條噪聲數(shù)據(jù)強(qiáng)得多。數(shù)據(jù)質(zhì)量永遠(yuǎn)排第一格式不統(tǒng)一、答案錯(cuò)漏、指令和輸出不對(duì)齊模型都會(huì)學(xué)壞。而且微調(diào)數(shù)據(jù)要盡量貼近你真實(shí)使用場(chǎng)景否則訓(xùn)完還是“答非所問(wèn)”。3.4 關(guān)于 transformers 版本和模型兼容性這里必須專(zhuān)門(mén)說(shuō)一個(gè)常見(jiàn)誤區(qū)。很多人搜“哪個(gè)版本的 PyTorch 和 CUDA 能支持 transformers3.4.0”其實(shí)問(wèn)錯(cuò)了方向。transformers 是 Python 包它的版本約束主要來(lái)自 Python 版本和 torch 的接口跟 CUDA 版本沒(méi)有直接綁定關(guān)系。CUDA 影響的是底層能不能調(diào)用 GPUtransformers 管的是上層模型邏輯兩者不是一回事。真正要注意的是模型權(quán)重與 transformers 版本的兼容性。比如 ChatGLM2 發(fā)布時(shí)配套的 transformers 版本較老如果你裝了一個(gè)很新的 transformers可能會(huì)碰到 tokenizer 類(lèi)型找不到、模型類(lèi)不注冊(cè)之類(lèi)的報(bào)錯(cuò)。解決辦法是安裝官方 README 里 requirements.txt 指定的依賴(lài)版本別輕易追求最新版。實(shí)操中遇到這類(lèi)問(wèn)題優(yōu)先看官方倉(cāng)庫(kù)的說(shuō)明文件這是最靠譜的方案。4. 微調(diào)實(shí)操用 LoRA 跑通 ChatGLM4.1 為什么選 LoRA 而不是全參微調(diào)ChatGLM-6B 有 60 億參數(shù)全參微調(diào)時(shí)優(yōu)化器狀態(tài)和梯度都要占顯存算下來(lái) 24GB 的卡根本不夠用個(gè)人玩家基本可以放棄這個(gè)路線。LoRALow-Rank Adaptation的思路是凍結(jié)原模型全部參數(shù)只在每層注意力模塊旁邊注入兩個(gè)小矩陣訓(xùn)練時(shí)只更新這些小矩陣。用一個(gè)小類(lèi)比原模型是一本已經(jīng)印刷好的教科書(shū)LoRA 是課堂上補(bǔ)充的幾頁(yè)講義不動(dòng)原書(shū)只改講義卻能顯著改變模型的輸出風(fēng)格。LoRA 訓(xùn)練時(shí)顯存需求大幅下降實(shí)測(cè)在單張 24GB 顯卡上配合 fp16、batch_size 設(shè) 4、最大序列長(zhǎng)度 512能比較從容地訓(xùn)練。顯存再緊張就上 QLoRA它先把模型量化成 4bit 再套 LoRA甚至能在 8GB 到 12GB 顯存上跑微調(diào)但訓(xùn)練速度會(huì)慢一些。三者的對(duì)比可以看下面這張表方案訓(xùn)練參數(shù)量顯存需求6B量級(jí)效果保留度適合場(chǎng)景全參微調(diào)60億40GB以上最高有A100/H100等專(zhuān)業(yè)卡追求極限效果LoRA數(shù)百萬(wàn)到千萬(wàn)級(jí)16GB~24GB高消費(fèi)級(jí)顯卡大多數(shù)業(yè)務(wù)微調(diào)場(chǎng)景QLoRA數(shù)百萬(wàn)到千萬(wàn)級(jí)8GB~12GB較高顯存緊張優(yōu)先跑通流程只要顯存夠用優(yōu)先 LoRA顯存不夠再降級(jí)到 QLoRA。效果差距在大多數(shù)任務(wù)上肉眼分辨不出來(lái)LoRA 是性?xún)r(jià)比比較高的起點(diǎn)。4.2 安裝微調(diào)所需依賴(lài)在 llm 環(huán)境里執(zhí)行pip install peft transformers datasets accelerate bitsandbytes這幾個(gè)庫(kù)的分工peft 提供 LoRA 等參數(shù)高效微調(diào)方法transformers 負(fù)責(zé)模型和訓(xùn)練器的上層封裝datasets 用來(lái)加載和處理數(shù)據(jù)accelerate 是訓(xùn)練加速框架Trainer 底層會(huì)用到bitsandbytes 是 QLoRA 的量化后端。哪怕你暫時(shí)不用 QLoRA也建議一起裝上后面顯存不夠想切過(guò)去能省一步安裝。裝了這么多庫(kù)之后環(huán)境開(kāi)始變得脆弱。我的習(xí)慣是把當(dāng)前環(huán)境所有包版本導(dǎo)出一份pip freeze requirements.txt這樣環(huán)境一旦崩了重建之后一條命令就能復(fù)原省得二次踩坑。4.3 構(gòu)造數(shù)據(jù)集類(lèi)微調(diào)前先把數(shù)據(jù)集做成 PyTorch 的 Dataset。ChatGLM 系列的多輪格式一般是 [Round 1] 加一問(wèn)一答我們做演示時(shí)可以先用簡(jiǎn)化拼接重點(diǎn)是把流程跑通。import json import torch from torch.utils.data import Dataset class SFTDataset(Dataset): def __init__(self, data_path, tokenizer, max_len512): self.samples [] with open(data_path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: continue item json.loads(line) prompt item[instruction] inp item.get(input, ) output item[output] text f問(wèn){prompt}\n{inp}\n答{output} self.samples.append(text) self.tokenizer tokenizer self.max_len max_len def __len__(self): return len(self.samples) def __getitem__(self, idx): text self.samples[idx] enc self.tokenizer( text, max_lengthself.max_len, truncationTrue, paddingmax_length, return_tensorspt, ) input_ids enc[input_ids].squeeze(0) attention_mask enc[attention_mask].squeeze(0) # 標(biāo)簽用 input_ids 本身訓(xùn)練時(shí)模型會(huì)自己 shift 一個(gè)位置 labels input_ids.clone() return {input_ids: input_ids, attention_mask: attention_mask, labels: labels}兩個(gè)重點(diǎn)解釋一下。paddingmax_length 會(huì)把所有樣本補(bǔ)到同樣長(zhǎng)度batch 訓(xùn)練時(shí)不會(huì)因長(zhǎng)度不一致報(bào)錯(cuò)代價(jià)是短樣本浪費(fèi)一點(diǎn)顯存labels 直接復(fù)制 input_ids因?yàn)樽曰貧w模型在計(jì)算 loss 時(shí)會(huì)自動(dòng)在序列維度上做 shift也就是用一個(gè) token 預(yù)測(cè)下一個(gè) token不需要手動(dòng)制造錯(cuò)位。4.4 配置 LoRA 并啟動(dòng)訓(xùn)練加載模型后用 peft 包套一層 LoRAfrom peft import LoraConfig, get_peft_model lora_config LoraConfig( task_typeCAUSAL_LM, r8, lora_alpha32, target_modules[query_key_value], lora_dropout0.1, ) model get_peft_model(model, lora_config) model.print_trainable_parameters()幾個(gè)參數(shù)說(shuō)一下。r 是低秩矩陣的秩r 越大可訓(xùn)練參數(shù)量越多、模型表達(dá)能力越強(qiáng)但也更容易過(guò)擬合8 或者 16 是常見(jiàn)起點(diǎn)lora_alpha 是放縮系數(shù)最終的實(shí)際縮放是 lora_alpha / r32 / 8 4這個(gè)值調(diào)節(jié) LoRA 更新對(duì)原模型的“音量”調(diào)太大訓(xùn)練會(huì)不穩(wěn)定調(diào)太小容易訓(xùn)不動(dòng)target_modules 要指向模型中真正做注意力投影的層對(duì) ChatGLM 來(lái)說(shuō)就是名為 query_key_value 的線性層不同模型這個(gè)字段不一樣換模型時(shí)得去模型代碼里確認(rèn)。訓(xùn)練直接用 Trainerfrom transformers import Trainer, TrainingArguments training_args TrainingArguments( output_dir./chatglm-lora, per_device_train_batch_size4, gradient_accumulation_steps8, learning_rate1e-4, num_train_epochs3, logging_steps10, save_steps500, fp16True, remove_unused_columnsFalse, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, tokenizertokenizer, ) trainer.train()訓(xùn)練參數(shù)的設(shè)定邏輯在這里。batch_size 為 4 是顯存和速度的折中如果報(bào)顯存不足先把它降到 2 或 1gradient_accumulation_steps8 表示每 8 個(gè)小 batch 累計(jì)一次梯度等效于一次更新用了 4*832 個(gè)樣本能模擬大 batch 的穩(wěn)定性又不占顯存learning_rate 用 1e-4因?yàn)?LoRA 只訓(xùn)練少量參數(shù)學(xué)習(xí)率可以比全參微調(diào)的 2e-5 高一截fp16True 開(kāi)啟混合精度顯存減半速度還會(huì)提升是消費(fèi)級(jí)顯卡必備選項(xiàng)。自定義數(shù)據(jù)集放到 Trainer 時(shí)remove_unused_columnsFalse 必須設(shè)否則 Trainer 會(huì)自動(dòng)丟棄 data collator 用不到的列而我們的數(shù)據(jù)集返回的是字典某些字段會(huì)被誤刪導(dǎo)致報(bào)錯(cuò)。訓(xùn)練完保存兩種東西model.save_pretrained(./chatglm-lora-checkpoint) tokenizer.save_pretrained(./chatglm-lora-checkpoint)注意這里保存的是 LoRA 適配器不是整套權(quán)重文件大小只有幾十到一百多 MB。想合并回原始模型用 merge_and_unloadmerged_model model.merge_and_unload() merged_model.save_pretrained(./chatglm-lora-merged)合并產(chǎn)出一個(gè)完整的 fp16 權(quán)重可用于部署或繼續(xù)微調(diào)。兩條保存路徑用途不同適配器格式利于快速切換多個(gè)微調(diào)任務(wù)合并格式適合上線推理。4.5 推理驗(yàn)證微調(diào)前后對(duì)比訓(xùn)練完加載用的方式也要調(diào)整from peft import PeftModel base_model AutoModel.from_pretrained( THUDM/chatglm3-6b, trust_remote_codeTrue, torch_dtypetorch.float16, device_mapauto ).eval() model PeftModel.from_pretrained(base_model, ./chatglm-lora-checkpoint) model model.eval() response, history model.chat(tokenizer, 請(qǐng)解釋什么是反向傳播, history[]) print(response)推理時(shí)一定要先加載基座模型再把 LoRA 適配器掛上去順序反了會(huì)報(bào)一堆 shape 不匹配的錯(cuò)。建議你保留微調(diào)前的模型做對(duì)比同樣一個(gè)問(wèn)題微調(diào)前和微調(diào)后各問(wèn)一遍看輸出風(fēng)格、知識(shí)范圍、格式是否按預(yù)期改變。如果差異為零大概率是數(shù)據(jù)量太少或?qū)W習(xí)率太低如果訓(xùn)練集上能完美復(fù)述、測(cè)試問(wèn)法上卻答非所問(wèn)大概率是過(guò)擬合了要降 rank、加數(shù)據(jù)或加 dropout。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 CUDA 相關(guān)報(bào)錯(cuò)怎么定位把最常見(jiàn)的情況列成速查表現(xiàn)象可能原因解決方向torch.cuda.is_available() 返回 False裝成了 CPU 版或驅(qū)動(dòng)未生效檢查 torch.version是否帶 cpu 后綴重裝對(duì)應(yīng) cu 版本再查 nvidia-smi 是否正常報(bào)錯(cuò) no kernel image is available for execution on the device顯卡太老或驅(qū)動(dòng)不支持當(dāng)前 CUDA 版本升級(jí)驅(qū)動(dòng)或換用更低版本的 cu 后綴 PyTorch訓(xùn)練時(shí)報(bào) CUDA out of memory顯存不夠先降 batch_size再考慮開(kāi) gradient_accumulation、開(kāi) fp16、縮短 max_len最后才是換 QLoRA出現(xiàn) warning: you need pytorch with cu130 or higher to use optimized cuda operati編譯時(shí)使用的 cu 版本與你當(dāng)前資源不匹配檢查顯卡驅(qū)動(dòng)版本換一個(gè)與驅(qū)動(dòng)對(duì)應(yīng)的 PyTorch 版本或升級(jí)驅(qū)動(dòng)定位 CUDA 問(wèn)題有個(gè)通用順序先 nvidia-smi 看驅(qū)動(dòng)再 python 看 torch 版本和 is_available()再跑一個(gè)最小樣例。別一上來(lái)就換環(huán)境先把三層信息收集齊大多數(shù)問(wèn)題十分鐘內(nèi)能定位。5.2 顯存不夠的最后一搏QLoRA如果降 batch_size、降序列長(zhǎng)度、開(kāi) fp16 還是 OOM終極方案是 QLoRA。做法是把基座模型加載成 4bit 量化from transformers import BitsAndBytesConfig bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.float16, ) model AutoModel.from_pretrained( THUDM/chatglm3-6b, trust_remote_codeTrue, quantization_configbnb_config, device_mapauto )注意 QLoRA 的模型因?yàn)橐呀?jīng)量化訓(xùn)練完通常不推薦直接 merge 回 fp32導(dǎo)出部署時(shí)要用原模型加載再掛載適配器。另外量化加載時(shí)對(duì) transformers 和 bitsandbytes 的版本敏感如果報(bào) QuantizationSetupError先檢查 bitsandbytes 是否與當(dāng)前 torch 和 CUDA 匹配再檢查 Python 版本。5.3 模型加載時(shí)的 tokenizer 兼容性問(wèn)題“A tokenizer class must be passed”或“xxx is not a valid tokenizer class”這類(lèi)報(bào)錯(cuò)多數(shù)出現(xiàn)在新版本 transformers 加載老模型時(shí)。ChatGLM 的自定義 tokenizer 依賴(lài)倉(cāng)庫(kù)里的代碼加載時(shí) trust_remote_codeTrue 沒(méi)加是常見(jiàn)原因加了還報(bào)錯(cuò)就查 transformers 版本是不是太新。我的處理方式是看官方倉(cāng)庫(kù)的 requirements.txt把關(guān)鍵包版本對(duì)齊不要盲目追新。5.4 訓(xùn)練 loss 不降或過(guò)擬合的排查方向loss 始終不降先加一條“打印模型參數(shù)是否更新”的調(diào)試代碼確認(rèn) LoRA 適配器確實(shí)插進(jìn)去了print_trainable_parameters 有沒(méi)有輸出可訓(xùn)練參數(shù)其次看學(xué)習(xí)率是否過(guò)小1e-4 訓(xùn)不動(dòng)就試 2e-4 或 5e-4再檢查數(shù)據(jù)格式如果標(biāo)簽和輸入混在一起模型可能在學(xué)“背答案”而不是學(xué)“根據(jù)指令回答”。過(guò)擬合的判斷標(biāo)準(zhǔn)則是訓(xùn)練 loss 下降、驗(yàn)證集回答質(zhì)量反而變差這時(shí)應(yīng)該減少 epoch、增大數(shù)據(jù)量、加大 dropout而不是盲目繼續(xù)訓(xùn)。5.5 離線環(huán)境安裝的經(jīng)驗(yàn)內(nèi)網(wǎng)機(jī)器裝 PyTorch我的做法是在一臺(tái)聯(lián)網(wǎng)機(jī)器上先創(chuàng)建相同 Python 版本的虛擬環(huán)境然后執(zhí)行pip download torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -d ./wheelhouse再把 wheelhouse 整個(gè)目錄拷貝到內(nèi)網(wǎng)機(jī)器執(zhí)行pip install --no-index --find-links./wheelhouse torch torchvision torchaudio這里有個(gè)細(xì)節(jié)torch 的 wheel 依賴(lài) nvidia 開(kāi)頭的多個(gè) CUDA 運(yùn)行庫(kù)包pip download 時(shí)要把依賴(lài)也一起下下來(lái)建議在聯(lián)網(wǎng)機(jī)器上用 pip download 命令把這些依賴(lài)一并拉取否則內(nèi)網(wǎng)裝時(shí)還是會(huì)提示找不到依賴(lài)。離線環(huán)境最容易栽的坑就是“包下全了但缺間接依賴(lài)”備一份 requirements.txt讓 pip 正常解析依賴(lài)后再下載比手動(dòng)一個(gè)個(gè)找要穩(wěn)得多。5.6 訓(xùn)練時(shí)間長(zhǎng)怎么辦LoRA 在 24GB 單卡上訓(xùn)練幾百條數(shù)據(jù)每個(gè) epoch 大概幾分鐘到幾十分鐘還算可以接受。如果數(shù)據(jù)集上萬(wàn)條單卡就有點(diǎn)吃力了。這時(shí)候優(yōu)先優(yōu)化數(shù)據(jù)不是所有數(shù)據(jù)都值得訓(xùn)練很多重復(fù)樣本反而拖慢收斂其次是調(diào)小 max_len序列長(zhǎng)度對(duì)訓(xùn)練耗時(shí)的影響是線性的把 512 改成 256時(shí)間能省一半前提是你的任務(wù)不需要長(zhǎng)上下文。千萬(wàn)不要一上來(lái)就上多機(jī)多卡那個(gè)復(fù)雜度對(duì)新手不友好單卡 LoRA 能解決的場(chǎng)景真的很多。最后再分享一個(gè)小技巧回到標(biāo)題里那句“從零開(kāi)始”我想再啰嗦一句別追求一次把所有東西都搞懂這是我從自己第一次微調(diào)就崩掉的過(guò)程里總結(jié)出來(lái)的。把目標(biāo)拆成“今天能把環(huán)境裝好”“明天能加載模型”“后天能跑通一次訓(xùn)練”這種小里程碑每完成一個(gè)都有正反饋后面碰到報(bào)錯(cuò)也不慌。而且做完一輪微調(diào)之后別急著刪代碼把它整理成一個(gè)模板換數(shù)據(jù)集、換模型、換超參數(shù)都能復(fù)用這才是真正的沉淀。紙面的知識(shí)很容易忘能跑的流程才是你自己的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲妇女熟BBW| 97精品欧美91久久久久久久| 婷婷色影院| 婷婷激情五月天小说校园| 欧美VA视频| 亚洲V国产V欧美V久久久久久| 亚洲久久激情| 淫荡综合网| 九九热黄色| 色婷婷亚洲在线| 亚洲五月婷| 99热综合在线观看| 任你爽在线视频| 色五月亚洲| 天天日综合| 深爱激情网婷婷| 性欧美日本| 久久久久久久久月丁| 亚洲va综合va国产va中文| 思思热闹这里只有精品| 久久9视频欧美| 久久人人做人人妻人人玩精品va| www.色婷婷| 综合性爱网| 国产片色| 亚洲十月婷婷综合| 丁香五月另类小说在线阅读| 天天玩天天摸| 天天日天天添| 婷婷在线视频| 五月丁香六月婷| 色九月综合| 全部老头和老太XXXXX| 99热播放| 色五月成人| 五月婷六月| 日韩AV无码影片| 九九九九国产| 婷香五月| 国产免费一区二区在线A片视频| 久久色五月天激情小说| 色色 9| 欧美va视频不用播放器的va视频网| 婷色视频| 久久婷婷草| 中文字幕1区2区。| 九月丁香网婷婷| 久久久99精品免费观看| 免费无码毛片一区二区A片| 久久综合激情| 五月天色社区| 中文字幕永久在线| 丁香五月天激情综合| 女人被男人吃奶到高潮| 九九大香蕉黄色影院| 99色亚洲| 婷婷丁香五月激情| 热99精品视频五月| 久久激情网| www.99在线| 午夜激情婷婷| 色综合色色| 色欲婷婷五月天| 久久久性爱视频| 九九这里有精品| 五月天社区狠狠| 伊人丁香花综合影院| 六月丁香激情最新更新| 日韩色色视频www| 久热这里只有精品视频免费观看| 人妻少妇色综合| 丁香五月婷婷视频| 久热伊人| 欧美日本韩国亚洲| 色青五月天| 婷婷色吧| 日韩草草草草草草草草草草草草| ss99热| 激情综合五月色丁香婷婷| 日韩av干| 2017狠狠干| 亚洲网站999| 五月婷婷,狠狠操| 99无码视频| 丁香五月欧美色综合| 亚洲99在线| 中文色婷婷| 久久曰曰| 五月丁香六月停停停| 99啪视频在线观看| 久久五月婷| 婷婷五月激情基地| 5五月综合网亚洲| 亚洲欧洲午夜成人精品av| 久久婷婷五月综合啪| 色五月天激情| 精品热青草| 99视频极品在线香蕉| 久青操| 五月丁香六月婷| 久久精彩免费视频精彩免费视频| 久久99色色| 日韩五月天婷婷| 色五月婷婷五月丁香五月| 丁香六月婷婷综合啪啪| 色色色免费视频| 午夜精品人妻无码一区二区三区 | 国产精品色色666| 26UUU在线观看| 九九精品网| www.97碰碰com| 99久久9| 67194中文在线| 午夜成人综合| 五月丁香婷婷伊人| 日日操日日撸| av线电影| 婷婷五月天亚洲精品| 成人va视频| 九色视频91疯狂| 99在线精品免费视频| chaopeng在线人人| 久久久久久xxxxx| www.六月丁香看AV| 六月丁香网| 五月婷综合激情| 久久丝丝热| 激情网综合| 99re思思久久| 九九九九大香蕉| 在线五月色播| 丁香五月香蕉| 成人在线日韩欧美| 五月天婷婷五月| 日韩欧美一级大黄网站| 五月精品99综合| 视频一二区| 激情欧美婷五月| www.婷婷,com| 久久婷婷五月天激情新地址| www.99色在线| 97丁香花五月天激情小说| 人人视频色| 国产99久久久| 色婷婷色情| 天天射天天射一道本日本社区 | 六月婷婷激情| 色婷婷亚洲综合网站| 噜噜噜噜噜在线| 五月天色丁香| 丁香五月婷婷综合激情啪啪啪| aaaaa黄色| 激情小说在线视频| 9色免费网| 这里只有精9| 亚州色婷婷| se婷97| 丁香五月婷婷六月婷| A1片久久久| 天天天天干| 99视频久久| 婷婷五月激情小说| 色444综合网| 另类婷婷丁香| 婷婷五月天成人网| 99色看这里只有精品| 五月丁香婷婷导航视频| 激情综合99| 五月婷婷综合在线视频小说| 9色操| 五月色欧美| 久久人妻精品| 五月丁香综合激情在线观看| www.狠狠操| 婷婷六月激情小说网| 淫视馆AV在线| 五月婷婷激情网| 大香线蕉伊人| 人人操人人操919999| 色播激情五月天| 国产午夜成人免费看片无遮挡| 国产伦理精品高清在线观看网站一区二区| 99re思思久久| 激情六月丁香综合| 北京熟妇搡BBBB搡BBBB| 久久久五月激| 五月丁香A片| 九九综合久久| 99超碰人人| 99精品久久久久久久婷婷久久| 成人无码精品1区2区3区免费看 | 99视频这里有精品| 丁香五月婷在线观看| 懂色av粉嫩av蜜臀av| 欧美熟女乱又伦| 婷婷五月丁香图片人人操| 狠狠一日| 狠狠色婷婷丁香六月| 99精品国产在热久久| 梁铮版《蜘蛛女侠》在线| 天天爽天天爽| 亚洲天天免费| 96精品国产综合久久久久久| 极品另类| 激情 五月 婷婷 丁香| AA丁香综合激情| 国内裸舞二区| 一区=区操屄高清大全av| 99热九九热| 亚洲天堂无码| 久久XX| 亚洲综合网激情小说| 久久精品国产一区二区三区四区 | 一区二区免费看| 91vip在线观看| 六月丁香啪啪啪| 婷婷激情六月中文| 婷婷六月久久| 第五色婷婷| 婷婷五月天天| 69精品人妻不卡视频| 五月婷婷五月天| 久久五月视频| 五月婷三级片| 婷香五月| 99热这里只有精品22| 欧美性爱中文字幕| 中文字幕免费高清电视剧| 深爱五月婷| 天天搞天天色综合| 人妻久久久久久| 五月天停停基地| 伊人久久综合| 狠狠狠狠狠干| 天天操天天插| 青青草婷婷综合五月| 精品九九久久| 色色99| 天天爽夜夜爽夜爽精品| 亚洲午夜视频| 91精品久久久久久久久久| 日本色色色| 五月天基地| 五月婷婷丁香五月婷婷丁香| 久久黄色免费视频| 91九色丨国产丨爆乳| 亚洲日韩乱码一区二区三区四区 | 久久婷婷色| 久月久在线视频| 国产性爱一级| 日日日影院| 色色色国产| 超91热| 欧美色图天堂网| 五月婷婷黄色视频| 99思思在线视频| 色播色丁香五月| 欧美激情综合色综合啪啪五月| 播四月婷婷六月丁香| 色热久资源| 97操在线资源| 97搞在线| 亚洲精品白浆高清久久久久久| 五月婷婷 激情五月| 女性自慰系列第五页| 丁香五月婷婷影视先锋| 国产精品久久久久9999小说| 五月叮香啪| 五月婷婷婷婷| 五月婷婷激情四月| 99在线视频在线观看| 久热 91| 国产精品成人网址| 这里只有精彩视频| 99久久久免费| 色婷婷a| 亚洲久久婷婷丁香五月天| 亚洲精品视频在线播放| 久操干| 北条麻妃伊人 | 狠狠色狠狠干| 亚洲激情AV| 婷婷大香焦| 久久久精品色| 亚洲六月婷婷| 99热综合网| 婷婷亚洲色| 色五月天天| 秋霞黄色一级久久| 免费AV黄在线播放| 精品视频99看在线视频| 人妻系列久久久久久久久久久| 亚洲婷婷91丁香| 九九九九成人| 第1影院之五月婷婷| 99视频在线观看地址| 五月天综合在线| 任你搞网站| 婷婷五月天美女21p| 亚洲欧美另类在线23p| 色亚洲色宗合| 婷婷激情五月综合丁香社| 就99这里只有精品| WWW、日本色丁香、co m| 99色最新在线视频| 99热综合在线观看| 操一操| 久久99久久99精品免观看软件| 中文无码精品一区二区三区| 色狠狠图片| 成人深爱丁香五月| site:picc-up.com| 天天操天天日天天操| 婷婷五月婷婷五月| 96丁香六月婷婷蜜桃综合久久| 五月亭亭六月天| 99视频只有这里精品| 色色丁香激情五月| 99色在线观看视频| 日本久久天堂| 99久在线观看| 五月天激情影院| 91九色精品熟女内射| 99热免费精品| 成人无码髙潮喷水A片| 五月婷婷综合激情小说| 九月婷婷综合网| 99色五月| 亚洲中文无码成人| 人妻精品久久久久久| 欧美爆乳一区二区三区| 日韩成人AV在线播放| 天堂中文国产| 成人精品一区日本无码网| 亚洲精品无人区| 亚洲一级 片内射网站在线观看| 97伦色婷婷| 91在线看免费 九九九九| 99亚洲视频| 欧美日韩91| 六月婷伊人| 五月婷婷视频ab| 天天色综网| 五月天丁香成人社| 亚洲色五月| 95精品区一区二| 综合激情九月婷婷,激情综合婷婷中文字| 丁香五月综合久久| tingting五月天亚洲| 婷婷五月天亚洲精品| AV操操操| 蜜臀AV在线观看| 丁香六月在线综合| 日韩999| 新99思思视频| 爱婷婷都市激情| 亭亭玉月丁香| 日本人妻操| 久九色| 色婷婷在线视频综合| 天天爱天天狠天天透| 无码色色色| 亚洲色五月| 国产操肏网站| 国产熟女日日骚五月丁香爱| www.激情| 男人天堂AV在线一区二区| 91久久久久久久| Av狠狠色丁香婷| 综合色五月| 五月婷婷久久综合| 超碰无码318604| 六月婷婷日| 五月丁香大相交| 欧美色男人网站| 视频1区2区| 热的五码久久精品| 国产精品日日躁夜夜躁| 99碰碰。| 天天插天天很| 婷婷五月天激情小说| 97ai婷婷| 九九久久99| 殴美日比视频| 99热99日天天干| 玖玖热视频| 久久丁香综合精品综合| 婷婷六月综合在线| 99热精品免费| 激情文学久久| 美女激情综合| 色播激情婷婷| 狠狠色激情综合| 国产精品成人在线| 色婷婷天堂| 丁香五月婷婷在线视频| 精品一二三区久久AAA片| 91久久精品无码一区二区三区| 激情综合色| 色婷婷五月天偷拍| 婷婷五月天综合网| 亚洲网站999| 97操碰日本女人| 99久久国产成人精品| 九九操操| 91chinese在线| 色久五月天| 精品人妻一区| 91超碰人人操| 在线婷婷| 青草青草久热这里只有精品| 综合大香蕉| 一起草av在线观看| 色婷婷综合电影| 91大屁股| 伊人九热| 伊人婷婷五月| www.婷婷com| AⅤ色区| 亚洲欧洲中文日韩久久AV乱码| 亚洲五月婷婷| 久久99热这里只有精品| 五月开心婷婷网| 色综合丁香| 亚洲在线资源| 98色花堂98t.R| www.com亚洲网站在线免费| 思思热在线播放| 欧美高潮9| 伊人午夜综合色啪| 97操碰在线97| 五月婷婷综合在线| 美女精品一级不卡视频| 操一区| 欧美日本国产欧美日本韩国99| 日本无va视频| 欧洲电影在线观看免费版英语版| 丁香五月深爱五月婷婷| 777影视理论片大全在线观看| 色五月婷婷五月丁香五月激情五月视频| 五月色色激情网| 极品嫩草| 久99热在线观看| 97视频.干com| AA丁香综合激情| 婷婷激情丁香五月天综合| 亚洲日韩一页精品发布| 丁香色情五月综合网站| 久久婷中文字幕| 日日干夜夜干| 国产中文亚洲欧美日韩性交| 色哟呦av| 色婷婷六月| 亚洲AV网站| 91青娱乐青青草| 婷婷导航| 大操人妻| 日韩精品999| 色五月无码| 偷拍九九热| 免费观看的av| 五月天色播网| 疯狂做受XXXX高潮A片| 亚洲色 视频| av最新在线| 日本九九九九| 天天夜天天色天天| 97在线/亚洲| 色婷婷色99国产综合精品| 新激情五月开心五月婷婷五月丁香五月| 狠狠婷婷日韩| 99热这里只有精品1025| 狠狠人妻久久久久久综合丁香| 丁香婷婷婷| 亚州操操| anquye五月| 91chinese 在线| 99久久综合网| 激情深爱五月| 这里只有精品偷拍| 久久99精品久| 婷婷99中文字幕| 天天橾日日橾夜夜橾17| 五月丁香婷婷啪啪综合| 亚洲乱码精品久久久久.. | 几激情五月婷婷色五月色天堂| 九九99免费理论| 亚洲12p| 1024操逼视频| 国产高清RV综合aVa| 久久大香蕉伊人| 大香蕉人妻| 噜噜色婷婷| 亚洲AV成人在线| 风流少妇A片一区二区蜜桃| 狠狠色五月天| 99久久99视频只有精品| 久热精品在看| 97超碰,人人舔,人人操,人人摸 | 九九九九成人| 嫩草AV久久伊人妇女超级A| 色九月婷婷丁香| 成人超碰AV| 视频1区2区| 亚洲免费看片| 九九五月天| 天堂草在线看www| 五月婷婷色播视频| 99热在线精品播放| 丁香婷婷五月人体| 色婷婷香蕉在线| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 丁香五月亚综合图片| 天天日日夜夜爽| 99狠狠操一| 伊大人久久| 亚洲无AV在线中文字幕| 91操人视频| 天天爱天天秀天天做| 少妇人妻凹凸视频| Av狠狠色丁香婷| 五月丁香婷婷婷激情爱爱| 超碰人人插| 日日操天天操| 激情五月婷婷| 99这里只有精品|v| 91超碰九色| 婷婷丁香五月激情| 婷婷五月视屏| 婷婷另类开心| 日日操夜夜爽白洁| 轮奸综合网| 伊人激情综合网| 91久久久久久久久久| 91精品熟女| 大香蕉 伊人夜| 狠狠色综合无线观看| 色婷婷久久| 久久久.COM| 色色色热| 蜜臀99精品| 婷婷丁香18| 婷婷六月丁香欧美视频在线| 六月婷婷在线视频| 五月激情偷拍| 色久五月天| 亚洲国产va| 99综合激情久久精品久久| 乱抡小BB| 久久性爰视频这里只有精品| 五月丁香婷婷开心| 开心五月婷婷婷美女| 色婷五月天激情| 亚洲五月丁| 99性爱无码| 婷婷六月久久| va亚洲中文在线| 丁香五月婷婷色偷偷| 天天爽天天干天天| www.99热| 色色五月婷婷| 激情五月天网| 五月天福利影院导航| 日本综合99| 无码AV大香线蕉伊人| 婷婷5月久久综合网站| 久久综合五月情| 97成人在线视频| 无码动漫AV| 9l视频自拍九色9l视频在线观看| 粉嫩av蜜桃av蜜臀av| 99热最新网址| 97色色-99久久| 五月天婷婷网站| 热99久久这里只有精品| 99色免费视频| 久久看婷婷| 五月丁香六月综合激情| 人妻熟女一区二区AV| 变态另类色图| 成人在线不卡| 天天拍夜夜爽日日| www夜夜操wwwcon| 久久久久这里只有精品| 丁香五月婷婷啪啪| 婷婷五月天VI| 色偷偷色婷婷| 婷丁五月| 99热这里只有精品免费观看| www.zbzhongsen.com| 成人综合网站| 九伊人网| 色播丁香五月婷婷操:屄| 66精品成人免费网站在线观看| 五月天 无码| 四色99久久| 欧美怡红院黄站| 五月婷婷欧洲| 婷婷五月播| 婷婷丁香激情| 九九五月天| 色135综合网| 久久久久久久久久久-久五月天婷婷| 丁香五月天堂| 夜色综合网| 婷婷五月综合社区| 五月香蕉婷婷| 国产精品激情五月天色婷婷| 99啪| 熟女激情网| 丁J香六月首页| 97人人超| 人人色性网| 亚洲 欧洲 国产 伦综合| 色中色综合| 婷婷丁香五月天在线| 五月丁香无码| 国内自拍97在线| 五月丁香色综合| 侠女刀之记忆电影在线看免费| YW无码| 五月丁香六月在线| 色五月激情| 六月丁香视频网站| 99九九玖玖| 五月婷婷综合网在线播放| 久久综合五月情| 97天堂| 激情六月一二| wuyuedingxiang99| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 丁香婷婷综合影院| 激情婷婷五月天| 婷婷色导航| 五月婷免费视频久久久| 欧美色图天堂网色| 天堂网操| 日本不卡高字幕在线2019| 欧洲一区二区| 国产午夜精品久久久观看| 99色在线观看免费| 午夜爱爱网站| 99啪啪骑| 激情 久久 婷婷| 夜夜干天天操| 激情五月天综合网| 色五开心五月五月深深爱| 婷婷五月在线综合| 日韩高清成人| 另类丁香综合| 亚洲午夜在线视频| 丁香五月婷久久| 久久久无码精品成人A片小说| 国産精品| 五月天色色色色色| 农村熟妇高潮精品A片| 操人91| 五月婷婷五月天| 激情丁香婷婷六月天| 9l视频自拍九色9l视频在线观看| 桃色五月婷婷| 99国产精品白浆在线观看免费| 五月天激情小说| 991精品在线视频| 色五月综合在线| 色婷婷在线视频综合| 99热 免费| 日本在线视频播放91| 日本熟女内射| 激情五月综亚网| 秋霞午夜理论| 99在线观看视频免费| 97碰久久| 停停综合色色| 99超碰在线免费| 狠狠色婷婷色| 丁香熟女乱| 人人操碰| 人人97操| 日本久碰| 日韩三级视频一区二区| 大香蕉丁香婷婷| 九九色婷婷五月天| 国产黄色在线| 亚洲乱码日产精品BD在线观看| 色色色99| 久久九九色| 性综合网| 丁香六月激情综合| 北京熟妇搡BBBB搡BBBB| 国产精品久久久久久久久久| 色婷婷成人做爰A片免费看网站| 五月丁香婷婷综合网| 人妻无码精品一区| 婷婷五月色天| 97色碰| 国产精品国产成人国产三级| 日日躁夜夜躁狠狠久久AV| 亚洲乱码日产精品BD| 日产精品一线二线三线芒果 | 九九精品这里只有| 丁香六月婷婷高清| 婷婷丁香亚洲五月天| 日韩久久这里只有精品| 丁香婷婷伊人| 五月丁香六月成人| 五月 成人 婷婷| 久久五月网| 伊人干综合| 亚洲天堂色色| 国产又粗又大又爽又黄| 99在线精品视频| 亚洲V国产V欧美V久久久久久| 99在线免费视频| 天天射网站| 免费在线观看AV网站| 激情综合文学| 色播五月综合网| 五月丁香婷婷中文| 婷婷五月天成人娱乐| 欧美色色色色色色色色色色影视| 提提热五月天婷婷| 亚洲成人黄色网| 中文在线成人| 婷婷五月天小说| 欧美三级巜人妻互换| 极品五月天| AV无码免费| 久操大香蕉| 精品无码色欲AV| 亚洲色婷婷五月| 97色在线观看视频| 久久综合九九| 91丨九色丨国产打屁股网站| 97人人操| 夜夜爽日日躁| 色色亚洲视频| 久久国产色| 狠狠五月婷婷| 久热精品在看| 夜夜爽天天| 第一区久久网站| 国产亚洲色婷婷久久99精品91| 大香蕉九九| 色综合久久之分久久| 高清av在线国产| 97色在线视频| 丁香五月激情澎湃一区| 99视频在线精品| 色五月婷婷综合在线| 久久免费精彩视频| 成人AV播放| 涩涩五月天| 五月丁香婷婷激情爱爱| 91啪啪视频| av在线色五月丁香婷区久| 亚洲综合色网| 欧美三级巜人妻互换| 伊人久热91| 色之综合网| 丁香五月天论坛| 日日夜夜干| 欧美十二区| 99re免费精品视频| 99色免费视频| 99热只有这里有精品| 熟女强人妻一区二区三区四区无| 婷婷射综合| 六月丁香激情婷婷| 五月婷婷天| 亚洲啪啪精品| 天堂婷婷五月色| 一区二区乱码视频| 久久小说网| 日本色图综合| 日日射天天射| 97操操| 亚洲精品另类| 六月婷婷视频| 精品激情| 五月丁香最新| 亚洲、热| 狠狠爱综合网| 婷婷五月18永久免费网站| 丁香八月综合激情| 超碰av在线| 久久五月天激情婷婷| 操逼福利视频| 99这里只有精品视频| 停停五月色宗合| 思思精品久久艹| 女人天堂AV| 4438激情网| 日批在线看| 天天狠狠夜夜狠狠2023| 国产精品色婷婷久久久精品| 久久机热这里只有精品| 五月婷丁香| 激情久久综合| 91九色国产熟女| 麻豆忘忧草午夜| 成人婷婷深爱综合网| 国产激情综合| pom538精品视频| 久99久热只有精品国产99| 91久久综合亚洲鲁鲁五月天| 99色嘟嘟精品网站| 91九色偷拍| www.yw尤物| 激情五月天啪啪| 婷婷久久在线| 色五月丁香伊人五月| 国内一级片| 婷婷爱综合| 99色色视频| 色墦五月丁香| 综合久久婷婷| 婷婷五月综合社区| 99热精品99| 99操不停| 国产资源91在线| 国产精品久久久久9999小说 | 精品欧美一区二区三区久久久| 六月婷婷六月天天在线免费| 99成人| 丁香五月婷婷天堂大香蕉| 五月丁香基地| 91干婷婷| 狠狠做五月| 久9精品视频| 一级二级色大片| Se.婷婷五月天| www.天天色综合| 婷婷五月天色网久| 婷婷五月综合亚洲| 97热这里精品在线视频| 免费亚洲婷婷| 伊人99久久| 五月激情网站| 婷丁五月| 99热这里只有精品搜| 狠狠操狠狠| 91avse| www.久久| 国产精品电| 婷婷丁香综合| 丁香六月啪| 99视频久久免费视频| 激情网 五月天| 九九爱看亚洲| 久久 视频这里只有精总| 日本久久爱| 色啪影院| 极骚大香蕉伊人| 色婷婷91| 人妻五月天激情开心网| 婷婷六月情| 狠狠色色| 九九色插| 婷婷六月激情小说网| 丁香五月天天高清在线| 任你艹| 91在线人| 激情深爱五月婷婷| 天天做好综合色| 99激情视频| 日本久久激情| 成人五月天丁香| 天天透天天摸天天舔| 99A级片| 日韩啪啪视品| 色五月开心婷婷| 亚洲精品午夜国产va久久成人| 另类专区在线| 色婷婷av综合网| 亚洲天堂久久| 五月婷婷婷婷| 免费无码毛片一区二区A片| 开心五月婷婷婷美女| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 4399在线日本A片| 欧美性生交A片免费看| ady狠狠入| 婷婷五月综合欧美在线播放| 日韩在线9| 日逼影音先锋男人资源站| 色愛综合网| 五月香婷婷| 天天插天天插| 亚洲精品国产成人AV在线| 色亚洲欧洲| 国产成人AV| 91肏| 人人爽天天爽| 久久5 9视频免费观看| 五月婷婷亚洲| 色屌丝中文字幕| 激情四射亚洲| 色色色99韩| 亚洲1区| 五月婷婷婷综合网| www.六月丁香看AV| 中字幕视频在线永久在线观看免费| 五月婷啪| 五月综合丁香婷婷| 色色婷婷婷丁香五月天| 日日操,天天操| 影音先锋女人AA鲁色资源| 91丨人妻丨国产丨丝袜| www.激情五月天com| 国产精品久久久久久久久久免费| 日本妈妈乱| 亚洲激情视频在线观看| 狠爱婷色| 色婷婷五月天小说| 亚洲五月六月婷婷| 五月婷婷m| 国产精品99久久久久久久女警| 亚洲婷婷在线播放十月| 在线婷婷| 97操在线视频| 播五月丁香三月婷婷| 久久性爱激情| 激情www.98com| 日韩人妻无码专区| 激情无码五月天| 91热爆在线| 超碰在线免费| 超碰人妻在线| 99热综合| 99久在线视频| 九月婷婷色色| 婷婷激情六月| 五月天激情黄色网址| 日日操天天| 久久精品日| 欧美五月婷婷| www,com,五月色色| 婷婷情色五月天| 亚洲AV网址| www色色com| 激情五月综合网| 丁香六月激情综合| 熟女重口味αV| 99网| 久久久久久综合五月婷婷| 99热综合在线观看| 六月丁香VA| 亚州综合色| 婷婷五月丁香六月| 超碰国产在线| 亚洲精品无码一区二区| 五月丁香婷婷婷婷综合网| 久草婷婷网| 噜噜网免费视频| 精品综合爱| 日本久久高清| 婷婷第六色| 大伊香蕉精品视频在线| 婷婷五月天激情五月天深爱五月天| 亚洲婷婷综合视频| 色欲久久久久久综合网综合网| 久久超级碰碰| 99久在线精品99re8| 操逼123网| 久久久久久久久久久久久久久久久精典| 久久99激情丁香婷婷小说网| 99精品久久久久久久| 天天艹夜夜艹| 开心日韩丁香婷婷五月| 丁香五月停停av| 狠狠色狠狠操| 久色网| 超碰人妻公开在线| 婷婷五月激情六月| 丁香婷婷五月六月久久| 久久激情视频| 婷婷丁香五月综合网上| 91丨九色丨白浆| 日韩啪啪网| 九九热这里只有精品12| 99热日本精品| 日狠狠| 99热中国| 五月婷婷丁香啪啪| 五月丁香婷婷色| www.五月婷婷久久.com| 成人在线日韩欧美| 天天操天天插| 色婷婷五月天激情在线观看| 色婷婷五月天av在线| 激情综合网激情五月丁香五月俺也去| 久色大| 婷婷五月丁香高清无码| 五月丁香婷色| 无码99| 五月天色婷婷综合| 这里只有在线精品| 超碰cap| 操碰97| 五月天欧美激情| 9久国产精品| 丁香五月婷婷欧美性爱| 丁香六月色婷婷| 一级A片天天操夜夜操| 中文字幕,综合,91| 疯狂做受XXXX高潮A片| 可以免费观看的AV| 五月天婷婷丁香蜜桃91| 1234操逼网| 午夜成人片400| 亚洲乱码在线观看| 五月婷婷黄色视频| WWW.99热| www.激情五月天.com| 日韩aaaaa| 欧美黄色AA片哗啦啦啦| yazhou seshipin| 另类 在线| 四季8848精品成人免费网站| 五月丁香在线看| 国语对白性爱视频播放| 久久性刺激| 亚洲六月综合激情久久下卡| WWW.婷婷| 色狠狠色综合| 99色在线视频| a色婷婷| a免费在线| 拍真实国产伦偷精品| A1片久久久| 天天弄天天爽| 美女黄频aⅴ视频| 丁香五夜激情四射夜夜夜| 亚洲国产精品VA在线看黑人| 精品久久99| 99热这里只有精品免费| 天天在线久久综合 | 婷婷玉月丁香五月在线视频| www.91久久| 丁香六月| 婷婷五月天最新网址| 欧美内射AAAAAAXXXXX| 任你爽视频| 久久婷婷丁香| 色婷婷丁香AV综合| 99热这是里只有精品| 五月天色色色| AV在线观看网站| 97黑人精品区| 玖玖婷婷视频| 五月天激情日色在线| 丰满少妇猛烈A片免费看观看| 噜噜操操| 色婷婷六月| 26UUU欧美| 99热中文字幕久久| 视色综合| 五月婷久久在线| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 91九色视频| 亚洲人妻一区二区| www.com操| 人人干人人操人人摸人人做| 99久久久久| 综合色五月天| 色欲婷婷五月天| 色伊人婷婷| 超碰大香蕉网| 久热成人| 久久新| 9 99免费视频| 9精品视频在线观看| 新激情婷婷| 丁香六月激情| 天天综合精品| 婷婷五月成人| 久久久亚洲精品一区二区三区浴池 | 五月丁香狠狠地噜噜噜噜| 国产亚洲精品人人| 九九爱这里只有精品| 色激情综合狠狠婷婷| 男人天堂伊人五月丁香| 亚洲舔观看| 天堂五月婷婷| 婷婷五月天视频小说| 欧美群妇大交乱婬网| 美女va| 丁香五月视频在线观看| www.十八禁不禁AV.com| 这里只有精品在线免费视频| 操人妻视频91| 亚洲天堂色色| 九九热中文| 天天弄天天操| 日本色色影片| 精品自拍99| 午夜日日| 伊九九三级区| 伊人久久婷婷| 思思热思在线精品视频| 色综合网综合| 婷婷丁香18| 99操碰| 丰满女老板BD高清A片| 色吧网91| 五月激情射| 一起草av| 人人干AV| 久热这里| 五月天开心网| 婷婷五月激情小说| 天天爽天天爽| 偷拍99在线视频观看| 91精品综合久久婷婷九色| 九九热视频精品2| www激情网| 涩婷婷五月天在线精品视频| 婷婷色导航| 久久久国产精品黄毛片| 高清av在线国产| 丁香激情网| 欧洲激情五月天| 婷婷香五月综合激情| 另类小说激情五月天| 亚洲欧美成人在线| 97日韩无套内| 久久久久久久久久91| 九九热这里精品| 九九热经典视频在线观看| 射区导航| 久久五月综合| www.婷婷com| 色呦呦美女| 婷婷五月丁香婷婷| 日韩精品一区二区亚洲AV观看| 五月天激情小说网| 大香蕉久久视频久久视频 | 婷婷五月天日逼| 婷婷五月天国产在线播放| 97人人干| 五月丁香激情啪啪网| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 国产午夜精品一区二区三区四区| 色婷婷丁香社综合| 色婷五月天| 综合网五月天123| 九色PORNY9l原创自拍| 久久探花91swag| 婷婷五月天成人导航| 婷婷丁香五月综合网上| 五月婷婷深深爱| 色色影院黄大片| 久久亚洲网| 狠狠色婷婷7| 五月婷婷激情久久| 国产成人+综合亚洲+天堂| 狠狠干五月| 丁香五月激情婷婷视频| 噜噜色婷婷| 激情五月天在线视频| 久久五月丁香综合| 天天日综合网射| 国产精品成人AV在线| 五月婷婷欧洲| site:picc-up.com| 五月丁香色| 久久九九99.www| 91九色首页| 九九热最新| 丁香六月婷婷| 99欧美| 少妇性按摩无码中文A片| 乱岳熟女50岁| 夜色综合网| 久久99激情| www.色五月| 国产精品第一国产精品| 日韩综合久久| 亚洲精品久久久久久久久久吃药| 色色色色网站| 激情啪啪五月天| 五月天在线视频尤物视频在线看| 天天色天天日| 免费在线a| 丁香五月婷婷俺也要去| 99热在线观看| www.99在线| 五月天婷婷久久| 狠狠久久婷婷| 久久婷婷五月天激情新地址| 五月天亚洲色| 五月丁香综合色婷婷| 嫩草综合网| 久久久久婷婷| 色99视频| 91精品国产91久久久久青草| 黑人无码一区| 丁香五月天色婷婷| 亚洲综合婷婷| 婷婷色女| 97久久超碰| 久久 无毛。| 亚洲另类噜噜| 婷婷激情五月| 天天操夜夜啊| 99热综合网| 99久久精彩视频。| 色婷婷五月综合| 五月婷婷欧美| 五月婷婷色| 99re热精品视频国| 专区无日本视频高清8| 5月婷婷综合| 激情久久久| 成人必爱视| 亚洲妇女熟BBW| www.爱操com.| 亚洲网在线观看| 婷婷六月丁香久| 热99色| 婷婷五月丁香六月天亚洲综合| 91熟妇大香蕉| 99热这里只有精品最新网址| 日本三级第一页| 五月婷视屏在线观看| 91色欲综合| 色婷婷五月天视频网站| 99热色婷婷| 超碰99资源站| 中文在线成人| 久久久久久人妻| 九色91视频| www色五月| 婷婷五月深深的爱| 丰满少妇猛烈A片免费看观看| 五月天成人手机在线视频| 五月婷婷电影院| 久久婷婷激情视频| 亚洲无码影音| 热99在线| 五月婷婷啪啪啪| 婷婷中文字幕| 婷婷成人丁香色情基地30| 26uuu成人网| 色婷婷五月综合| 久久大香蕉伊人| 九九热最新| 九九99久久| 中文字幕有多少字| 丁香婷婷五月六月天| 丁香五月激情啪啪啪| 色五月婷婷影院| 激情五月天色色网| 狠狠操狠狠插| 五月丁香天堂网婷婷| 五月天激情日色在线| 色99热| 狠狠色丁婷婷日日,伊人激情综合网| 黄色片久久| www激情com| 五月婷婷色综图片| 成人做爰A片免费看网站找不到了| 丁香五月天精品| 九九人人看| 97碰在线|