欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

量化+蒸餾:如何在8GB顯存上運(yùn)行大模型?

量化+蒸餾:如何在8GB顯存上運(yùn)行大模型? 先拋一個(gè)有點(diǎn)反常識(shí)的結(jié)論單純靠量化不可能把 700GB 的大模型塞進(jìn) 8GB 顯存。這個(gè)說(shuō)法不是勸退而是先把賬算清楚。700GB 的模型參數(shù)按目前最常見(jiàn)的 INT4 量化來(lái)算壓縮率差不多是 4 倍也就是還要 175GB 左右距離 8GB 還有二十多倍差距。真正能解決問(wèn)題的路徑是兩條腿走路蒸餾負(fù)責(zé)把模型“變小”量化負(fù)責(zé)把變小后的模型“塞進(jìn)”顯存。這篇文章我會(huì)把兩條路分別拆開(kāi)講透結(jié)合我自己在 8GB 顯卡上跑大模型的實(shí)際經(jīng)驗(yàn)給你一套可以直接照著做的方案。先交代一下我自己的環(huán)境一張 8GB 顯存的消費(fèi)級(jí)顯卡平時(shí)主要玩本地大模型部署、微調(diào)和推理加速。這種卡在 2024 年之后越來(lái)越尷尬因?yàn)樾鲁龅哪P蛣?dòng)輒 70B、上百 B顯存卻一分錢(qián)沒(méi)漲。但尷尬歸尷尬真要用起來(lái)也不是沒(méi)有辦法關(guān)鍵看你愿不愿意把“大模型”的定義放寬一點(diǎn)。1. 先把話(huà)放這700G 不是“塞進(jìn)”顯存而是“縮”到能用1.1 顯存里到底存了什么參數(shù)、KV緩存、臨時(shí)張量很多人以為顯存只裝模型權(quán)重這是最普遍的誤解。實(shí)際跑推理時(shí)顯存里至少同時(shí)放著三類(lèi)東西。第一類(lèi)是模型權(quán)重也就是模型文件里的那些浮點(diǎn)數(shù)。700GB 的模型文件光權(quán)重就要占掉 700GB這是最基本的開(kāi)銷(xiāo)。第二類(lèi)是 KV 緩存每個(gè) token 在生成時(shí)都需要把之前所有 token 的 Key 和 Value 保存下來(lái)用來(lái)算注意力權(quán)重。KV 緩存的大小取決于模型層數(shù)、注意力頭數(shù)、上下文長(zhǎng)度這部分會(huì)隨著對(duì)話(huà)變長(zhǎng)持續(xù)增長(zhǎng)。第三類(lèi)是中間激活值前向傳播過(guò)程中每一層的輸出都要臨時(shí)保存在顯存里方便反向傳播或繼續(xù)算下一層雖然單次占用不大但峰值時(shí)刻很容易成為 OOM 的元兇。推理階段如果不需要反向傳播中間激活值會(huì)在每層算完后釋放所以顯存壓力主要是兩個(gè)權(quán)重和 KV 緩存。你盯著任務(wù)管理器看的那個(gè)顯存占用其實(shí)是這兩者加在一起的結(jié)果。1.2 成本賬從 700GB 到 8GB壓縮率到底有多夸張直接做算術(shù)。700GB 模型權(quán)重假設(shè)原始精度是 FP16也就是每個(gè)參數(shù)占 2 字節(jié)那這個(gè)模型大概有 3500 億參數(shù)。350B 是什么概念目前開(kāi)源社區(qū)能公開(kāi)下載的最大模型也基本在這個(gè)量級(jí)附近。如果做 INT8 量化每個(gè)參數(shù)占 1 字節(jié)總體積降到 350GB。再做 INT4 量化每個(gè)參數(shù)占 0.5 字節(jié)總體積降到 175GB。依然不夠 8GB。所以純量化的極限壓縮率大約是 8 到 16 倍但 700GB 到 8GB 需要的是接近 90 倍的壓縮。這個(gè)量級(jí)靠精度壓縮根本做不到只能靠蒸餾先把參數(shù)量從千億砍到幾十億甚至十幾億。換句話(huà)說(shuō)蒸餾負(fù)責(zé)把大象變成狗量化負(fù)責(zé)把狗裝進(jìn)籠子。兩個(gè)動(dòng)作缺一不可順序也不能顛倒。1.3 拆解后的正確路線(xiàn)蒸餾負(fù)責(zé)縮量化負(fù)責(zé)摳如果你的終極目標(biāo)是“在 8GB 顯存上跑一個(gè)強(qiáng)到離譜的模型”那我得潑冷水目前沒(méi)有任何一條公開(kāi)路徑能把 700GB 這種體量的模型無(wú)損壓到 8GB。但換個(gè)角度想你真正的訴求并不是“必須跑某個(gè) 700GB 模型”而是“希望在本地硬件上得到接近大模型的效果”那就有操作空間了。我推薦的路線(xiàn)是四步走。第一步選擇一個(gè)開(kāi)源的大模型作為“教師”可以是 70B 級(jí)別甚至是 API 形態(tài)的更大模型。第二步用蒸餾技術(shù)把教師模型的推理能力遷移到一個(gè) 7B 或者 3B 的小模型上。第三步對(duì)蒸餾后的小模型做 INT4/INT8 量化。第四步在 8GB 顯卡上用 llama.cpp 或 Ollama 部署量化后的模型。每一步都有成熟的工具難點(diǎn)不在選型而在理解每步到底在干什么。2. 量化最容易見(jiàn)效的顯存“減重”手段2.1 量化在做一件什么事精度換體積的底層邏輯量化這件事本質(zhì)上是把連續(xù)分布的浮點(diǎn)數(shù)映射到離散的整數(shù)區(qū)間。原始模型權(quán)重大多數(shù)是 FP16 或 BF16 格式數(shù)值范圍寬、精度高但每個(gè)數(shù)字都要占 2 字節(jié)。量化之后權(quán)重變成 INT81字節(jié)或 INT40.5字節(jié)顯存直接砍半甚至砍到四分之一。但問(wèn)題也出在這里。量化不是簡(jiǎn)單地把大數(shù)變小而是要保證“離散化”之后模型的輸出分布盡量接近原始分布。如果直接四舍五入那些數(shù)值很小的權(quán)重會(huì)被直接抹成 0模型推理結(jié)果會(huì)產(chǎn)生大量噪聲嚴(yán)重時(shí)整段輸出都是亂碼。所以業(yè)界提出了很多量化算法本質(zhì)都是在解決同一個(gè)問(wèn)題如何通過(guò)一個(gè)量化縮放系數(shù)和零點(diǎn)偏移讓有限位寬的整數(shù)能最大程度地表示原來(lái)的浮點(diǎn)數(shù)值范圍。你可以把它理解成把一張高清照片壓縮成 JPEG壓縮率越高肉眼可見(jiàn)的畫(huà)質(zhì)損失越明顯但好的壓縮算法會(huì)更聰明地保留人眼敏感的信息。2.2 主流量化類(lèi)型與工具PTQ、GPTQ、AWQ、GGUF/llama.cpp目前實(shí)際部署中最常用的量化方案可以分成兩大類(lèi)。第一類(lèi)是訓(xùn)練后量化PTQ拿已經(jīng)訓(xùn)練好的模型不需要重新訓(xùn)練直接用校準(zhǔn)數(shù)據(jù)算出量化參數(shù)。GPTQ 和 AWQ 都屬于這一類(lèi)它們各自有不同的權(quán)重處理策略。GPTQ 最早是針對(duì) GPU 推理設(shè)計(jì)的基于二階信息做逐層誤差補(bǔ)償量化后模型能用 Transformers 庫(kù)直接加載。AWQ 則是根據(jù)激活值的重要程度來(lái)保護(hù)敏感權(quán)重AWQ 在低 bit 下通常比 GPTQ 保留更多模型能力尤其是對(duì)話(huà)和代碼生成任務(wù)。第二類(lèi)是 GGUF 格式加 llama.cpp 生態(tài)。GGUF 是 llama.cpp 定義的一種模型封裝格式它把模型權(quán)重、分詞器、超參數(shù)打包在一起并內(nèi)置了多種量化等級(jí)。你在 Hugging Face 上看到的 Q4_K_M、Q5_K_S、Q8_0 這些后綴全部來(lái)自 GGUF 的量化命名體系。GGUF 系列的優(yōu)點(diǎn)是兼容 Ollama、llama.cpp、LM Studio 等各種本地推理工具且內(nèi)存管理做得非常細(xì)支持 CPU、GPU 混合推理。選型建議只有一個(gè)如果要在 8GB 顯卡上跑優(yōu)先找 GGUF 格式的模型從 Q4_K_M 或 Q5_K_M 開(kāi)始試。如果你是為了追求最低延遲、不想套 GGUF 這層殼再用 GPTQ/AWQ 的 4bit 版本。2.3 量化后的顯存怎么算一個(gè)公式快速估算關(guān)于顯存估算我給一個(gè)偏保守但很好用的公式權(quán)重顯存 模型參數(shù)量 × 每參數(shù)字節(jié)數(shù) 實(shí)際部署顯存 權(quán)重顯存 × 1.2 KV緩存每參數(shù)字節(jié)數(shù)按量化等級(jí)查FP16 是 2 字節(jié)INT8 是 1 字節(jié)INT4 是 0.5 字節(jié)。GGUF Q4_K_M 大體接近 0.55 到 0.6 字節(jié)因?yàn)樗牧炕瘔K里還混了一些更高精度的分量。舉例一個(gè) 7B 模型70億參數(shù)用 Q4_K_M 量化權(quán)重大約 70億 × 0.55 字節(jié) ≈ 3.85GB。加上 KV 緩存和其他臨時(shí)開(kāi)銷(xiāo)8GB 顯卡在 2048 token 上下文長(zhǎng)度下是能跑起來(lái)的實(shí)測(cè)顯存占用大約在 5GB 到 6.5GB 之間。再舉個(gè)例子13B 模型 Q4_K_M 量化后大約 7.2GB加載后 8GB 卡就非常緊張了幾乎沒(méi)給 KV 緩存留空間稍微加長(zhǎng)一點(diǎn)上下文就會(huì)直接 OOM。所以你也別迷信“7B 一定能跑”模型能不能上要看“量化后體積 目標(biāo)上下文長(zhǎng)度對(duì)應(yīng)的 KV 緩存”是否同時(shí)落進(jìn) 8GB。2.4 實(shí)際跑起來(lái)以后量化模型的質(zhì)量與速度經(jīng)驗(yàn)先說(shuō)我測(cè)試過(guò)的一組數(shù)據(jù)。同一個(gè) 7B 模型FP16 下顯存占用約 14GB生成速度大概 15 token/s這個(gè)速度依賴(lài)具體顯卡量化到 Q8_0 后顯存占用約 7.5GB速度提升到 22 token/s 左右再量化到 Q4_K_M 后顯存占用約 4GB速度能到 30 token/s 以上。速度提升來(lái)自?xún)煞矫嬉皇菣?quán)重體積變小顯存帶寬壓力下降二是更多層能完整放下 GPU不需要反復(fù)搬運(yùn)到 CPU。從質(zhì)量角度看Q8_0 和 FP16 的差異在絕大多數(shù)場(chǎng)景下幾乎感覺(jué)不出來(lái)Q5_K_M 損失也非常小日常對(duì)話(huà)、文本摘要這種任務(wù)完全夠用。但到 Q4_K_S 之后尤其是代碼生成和數(shù)學(xué)推理任務(wù)錯(cuò)誤率會(huì)有可感知的上升。如果你要跑的是知識(shí)問(wèn)答或者創(chuàng)意寫(xiě)作Q4 完全能忍但如果是寫(xiě)代碼或者做結(jié)構(gòu)化輸出我建議至少用 Q5_K_M。這個(gè)現(xiàn)象背后的原因不難理解代碼和數(shù)學(xué)對(duì)數(shù)值精度更敏感權(quán)重量化會(huì)破壞某些關(guān)鍵 token 的預(yù)測(cè)概率分布有時(shí)候一個(gè)小數(shù)點(diǎn)級(jí)別的誤差就把整段推理帶偏了。3. 蒸餾把大模型的“內(nèi)功”傳給小模型3.1 為什么直接量化和蒸餾不能互相替代量化是把參數(shù)精度降下來(lái)模型的參數(shù)量和網(wǎng)絡(luò)結(jié)構(gòu)完全不變蒸餾則是重新訓(xùn)練一個(gè)參數(shù)量更小的模型讓它的輸出模仿大模型。從效果上看量化不改變模型的知識(shí)容量只改變參數(shù)存儲(chǔ)和計(jì)算方式所以當(dāng)壓縮率過(guò)高時(shí)知識(shí)會(huì)因?yàn)楸磉_(dá)能力不夠而丟失。蒸餾則不然它是讓小模型把大模型“已經(jīng)學(xué)會(huì)的知識(shí)”重新學(xué)一遍雖然知識(shí)容量天生有限但在特定任務(wù)上可以做到很高的逼近程度。這就引出一個(gè)策略組合當(dāng)你手中的大模型大到量化也無(wú)法塞進(jìn)目標(biāo)顯存時(shí)不要死磕量化先把模型變小當(dāng)你完成蒸餾之后再用量化進(jìn)行最后一輪壓縮。很多開(kāi)源社區(qū)的小模型就是這么產(chǎn)出的一個(gè) 7B 模型蒸餾自 70B 模型再量化成 Q4部署在筆記本上。3.2 知識(shí)蒸餾的基本流程教師模型、學(xué)生模型、KL散度知識(shí)蒸餾這個(gè)概念最早由 Hinton 在 2015 年提出核心思想用一個(gè)比喻就能講明白教師模型像是一個(gè)經(jīng)驗(yàn)豐富的廚師學(xué)生模型像是一個(gè)剛?cè)胄械膶W(xué)徒。學(xué)徒光看菜譜原始訓(xùn)練數(shù)據(jù)學(xué)得慢但如果能有師傅在旁邊指導(dǎo)火候和調(diào)味進(jìn)步會(huì)快得多。具體到技術(shù)上蒸餾過(guò)程不是讓學(xué)生模型直接學(xué)大模型的正確答案hard label而是讓學(xué)生模型去擬合大模型輸出的概率分布soft label。教師對(duì)每個(gè) token 的輸出分布里不僅包含正確答案還包含錯(cuò)誤選項(xiàng)之間的相對(duì)概率關(guān)系這些“軟信息”才是學(xué)生真正要模仿的精華。蒸餾損失函數(shù)一般由兩部分組成學(xué)生模型與真實(shí)標(biāo)簽的交叉熵加上學(xué)生模型與教師模型輸出分布之間的 KL 散度。KL 散度衡量?jī)蓚€(gè)概率分布的差異數(shù)值越低說(shuō)明學(xué)生的預(yù)測(cè)越接近教師。你可以把 KL 散度理解成師生之間的距離度量蒸餾訓(xùn)練的過(guò)程就是不斷縮小這個(gè)距離。實(shí)戰(zhàn)中蒸餾一個(gè) 7B 模型的成本并不低哪怕是在單張 24GB 顯卡上也需要數(shù)天時(shí)間。所以如果你是個(gè)人玩家我更推薦直接使用社區(qū)已經(jīng)蒸餾好的小模型而不是自己從零蒸餾。3.3 實(shí)用蒸餾姿勢(shì)收集高質(zhì)數(shù)據(jù)、利用 API 蒸餾如果你確實(shí)需要定制蒸餾又受限于硬件最實(shí)用的姿勢(shì)是用 API 作為教師來(lái)進(jìn)行數(shù)據(jù)蒸餾也叫“模型自舉”。具體分三步第一步準(zhǔn)備一個(gè)高質(zhì)量種子數(shù)據(jù)集可以是你業(yè)務(wù)場(chǎng)景里的真實(shí)問(wèn)題也可以從公開(kāi)數(shù)據(jù)集中抽取。第二步把這些問(wèn)題發(fā)送給大模型 API讓教師模型輸出詳細(xì)回答。為了讓回答質(zhì)量更高我會(huì)在提示詞里要求模型給出推理步驟、結(jié)論和可能的邊界條件。第三步用這些“問(wèn)題-回答”對(duì)來(lái)微調(diào)一個(gè)開(kāi)源小模型這個(gè)過(guò)程叫 SFT監(jiān)督微調(diào)本質(zhì)上是讓學(xué)生模型記住教師模型的表達(dá)風(fēng)格和推理路徑。為了提升蒸餾效果你可以借鑒更強(qiáng)的思路讓教師模型同時(shí)輸出多個(gè)候選回答再?gòu)闹刑暨x最優(yōu)答案作為訓(xùn)練目標(biāo)這比單次輸出的噪聲更小。另外一個(gè)細(xì)節(jié)是不要把原始 prompt 直接丟給教師模型而是要經(jīng)過(guò)精心設(shè)計(jì)比如加一句“請(qǐng)?jiān)敿?xì)解釋你的推理步驟”這樣得到的回答包含更多中間邏輯學(xué)生模型能學(xué)到的東西更多。3.4 蒸餾之后的小模型為什么更容易量化蒸餾對(duì)小模型還有一個(gè)隱形好處它的輸出分布通常比從零訓(xùn)練的小模型更平滑、更集中。這個(gè)特性對(duì)量化極其友好因?yàn)榱炕`差主要發(fā)生在那些數(shù)值尺度差異過(guò)大的權(quán)重上而經(jīng)過(guò)蒸餾輸出的模型很多層都已經(jīng)學(xué)會(huì)了用更簡(jiǎn)潔的表示來(lái)解決同一類(lèi)問(wèn)題權(quán)重分布更均勻量化時(shí)信息損失就會(huì)更小。我在實(shí)際測(cè)試中發(fā)現(xiàn)同一個(gè) 7B 架構(gòu)如果訓(xùn)練數(shù)據(jù)來(lái)自從零訓(xùn)練INT4 量化后準(zhǔn)確率可能下降 3% 到 5%但如果是蒸餾自 70B 教師模型的 7BINT4 量化后準(zhǔn)確率下降通常能控制在 1% 到 2%。這說(shuō)明蒸餾和量化之間確實(shí)存在正向協(xié)同效應(yīng)蒸餾后的模型不僅僅是“更小”它在量化后也能保留更多有效知識(shí)。4. 實(shí)操路線(xiàn)8G 顯存機(jī)的完整選擇與部署4.1 先做一道減法題不同規(guī)模模型對(duì)應(yīng)的量化后體積設(shè)備是 8GB所以推理時(shí)大概率還要留出一些顯存給圖形界面和其他程序。根據(jù)我長(zhǎng)期壓測(cè)的經(jīng)驗(yàn)?zāi)P图虞d后的總占用最好控制在 6GB 以?xún)?nèi)留 2GB 給系統(tǒng)緩存和臨時(shí)峰值否則在對(duì)話(huà)過(guò)程中極易觸發(fā) OOM。給你一張可以直接對(duì)照的表按不同參數(shù)的模型和量化等級(jí)估算一下“加載后模型權(quán)重體積”模型參數(shù)量FP16體積Q8_0體積Q5_K_M體積Q4_K_M體積1.5B3.0GB1.5GB0.95GB0.85GB3B6.0GB3.0GB1.9GB1.7GB7B14GB7.0GB4.3GB3.9GB8B16GB8.0GB5.0GB4.5GB13B26GB13GB8.2GB7.2GB從這張表能直接得出結(jié)論想在 8GB 顯存上留足上下文空間首選 7B 量級(jí)模型配 Q4_K_M 或者 Q5_K_M或者 3B 模型配 Q8_0。13B 模型即使量化到 Q4_K_M加載后權(quán)重已經(jīng) 7.2GB幾乎把顯存占滿(mǎn)了KV 緩存稍微變長(zhǎng)就會(huì)溢到 CPU速度斷崖式下跌。4.2 部署工具鏈選擇與安裝Ollama / llama.cpp GGUF本地部署這塊我的常用組合是 GGUF 格式加 llama.cpp或者直接用 Ollama。Ollama 本質(zhì)上是對(duì) llama.cpp 的封裝安裝簡(jiǎn)單命令友好。下載模型后一條命令就能啟動(dòng)交互式對(duì)話(huà)。它的優(yōu)點(diǎn)是省心適合用來(lái)快速驗(yàn)證一個(gè)量化模型能不能跑缺點(diǎn)是它的底層參數(shù)暴露得不夠多如果你想精細(xì)控制 KV cache 和 GPU 層數(shù)還是要回到 llama.cpp。llama.cpp 的使用思路是先從 Hugging Face 下載 GGUF 文件然后用 llama-cli 加載。如果你改了量化等級(jí)也可以用 llama.cpp 自帶的 convert 腳本重新量化。不過(guò)個(gè)人建議直接在 HF 上找別人量化好的 GGUF社區(qū)量化版本的質(zhì)量通常經(jīng)過(guò)大范圍測(cè)試比自己量化更穩(wěn)。4.3 加載模型時(shí)的關(guān)鍵參數(shù)ctx長(zhǎng)度、KV cache與層數(shù)分配8GB 顯存環(huán)境下要盯住的參數(shù)有三個(gè)上下文長(zhǎng)度、GPU 層數(shù)和 Flash Attention。上下文長(zhǎng)度決定 KV 緩存的大小。KV cache 的粗略公式是2 × 層數(shù) × 注意力頭維度 × 上下文長(zhǎng)度 × 每字節(jié)數(shù)。以 7B Q4 模型為例假設(shè) 32 層、KV cache 用 FP16上下文 2048 tokenKV cache 大約占 0.5GB 到 1GB。如果拉到 8192這部分會(huì)漲到 2GB 以上稍不留神就把顯存吃光了。所以我的經(jīng)驗(yàn)是8GB 顯卡跑 7B 模型上下文長(zhǎng)度先設(shè) 2048能跑通以后再加長(zhǎng)。不要一上來(lái)就追求 32K 上下文大概率換來(lái)的是 OOM 或者無(wú)限等待。GPU 層數(shù)決定模型計(jì)算有多少放在顯卡上。llama.cpp 支持-ngl參數(shù)指定 GPU 加載的層數(shù)。對(duì) 8GB 卡可以先從 ngl32 試起把一部分層加載到顯存如果 OOM就降 ngl 到 24 或 16剩余層由 CPU 計(jì)算?;旌贤评淼乃俣炔豢斓偙韧耆懿黄饋?lái)強(qiáng)。提示Ollama 環(huán)境里可以直接在模型文件里設(shè)置參數(shù)比如num_ctx控制上下文長(zhǎng)度num_gpu控制 GPU 層數(shù)。用/set parameter命令可以臨時(shí)設(shè)置重啟后失效。4.4 我的實(shí)戰(zhàn)配置參考不同任務(wù)怎么選量化等級(jí)我自己跑過(guò)的組合里有三個(gè)配置比較滿(mǎn)意。日常聊天和內(nèi)容創(chuàng)作我用的是 7B 模型的 Q5_K_M 版本上下文 4096GPU 層數(shù)全開(kāi)首 token 延遲大約 0.8 秒流暢度可以接受。代碼生成和結(jié)構(gòu)化輸出我換成了 Q8_0 版本的 3B 模型顯存占用更少精度更高生成的代碼格式更穩(wěn)定不會(huì)經(jīng)常出現(xiàn)縮進(jìn)錯(cuò)亂或函數(shù)名拼寫(xiě)錯(cuò)的情況。如果只是偶爾跑一些簡(jiǎn)單任務(wù)比如文本摘要、郵件潤(rùn)色我會(huì)直接用 1.5B 蒸餾模型的 Q4_K_M加載速度快顯存占用不到 1GB可以跟其他程序共存。雖然能力有限但勝在輕巧。5. 常見(jiàn)問(wèn)題與避坑記錄5.1 為什么量化后輸出全是噪聲或胡言亂語(yǔ)量化模型輸出亂碼90% 的情況是權(quán)重沒(méi)有正確加載比如模型文件不完整或者 GGUF 格式與 llama.cpp 版本不匹配。另外如果你用的是自己轉(zhuǎn)換的 GGUF 文件轉(zhuǎn)換前一定確認(rèn)原始模型格式是 Hugging Face transformers 結(jié)構(gòu)并確保分片文件下載完整。從頭開(kāi)始檢查時(shí)先去跑一個(gè)官方示例模型比如 LLaMA 或 Qwen 的官方 GGUF確認(rèn)工具鏈沒(méi)問(wèn)題再排查自己下載的文件有沒(méi)有對(duì)齊分片。我在早期犯過(guò)這種錯(cuò)下載 70B 模型時(shí)少下了一個(gè)分片文件加載卻順利通過(guò)直到推理輸出中文變成亂碼才發(fā)現(xiàn)。5.2 8G顯存加載小模型還是OOM優(yōu)先檢查上下文長(zhǎng)度如果你加載 3B 模型 Q4 還 OOM那大概率不是權(quán)重放不下而是上下文長(zhǎng)度設(shè)置太大了。很多 Ollama 用戶(hù)的默認(rèn)上下文是 4096 甚至 8192KV cache 和中間激活值很容易把顯存塞滿(mǎn)。解決辦法很簡(jiǎn)單先把上下文調(diào)到 1024確認(rèn)能跑通再逐步往上加。同時(shí)可以開(kāi) Flash Attention它能減少 KV cache 的顯存占用4 到 8GB 顯存環(huán)境下收益特別明顯。5.3 量化程度越高越省顯存不一定還得看速度與質(zhì)量Q4 一定比 Q8 省顯存這是對(duì)的但并不代表 Q4 一定更好用。量化等級(jí)越低占用的顯存越少但推理速度不一定線(xiàn)性提升因?yàn)楝F(xiàn)代顯卡更依賴(lài)帶寬但也會(huì)受解碼開(kāi)銷(xiāo)影響低 bit 量化需要額外的反量化計(jì)算。實(shí)測(cè)中 Q4_K_M 和 Q5_K_M 的速度差異不大但 Q4 的質(zhì)量損失卻更明顯。所以在不追求極限顯存的情況下我會(huì)優(yōu)先選擇 Q5_K_M。它比 Q4_K_M 只重幾百 MB但回答質(zhì)量和穩(wěn)定性高了不止一個(gè)檔次這是性?xún)r(jià)比極高的一次取舍。5.4 蒸餾需要多少數(shù)據(jù)才夠這個(gè)問(wèn)題沒(méi)有標(biāo)準(zhǔn)答案取決于任務(wù)復(fù)雜度。我給一個(gè)參考區(qū)間如果你的任務(wù)是讓一個(gè)小模型模仿大模型的對(duì)話(huà)風(fēng)格5000 到 20000 條高質(zhì)量對(duì)話(huà)數(shù)據(jù)就夠了如果是做復(fù)雜推理或代碼生成可能需要 5 萬(wàn)條以上并且數(shù)據(jù)質(zhì)量比數(shù)量更重要。另外蒸餾過(guò)程不要盲目追求多個(gè) epoch。小模型參數(shù)量有限過(guò)度訓(xùn)練容易過(guò)擬合到訓(xùn)練數(shù)據(jù)反而會(huì)在未見(jiàn)過(guò)的任務(wù)上表現(xiàn)更差。我在跑蒸餾實(shí)驗(yàn)時(shí)一般先訓(xùn) 1 到 2 個(gè) epoch用驗(yàn)證集觀察 loss 曲線(xiàn)一旦驗(yàn)證 loss 不再下降就及時(shí)停止。6. 寫(xiě)在最后幾個(gè)實(shí)用心得這些年在低顯存設(shè)備上折騰大模型最深的感受是顯存不夠不等于玩不了大模型但它會(huì)倒逼你更清楚地理解大模型的存儲(chǔ)結(jié)構(gòu)和推理機(jī)制。量化讓你懂模型權(quán)重在說(shuō)什么蒸餾讓你懂模型能力是怎么傳遞的這兩樣搞明白之后再回頭看不帶量化的原版模型你對(duì)性能瓶頸的理解會(huì)完全不一樣。最后分享一個(gè)我自己踩過(guò)多次的坑下載 GGUF 模型時(shí)一定要仔細(xì)核對(duì)文件名中的量化等級(jí)不要混淆了 Q4_K_M 和 Q4_K_S。這兩個(gè)體積對(duì)比差距不大但 Q4_K_S 的質(zhì)量損失明顯更高。如果你不確定該選哪個(gè)記一個(gè)簡(jiǎn)單規(guī)律手頭顯存夠就上 Q8_0顯存緊張就選 Q5_K_M只有極度緊張才用 Q4_K_MQ4_K_S 能不用就不用。對(duì)了如果你跑 Ollama 時(shí)遇到模型推理速度很慢先看一眼是不是模型被完全放到了 CPU 上。Ollama 默認(rèn)會(huì)根據(jù)系統(tǒng)顯存自動(dòng)分配加載層數(shù)但在某些環(huán)境下它可能過(guò)度保守。手動(dòng)加一行num_gpu 999讓模型盡量全量加載到顯卡速度會(huì)有質(zhì)的飛躍。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情小说视频图片| 中国女人做爰A片| AV伊人青草丁香六月| 国产真人做爰视频免费| 五月综合婷婷五月| 日日噜狠狠色综合久久| 五月丁香 六月婷婷a| 色婷婷yy久| 天天干天天干天天操| 亚洲激情网| 丝袜熟女一区二区三区| 国产成人精品亚洲线观看| 五月丁香六月色| 激情综合色| 亚洲欧洲美女在线观| 婷婷婷久久久| 久久思思精品| 婷婷色5月天在线。| 激情啪啪五月天| 99色视频| www激情| 天天射影视综合网| 梁铮版蜘蛛女在线观看| 操碰91| 欧美A级成人婬片免费看理论| 99久久玖玖| 五月婷色丁香| 99热这里只有精品手机在线观看| 91欧美| 色色色色色五月| 五月天偷拍| 无码人妻电影| 99日本黄站| 婷婷丁香基地在线| 久久6这里只有精品| 中文字幕97超级碰| 91丁香婷婷综合资源| 被男人添B超爽视频| 久热黄色| 猫咪伊人久久| 久久久无码精品成人A片小说 | 丁香六月婷婷开心| 成人丁香色| 五月激情婷婷女| 99热这只有| 亚洲区,视频区,视频区免费| 色婷婷电影网| 高潮毛片遮挡费高一百度| 91互操| 91干婷婷| 婷婷不卡基地| 久久码久久无清| 亚洲九九99精品视频在线播放| 天天射影院| 日本激情五月| 五月婷婷六月丁香在线视频| 99久在线精品99re8热| 五月婷婷激情69| 五月婷伊人| 欧美五月婷婷| 99精品在线播放| 日本黄色精品| 疯狂做受XXXX高潮A片动画| 97色在线观看视频| 久久婷婷综合网| 精品网站:999WWW| 激情五月丁香亭亭| 日本在线视频www色| 这里只有精品视频| 五月婷婷综合网| 91人妻人人做人碰人人爽九色| 天天操夜夜爽| 99在线热视频| 狠狠干婷婷| 色婷五月| 五月天久久色| 婷婷色六月| 日韩无码人妻一区二区| 99久久9| 色色色综合网| 激情五月天免费视频| 久久五月婷天天干| 国产9色在线/日韩| 九九色热| 五月丁香六月停停停| 亚洲字幕AV一区二区三区四区| 婷婷伊人綜合中文字幕| 久久九九Com| 91熟妇大香蕉| 久久激情视频| 996er热| 香蕉操亚洲| 99亚洲色| 激情小说婷婷小说| 丁香五月婷中字幕| 久婷| 日日操夜夜擼| 99日精品视频| 色综合xx| 另类 在线| 高清不卡一区| 五月婷婷玖玖综合玖玖爱| 激情婷婷五月社区| 色娸娸综合网| 天天婷婷综合| xx人人xx| 操操碰| 激情操逼婷婷| 久久草大香蕉| 99免费视频网| 欧美精品999| 99国产精品久久久久久久久久久| 一起肏在线视频| 婷婷色激情网| 日日夜夜久| 97婷婷狠狠| 婷婷色在线| 综合色七七| 99亚洲视频| 欧美大奶熟女噜噜噜噜| 婷婷九月丁香| 精品国产一区二区三区四区阿崩| 另类专区在线| 高清无码视频网址| 国产精品美女久久久久AV超清| 丁香五月婷婷久久久| 日本啪啪网| 狠狠狠人妻| 九九精品视频在线观看| 久99视频| 色婷婷中文在线| 激情q青青草在线婷婷| 婷婷五月深深爱| 婷色五月天| 色婷青青| 色婷婷最爱五月| 综合图片色色| 天天色中文字幕女优AV| 婷婷久久午夜网| 丁香婷婷视频在线| 色婷丁香91| 五月色婷婷中文字幕| 夜夜夜叫天天天做| 五月天激情网站| 啪啪操超碰| 五月丁香亚洲综合网| 色五月成人| 亚洲欧美婷婷五月色综合| 国产Va视频| 性爱视频99| www.五月天| 青青999| 人妻爽爽爽久久久久久久久| 五月丁香六月婷| 国内精品免费一区二区2009| 久久九九99字幕| 日本九婷婷| 成人做爰黄A片免费看直播室男男| AV在线收看| 婷婷玉月丁香五月在线视频| 噼里啪啦在线观看免费完整版视频| 操日本三片99| 99热亚洲| 亚洲国产网站| 狠狠99| 成人网址在线观看| 国产91视频| 色婷婷激情| 久久3级片| 九月婷婷久久久| 欧美激情VA永久在线播放| 九九成人电影婷婷| 婷婷五月天激情五月天网站| 久久99久久99久久99| 亚洲色爽| 年轻的妺妺伦理HD中文| 丁香婷婷久久激情| 色婷青青| 99re这里只有精品在线观看| 中文字幕成人日韩| 色婷婷小说网| 五月丁香六月综合图| Av大香蕉| 91九色网| www,色中色| 色色热| 九九热只有这里精品| 九色自拍| 婷丁香久综合| 成人无码髙潮喷水A片| 丁香五月 综合| 99热综合网| 99热久| 超碰人人色| 五月丁香六月综合基地| 碰碰91| 人伦30P| 99欧州偷拍视频| 韩国97天堂| 玖玖资源站中文| 五月婷婷综合在线视频| 99啪啪网| 激情五婷网| 99操视频| bbwcuckold精品熟妇| 成人精品在线| 国产精品香蕉| 久久婷婷色综合| 色婷操逼| 欧美天天性| 婷婷激情五月呦呦| 欧美五月婷婷| 五月婷婷伊人网| 日本精品人妻无码77777| 久香草视频在线观看| 色亭亭九月| 欧美25p| 国产亚洲AV人片在线| 91婷婷五月天嫩女| 玖月婷婷爱丁香| 国产AV一区二区三区最新精品| 激情色情五月天| 综合久久8| 操操自拍| 26UUU欧美激情一区二区| 丁香婷婷老熟女综合网| 久久精品系列| 综合激情五月综合激情五月激情1 天天爱天天做天天舔 | 色色热日| 婷婷亚洲综合| 99热在线这里| 99这里有精品久久97| 激情又色又爽又黄的A片 | 91亚洲视频| 色色com| 性热视频99精品| 久久大香蕉| 激情5月婷婷狠狠干| 日本A片一区| 这里只有精品视频免费在线观看| 99re在线视频精品,这里只有精品18,| 99热久久这里只有精品| 色婷婷六月天| 六月色狠狠色| 99热综合网| 99燥99日| 五月天激情丁香| 国产精品五月天婷婷| 4399在线日本A片| 欧美槡BBBB槡BBB少妇| 丁香色婷婷五月天| 我爱宗和色| 99色久| 国产亚洲精品久久久久久牛牛| 丁香五月亚综合图片| 伊人久久大香线蕉av最新| 国产日韩精品SUV| 中国激情网| 久久香蕉网| 婷婷五月天性爱视频| www.超碰在线| 琪琪色五月天| 婷婷五月天狠狠色| 99亚洲色| 大狠狠在线| 五夜婷婷| 91精品久久久久久久久| www.久操| 亚洲成人AV电影在线| 久久99热这里只有精品| 99热99热99热99热| 六月丁香婷婷开心综合基地| 婷婷成人网五月天| 色婷婷操逼| 专区无日本视频高清8| 五月婷婷影| 97色五月天| 另类视频综合| 国产精品99久久久久久猫咪| 久久婷婷丁香视频网| 黄色中文字目| 99热| 国产SUV精品一区二区6| 99噜噜噜在线播放| 丁香五月天视频| 欧美日韩成人在线观看| 丝袜激情网| 日日夜夜狠狠操| 亚洲第精品| 99这里有精品久久97| 综合色吧| 91艹人| 婷婷激情四射五月天| 丁香五月天大香蕉啪啪| 亚州美女| 农村熟妇高潮精品A片| 猫咪伊人久久| 激情久久久久久久久久| 天天爽日日爽夜夜爽| 天天日夜夜操五月| 九九热这里只有精品31| 婷婷香五月| 中文字幕丰满乱孑伦无码专区| 情色五月天网站| 9 99免费视频| 亚洲成人另类| 99色婷婷视频| 另类色网| 人人干人人干骚美女| 综合色播| 成年AAAA色情| 久8色色| 26uuu亚洲欧美| 激情五月丁香激情综合网| 99久久精彩视频。| 婷婷五月天视频小说| 色婷婷丁香五月高清在线| 91Chinese在线| 色欲久久综合| 婷婷丁香五| 亚洲日韩人妻操逼| 婷婷五月天资源| 丁香婷婷五月基地| 免费亚洲婷婷五月| 五月激情婷婷在线| 日韩啊啊啊| 色播五月| 99青青草99| 婷婷99狠狠躁天天久久久九九九| 婷婷丁香五月综合久久| 亚洲AV第二区国产精品| 人妻性操逼中文字幕 国产| 色色热99| www、色色色| 人人干av| 99精品视频网| 91熟妇大香蕉| 欧美日韩99| 欧美狠狠草| 激情综合色五月六月婷婷| 天天夜天天色天天| 婷婷五月大香蕉| 丁香六月五月天| 天天日日夜夜| 色婷婷丁香AV综合| 另类小说五月天| 欧美综合激情五月丁香| 26uuu亚洲欧美| 婷婷天天色| AAA久久久| 九九色逼| 九九热91| 五月丁香拍拍激情综合| 思思热在线视频精品| 五月婷婷久久大香蕉| 夜夜躁爽日日| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 黄色99视频| 五月综合影院| 五月天亭亭俺也| 2025超碰| 日韩久热| www.99视频| 五月婷婷天| 丁香五月狠狠在线观看| 另类图片天天影视在线观看| 啪啪六月婷婷| www.91九色| 在线观看免费观看在线9久| 天天爽天天日| 久久婷婷亚洲无码一起| 初夜av| 激情综合网激情五月天| 久久ri精品| 欧美乱码国产一级A片| 亚洲视频在线观看99| 久久免费婷婷视频| 国产成人精品一区二三区熟女在线| 色婷婷色和| 天天色综和网| 婷婷狠狠操| 久久99最新地址| 97人人操| 婷婷婷婷婷婷婷婷| 91丨九色丨首页| 好好干Av| 91操片| 久草婷妨| 色综合性视频| 五月激情啪啪| 国产精品久久..4399| 婷婷丁香五月综合激情小说| 亚洲视频一区| 六月色婷婷色| 六月丁香啪啪| w婷婷五月婷婷w| 。久久久久久久久久久久久久人妻| 丁香五月婷婷影院| 伊人大香蕉在线视频| 99精品无码网站| 色综合色色| 天天肏天天肏| 五月丁香淫淫婷婷婷| 免费看欧美成人A片无码| 五月婷免费视频| 婷婷五月天,影院| 99久久九九| 日韩视频女神99| 777精品成人a v久久| 在线综合网| 久久艹99| 丁香婷婷色色| 丁香五月ⅤA久久久| 天天成人综合视频| 4399无码视频| 五月丁香六月合| 四虎成人精品永久免费AV九九| 久久丁香网| 天天插天天草人人玩| 五月丁香色| 97干在线观看视频| 丁香花五月天激情| 久/久精品99看9| 九色PORNY自拍成人精彩视频| 亚洲成人综合网在线免费观看| 婷婷五月天另类视频| 色婷婷99| 色五月久久成人婷婷| 可以免费观看的AV| 五月丁香亭亭成人电影| 高潮毛片又色又爽免费| 久久只这里有精品| 日韩精品一曲二曲三曲四曲五曲| 人人摸人人摸| 99男人的天堂| 狠狠综合| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | www.狠狠操.con| 风流少妇A片一区二区蜜桃| 亚洲视频在线观看99| www.婷婷六月天| 99这里的视频都是精品| 香蕉网婷婷| 亚洲亚洲永久无码777777| 狠狠五月激情丁香六月| 99热这里只有在线| 99色在线观看视频| 大香蕉久| 久99久视频| 天天操人人干| 欧美性丁香色色五月天综合爱爱| 久久婷婷九月国产精品| 婷婷五月天激情基地| 丁香五月激情啪啪啪| 天天做天天爱天天做| 成人VAV视频在线观看| 免费AV在线| 狼友视频在线观看18| 综合网五月| 色综合性视频| 国产在线自| 91色五月| 人人爽人人爽人人爽人人爽| 久久午夜丁香| 激情综合网五月激情| 色 丁香婷婷| 开心五月婷婷伊人| 熟女激情网| 99re这里只有精品国产99| 国内一级片| 激情六月色| 五月色婷| 中文字幕人妻一区二区| 色色五月丁香婷婷| 黄页大全十八禁| 中文字幕亚洲-区久久99婷婷| 久婷婷| 99在线视频精品| 婷婷五月激情五月丁香五月| 色色色网站| 天天狠狠色| 日韩 中文 欧美| 国产精品久久欧美久久一区| 五月激情婷婷综合| 白天AV月月| 伊人五月天久久| 亚洲综合五月天婷婷| 狠狠干思思热| 婷激情五月天视频导航| 激情熟女网| 日韩成人精品中文字幕| 六月婷婷色色色| AV美美午夜| 欧美性爱一区| 丁香六月婷婷操逼网| 99热免费看| 天天色综合天天| 91综合网| 日日影院 | 婷婷激情在线| www激情五月天| 日本3级片偷拍网站| 国产亚洲精品久久久久久郑州| 五月丁香婷婷AV| 99er免费在线观看| 99日韩| 久久亭亭电影| 欧美顶级少妇做爰HD| 亚洲午夜视频| 这里只有精品1| 5月丁香婷婷| 欧美综合123区| 99精品久久久久久久久| 99久久人妻精品无码二区| 亭亭色网| 精品人妻伦一二三区久| 色五月亚洲开心网| 婷婷五月丁香基地在线视频官网| 五月伊人婷婷999| 中国女人做爰A片| 五月婷婷色色| 激情五月婷黄版| 久久欧洲综合网| 亚洲婷婷五月天在线激情综合网| 婷婷五月天综合久久| 91碰操| 亚洲精品字幕| 亚洲亚洲人成综合网络| 久操热| WWW免费视频碰碰碰碰| 丁香婷婷六月在线资源观看| 丁香五月天激情小说| 五月婷婷综合热| www.91操| 一起草Av| 九九激情综合| 久久久18| 91碰碰| ww久久| 99久久99久久| 久久免费操| 九色 在线| 99热久97| 婷婷综合97| 亚洲午夜一区二区| 久久精品婷婷五月丁香| 五月天婷婷伊人| 久久中国毛毛片爱久久| 99人人看| 久久五月天丁香| Av免费网站在线| Av中文在线| 五六月婷婷久久| 丁香花社区av| 久久久久久久久18久久| 日韩AV在线免费| 伊人大香蕉毛片| 精品国婬伦V无码久久久| 亚洲欧美综合7777色亭亭| 久久人妻超碰一区| 五月天激情黄色网址| a毛片二逼wwwwwwwwww| 婷婷丁香综合色AV| 丁香五月最新地址| 五月丁香啪啪| 琪琪理论片| 久久五月天黄色五月天色网址| 五月丁香婷婷五月色| 亚洲十月婷婷综合| 99热最新| 亚洲精品电影| 青青青在线视频国产| 亚洲视频在线观看| 精品影院| 久色大香蕉| 久久婷婷人人| 日本精品99| 成人色站,在线视频,看片-SS1AV| 99在线视频精品| 激情开心五月天婷婷基地丁香社区| 五月色天情| 婷婷五月成人系列| 久久婷狠狠色| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 国产成人片| 日韩日比视频在线| 琪琪色五月天| 情欲综合网| 超碰1999| 夜夜躁爽日日| 婷婷中文综合网| 久久五月情| 婷婷操逼| 婷婷丁香色五月久久88| 五月婷婷视频| 天天日天天插| 毛v一区二区视频| 五月色综合网欧美网| 99热骚货| 67194成I人在线观看线路1| 婷婷啪啪| 超碰在线综合| 人妻肉射免费观看| 五月丁香婷中文| 亚洲乱码日产精品BD| 婷婷狠狠狠爱| se色99| 激情图片五月天| 婷婷五月色| 久热爱大香蕉在线蜜臀悦色| 亚洲另类婷婷五月丁香在线播放| 婷婷五月天免费视频| 五月婷婷激情综合网| 亚洲精品久久久无码| 伊人五月综合网| 丁香六月婷婷开心婷婷网| 色五月婷婷网| 99热免费在线| 色色色五月| 密黄站| 久久性爰视频这里只有精品| 九九视频这里只有精品| 日韩性爱无码| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 婷婷综合色图| 日韩一66精品| 九九伊人网| 热99热久| 丁香五月天婷婷久久综合| 色色激情五月| 日本欧美啪啪| 色五月婷婷开心| 久久在这里99| se色综合网| 深爱开心激情网| 色婷婷激情四射视频| 亚洲视频在线网站| 色五月xxx| 另类精品视频在线观看| 午夜福利8055| er99免费视频在线| 99热在线观看| 久久六月天| 五月丁香在线婷婷美女| www激情| 人人操人人看97干| 激情五月天激情综合网| 色色色com| 天天插天天很| 婷婷成人五月天| 久久综合爱| www.五月天婷婷| 国产色色小草视频| 五月激情网综合| 国产精品激情AV久久久青桔| 激情五月天婷婷免费观看| 色婷天天| 午夜爱插插| 激情综合亚洲色婷婷五月| 99精品视频在线观看| 思思久久99热| 色五月综合| 久久99免费视屏| 久9久9久9久9久9久9| 久久久久久久久久久月丁| 亚洲色色香蕉| 婷婷五月激情视频网| 中文字幕色色色| 99丁香婷婷综合网| 五月婷婷我| 婷婷5月久久综合网站| 天天综合图片| 亚洲字幕AV一区二区三区四区| 国产 亚洲 在线| 男女99免费视频| 日韩黄色网络| 婷婷五月天久久久| 天天五月丁香五月| 亚洲无码99| 久热这里有精品视频| 色五月天堂| 91在线日| 亚洲五月天激情| 丁香五月丐人妻| 大地资源色婷婷视频在线| 婷婷五六日| 国产偷人爽久久久久久老妇APP | 99久久婷婷| 夜夜夜天天操| 婷婷成人基地| 日本操逼九九九九58日本操逼| 人妻AV中文系列| 婷婷色日本| 大香蕉丁香五月| 婷婷免费视频| 五月激情婷婷综合| 在线只有精品| 激情都市五月天| 日本人妻久久| 五月婷婷黄色| 成人五月丁香社区| 激情AV| 丁香五月天激情综合网| 婷婷五月激情综合啪啪| 色综合区| 情欲综合网| 丁香婷婷六月| www.99精品在线| www.日本久久videos| 五月天激情国产综合婷婷婷| 色丁香婷婷| 99资源在线视频| 久久九九99| 欧美激情综合色丁香婷婷五月天| 婷婷丁香五月天影院| 丁香五月婷婷基地| 九九免费精品| 婷婷五月天av| 国产精品色色| 99免费| 激情婷婷久久| 色色热| 夜夜爽天操| 激情丁香社区| 激情性爱五月天网页| 国产九九一区二区三区| 开心五月丁香综合久久| 99超碰在线观看| 色婷婷激情| 深爱激情综合网| 99网址在线看| 婷婷99综合| 亚洲综合五月天婷婷丁香| 天天综合干| 久久9热| 性生生活大片又黄又| 激情五月色播五月| 开心四月婷婷在线色播播| 99热99| 丁香五月天色婷婷| 五月天婷久精视频| 婷婷五月天激情在线观看| 国产44页| 黄色中文字目| 婷婷激情图片| 色色色色色色网站| 華人性愛AV在線| 四色五月视频| 五月丁香婷婷五月色| 99精品无码| 天天爽曰日爽| 天天爽夜夜爽夜夜爽精品| 六月婷婷天堂| 国产乱子轮XXX农村| 免费播放片大片| A网在线欧洲| 丁香色六月| 超碰无码318604| 91操黄| 亚洲无码99| 精品久久9| 五月天婷婷婷| 色宗合久久五月婷婷| 性色人人爽| 久久久99免费视频| 五月丁香A∨在线| 麻豆AV一区二区三区| 超碰chaompinm| 99精品综合| 婷婷五月天日日日干干干| 丁香五月天激情网址| 99riAV国产精品视频| 91日本在线免费| 四川女人毛多水多A片| 深爱激情五月网| 五月天婷婷综合网| 色婷婷丁香五月天在线观看| 九色色| 色高清无码视频| 香蕉狠狠爱视频| 97电影99热| 色婷婷综合在线| 中文AV网站| 婷婷五月天99综合网站| 老美AA片| 中文字幕日产A片在线看| 婷婷五月天开心网| 丝袜大香蕉| 97色片| 另类精品视频在线观看| 五月综合视频| 97丁香五月| 蜜桃五月天色| 激情五月婷婷六月丁香| 婷婷开心深爱五月天| 婷婷在线免费| 亚洲操操| 免费国产VA国产免费| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 激情丁香五月婷婷啪啪| 99日韩网站| 99免费视频在线观看爱| 狠狠色综合久久| 九九热免费| 国精产品一区二区三区| 99爱精品视频| 日日爽日日| av中文网站| 秋霞三及片| 成人网站免费sxj| 能看的AV网站| 五月婷婷视频28| 色 色 色综合com| 久热网站| 色欲久久久久久综合网综合网| 久久99综合网| 丁香婷婷色九月| 99久久久免费| 99热最新| 五月天婷婷激情| 色五月婷婷五月天| 国产午夜成人AV在线播放| 538在线精品| 中文AV网站| 狠狠色婷婷7777久综合| 色欲婷婷五月天| 亚洲成人色五月天| 久久网思思| 欧美五月丁香| 97碰啪啪| 丁香九月激情| 日本色色色色色色色色一色二色| www.夜夜爱.com| 久久久久婷| 99爱99操| 五月天狠狠色| 殴美日韩成人| 丁香婷婷人妻| 99免费视频在线观看爱| 夜夜久久综合网| 色色无码| wwww.9免费视频| 欧美 日韩 成人在线| 久久国产精品乱子伦_靑青草…| www激情网| 天天爽天天日| 亚洲综合五月天婷婷丁香| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 天天噜噜| 亚洲99热| 狠狠色婷婷7777久| 五月丁香狠狠| 97碰在线视频| 婷婷激情六月中文| 丁香婷婷五月天激情四射| 色五月激情基地| 色色色综合网| www.色婷婷| 久久婷婷夜| AV大香蕉| 欧美成人A片AAA片在线播放| 五月天色色网站| 日本在线观看99| 亚洲99综合| 五月婷婷九| 特黄三级片| 五月天天综合| 色婷婷88| 丁香婷婷久久综合在线| 天天插天天日| 国产在线自| 人妻五月天激情开心网| 久久五月激情| 婷婷五月丁香综合瑟瑟| eeuus五月婷| 激情五月婷婷视频一区二区三区| 蜜臀AV在线观看| 日本婷婷在线| 五月色俺婷婷| 成人无码髙潮喷水A片| 色欲影香| 精品,99| 91狠狠综合久久久久久| 五月天操逼网| 99国产视频网| 九月婷婷在线视频| 五月婷婷激情刺激| 五月丁香在线观看| 午夜激情四射影院| 五月婷丁香在线视频在线| 在线婷婷| 久久99免费视频| 另类丁香五月天区图| 色婷婷综合网站| 久热在线观看视频9| 丁香五月狠狠综合欧美| 亚洲精品大片| 久久草中文日韩欧美| 六月丁香激情网| 成人日韩欧美| 综合激情五月天| 人妻视频在线| 丁香六月婷婷社区| 色六月视频| 国产视频色色色色色色色| 五月丁香久人妻中文| 成人版视频在线观看| 888久久久| 日韩操逼小电影| 99ER热精品视频| 天天在线久久综合| 亚洲激情在线| 五月婷婷六月丁香免费| 超碰超碰在线| 亚洲综合在线播放| 色婷婷五月天| 久久 无毛。| 五月丁香性| 亚洲成人av在线观看| 六月亭亭久久综合激情| 无码人妻丰满熟妇奶水区码| 婷婷五月 丁香六月| 天天干一干| 综合亚洲色色| 色色色com| 丁香五月婷婷婷婷欧美综合| 综合五月天| 精品视频这里只有精品| 99综合视频一体| 99热99在线| 五月激情综合网| 五月天另类综合网| 第四色在线观看| 婷婷丁香视频| 日本成人内射| 五月天五月天成人网亭亭成人色网站| 婷婷五月丁香色色| 永久精品| 色欧美日| 狠狠五月激情丁香六月| 99色色网| 欧美婷婷| 情情五月天色| 九久热| 激情影院丁香五月| 中文字幕婷婷| 久久这里只有精品8| 那里有AV网址| 欧美韩国日本| 国产成人va在线| 丁香婷婷浪潮AV久久综合| 99热免费精品| 五月丁香亭亭操逼| 久久综合激情| 天天综合永久| 激情五月天99色| 在线成人网址| 五月天婷婷综合久久| 婷婷五月天激情网| 精品怡红九九九| 色综合色婷色基地| 五月丁香婷婷综合网| 再綫Av免费視品| 激情亚洲五月| 五月天婷婷激情| 大香蕉五月天婷婷| 亚洲亚洲人成综合网络| 天天日夜夜帕| 激情九九六月激情免费视频| 99天堂网| 五月丁香激情五月天| 天天色域综合网| 日本三级中文字幕| 成人亚洲精品| 天天干狠狠操| 色综合av超碰| 91精品久久久久久77777| 日日激情网| 久久色五月| 国产精品扒开腿做爽爽爽A片唱戏| 色五月婷婷五月丁香五月| 97色视频网| 99热综合| 激情五月婷婷综合| 六月丁香激情综合网| 伊人大综合| 99精品热视频| 五月天色综合服务平台| 亚洲色图81p| 99热99色| 天天干天天干天天操| 99五月丁香丁| www,setingting| 五月婷网| 欧美婷婷五月| 色婷婷五月开心六月综合| 欧美电影在线播放| 五月欧美丁香在线观看| 天天噜天天爱| 五月天之色情综合网| www,天天干| 五月丁香婷婷潮喷中文字幕| 婷婷射图| 丁香婷婷综合色五月激情国产基地| 激情五月丁香五月| 久久aaaa片一区二区| 日本三级日本三级99| 国产激情一区| 五月天综合在线观看| 日韩成人电影AV| 丁香五月婷婷综合激情哟哟哟| 思思热精品在线| 婷婷五月天激情电影小说| 久久五月丁香伊人青草| 日本视频99| 五月丁香婷婷欧美色图视频五月丁香777电影 | 欧州色色| 狠狠久久婷五月综合色| 婷婷色五月激情强奸四射| 色色五月婷婷网| 五月丁香综合在线| 五月婷婷五月| 骚。com| 在线五月色播| 丁香婷婷性爱| 91久久九久久九久久九久久九久久| 色五月亚洲| 天天摸天天舔| 亚洲综合狠狠艹| 91精品电影18T| av国产精品偷| 色婷婷亚洲综合av| 极品少妇高潮啪啪AV无码| 在线观看的av| 婷婷五月天无码| www久热com| 色婷五月婷婷| 成人亚洲精品| 曰本aaaaaa丈片| 在线成人va| 九九热AV| 六月丁香五月天| 情色婷婷五月天| www.激情五月| www.开心激情| www.av骚货| 色婷婷狠狠干| 久久98| 996热| 婷婷色啪| www.99日本| 五月婷婷激情日本| 久综合4| 中文字幕无码人妻少妇免费视频| 99操逼| 狠狠五月激情丁香六月| 日日操日日爽| 天天爽夜夜爽| 这里只有精品9| 99精品视频在线| 五月婷婷天天色| 成年AAAA色情| 婷五月天天| 亚洲久久视频| 久久99热这里| 婷婷五月丁香影院| 天天综合久久| 思思视频久久| 秋霞黄色一级久久| 日本女天天爽| 色婷婷六月激情| 就爱操www com| 久热这里只有精品视频6| 亚洲人人干| 99视频色在线观看| 怕怕av| 五月天婷婷网站| 天天日天天做天天操| 成人丁香婷婷五月天| 黄色激情五月天| 五月天婷婷激情在线色图| 久久开心五月婷婷| 伊人久久五月天综合| 色色色色av色色色色| 日本婷色| 开心五月综合激情网| 俺去也综合| WWW.桔色成人.COM| 五月丁香大香蕉| 激情内射人妻1区2区3区| 国产伦亲子伦亲子视频观看| 色色欧美。| 男人的天堂在线婷婷| 久久久久网站| 这里只有精品免费在线视频| 欧美在线干| 欧美在线视频99| 思思久ren热| 婷婷五月激情欧美大胆视频| 丁香五月欧美激情| 婷婷丁香九月| 欧美成人va| 性一交一乱一交A片久| 九九精品大香蕉| 九九久久高清| 五月色婷婷在线观看| caopeng97日韩| 99视频在线| 欧美婷婷| 热久久999| 黄色一极大片| 丁香 婷婷 激情 综合 五月| 色五月天激情| www.色九月| 狠狠色婷婷777| 日日夜夜亚洲一区| 欧美日朝成人| 九九免费在线视频| 亚洲人成人五月天| 97操碰碰无码视频| 无码AV免费精品一区二区三区| 婷婷五月a| 天天爽在线视频| 婷婷五月天亚洲丁香| 午夜成人综合| 日日干天天| 五月婷婷激情在线| 九九精品在线视频观看| 久久这里99| 激情六月天婷婷| 疯狂做受XXXX高潮A片| 久久色吧| 丁香五月激情六月欧亚激情综合导航 | 思思9久久| 综合久久高清| 婷婷丁香五月天在线| 久久网日本| 五月网站| 9191avse| 丁香九月婷婷色| 久99热| 9999热免费视频视频| 婷婷五月大| 激情影院丁香五月| 福利视频在线播放| 五月丁香六月婷婷激情四射| 激情综合青草| 婷婷成人视频| 天天爽天天| 亚洲久久日| 开心五月色婷婷综合开心网| 日本三级日本三级99| 激情色五月天| 婷婷月五天在线在线看| 色播综合| 一本色道久久88加勒比| 色五月超碰| 9久热这里只有精品| 婷婷五月天视频| 久久九九思思| 婷婷欧美激情综合| 五月丁香六月激情综合| 大香蕉 婷婷| 99碰视频| 丁香五月av在线| 久久人妻精品| 久久人人九九| www.五月.com| 99婷婷精品推荐在线视频| 亚洲欧美婷婷五月色综合| 26uuu国产| 激情五月婷婷综合秋霞| 婷婷色女| 色丁香婷婷| 91丨九色丨老农村| site:feetmall.com| 婷婷久久五月| 欧美熟女99| 亚洲99热| 男人操女人高潮91视频| 亚洲色色色色色色色色色| 狠狠色五月天| 五月婷九九草| www.26uuu.com亚洲电影| 97香蕉碰碰人妻国产欧美| 一起草无码| 噜噜吧天天爱| 成人五月天。COM| 婷婷五月综合啪| 国产又黄又爽又色的免费| 国产亚洲色婷婷99精品| 婷婷五月综合在线| 五月丁香六月婷婷久久肏| 开心网五月色婷婷| av五月丁香婷婷网| 五月激情婷婷开心| 中文字幕人妻一区二区| 日日天天操| 国产一区二区三区影院| 人妻久久做| 大香网伊人久久综合| 99热超碰| 黄网在线免费观看| 一区视频网站| 欧美99热| 碰碰91| 免费亚洲婷婷中文字幕| 久久精品99久久久久久| 91成人电影| 99狠狠色| 色屌丝中文字幕| 人人操91色| 婷婷五月天小说| 99狠狠操一| 五月婷婷久久综合| 婷婷色九月| 狠狠色综合网站久久久久| 色色丁香| 丁香六月激情| 久久五月丁香激情综合| 国产性av| 极品五月天| 成人一区在线观看| 五月天婷婷小说| 五月天婷婷网站| 妻久久人久久| 99噜噜| 秋霞三及片| 五月色丁香婷婷综合| 丁香婷婷视频在线| 久色五月天| 人人爱国产| 国产五月丁香在线| 丁香久久在线| 日本颜色视频人人爱| 69色婷婷| 亚洲精品国产成人AV在线| 激情q青青草在线婷婷| 亚洲激情网| 99精品在线下载| 激情超碰网| 日韩久热| 五月天社区| 99只有精品| 九色色| 色噜噜五月丁香婷婷| 啪啪91| 久久婷婷六月综合资源| A片天天| 丁香六月欧美| 婷婷爱爱蜜臀天天操| 婷婷五月天色播| 日本不卡五月婷婷丁香| 91色干| 久久曰曰| 激情久久五月网| 久久精品日| 六月综合婷婷开心伊人| 69五月天视频| 天天干,天天操,天天射| 99久久6| 99热99干| 欧美天堂久久| 五月天激情网图片| 五月丁香六月婷婷视频| 久久女婷|