欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

MLoRA多任務(wù)微調(diào)實(shí)戰(zhàn):從LoRA權(quán)重混亂到共享低秩頭的高效方案

MLoRA多任務(wù)微調(diào)實(shí)戰(zhàn):從LoRA權(quán)重混亂到共享低秩頭的高效方案 1. 我為什么最后選了 MLoRA從一份亂到崩潰的任務(wù)權(quán)重開始先交代一下背景。上個(gè)月做一個(gè)多領(lǐng)域大模型微調(diào)項(xiàng)目模型底座固定下游要同時(shí)支持客服意圖識別、合同關(guān)鍵信息抽取、摘要生成和三版風(fēng)格不同的企業(yè)話術(shù)生成。當(dāng)時(shí)圖省事直接給每個(gè)任務(wù)單獨(dú)訓(xùn)了一套 LoRA然后通過簡單的 route 層在推理時(shí)切換。任務(wù)少的時(shí)候沒問題任務(wù)一多就露餡了不同 LoRA 之間其實(shí)共享了大量公共知識但每套權(quán)重都把完整的底座語義空間復(fù)制了一遍6 個(gè)任務(wù)跑完光 checkpoint 就占了 40 多 GB朋友出差期間我改了一版數(shù)據(jù)把其中兩個(gè) LoRA 搞亂了回滾來來回回折騰了一整天。之后我把目光轉(zhuǎn)向多頭低秩適配也就是 MLoRA。它從設(shè)計(jì)上就不是“一個(gè)任務(wù)一條完整 LoRA”的思路而是在一個(gè)共享底座上掛多個(gè)低秩子空間每個(gè)子空間負(fù)責(zé)一部分任務(wù)能力訓(xùn)練時(shí)梯度按路由走推理時(shí)只激活需要的頭。這樣既保留了 LoRA 省顯存的優(yōu)點(diǎn)又不需要為了加一個(gè)任務(wù)去把整份 LoRA 權(quán)重重新拷貝一遍。如果你跟我一樣已經(jīng)用 LoRA 微調(diào)跑順了好幾個(gè)業(yè)務(wù)場景但對“任務(wù)之間互相打架”“權(quán)重版本管理麻煩”這兩件事有切膚之痛那么 MLoRA 就很值得了解一下。這篇文章不會去復(fù)讀論文里的數(shù)學(xué)推導(dǎo)只講我實(shí)際落地過程中覺得最關(guān)鍵的設(shè)計(jì)邏輯、踩過的坑和最終結(jié)果。文里涉及的實(shí)現(xiàn)細(xì)節(jié)一部分來自公開論文加我自己的復(fù)現(xiàn)調(diào)整論文里沒寫清楚的地方我會按常規(guī)做法說明并注明哪些是行業(yè)通用方案、哪些是我個(gè)人的取舍。2. 為什么單 LoRA 在多任務(wù)場景下越來越別扭2.1 顯存省了維護(hù)成本沒省單 LoRA 微調(diào)最大的功勞是讓“消費(fèi)級顯卡也能跑大模型微調(diào)”這件事變成現(xiàn)實(shí)。7B 模型全參數(shù)微調(diào)一般要 70GB 以上的顯存LoRA 把這壓到 20GB 左右。代價(jià)是每一個(gè)新任務(wù)都要重新產(chǎn)出一份任務(wù)專屬權(quán)重。如果任務(wù)之間毫無交集這當(dāng)然無所謂但實(shí)際業(yè)務(wù)里很多任務(wù)來自同一個(gè)底座能力比如客服話術(shù)和合同摘要都要先做語義理解指令數(shù)據(jù)有重疊標(biāo)簽分布也有重疊我卻為每個(gè)任務(wù)都保存了一份“完整”的低秩適配結(jié)果等于把重復(fù)的知識冗余存了好多遍。更麻煩的是訓(xùn)練流程。4 個(gè)任務(wù)分 4 輪訓(xùn)練每輪都要重新加載底座和數(shù)據(jù)處理管線算力浪費(fèi)倒在其次真正難受的是評估環(huán)節(jié)。前幾天訓(xùn)好的客服 LoRA可能因?yàn)楹笠粋€(gè)任務(wù)的訓(xùn)練過程動了公共數(shù)據(jù)緩存的預(yù)處理邏輯測試結(jié)果出現(xiàn)波動你很難判斷到底是數(shù)據(jù)變了、隨機(jī)種子變了還是真的發(fā)生了災(zāi)難性遺忘。2.2 任務(wù)一多路由層就變成了定時(shí)炸彈常見的多 LoRA 部署方案是訓(xùn)練多個(gè)適配器加一個(gè)路由。但這個(gè)路由只能做粗粒度分流解決不了“同一個(gè) prompt 既涉及意圖識別又涉及情緒安撫”這種重疊場景。我在實(shí)測中遇到過同樣的輸入意圖 LoRA 認(rèn)為是退貨咨詢話術(shù) LoRA 認(rèn)為是安撫情緒最后路由按照優(yōu)先級硬選一個(gè)效果完全靠運(yùn)氣。而且多個(gè) LoRA 之間沒有交互訓(xùn)練時(shí)各訓(xùn)各的無法共享不同任務(wù)都能用到的泛化特征。這種“先分裂、再拼接”的思路本質(zhì)上還是在用系統(tǒng)工程的手段解決模型能力問題。任務(wù)邊界清晰的場景勉強(qiáng)能用邊界一模糊就只能聽天由命。MLoRA 之所以吸引我就是因?yàn)樗选岸鄠€(gè)能力”放在同一套模型參數(shù)框架內(nèi)去組織而不是在模型外堆放一堆互不通信的小副本。這一點(diǎn)在下面的第 4 節(jié)會細(xì)講。3. MLoRA 和它的一眾近親到底差在哪3.1 別再把 MLoRA 理解成“一堆 LoRA 的集合”討論 MLoRA 之前先避免一個(gè)常見誤區(qū)它并不是“把很多 LoRA 塞進(jìn)一個(gè)文件夾”。目前社區(qū)里跟 LoRA 相關(guān)的多任務(wù)方案大概分三類最樸素的多 LoRA每個(gè)任務(wù)一套獨(dú)立低秩矩陣運(yùn)行時(shí)用 Task ID 切換或動態(tài)加載。LoRA 合并/組合訓(xùn)練完多個(gè) LoRA 后直接對權(quán)重做算術(shù)操作像任務(wù)向量一樣相加或相減。專家混合MoE把 FFN 層替換成多個(gè)專家網(wǎng)絡(luò)用門控網(wǎng)絡(luò)按 token 路由。MLoRA 嚴(yán)格來說更接近第一條和第三條的中間態(tài)結(jié)構(gòu)上仍然是“共享底座 多個(gè)低秩頭”沒有換掉主干網(wǎng)絡(luò)結(jié)構(gòu)也不需要在推理時(shí)重新加載整套權(quán)重。訓(xùn)練時(shí)門控會對輸入和任務(wù)條件做統(tǒng)一調(diào)度讓低秩子空間各司其職推理時(shí)你只需要給一個(gè)任務(wù)條件它就能在幾毫秒內(nèi)選中對應(yīng)的低秩路徑。有人會問這不就是 MoE 嗎區(qū)別在于MoE 一般替換的是 FFN 的中間層而 MLoRA 是給原有線性層加并行旁路不改變主干計(jì)算圖MoE 的門控通常走 token 粒度MLoRA 可以走任務(wù)粒度加 token 粒度的混合靈活性更高實(shí)現(xiàn)也更簡單。3.2 與普通 LoRA 訓(xùn)練的本質(zhì)區(qū)別普通 LoRA 訓(xùn)練目標(biāo)只有一個(gè)讓新增的低秩旁路去擬合當(dāng)前任務(wù)的分布。多任務(wù)微調(diào)時(shí)如果分多次訓(xùn)練后訓(xùn)練的任務(wù)會覆蓋前一個(gè)任務(wù)學(xué)到的分布如果把多個(gè) LoRA 合并再一起訓(xùn)練低秩矩陣之間又會互相稀釋。MLoRA 的做法是把這些旁路全都放在同一個(gè)優(yōu)化過程里靠路由區(qū)分樣本來自哪個(gè)任務(wù)共享底座只承擔(dān)“公共表示”部分的更新每個(gè)頭的矩陣只在自己對應(yīng)的任務(wù)數(shù)據(jù)上累積信息從而在優(yōu)化層面隔離了任務(wù)之間的干擾。不過這里說的“隔離”不是絕對隔離。如果門控允許某個(gè) token 同時(shí)激活多個(gè)頭那么多個(gè)頭的梯度就會同時(shí)作用到共享底座上。這本身是特性不是 bug但需要配合負(fù)載均衡否則高頻任務(wù)會持續(xù)污染低頻任務(wù)的頭。這個(gè)坑我放到第 4 節(jié)和第 6 節(jié)細(xì)說。先說一個(gè)重要的結(jié)論MLoRA 不是替代 LoRA 的方案而是“當(dāng)你有多個(gè) LoRA 需求時(shí)用一套框架替代 N 套獨(dú)立流程”的方案。任務(wù)只有一個(gè)的話老老實(shí)實(shí)用 LoRA 就好沒必要引入額外的路由邏輯。4. MLoRA 的機(jī)制拆解共享底座、低秩頭、路由三角色4.1 前向公式里藏著最核心的設(shè)計(jì)思想你可能在其他地方看到過類似寫法我這里用最容易理解的方式再捋一遍。假設(shè)原始預(yù)訓(xùn)練權(quán)重為 W0普通 LoRA 的前向計(jì)算可以寫成y W0x (B A) x其中 A 是 d × r 的輸入投影矩陣B 是 r × d 的輸出投影矩陣r 就是低秩維度。MLoRA 把后半部分?jǐn)U展為多條并行路徑再加上一個(gè)任務(wù)條件 t 和路由權(quán)重 gy W0x Σ_i g_i(t) · (B_i A_i) x其中 i 是任務(wù)編號g_i(t) 是路由函數(shù)對任務(wù) t 輸出的標(biāo)量權(quán)重。前向時(shí)并不是所有 i 都參與計(jì)算為了省顯存通常只取 top-1 或 top-2也就是每個(gè) token 最多激活兩個(gè)低秩頭。這樣一來參數(shù)總量雖然變大了但單次推理的計(jì)算量并不會隨任務(wù)數(shù)量線性增加。數(shù)學(xué)上很好理解如果 g_i(t) 在任務(wù) t 上只把 t 對應(yīng)的頭置為 1其他頭置為 0那公式就退化回多個(gè)獨(dú)立 LoRA。所以 MLoRA 的突破點(diǎn)全在 g_i(t) 怎么設(shè)計(jì)。4.2 門控與負(fù)載均衡為什么不能只讓頭部任務(wù)吃獨(dú)食如果 g_i(t) 完全由任務(wù) ID 決定那么 6 個(gè)任務(wù)就是 6 個(gè)互不相干的分區(qū)和原來部署 6 個(gè)獨(dú)立 LoRA 的區(qū)別就不大了。MLoRA 的優(yōu)勢在于允許門控關(guān)注的不是“你是哪個(gè)任務(wù)”而是“這個(gè) token 更適合走哪條低秩子空間”。所以實(shí)際實(shí)現(xiàn)里門控輸入通常拼接了任務(wù) ID 嵌入和當(dāng)前 token 的 hidden state這樣模型能根據(jù)語義做細(xì)粒度選擇。很多復(fù)現(xiàn)項(xiàng)目忽略的是負(fù)載均衡損失。沒有負(fù)載均衡時(shí)門控會偏向高頻任務(wù)的頭低頻任務(wù)哪怕有專屬頭也可能一個(gè) token 都分不到訓(xùn)完等于白訓(xùn)。我通常會在輔助損失里加一個(gè) λ 控制項(xiàng)懲罰各頭被選中的概率與均等分布之間的 KL 距離。論文里常見的是 Switch Transformer 風(fēng)格的負(fù)載均衡損失直接用任務(wù)頻率作為先驗(yàn)讓各頭的使用率盡量平滑。下面是我常用的一套負(fù)載均衡損失計(jì)算邏輯偽代碼def load_balance_loss(gating_probs, num_heads, target_probsNone): # gating_probs: [batch * seq_len, num_heads] mean_probs gating_probs.mean(dim0) # 每個(gè)頭被的平均激活概率 if target_probs is None: target_probs torch.ones_like(mean_probs) / num_heads # 計(jì)算 mean_probs 與 target_probs 的 KL 散度 kl F.kl_div(mean_probs.log(), target_probs, reductionbatchmean) return klλ 取 0.01 到 0.1 之間比較合適。我試過取 0.5結(jié)果是模型為了滿足均衡直接犧牲了任務(wù)精度得不償失。4.3 可訓(xùn)練矩陣的初始化細(xì)節(jié)這里有個(gè)容易忽略的細(xì)節(jié)每個(gè)頭內(nèi)部的 A_i 用隨機(jī)高斯初始化B_i 初始化為 0。原因和普通 LoRA 一樣是為了保證訓(xùn)練開始時(shí)低秩旁路輸出為 0不會破壞底座權(quán)重。如果所有 B_i 都是 0那么共享底座在第一步仍然只輸出 W0x梯度的初始階段也相對穩(wěn)定。但多個(gè)頭同時(shí)參與時(shí)A_i 的初始化方差如果設(shè)得過大會導(dǎo)致門控梯度噪聲變大。我試過把 A 的初始化標(biāo)準(zhǔn)差從默認(rèn)的 1/sqrt(d) 調(diào)小到 1/sqrt(2d)在任務(wù)數(shù)量較多時(shí)確實(shí)收斂更穩(wěn)。你也可以保持默認(rèn)但學(xué)習(xí)率要相應(yīng)調(diào)低否則訓(xùn)練初期 loss 會像過山車一樣抖動。5. 一份可以直接拿去用的 MLoRA 訓(xùn)練配置5.1 復(fù)現(xiàn)成本與最小硬件需求先說結(jié)論用 7B 級別底座訓(xùn)練 4 到 6 個(gè)任務(wù)的 MLoRA單卡 24GB 顯存足夠。我本機(jī)是一張 RTX 4090上下文長度開到 2048batch size 單卡 2梯度累積 16。如果底座是 13B顯存就要上 48GB或者用兩張卡做張量并行否則會吃緊。相比單任務(wù) LoRAMLoRA 多出來的顯存主要是每個(gè)低秩頭的 A/B 矩陣和路由門控的一小部分參數(shù)增長幅度和頭數(shù)量成正比但遠(yuǎn)小于全參微調(diào)。5.2 超參表我自己跑得比較穩(wěn)的一組我用的可訓(xùn)練參數(shù)量統(tǒng)計(jì)7B 模型32 層 transformerLoRA 作用在 q/k/v/o 上秩 r 用 16加上三套下游頭 MLP總共可訓(xùn)練參數(shù)約 50M 到 60M 之間。如果不知道 LoRA 參數(shù)怎么算簡單記憶法是每個(gè)線性層兩個(gè)小矩陣參數(shù)量約為 2×輸入維度×r再乘以所有掛載層數(shù)量即可。加上任務(wù)專屬分類頭和生成頭之后總參數(shù)還會再漲一截但相比動輒幾十億的全參微調(diào)依然很小。超參數(shù)數(shù)值如下參數(shù)取值說明低秩維度 r16任務(wù)專業(yè)度高可升到 32通用任務(wù) 8 也能用縮放系數(shù) α16和 r 相等即縮放 α/r 1學(xué)習(xí)率2e-4AdamW權(quán)重衰減 0.01門控學(xué)習(xí)率1e-3比主干低秩矩陣的學(xué)習(xí)率稍高批大小32多任務(wù)輪轉(zhuǎn)構(gòu)造后累積等效最大步數(shù)3000 步左右配合早停按驗(yàn)證集波動判斷負(fù)載均衡權(quán)重 λ0.05任務(wù)數(shù)越多λ 可以稍微調(diào)大看起來有點(diǎn)違背“門控學(xué)習(xí)率應(yīng)當(dāng)和主干一致”的直覺但我實(shí)測下來門控如果學(xué)得太慢前期頭選擇隨機(jī)震蕩主干只能學(xué)到任務(wù)無關(guān)的通用表示后期想掰回來很費(fèi)勁。門控學(xué)習(xí)率給高一點(diǎn)它能先穩(wěn)定下來主干后續(xù)再慢慢適應(yīng)路由分布整體收斂效率反而更高。5.3 數(shù)據(jù)組織不要直接拼一個(gè)大混合集多任務(wù)數(shù)據(jù)處理我最開始犯過錯(cuò)誤把所有任務(wù)數(shù)據(jù)直接混成一個(gè) dataset只在每條樣本里加一個(gè) task_id 字段。結(jié)果由于任務(wù)數(shù)據(jù)量不均高頻任務(wù)徹底主導(dǎo)了共享底座和所有頭的更新。后來改成每個(gè) epoch 內(nèi)先按任務(wù)分組每組內(nèi)部 shuffle然后把各組樣本以“輪轉(zhuǎn)”方式拼成 batch。這樣每步更新都包含不同任務(wù)的數(shù)據(jù)低秩頭之間的更新頻率更加均衡。一個(gè) batch 的實(shí)際組織方式可以寫成這樣偽代碼from itertools import cycle task_datasets [load_task(name) for name in TASK_NAMES] iters [cycle(ds) for ds in task_datasets] batch_parts [next(it) for it in iters] final_batch torch.cat([p[input_ids] for p in batch_parts], dim0)這樣每步都會均勻出現(xiàn)每個(gè)任務(wù)的樣本不用額外加繁重的采樣權(quán)重調(diào)參。等到訓(xùn)練后期再逐步切回隨機(jī)混合讓模型去做一些跨任務(wù)的邊界模糊處理效果會更好。對我來說訓(xùn)練過程里唯一需要盯死的指標(biāo)不是總 loss而是每個(gè)任務(wù)獨(dú)有的驗(yàn)證指標(biāo)。多任務(wù)框架的 loss 曲線會掩蓋單任務(wù)的退化如果你只看平均 loss低頻任務(wù)早就崩了你都不知道。6. 實(shí)測效果三種典型任務(wù)組合下的表現(xiàn)6.1 組合一領(lǐng)域相似但標(biāo)簽體系不同我先把“客服意圖識別”和“工單分類”放進(jìn)同一個(gè) MLoRA 里。這兩個(gè)任務(wù)共享大量口語表達(dá)但標(biāo)簽體系完全不同。單獨(dú)訓(xùn)練兩套 LoRA 時(shí)意圖識別的 F1 在 0.89工單分類 F1 在 0.86。MLoRA 訓(xùn)練后兩個(gè)任務(wù)分別達(dá)到 0.90 和 0.88原因很直觀共享底座里去掉了任務(wù)專屬偏置語義表示更通用子空間按任務(wù)切分反而各得其所。這個(gè)結(jié)果讓我意識到一個(gè)重要規(guī)律MLoRA 最擅長處理的不是“一堆八竿子打不著的任務(wù)”而是“共用底層語義、只是上層決策不同”的任務(wù)群。它把公共部分留給底座把差異化部分留給低秩頭分工明確。6.2 組合二任務(wù)之間有重疊但輸出形式不同合同關(guān)鍵信息抽取和摘要生成的輸入輸出差異很大一個(gè)是抽取式 span一個(gè)是生成式摘要。讓這兩類任務(wù)強(qiáng)行共享低秩頭不是不行但會出現(xiàn)“抽取模塊和生成模塊搶梯度”的現(xiàn)象一個(gè)任務(wù)收斂快了另一個(gè)任務(wù)驗(yàn)證損失就開始反彈。我最后強(qiáng)制把二者的頭設(shè)置為分離共享底座部分正常更新問題就消失。這也說明 MLoRA 不是徹底消滅任務(wù)沖突而是把沖突面從“整個(gè)模型層”縮小到“子空間邊界”。判斷哪些頭該共享、哪些頭該分離目前沒有量化公式我自己的經(jīng)驗(yàn)是輸出形式差異越大頭越要分離輸入分布差異越大底座越要分開或者換更大的底座。6.3 組合三數(shù)據(jù)量差異特別懸殊低頻任務(wù)樣本只有 2000 條高頻任務(wù)樣本有 5 萬條。單 LoRA 微調(diào)低頻任務(wù)極易過擬合直接混合訓(xùn)練低頻任務(wù)會被淹沒。MLoRA 里我給低頻任務(wù)單獨(dú)開了一個(gè)頭并把它在前 500 步的采樣比例人為抬高到 30%之后逐步降低到自然比例。這種訓(xùn)練曲線用普通 LoRA 做不了因?yàn)槠胀?LoRA 只有一個(gè)優(yōu)化目標(biāo)難以對不同任務(wù)施加不同步調(diào)。MLoRA 的熱啟動策略則簡單粗暴但有效在模型還沒看清低頻任務(wù)分布的時(shí)候高頻任務(wù)已經(jīng)把共享底座帶向了它的主場。前 500 步有策略地“偏科”后續(xù)再讓共享底座回歸正常分布相當(dāng)于給低頻任務(wù)搶了一個(gè)好的初始化狀態(tài)。7. 上線部署與推理加速多出來的頭怎么處理7.1 合并權(quán)重時(shí)的三種選擇MLoRA 訓(xùn)練完最終產(chǎn)物是共享底座權(quán)重 W0 和一組低秩頭 (B_i, A_i)。上線時(shí)無非三種做法第一種把每個(gè)頭合并回底座變成獨(dú)立 LoRA保持原來多 LoRA 部署架構(gòu)不變。這種方式在只支持單 LoRA 的引擎上最省事但失去了“按需加載”的優(yōu)勢。第二種保留“底座 多頭”格式用支持 adapter 調(diào)度的框架在推理前動態(tài)加載對應(yīng)頭。顯存更省但需要選對推理框架。第三種直接把所有權(quán)重復(fù)合進(jìn)完整權(quán)重輸出一份大模型。這樣推理最快但新增任務(wù)時(shí)必須重跑一次合并靈活性最差。我最終選了第二種。如果只是想快速驗(yàn)證效果第一種最穩(wěn)代碼改動最小。第三種適合對延遲極其敏感且任務(wù)基本不再增長的場景。7.2 推理時(shí)門控是否還用得上如果你在上線時(shí)只按任務(wù) ID 切換頭那訓(xùn)練時(shí)門控在推理階段就不參與計(jì)算如果希望在線服務(wù)能自動對開放域 query 做路由那就保留門控。兩種我都跑過保留門控會讓精度略微提升但排查問題時(shí)多了一個(gè)無法解釋的變量。所以如果業(yè)務(wù)任務(wù)邊界清晰建議生產(chǎn)環(huán)境先關(guān)閉門控把歸屬問題留給上層任務(wù)分發(fā)器解決。等線上數(shù)據(jù)驗(yàn)證確實(shí)存在跨任務(wù)混用需求時(shí)再把門控加上也不遲。先讓系統(tǒng)簡單再讓系統(tǒng)聰明這條順序別顛倒。7.3 服務(wù)化時(shí)最容易被忽略的顯存坑多頭權(quán)重在加載進(jìn)顯存時(shí)如果按 PyTorch 默認(rèn) dataclass 存儲每多一個(gè)頭都會產(chǎn)生一系列 Python 對象開銷。我實(shí)際啟動服務(wù)時(shí)發(fā)現(xiàn)8 個(gè)頭加載后顯存占用比理論值多了 2.5GB全部來自 adapter 配置對象的元數(shù)據(jù)緩存。處理方式很簡單把檢查點(diǎn)里每個(gè)頭轉(zhuǎn)成 safetensors 分片只加載當(dāng)前任務(wù)需要的頭其他頭留在磁盤。這樣不僅啟動快顯存也從 21GB 降到了 17GB 左右。另外如果你用 vLLM 這類推理框架要注意它對新 adapter 的加載方式。很多框架默認(rèn)把每個(gè) adapter 的權(quán)重全部 preload 到顯存多任務(wù)場景下顯存會被無謂占滿。我最后用的是一個(gè)簡單的外層調(diào)度每個(gè)請求只把對應(yīng)任務(wù)的頭從磁盤加載進(jìn)來請求結(jié)束立即釋放。額外增加的延遲在毫秒級別但能換來更大的并發(fā)密度。8. 三個(gè)必須提前想清楚的問題8.1 任務(wù)數(shù)超過多少個(gè)該停手我的經(jīng)驗(yàn)是任務(wù)數(shù)超過 8 個(gè)以后MLoRA 的訓(xùn)練曲線會明顯波動各頭更新頻率重新變得不均衡負(fù)載均衡損失也很難壓住。這時(shí)候把任務(wù)做分層先按領(lǐng)域聚成 3 到 4 組每組內(nèi)部再用 MLoRA 多任務(wù)訓(xùn)練反而比強(qiáng)行一把梭更穩(wěn)。任務(wù)不是越多越好MLoRA 解決的是“中等數(shù)量任務(wù)的共享問題”不是無限擴(kuò)展的萬能藥。如果你真的遇到 20 個(gè)以上的任務(wù)我建議先做任務(wù)聚類再把聚類結(jié)果交給路由。比如把 20 個(gè)任務(wù)聚成 4 個(gè)簇每個(gè)簇內(nèi)部共享一個(gè)低秩頭這樣參數(shù)規(guī)??煽厝蝿?wù)沖突也最小。8.2 和全參微調(diào)相比MLoRA 到底犧牲了什么全參微調(diào)能對底座做大規(guī)模重排適合改動非常大的遷移。MLoRA 受限于低秩旁路能表達(dá)的偏移空間是在 r 維子空間里。若任務(wù)需要模型理解一種底層邏輯差異比如從通用對話遷移到代碼生成低秩旁路覆蓋不了這種結(jié)構(gòu)性變化。這時(shí)候哪怕加更多頭也沒用我的判斷是直接換底座或全參微調(diào)才是正路。如果你不確定任務(wù)是否超出了低秩旁路的能力范圍可以先做一個(gè)快速診斷用 500 條任務(wù)數(shù)據(jù)訓(xùn)練一個(gè)單 LoRA看驗(yàn)證集上的分?jǐn)?shù)是否達(dá)到業(yè)務(wù)線。如果單 LoRA 都達(dá)不到MLoRA 只會讓事情更復(fù)雜不會讓效果變好。這不算嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)證明但作為項(xiàng)目決策依據(jù)足夠了。8.3 文檔里不提的經(jīng)驗(yàn)關(guān)于 α/r 的爭議網(wǎng)上一大半文章說 LoRA 里 α 要設(shè)為 r 的 2 倍理由是輸出縮放更平滑。我在 MLoRA 多任務(wù)訓(xùn)練里試過 α r 和 α 2r前者的收斂更快后者在測試集上波動更小。沒有絕對正確只有針對場景的選擇。最關(guān)鍵的是整個(gè)模型里所有頭要保持一致的縮放。如果任務(wù) A 的 α/r 是 1任務(wù) B 的 α/r 是 2低秩子空間之間的相對尺度就失去可比性路由判斷也會失真。所以我把“所有頭統(tǒng)一 α r”寫進(jìn)了團(tuán)隊(duì)規(guī)范比每次臨時(shí)調(diào)參靠譜得多。另外還要注意新增任務(wù)的初始化不能直接復(fù)制現(xiàn)有頭的 A 和 B否則新任務(wù)會先繼承舊任務(wù)的語言習(xí)慣需要很長時(shí)間才能“洗”回來。正確做法是新頭保持隨機(jī)初始化、B 置 0然后只讓新任務(wù)的數(shù)據(jù)參與前幾百步更新等它的 loss 開始下降再放開門控。9. 一些關(guān)于后續(xù)延展的想法MLoRA 最近吸引了很多研究者把它和持續(xù)學(xué)習(xí)、模型合并、參數(shù)高效微調(diào)這些方向結(jié)合起來看。我自己的實(shí)踐體會是它最大的價(jià)值在于改變了“一個(gè)任務(wù)一份權(quán)重”的慣性思維。你不再需要為每個(gè)小任務(wù)維護(hù)一套完整的微調(diào)產(chǎn)物而是可以把任務(wù)拆解成共享底座上的一個(gè)可插拔頭。這也是我目前比較推薦的實(shí)踐路徑先跑通單任務(wù) LoRA確認(rèn)任務(wù)本身可學(xué)再在業(yè)務(wù)量級上做一輪任務(wù)聚類判斷哪些任務(wù)適合共享底座最后才是引入 MLoRA 的多頭結(jié)構(gòu)。順序反了很容易被路由調(diào)參、負(fù)載均衡這些問題淹沒。如果你想在項(xiàng)目里落地 MLoRA最好從 2 到 3 個(gè)相似任務(wù)開始不要一上來就塞 10 個(gè)任務(wù)。一個(gè)小規(guī)模的驗(yàn)證能幫你快速確認(rèn)底座是否適合這些任務(wù)、路由模塊是否穩(wěn)定、顯存和延遲是否滿足要求。驗(yàn)證通過后再逐步增加任務(wù)數(shù)量。這個(gè)節(jié)奏走下來踩坑的概率會小很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
va亚洲中文在线| 婷婷五月丁香久久| 久婷自拍视频| 亚洲精品白浆高清久久久久久| 五月丁香激情六月| 亚洲激情免费久久| 亚洲另类婷婷综合| 日韩伊人大香蕉| 欧美色五月| 99re在线这里只有精品视频首页| www.激情在线| 99性视频| 久久伦乱| 婷婷色中文| 激情丁香五月婷婷| 99久在线精品99re8热| www.五月天社区| 99热国产精品| 热五月婷婷| 变态 另类 在线| 五月丁香综合| 玖玖在线| 激情五月天婷婷| 婷婷 激情 五月| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 婷婷丁香五月综合| 丁香六月婷婷综合啪啪| 五月丁香亚洲综合网| 台湾无码A片一区二区| 丁香五月综合狠狠| 97一区二区| 99热这里只有精彩| 熟女激情五月天| 五月丁香综合激情| 九九这里只有精品| 思思热视频在线| 久久机热这里只有精品| 99热精品一| 亚洲综合网区| 色五月丁香激情视频| 五月丁香网视频| 色婷婷五月天成人网| www.9色色色| 欧美天堂婷婷日韩| 激情国产五月| 野外99热| 密乳Va| 十二区无码| 久久综合婷婷| 国产精品久久久久久久久久免费| 少妇熟女视频一区二区三区| 色婷婷五月天av在线| 婷婷五月天av| 狠狠爱成人综合网| 青青日韩| 五月婷婷激情性爱| 色色精品色| 欧美日韩99| 国产精品久久久久久白浆色欲| 日韩另类在线观看| 6月丁香婷婷| 男女99免费视频| 大香蕉久操| 四虎成人精品永久免费AV九九| 亚洲色人妻| 五月天激情网址| 色99免费视频中文| 久久99婷婷| 秋霞A V毛片| 丁香六月激情四射| 日韩草草草草草草草草草草草草| 久热最新视频| 婷婷九月丁香| 5月丁香啪啪啪| www.超碰在线| 中文字幕不卡网站| 色天堂A| 人妻熟妇国产精品| 中文字幕丁香五月| 可以直接看的av| 天天色亚洲| 26UUU精品一区二区| 亚洲五月婷婷| 色五月激情网| 精品日本视频444| 操碰99在线视频观看| 中文av在线观看| 九色无码| 久热这里有精品视频| 丁香六月色情| 婷婷五月天AV在线| 内射干少妇亚洲69XXX| 免费超碰在线观看| 青青草色在线视频观看| 激情五月婷婷伊人| 九九热10| 蜜臀久久99精品久久久久久酒店| 狠狠爱婷婷| 精品久色| 婷婷婷婷婷婷婷婷| 婷婷色色网| 色色色五月天婷婷| 涩五月婷婷| 天天综合图片| 色综合丁香婷婷| 可以看的av| 久久婷婷六月综合国际| 久久激情天堂| 99这里都是精品| 激情婷婷五月丁香啪啪啪| 51XX嘿嘿午夜无码| 热久久66| 九九热只有精品| 国产乱子轮XXX农村| 人人干人人操外国| 激情丁香淫荡婷婷| 久九色| 天天日天天久久青青| www.综合久久| 国精产品久久| 婷婷激情综合网| 婷婷国产五月天17c| 婷婷五月色| 天天狠狠色噜噜| 91婷婷色 | 免费黄色片子| 婷婷色色欧美| av性爱在线| 可以看的AV| 九九九九九九九九九九九九九国产精品| 91偷拍视频| 婷婷天天综合| 色五月网址| 激情婷婷九月| 色五开心五月五月深深爱| 五月天色图| 激情婷婷在线| 伊人狠狠干| 丁香五月婷婷啪啪| 久婷婷婷| 综合狠狠干| 综合色色五月| 五月婷婷成人w| 久久激情天堂| 人人爽欧美婷婷久久久五月丁香| 丁香婷婷伊人| 久久caop| 五月丁香网站在线播放| 婷色五月| 亚洲综合激| 久久婷丁香五月| 婷婷丁香五月视频| 色综合色综合网| 五月天婷婷色色| 色色色色色五月丁香| 亚洲精品五月| 激情综合网婷婷五夜| 台湾综合丁香五月蜜桃| www.操.com| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 91九九| 激情综合色婷婷啪啪六月天| A久久| 精品热九九| 五月色情婷婷开心五月色情| 天天弄天天操| 狠狠干总合| 丁香五月天视频| 日本3级片偷拍网站| AAAA网站| 婷婷五月综合啪| 日本五月天婷婷丁香| 久草x色在线观看99| 狠狠狠狠免费| 成人做爰高潮A片免费视频| 伦乱美欧| 久久性爱网| 九九视频在线观看视频6 | www.婷婷五月| 婷婷久久综合| 五月天婷婷网站| 六月丁香五月婷婷| 婷婷区日本| 婷婷亚洲天堂| 激情 婷婷 丁香五月天| 91免费试看| 五月深爱激情网| 97操资源婷婷| 五月天色五月| 亚洲av网站| www、丁香五月天| 91亚洲天堂| 亚洲最大五月六月丁香婷婷| 亚洲色综合| 欧美熟女99| 天天爱天天爽| 天天肏夜夜肏| 色婷婷激情| 丁香六月开心| 狠狠干狠狠干| 5月婷婷五月天| 伊人大香久久| 99ri视频| 99在线精品视频免费观看20| 中文字幕视频在线播放| 99热热热天天人人人超超碰| 人妻aV在线| 99精品热| 色色图五月天| 色色婷| 天天做天天视天天谢| 国产又粗又大又爽又黄| 99热精品在线观看| 狠狠干在线视频| 好吊兆人妻| 色99在线| 思思99re这里只有| 一起草av| 黄久久久| 两性婷婷丁香五月| 欧美性生交XXXXX无码小说 | 五月天婷婷综合网| 99热思思| 亚洲精品五月| 婷婷色五月综合丁香| 五月天婷婷涩涩| 9l视频自拍九色9l视频自拍九色9l社区 | 日本久久人人| 99热一本久道| 成人美女网| 秋霞AV淫| 97欧美在线| 激情婷婷另类| 六月婷婷色五月| 在线伦子99热| 高清a片基地| 婷婷射图| 欧美99视频| 五月天婷婷乱| 亚洲综合丁香婷婷六月天| 九九av在线| 日韩一本操| www.色婷婷| 99久在线精品99re8| 免費亭亭成人| 琪琪理论片| 久久婷婷五月综合色奶水99啪| 西西4r午夜剧场| 五月丁香成人网| 婷婷永久在线| 人妻中文在线| 婷婷91| 婷婷五月天激情免费在线观看| 丁香五月婷婷综合视频| 色色色综合视频| 久久久ww| 91婷婷在线| www.精品久9| 色9999综合久久| 热91久| BBWCUCKOLD精品熟妇| 99性色| 9精品在线| 26uuu丁香婷婷五月| av操一操| 9热精品| 人人摸人人搞| 1024国产在线| 人妻视频一区而且二区| 亚洲免费成人电影AV| 99原创自拍视频在线观看| 超碰99热| 丁香五月婷中字在线| 风流少妇A片一区二区蜜桃| 无码激情AAAAA片-区区| 综合福利网| 噼里啪啦完整版中文在线观看 | 亚洲狠狠丁香婷婷香蕉| 一本狠婷婷综合| 97爱艹婷婷开心丁香激情综合| 国产无遮挡又黄又爽免费网站| 久热大香蕉| 婷婷狠狠操| 一起草AV| 欧美亚洲色色色色| 久久机热探花| 97久久人人操| 五月综合影院| 五月天综合色| 久久五月天婷婷| 二色av| 婷婷狠狠干| 极品嫩草| 91人妻色色网| 丁香五月天的网址。| 久色资源网| 色色色色网| 九九色欲网| 99在线小视频| 七七久久综合| 天天干,天天舔| 天天狠狠插| 色五开心五月五月深深爱| www天天色天天射| 丁香婷婷九月| 成人国产欧美大片一区| 九九色区| 五月的丁香六月的婷婷| 五月天亭亭俺也| AV在线大香蕉| 九九成人电影婷婷| 新激情五月天色播| 婷香五月激情视频| 综合网色综合| 夜夜爽日日躁| 国产91视频| 少妇人妻偷人精品无码视频新浪| 色一情一乱一乱91Av| 久久99热这里只有| 九九色播五月丁香| 91人人爱| 激情五月深爱五月| 思思热在线观看| 婷婷色婷婷| 婷婷性爱五月天丁香网| 琪琪秋霞| 五月丁香婷婷网在线在线| 日韩视频99| 99热这里只有精品5| 国内一级片| 婷婷五月综合丁香久久| 六月丁香啪啪| 欧美VA在线| 91九色精品女同系列| 五月色综合| 五月丁香综合啪啪| 玖玖爱导航| 97福利视频| 亚洲色欲欧美一区二区三区| 66色在线日韩| 在线播放成人网站| 丁香婷婷色情| 爱草视频在线| 激情婷婷丁香| www.色九月| 丁香五月婷婷婷婷欧美综合| www.五月天| 国产精品电影| 婷婷成人综合| 思思热在线视频精品| 九九免费视频| 国产精品24r| 亚洲精品成人| 超级碰人人操人人干| www.无码com| 亚洲婷婷开心五月| 99精品在线播放| 人妻在线观看视频| 欧美婷| 操操人人| 欧亚中文A V| 亚洲激情丁香五月天色| 丁香五月婷婷五月天| 亚洲综合碰| 日本在线视频手机播放五月婷| 亚洲色夜| 五月婷婷六月丁香玖玖玫瑰91| 国产婷婷五月中文字幕高清| 网站免费一站二站| 日本婷婷在线| 国产avapp 网| 久9久成人精品视频| 婷婷五月深深爱| 久久久久人妻网址| 一逼色综合| 日日噜狠狠色| 欧美久久网| 五月婷婷五月丁香| 五月天综合色| 亚洲第一精品成人999久久精品| 这里只有精品视频| 婷婷久久视频| 亚洲成av人影院| 六月丁香婷婷色狠狠久久| 91热网址| 久久久大香蕉| 五月婷婷av| 久久婷婷视频| 五月丁香免费看| 人人操女人| 五月天六月婷婷| 开心五月色婷婷综合开心网| 人色五月天婷婷| 九九视频这里只有精品| 五月天无码| 久久激情天堂| 大香网伊人久久综合| 第四色大香蕉| 99爱免费在线观看| 五月婷婷视频| AV天堂婷婷五月天| 人人妻人人澡人人爽| 婷婷丁香五月天中文字幕| 丰满少妇乱A片无码| 开心婷婷中文字慕| 免费观看全黄做爰的视频| 五月丁香婷婷福利| 无人区码一码二码三码医生系列| 婷婷色情五月| 国产精品久久久久9999小说| 久久婷婷丁香| 五月丁香六月婷婷啪啪综合 | 久9久9久9久9久9久9| 久久99看免费| 97啪啪| 国产色丁香| 色狠狠综合| 热九九在线| 亚洲激情综合| 亚洲婷婷欧美婷婷| 五月总合激情网| 少妇水多A片太爽了| 亚洲婷婷激情888精品久| 一本婷婷丁香久久| 色五月天激情| 五月色俺婷婷| 婷婷免费无马| 丁香五月影| 秋霞少妇毛片| 亚洲综合激情五月久久| 丁香婷婷射| 久久全色| www.99热| 99re6久热只有精品6在线直播| 亚洲欧美婷婷五月色综合| 久久XX| 深爱激情av| 182TV亚洲| 伊人久久99| 蜜桃婷婷丁香| 啪啪色激情五月天| 五月丁香婷婷啪啪网| 六月激情婷婷| 天天透天天爱| 九九热在线观看视频网站| 五月婷婷综合性爱噜噜| 国产美女无遮挡裸体毛片A片| 99九九视屏| 91avse| 亚洲欧洲中文日韩久久AV乱码| 五月激情综合美女久久| WWW、日本色丁香co m| 国产99久9在线+|+传媒| 中文字幕按摩做爰| 色五月91| 人妻久久久久久| 色六月天天激情综合网| 激情爱爱网站| 97操碰在线视频| 亚洲精品又粗又大又爽A片 | 五月丁香婷婷基地| 婷婷瑟瑟五月天| 五月婷婷在线丁香| 涩婷婷视频快播人妻| 久久丁香五月| 五月婷婷激情| 五月天最新网| 天天爽天天摸天天爱| 色色五月天丁香| 丁香色六月婷婷| 97人妻人人| 人妻中文在线| 99热精品在线观看| 五月婷婷人妻| 99热这里只有精品一| 91色九| 亚洲啪啪自拍| 伊人超碰在线| 丁香五月激情啪啪综合| 91在线操逼视频| 亚洲人妻AV| 九九综合色| 99热| 天天日天天舔| 99热首页| 天天噜天天爱| 思思热在线免费视频| 色婷婷丁香五月天在线视频| 婷婷丁香五月av| 国产av影片| 综合久久综合五月天婷婷| 日本熟妇乱妇熟色A片蜜桃| 国产这里只有精品| 五月综合色| 丁香婷婷激情六月五月开心| 久久久大香蕉| 日韩成人网址| 可以看的av| 99操视频| 99热精品在线在线| 欧美叉叉叉BBB网站| 天天干夜夜想| 色五月丁香五月| 婷婷丁香五月,狠狠综合| 开心激情网五月| 99热精品9| 色婷婷成人影片| 亚州激情在线视频| xxx日本东京热| 伍月激情天| 巴基斯坦粉嫰无码视频| 亚洲婷婷丁香五月视频| 综合激情视频| 99色综合网| 伊人婷婷五月天| 国产激情久久久| 九九aV| 99热这里都是精品| 青青草99re| 少妇人妻凹凸视频| www.狠狠干| 开心五月丁香婷婷| 橾逼网| 五月天婷婷基地| 97碰在线| 超碰婷婷色| 99国产欧美视频| 97色五月婷婷在线| 六月婷婷九月丁香| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 天天色伊人| 五月婷婷开心综合| 日韩成人无码人妻| 少妇熟女视频一区二区三区| 在线中文字幕免费视频| 少妇真实被内射视频三四区| 五月婷婷啪啪啪| 成人片久久网站| 中文aV网| 少妇性按摩无码中文A片| 美女五月狠狠| 中文字幕丰满孑伦无码专区| 五月丁香人妻| AV 3P| 丁香五月天在线| 色色日本欧美| 黄色中文字目| 九色无码| 久久一热| 中文幕无线码中文字蜜桃| 国产乱妇乱子在线播视频播放网站 | 综合大香蕉| 日日躁夜夜躁狠狠久久AV| 日本A片一区| 91精品久久久久久久久久久久| 色视五月天婷婷| 婷婷五月丁香综合桃花色网| 天天做天天视天天谢| 色日本网| 北京熟妇搡BBBB搡BBBB| 欧日韩成人| 五月成人综合| 91呦呦呦| 亚洲五月婷天天操| 激情六月天| 综合五月丁香六月婷婷| 狠狠人妻久久久久久综合丁香| 操操自拍| 99热热热国产超碰| 激情六月婷婷| 激情综合网激情五月丁香五月俺也去| 99视频超级精品| 激情深爱综合网| 久热9| 伊人五月婷婷| 月婷婷婷婷五月| 婷婷五月丁香激情图片 | 伊人婷婷大香蕉| 一区二区无码视频| 99.色| 丁香九月激情| 天天爽天天日人人爱| 久婷五月| 丁香婷婷黄网站| 色狠狠婷婷| 99熟女| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 色99在线| 久热91| www.玖玖九| www.色欲丁香婷婷| 婷婷色在线视频| 97色色婷婷五月天| 色综合久久伊伊婷婷五月| 亚洲综合在线丁香五月| 丁香色五月天| 五月天激情小说网| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 九九色影视| 色综合久久88色综合天天看| 亚洲国产成人在线| 五月天婷婷青青草| 996er热| 色色综合色视频| 精品A√| 婷婷丁香花五月天| 激情五月丁香五月| 久草婷婷在线| 五月丁香六月色婷| 久久99成人性爱高清视频| 99热这里只有精品3| 99色在线| 在线观看免费观看在线9久| 91VIP在线观看| 人人九色| 操逼福利视频| 九九99在线免费在线观看视频| 97热91| 日本情色一区二区| 天天插综合在线| 国产VA亚洲VA96| 亚洲免费观看高清完整版AV线| 这里只有精品视频在线| 婷婷七月丁香色色| 婷婷五月天伊人网在线观看视频| 欧美Va婷色| 久久一级AV| 激情综合99| 99热骚货| 99超级碰免费视频| 9久久久| 天天摸天天爽| 午夜成人网站在线观看| 99热午夜精品| 99综合在线| 99re这里只有精品首页| 思思久久99| 婷婷色基地在线看 | 大战熟女丰满人妻AV| 欧美色偷偷大香| 思思99热热热99| 婷婷五月丁香伊人网| 日韩色色视频| 久久182| 五月天伊人av| 五月婷婷激情久久| 伊久大香蕉| 国产av基地| 丁香五月婷婷色播艳门照| 国产精产国品一二三在观看 | 日日色综合| 9久久久久久久久久久| 色婷婷丁香AV综合| 九月丁香| 99九九精品视频| 色五月成人| A色色| 五月激情婷婷丁香| 国产精品电影| 激情丁香婷婷| 人人草人| 亚洲五月六月婷婷| 国产Va视频| 日韩啪啪视频| 五月天激情黄色小说在线观看| 六月丁香色婷婷| 丁香花狠狠婷婷亚洲中文字幕| 这里只有精品热| 色婷网| 97操碰碰无码视频| 激情综合网激情五月天| AV中文字幕夜夜操b天天摸bb| 五月天激情婷婷五月天久久| 亚洲精品第一色色色色色色| 丁香五月婷婷久久久| 大香蕉久艹| 日韩成人综合网| 丁香六月婷| 色婷成人狠干| 色久综合天天做视频| 久久综合九九| 五月婷婷视频啪啪美女| 九九99久久| 亚洲 25P| 农村熟妇高潮精品A片| 综合狠狠伊人| 亚洲国产精品二二三三区| www色婷婷久久综合久色 | 五月婷婷丁香俺日污视频| 婷婷综合av| 亚洲成人电影aaaa| 激情五月婷婷| 秋霞簧片| 国产综合丁香五月天| 婷婷五月丁香基地| 久久久91精品| 色香久久| 婷婷五月天堂| 大香蕉精品视频| 干亚洲天堂| 国产精品扒开腿做爽爽爽A片唱戏 青青草国产亚洲精品久久 | 色播五月天激情| 99久久精| 久久亚洲婷婷| 天天成人综合视频| 九九色院| 五月丁香激情综合网| 97人人射| 天干干夜夜操| 国产成人精品一区二三区熟女在线| 五月婷婷色丁香| 婷婷激情六月中文| 丁香五月六月婷婷综合| 婷婷五月AV| 国产精品人人做人人爽人人添| 色丁香在线视频| 97日本在线播放| 婷婷丁香五月激情密臀av| 色玖玖综合网| 婷婷五月花| 激情五月天 婷婷| 五月色婷婷影院| 婷婷综合五月| 色婷婷狠狠干芒果TV| 538任你爽视频不一样的| 狠狠干婷婷| 亚欧州精品视频| 99精品视频在线观看| 国产一二三四五六七八视频| 久草五月天| 99国产精品白浆在线观看免费| 久色欧美| 天搞天天天天天| 久青草大香蕉| 91精品久久久久久| 天天日夜夜草进麻麻的子宫| 婷婷五月丁香花综合| 婷婷99狠狠| 伦99热| 婷婷99中文字幕| 这里只有精品视频| 丁香五月乱中文字幕| 开心久久五月天| 91 影音先锋| 日本九九网| 激情五月六月丁香| 色播五月综合网| 色色色综合网| 亚洲AV成人精品日韩在线播放| 草美女在线观看视频在线播放| 婷婷性爱五月天丁香网| 超碰97干| 五月六月婷| .操區COm| 国产毛多水多女人A片| 97色在线视频| 婷婷射丁香| 婷婷人人操| 99热大| 激情综合色| 天插天啪天啪天啪| 婷婷五月蜜桃成人桃色丁香| 久热这里只有精品在线| 婷婷色激情网| 色玖玖玖| 五月情涩综合婷婷| 日韩性爱AV| 五月婷婷激情久久| 4399在线日本A片| 精品国产va久久久| 激情精品久久| 色五月婷婷五月丁香五月激情五月视频| 色玖玖网| 国产亚洲99久久精品| 久久婷婷五月综合激情国产 | 日本超碰在线| 97爱艹婷婷开心丁香激情综合| 九九大香视频| www.婷婷.com| 四色五月婷婷| 狠狠999| 五月激情综合婷婷| 先锋五月婷婷丁香草草| 涩涩婷婷五月| 色网站9| 欧美S码亚洲码精品M码| 国精产品一区一区三区免费视频| www.99在线| 色色日本欧美| 91成人看片| 五月六月激情婷婷| 婷婷五月丁香基地在线视频官网| 99热这里有精品首页10| 激情五月瑟瑟| 五月亭亭色| 任我肏视频精品| 六月婷婷综合网2| 五月天婷婷青青草| 成人在线二区| 激情AV| 开心激情网五月天| 五月丁香六月激情欧美综合| 欧美日本另类| 婷婷色情六月| 激情内射p| 婷婷色婷婷| 丁香五月婷婷五月| 色五月天综合网| 激情图片婷婷丁香五月| 激情五月色播五月| 天天爽天天摸天天爱| 99狠狠操一| 丁香婷婷月| 丁香婷婷六月| 丁香五月欧美| 日韩色色视频| 五月婷色色| 五月婷丁香| 99热都是精品| 国产成人精品一区二三区熟女在线| 成人 在线 日韩| 国产肥白大熟妇BBBB视频| 国产av天天插天天操天天爽| 成人性生活免费观看。| www.日本91| 九月激情网| 97操在线视频| WWW五月天| 99er在线观看| 九色视频这里只有精品| 久久婷婷综合五月趴| 色99网| 久久人妻伦理| 超碰在线观看99| 久久国产色| 乱精品一区字幕二区| 国av网| 日本高清不卡免费一区二区三区| 91精品91久久久中77777久久玖玖九九| 九月av| 久热一本| 欧美婷| 99精色| 丁香五月天激情视频| 天天摸天天透天天舔| 亚洲情色一区| 丁香五月综合| 久久丁香综合香蕉| 九九精品99久久久| 玖玖色综合| 色婷婷五月天激情久久| 午夜丁香婷婷| 色综合九九| a在线观看| 久久婷婷大香蕉| 亚洲熟女色| 99热无码精品| 思思热在线| www.狠狠| Www.se.久久| 色婷婷五月色| 伊人青草成人| 99色视频| 能看的av| 五夜丁香| 亚洲丁香五月综合| 夜夜撸天天操| 九九色色| 蒲京久久无码视频| 色五月婷婷五月丁香五月激情五月视频| 五月丁香在线国产| 五月综合无码| 99视频| 色婷婷啪啪啪啪啪啪| 成人网丁香五月| 永久免费一区二区三区| 极品少妇高潮啪啪AV无码| 中文字幕综合| 五月婷婷免费视频| 日本丁香五月| 大鸡巴伊人网| 天天色天天日| 婷婷综合一二三| 久久av电影| 婷婷激情四射| 久久婷婷电影| 激情丁香五月天综合| 婷婷久久综合| 成人无码髙潮喷水A片| 欧美 日韩 成人 在线| 思思热再线视频| 中文久久婷婷| 婷综合六月| 99在线视频免费| 久久精典| 丁香五月激情综合久久| 五月激情婷婷综合| 婷婷免费视频| 午夜天堂一区人妻| 五月天激情综合网站| 久久天天| 婷婷婷婷午夜| 亚色网站小视频| 五月婷婷啪啪网| 光棍影院日韩精品| 亚洲色域网| 久久久com| 久热91精品| 婷婷五月天啪啪| 丰滿爆乳一区二区三区| 天天做天天要天天爱| 亚州操人在线视频| 久9热在线免费观看| 欧美色骚婷婷五月天| www.99热视频| 26UUU欧美激情一区二区| 99色区| 久热免费| 丁香九九九九| 色色丁香五月天| 婷婷色五月天色| 天天天综合网| 高潮毛片又色又爽免费| 大香蕉久久伊人婷婷五月丁香| 色综合激情| 久久九九国产| 伊人久久大香线蕉av一区| 综合九色| 亚洲五月丁香综合网| 久久婷婷视频| 91丨九色丨国产打屁股| 欧美操人| 成人婷99最新| 色综合色综合网| 婷婷五月综合色拍| 99这里有精品| 九九久久99精品免费观看www| 激情五月五月婷婷| 青青草原伊人网| 人人爱人人摸人人澡| 狠狠色综合久久久久| Www.激情| 97ai婷婷| 日熟女| 99精品超在线播放| 激情五月天 婷婷| 俺去婷婷 丁香| 五月丁香在线婷婷美女| 99热久久日本| 五月丁香婷婷免费视频| 色婷婷丁香综合中文字幕| 日本人妻久久| 久9热在线视频| 99九九综合久久九九| 天天操夜夜操| www.91婷婷| 色综合久久44| 婷婷久月| 色婷视频| 天天日日天天| 免费视频WWW在线观看网站| 678五月丁香亚洲综合| 国产伦亲子伦亲子视频观看 | 公的粗大挺进了我的密道| 色波激情五月天| 超碰在线日夜| 亚洲女婷婷五月基地综合久久久| 六月婷婷激情| 二色av| 免费精品99| 丁香五月欧美色综合| 九九Y精品热播| 色五月激情| 97碰超级人人看| 婷婷亚洲天堂| 99精品这里只有免费视频| EEUSS鲁片一区二区三区| 99热99热不卡| 综合激情站| 婷婷丁香五月综合免费视频百花| 五月天伊人久久久久| 婷婷激情在线| 日本一道久久| 办公室少妇激情呻吟A片在线观看| 激情影院免费视频婷婷五月天| 天天射天天操天天干| 日本va欧美va欧美| 97五月婷婷| 青青青在线视频国产| 337午夜福利| 日韩成人综合网| 开心五月色婷婷综合开心网| 夜夜爽天操| 97人人超| 啪啪日热| 97干网站| 色播五月天天| 亚洲视频久久| 俺去也五月| 99综合色| 中文字幕激情综合| 久久综合99综合| 九九热最新地址| 粉嫩av蜜桃av蜜臀av| 超级碰碰碰久久网站| 超碰爱爱爱| 性 色 婷婷| 92久久久| 五月丁香六月激情在线| 69色色视频| 婷婷五月天激情四射五月天激情| 天堂成人A片永久免费网站| 婷婷五月天亚洲丁香| 亚洲啪啪网| 五月激情小说| 97人人做| 久久这里99| 99色这里| 四色五月婷婷| 婷婷五月丁香香蕉| 天天摸色吧天天摸色吧| 青青五月天婷婷| 墨西哥毛片内射精| 51精品国自产在线| 亚洲综合五月天婷婷丁香| 日韩美女在线视频19| 婷婷五月天小说| 亚洲婷婷五月天| 女力报到正好爱上你| 综合久久9| 国产精品 的国产| 九九aV| 丁香五月婷婷色情综合| 亚洲性色XXXXX| 精品无码av丁香五月激情| 色婷在线视频| 男同91| 久久婷婷五月| 夜夜夜夜夜骑撸| 五月丁香婷色| 久久五月天精品视频| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷丁香久久| 色约约视频一区二区三区四区五区 | 丁香六月婷| 五月婷婷免费在线视频| www.五月激情红色| 婷婷五月俺要去| 亚洲综合五月天婷婷丁香| A1片久久久| 激情五月综合网最新| 99热12| 久热无码| 丁香五月电影院在线观看| 亚洲成人AV高清字幕| 激情五月天色播| www.99热视频| 婷婷丁香六月| 99精品久久久久| 五月婷婷五月丁香| 色人妻五月| 亚洲色A| 深爱激情AV| 色综合五月在线| 五月天婷婷色| 99ri精品在线| 黄色91在线观看| 日本三日本三级少妇三级66| 欧美成人精品A片免费一区99| 九九久久99| 久久久99免费视频| 日本颜色视频人人爱| 精品一区二区三区木瓜| 1995年关宝慧版蜘蛛女| 99九九精品| 91人操| 色婷婷五月影院| 亲子乱av一区二区三区的| 欧美久久九九| 久久香视频| av一区二区电影免费在线观看| 久草五月婷| 大香蕉啪啪啪啪啪啪| 婷婷激情五月天激情小说| 久久密臀婷婷| 亚洲AV无码成人精品区电影网| 97碰 在线视频观看| 五月天啪啪网| 久色中文| 五月丁香六月婷婷色| ri电影在线| 丁香五月亚洲综合| 狠狠擼综合| 色五月视频无码播放| 久久 这里只有精品1| 色综合久久88色综合中文字幕| 奸逼视频| 婷婷五月丁香五月综合网| 99热这里只有精品官网| 大香蕉婷婷色| 91精品久久久久久| 欧美天堂久久| 国产精品电| 婷婷色色网站| 九九九干精品| www999日韩精品| 99爽视频| 好好干Av| 久久综合热17c| site:hcxsz888.com| 97碰免费视频在线| 婷婷丁香一月| 丁香五月婷在线观看| 丁婷婷五月天在线播放| 欧美日本另类| 亚洲另类视频| 久久婷婷婷| 丁香五月天视频| 少妇AB又爽又紧无码网站| 色色色综合色| 天天拍天天操| 免费观看日韩成人av| 99精品自拍| 91啪啪视频| 97人碰人操| 色月丁| 99在线观看精品视频| 亚洲热久久| 丁香婷婷久久 | 成人超碰网| 永久天堂日本| 丁香五月开心亚洲| 久久久五月天| 怡红院一二三| 午夜婷婷久久| 亚洲爆乳无码精品AAA片蜜桃| 亚洲xx在线| 91丨九色丨东北熟女| 色色色综合色| 婷婷五月深深爱| 五月婷婷在线视频| 97操操网| 踪合专区啪啪| 99这里有精品免费| 婷婷在线播放| 婷婷五月天激情四射| 色婷婷精品视频| 六月丁香激情综合网| 国产 亚洲 在线| 中文字幕丁香五月| 伊人久久大香网| 国产69精品久久久久999小说| www.久久久久久久久久.com| 开心久久xxx色| 丁香五月婷婷姐| 激情五月婷婷在线区| 婷婷五月激情小说| 99超碰人人| 天天日日人| 99热中国| 另类精品视频在线观看| 色综合久久888| 五月天伊人综合| 五月丁香六月欧美综合| 五月婷婷综合激情网| 99久久婷婷国产综合精品| xxxx五月| 丁香五月开心五月激情| 丁香成人五月天| 婷婷亚洲久久| www。狠狠干。com| 男女99免费视频| 午夜伊人大香蕉| 干婷婷五月天| 国产免费一区二区三区三州老师F1F1.CC| 黄色五月婷| 久久婷婷五月天激情新地址| 五月天啪啪啪| 好叼操在线观看| 亚洲天堂爱爱| 婷婷五月伦理| 五月丁香啪| 色婷婷超碰| 五月婷婷免费| 亚洲综合激情五月久久| 麻豆AV一区二区三区| 五月色丁香| 99热这里只有精品搜| 色色色色热| 婷婷五月天久久久| 五月天久久91| 涩丁香91| 激情的五月| 中文久久婷婷| www..999热久| 偷拍91九色| 天天色天天日天天舔| 久久婷婷五月综合色欧美| 天天爱天天做天天日| 婷婷激情六月视频| 97精品自拍视频| 丁香美女主播视频在线观看| 婷色五月| 成人片久久网站| 激情av在线| bukadeavzaixian| 欧美天天干天天草| 国产99久| 91精品无码| 丁香五月手机在线| 亚洲性视频| 99热综合网| 激情五月婷色| 成人天天爽| 五月丁香综合| 伊人国产婷婷五月天 | 第五色婷婷| 国产色网站| 丁香五月色色| 99热人人操人人操| 五月激情六月综合| 综合www色| 99色性爰网络| 丁香狠狠色婷婷久久无码视频| 日本在线噜噜| 日韩成人影片在线观看| 丁香六月婷婷| 99啪在线视频| 五月丁香操婷逼| 九九99久久| 九九99精品视频在线观看| 色呦呦免费观看| 色综合色五月| 丁香亭亭久久| 欧美性生交XXXXX无码小说| 亚洲婷婷丁香五月在线| 成人综合网站| 五月天快乐开心激情网| 亚洲精品V天堂中文字幕| 亚洲综合五月天婷婷丁香| 四虎成人精品永久免费AV九九| 狠狠色丁香| 97人人操人人| 女操碰| 天天草婷婷五月| 婷婷九九色| 色五月丁香婷婷| 激情综合另类| 97色久| 丁香五月婷婷色综合基地| 热久久这里只有精品| 激情小说五月丁香在线视频观看视频 | 欧美啪啪9| 欧美婷婷日本| 综合亚洲六月婷婷在线| 亚洲成人综合在线| 能看的av片| 玖玖爱伊人网| 一级A片天天操夜夜操| 中文网婷婷字幕婷| 欧洲色| 九九热a| 色色99| 亚洲激情综合免费| 激情丁香婷婷| 婷婷综合五月|