欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ms-swift零基礎(chǔ)學(xué)習(xí)教材

ms-swift零基礎(chǔ)學(xué)習(xí)教材 ms-swift 零基礎(chǔ)學(xué)習(xí)教材從推理到 LoRA 微調(diào)與部署適合剛開始學(xué)習(xí) AI 和編程的。你不需要一次看懂全部內(nèi)容也不需要死記參數(shù)。第一次只完成“第 0 關(guān) → 第 1 關(guān) → 第 2 關(guān)”成功后再學(xué)習(xí)自定義數(shù)據(jù)和參數(shù)調(diào)節(jié)。本文依據(jù) 2026 年 8 月 24 日可見的 ms-swift 4.x 官方文檔整理??蚣堋⒛P秃鸵蕾嚂氯裘钍д堃晕哪┕俜轿臋n為準(zhǔn)。0. 先知道自己在做什么0.1 一句話認(rèn)識 ms-swiftms-swift 是 ModelScope 社區(qū)提供的大模型訓(xùn)練、微調(diào)、推理、評測、量化和部署工具。你可以把大語言模型想象成一名已經(jīng)讀過很多書的學(xué)生推理inference向這名學(xué)生提問讓它回答。監(jiān)督微調(diào)SFT拿“問題—標(biāo)準(zhǔn)答案”練習(xí)冊繼續(xù)教它。LoRA不重寫整本大腦只訓(xùn)練一小組“外掛筆記”花費更少顯存。部署deploy把模型變成一個可以由其他程序訪問的服務(wù)。量化quantization降低數(shù)字精度讓模型更小、更省顯存代價可能是少量能力損失。checkpoint訓(xùn)練過程中的存檔點類似游戲存檔。ms-swift 的包名是ms-swift但安裝后使用的命令是swift。它和 Apple 的 Swift 編程語言不是一回事。0.2 這份教材的學(xué)習(xí)路線準(zhǔn)備 Python 環(huán)境 ↓ 用原始模型聊天推理 ↓ 準(zhǔn)備少量 JSONL 教學(xué)數(shù)據(jù) ↓ 用 LoRA 做 SFT 微調(diào) ↓ 加載 LoRA 檢查效果 ↓ 部署成 OpenAI 兼容接口0.3 先接受三個現(xiàn)實大模型很吃硬件。普通電腦能學(xué)習(xí)命令和運行小模型但訓(xùn)練較大模型通常需要 NVIDIA GPU 或云 GPU。第一次成功比第一次完美重要。先用小模型、少量數(shù)據(jù)、1 個 epoch 跑通全流程。微調(diào)不是給模型灌入百科知識的萬能辦法。想讓模型準(zhǔn)確查詢大量、經(jīng)常變化的資料很多時候 RAG檢索增強(qiáng)生成比微調(diào)更合適。1. 硬件與系統(tǒng)先選適合你的路線路線 ANVIDIA GPU最適合訓(xùn)練推薦 Linux NVIDIA GPU。先檢查nvidia-smi如果能看到顯卡名稱、顯存和 CUDA 信息說明驅(qū)動基本可用。顯存越大能使用的模型、序列長度和批量越大。大致理解模型規(guī)模0.6B約為 6 億參數(shù)4B約為 40 億參數(shù)。參數(shù)越多通常資源需求越大。實際顯存還受精度、序列長度、優(yōu)化器、注意力實現(xiàn)等影響不能只靠參數(shù)量精確計算。路線 BApple 芯片 Mac適合入門推理和小實驗PyTorch 可使用 MPS但 CUDA、flash_attn、vLLM 和部分量化/訓(xùn)練功能是 NVIDIA 路線不能照搬。建議先用較小模型做swift infer訓(xùn)練時從極小模型、短序列和很少數(shù)據(jù)開始遇到算子不支持或內(nèi)存不足時轉(zhuǎn)到 NVIDIA 云 GPU不要設(shè)置CUDA_VISIBLE_DEVICES。路線 C只有 CPU適合理解流程可以安裝、查看幫助、處理數(shù)據(jù)也可能運行很小的模型但速度通常很慢不建議把 CPU 當(dāng)作正式訓(xùn)練設(shè)備。安全提醒租云 GPU 會產(chǎn)生費用。設(shè)置預(yù)算和自動關(guān)機(jī)訓(xùn)練結(jié)束后停止實例。不要把平臺 Token、API Key 寫進(jìn)公開代碼或提交到 Git。2. 創(chuàng)建干凈的 Python 環(huán)境官方 4.x 主線要求 Python 至少 3.10官方當(dāng)前推薦 Python 3.12。下面二選一。2.1 使用 Condaconda create-nms-swift-studypython3.12-yconda activate ms-swift-study python--version以后每次打開新終端都先執(zhí)行conda activate ms-swift-study2.2 使用 uv在一個專門的練習(xí)文件夾內(nèi)執(zhí)行mkdirms-swift-studycdms-swift-study uv venv--python3.12source.venv/bin/activateWindows PowerShell 激活命令是.venv\Scripts\Activate.ps1如果沒有uv可先按 uv 官方說明安裝也可以使用上一節(jié) Conda 路線。3. 安裝 ms-swift 并做體檢3.1 常規(guī)安裝python-mpipinstall-Ums-swift如果正在使用 uv 創(chuàng)建的環(huán)境也可按官方推薦uv pipinstall-Ums-swift --torch-backendauto不要一開始安裝全部可選依賴。需要評測、DeepSpeed、vLLM 時再安裝對應(yīng)組件可以減少沖突。3.2 檢查是否成功swift--helpswift sft--helppython-cimport torch; print(PyTorch:, torch.__version__); print(CUDA可用:, torch.cuda.is_available()); print(MPS可用:, torch.backends.mps.is_available() if hasattr(torch.backends, mps) else False)看到swift的幫助文字就說明命令已安裝。再記錄環(huán)境方便排錯python--versionpython-mpip show ms-swift torch transformers3.3 下載來源ms-swift 默認(rèn)從 ModelScope 下載模型和數(shù)據(jù)集。若要從 Hugging Face 下載在命令后增加--use_hftrue第一次運行會下載模型可能需要較多時間和磁盤。--model既可以是 Hub 上的模型 ID也可以是已經(jīng)下載好的本地模型目錄。4. 第 1 關(guān)先讓原始模型回答問題第一次請選小模型。下面以Qwen/Qwen3-0.6B為學(xué)習(xí)示例若官方支持列表或模型頁面發(fā)生變化請換成當(dāng)前受支持的小型指令模型。NVIDIA 單卡CUDA_VISIBLE_DEVICES0swift infer\--modelQwen/Qwen3-0.6B\--infer_backendtransformers\--streamtrue\--temperature0\--max_new_tokens256Mac 或 CPU去掉第一行環(huán)境變量swift infer\--modelQwen/Qwen3-0.6B\--infer_backendtransformers\--streamtrue\--temperature0\--max_new_tokens256進(jìn)入交互模式后輸入請用高中生能理解的語言解釋什么是神經(jīng)網(wǎng)絡(luò)。常用交互命令clear清空對話歷史reset-system重置系統(tǒng)提示詞和歷史multi-line進(jìn)入多行輸入模式以#結(jié)束single-line回到單行模式quit或exit退出。參數(shù)解釋--model模型 ID 或本地目錄--infer_backend transformers使用兼容性最好的 Transformers 推理后端--stream true像打字一樣逐步輸出--temperature 0回答更穩(wěn)定--max_new_tokens 256最多生成 256 個新 token不等于 256 個漢字。如果這一步失敗先不要訓(xùn)練。把推理環(huán)境解決好再繼續(xù)??蛇x瀏覽器聊天界面swift app\--modelQwen/Qwen3-0.6B\--infer_backendtransformers\--streamtrue\--max_new_tokens256完整訓(xùn)練 Web UI 可啟動swift web-ui命令行更適合學(xué)習(xí)參數(shù)和復(fù)現(xiàn)因此本教材以命令行為主。5. 第 2 關(guān)認(rèn)識訓(xùn)練數(shù)據(jù)5.1 SFT 數(shù)據(jù)在教什么每條數(shù)據(jù)都像一道帶標(biāo)準(zhǔn)答案的題{messages:[{role:user,content:11等于幾},{role:assistant,content:11等于2。}]}user用戶說的話assistant希望模型學(xué)習(xí)的答案system可選規(guī)定身份、風(fēng)格或規(guī)則。5.2 創(chuàng)建data/train.jsonlJSONL 的規(guī)則是一行一個完整 JSON 對象不是在最外層套一個大數(shù)組。{messages:[{role:system,content:你是一名耐心的高中數(shù)學(xué)助教分步驟回答。},{role:user,content:什么是一元二次方程},{role:assistant,content:只含一個未知數(shù)并且未知數(shù)的最高次數(shù)是2的整式方程叫作一元二次方程。一般形式是 ax2bxc0其中 a≠0。}]} {messages:[{role:system,content:你是一名耐心的高中數(shù)學(xué)助教分步驟回答。},{role:user,content:如何解方程 x2-5x60},{role:assistant,content:第1步因式分解x2-5x6(x-2)(x-3)。第2步令每個因式為0x-20或x-30。因此 x2 或 x3。}]} {messages:[{role:system,content:你是一名耐心的高中數(shù)學(xué)助教分步驟回答。},{role:user,content:判別式有什么用},{role:assistant,content:對 ax2bxc0判別式 Δb2-4ac。Δ0 時有兩個不相等實根Δ0 時有兩個相等實根Δ0 時沒有實根。}]}真實訓(xùn)練不要只用 3 條這是檢查格式的最小樣例。高質(zhì)量的幾十至幾百條數(shù)據(jù)比大量錯誤、矛盾、機(jī)械重復(fù)的數(shù)據(jù)更值得嘗試。5.3 數(shù)據(jù)檢查清單每一行能單獨通過 JSON 解析使用 UTF-8 編碼messages存在且是列表對話角色順序合理最后有要學(xué)習(xí)的assistant答案答案正確、清晰、風(fēng)格一致不含密碼、身份證號、私人聊天等敏感信息訓(xùn)練集和測試問題不要完全重復(fù)??焖贆z查 JSONLpython-cimport json; pdata/train.jsonl; rows[json.loads(x) for x in open(p, encodingutf-8) if x.strip()]; print(有效行數(shù):, len(rows)); print(rows[0])ms-swift 也能自動識別常見的query/response、Alpaca、ShareGPT 格式但初學(xué)階段建議統(tǒng)一使用官方標(biāo)準(zhǔn)messages格式。6. 第 3 關(guān)第一次 LoRA 微調(diào)先做“冒煙測試”目標(biāo)只是驗證整個流程能跑通不追求模型立刻變強(qiáng)。6.1 NVIDIA GPU 入門命令CUDA_VISIBLE_DEVICES0swift sft\--modelQwen/Qwen3-0.6B\--tuner_typelora\--datasetdata/train.jsonl\--split_dataset_ratio0.1\--torch_dtypebfloat16\--num_train_epochs1\--per_device_train_batch_size1\--per_device_eval_batch_size1\--gradient_accumulation_steps8\--learning_rate1e-4\--lora_rank8\--lora_alpha32\--lora_dropout0.05\--target_modulesall-linear\--max_length512\--warmup_ratio0.05\--logging_steps1\--eval_steps10\--save_steps10\--save_total_limit2\--output_diroutput/qwen3-0_6b-math-lora如果顯卡不支持 BF16把--torch_dtypebfloat16換成--torch_dtypefloat166.2 極小數(shù)據(jù)的注意事項只有 3 條數(shù)據(jù)時--split_dataset_ratio 0.1可能無法得到有意義的驗證集。冒煙測試可以暫時改為--split_dataset_ratio0并刪除--per_device_eval_batch_size、--eval_steps。正式實驗建議準(zhǔn)備足夠數(shù)據(jù)或用獨立文件--datasetdata/train.jsonl\--val_datasetdata/val.jsonl驗證集用來檢查模型是否只會背訓(xùn)練題。它不參與參數(shù)更新。6.3 訓(xùn)練結(jié)束后去哪里找結(jié)果output/qwen3-0_6b-math-lora下通常會出現(xiàn)一次運行目錄和若干checkpoint-數(shù)字目錄。日志會打印實際路徑。LoRA checkpoint 主要保存“增量適配器”不是一份完整基礎(chǔ)模型。不要隨便移動其中的args.json等文件ms-swift 推理時會用它們恢復(fù)訓(xùn)練配置。7. 第 4 關(guān)加載訓(xùn)練結(jié)果并比較把下面路徑換成你的真實 checkpointswift infer\--adaptersoutput/qwen3-0_6b-math-lora/vx-xxx/checkpoint-xxx\--infer_backendtransformers\--streamtrue\--temperature0\--max_new_tokens256--adapters指向 LoRA checkpoint。因為目錄里有args.json通常不用重復(fù)寫--model。若不想自動加載保存的參數(shù)可顯式設(shè)置--load_args false但初學(xué)時不建議。請用完全相同的問題比較原始基礎(chǔ)模型微調(diào)后的模型訓(xùn)練集中沒出現(xiàn)過、但類型相似的問題。不要只憑“感覺不錯”判斷。準(zhǔn)備固定測試題并記錄正確性、格式、是否啰嗦、是否編造、響應(yīng)速度。8. 最常用參數(shù)意思、影響和建議8.1 模型與數(shù)據(jù)參數(shù)作用入門建議--modelHub 模型 ID 或本地模型目錄先選 0.5B1.5B 量級的小模型跑通--use_hf true改用 Hugging Face 下載默認(rèn) ModelScope 可用時不必加--dataset一個或多個訓(xùn)練數(shù)據(jù)集 ID/路徑自定義數(shù)據(jù)優(yōu)先用 JSONL--val_dataset獨立驗證集正式實驗推薦使用--split_dataset_ratio從訓(xùn)練集切出驗證集的比例官方當(dāng)前默認(rèn) 0可從0.05或0.1開始--dataset_num_proc數(shù)據(jù)預(yù)處理進(jìn)程數(shù)小數(shù)據(jù)用 1大文本數(shù)據(jù)可逐漸增加--columns把自定義列名映射到標(biāo)準(zhǔn)列名標(biāo)準(zhǔn)messages格式不需要--system命令行提供系統(tǒng)提示詞數(shù)據(jù)里的 system 優(yōu)先級更高Hub 數(shù)據(jù)集還支持--dataset數(shù)據(jù)集ID:子集#采樣數(shù)例如#500表示采樣 500 條適合冒煙測試。多個數(shù)據(jù)集可在--dataset后依次寫多個值。8.2 訓(xùn)練規(guī)模與顯存參數(shù)作用調(diào)大后通常怎樣--max_length單條樣本編碼后的最大 token 數(shù)能容納長文本但顯存和計算量明顯增加--per_device_train_batch_size每張卡一次放幾條樣本吞吐可能提高但更吃顯存--gradient_accumulation_steps累積多少次小批量再更新少占峰值顯存但每次更新等待更久--gradient_checkpointing用額外計算換顯存更省顯存但訓(xùn)練變慢實際默認(rèn)行為依模型/版本檢查--torch_dtype權(quán)重和計算精度BF16 通常更穩(wěn)定硬件必須支持SFT 中常用的有效總 batch size總 batch size 每卡 batch size × 梯度累積步數(shù) × GPU 數(shù)量例1 × 8 × 1 8。顯存不足時通常先保持每卡 batch 為 1再用梯度累積獲得更大的有效 batch。8.3 學(xué)習(xí)過程參數(shù)作用入門建議--num_train_epochs完整學(xué)習(xí)訓(xùn)練集幾遍先 1再比較 23防止過擬合--learning_rate每次更新參數(shù)的步幅LoRA 常從1e-4起全參官方默認(rèn)更低1e-5--warmup_ratio前多少比例逐漸升高學(xué)習(xí)率0.030.1示例用0.05--weight_decay對過大權(quán)重的懲罰不理解時先用默認(rèn)值--lr_scheduler_type學(xué)習(xí)率如何隨訓(xùn)練變化默認(rèn)cosine通??上缺A?-seed隨機(jī)種子固定后更方便復(fù)現(xiàn)實驗學(xué)習(xí)率過大loss 可能劇烈震蕩、出現(xiàn) NaN 或能力被破壞過小則幾乎學(xué)不到。一次只改變一個關(guān)鍵參數(shù)并記錄結(jié)果。8.4 LoRA 參數(shù)參數(shù)作用入門建議--tuner_type lora啟用 LoRA 微調(diào)初學(xué)首選--target_modules all-linear給模型中的線性層掛 LoRA官方常用通用設(shè)置--lora_rankLoRA 容量官方當(dāng)前默認(rèn) 8先用 8復(fù)雜任務(wù)可試 16/32但更吃顯存--lora_alphaLoRA 更新的縮放系數(shù)rank8 時先用 16 或 32官方示例用 32--lora_dropoutLoRA 分支隨機(jī)丟棄比例當(dāng)前默認(rèn) 0.05小數(shù)據(jù)可保留 0.05別隨意大改--lora_bias是否訓(xùn)練 bias先用默認(rèn)none不要把rank理解成“越大越好”。rank 太大意味著更多可訓(xùn)練參數(shù)、更多顯存也可能讓小數(shù)據(jù)更容易過擬合。8.5 日志、驗證與保存參數(shù)作用入門建議--logging_steps每隔多少 step 打印日志小實驗 15大實驗可更大--eval_steps每隔多少 step 驗證應(yīng)與總 step 數(shù)匹配--save_steps每隔多少 step 保存小實驗 1050--save_total_limit最多保留幾個 checkpoint23避免磁盤被占滿--output_dir輸出目錄每個實驗使用不同名字--report_to記錄到 TensorBoard/WB 等當(dāng)前官方默認(rèn) TensorBoard如果總訓(xùn)練只有 8 step卻設(shè)置save_steps100中途當(dāng)然不會出現(xiàn)第 100 步存檔。先觀察日志中的總 step 數(shù)。8.6 推理生成參數(shù)參數(shù)作用常見選擇--temperature隨機(jī)程度事實/數(shù)學(xué)用 00.2創(chuàng)作用 0.7 左右再觀察--top_p只在累計概率較高的候選中采樣常與 temperature 配合不必同時亂調(diào)--max_new_tokens最多生成多少新 token128、256、512 起步--stream true流式顯示聊天時推薦--infer_backend推理后端初學(xué)用transformersmax_length多用于限制輸入/訓(xùn)練樣本長度max_new_tokens限制新生成內(nèi)容長度。兩者不要混淆。9. 顯存不足CUDA out of memory怎么處理按照這個順序每改一項就重試降低--max_length例如2048 → 1024 → 512把--per_device_train_batch_size設(shè)為 1適當(dāng)增加--gradient_accumulation_steps保持有效 batch換更小的模型使用 LoRA不要全參數(shù)訓(xùn)練確認(rèn)沒有其他程序占用 GPU用nvidia-smi查看在理解兼容性后再學(xué)習(xí) QLoRA、DeepSpeed、FlashAttention、序列打包。不要把幾十個優(yōu)化開關(guān)一次全打開否則失敗時很難知道是哪一個造成的。10. 用 YAML 管理參數(shù)比超長命令更清楚創(chuàng)建configs/sft_lora.yamlmodel:Qwen/Qwen3-0.6Btuner_type:loradataset:-data/train.jsonlsplit_dataset_ratio:0.1torch_dtype:bfloat16num_train_epochs:1per_device_train_batch_size:1per_device_eval_batch_size:1gradient_accumulation_steps:8learning_rate:0.0001warmup_ratio:0.05max_length:512lora_rank:8lora_alpha:32lora_dropout:0.05target_modules:-all-linearlogging_steps:1eval_steps:10save_steps:10save_total_limit:2output_dir:output/qwen3-0_6b-math-lora運行swift sft configs/sft_lora.yaml還可以臨時覆蓋一個值swift sft configs/sft_lora.yaml--num_train_epochs2好習(xí)慣每個實驗復(fù)制一份配置文件名寫清變化如sft_rank16.yaml并記錄結(jié)果。11. 部署成一個 API11.1 兼容性優(yōu)先的部署swift deploy\--adaptersoutput/qwen3-0_6b-math-lora/vx-xxx/checkpoint-xxx\--infer_backendtransformers\--served_model_namemath-helper\--host127.0.0.1\--port8000\--temperature0\--max_new_tokens256這里使用127.0.0.1只允許本機(jī)訪問比直接開放到局域網(wǎng)或公網(wǎng)更安全。若需要對外提供服務(wù)應(yīng)設(shè)置鑒權(quán)、防火墻、限流和日志脫敏。11.2 用 curl 調(diào)用另開一個終端curlhttp://127.0.0.1:8000/v1/chat/completions\-HContent-Type: application/json\-d{ model: math-helper, messages: [ {role: user, content: 請分步驟解方程 x2-7x120} ], max_tokens: 256, temperature: 0 }服務(wù)端參數(shù)--max_new_tokens和 OpenAI 兼容請求中的max_tokens都在限制生成長度具體請求值可以比服務(wù)端上限更小。11.3 vLLM 是什么時候?qū)W的vLLM 能提高吞吐適合 NVIDIA GPU 部署但要額外安裝并且對 CUDA、PyTorch、模型和量化方式有兼容要求。初學(xué)先用transformers流程穩(wěn)定后再按官方版本表安裝 vLLM 并設(shè)置--infer_backendvllmQLoRA 適配器不能直接按所有 vLLM LoRA 場景處理請以當(dāng)前官方推理后端兼容表為準(zhǔn)。12. 合并、導(dǎo)出與發(fā)布LoRA 可在推理時單獨加載也可以與基礎(chǔ)模型合并。官方當(dāng)前支持在推理時用--merge_lora true或通過導(dǎo)出流程處理。合并會生成體積更大的完整權(quán)重需要額外磁盤和內(nèi)存。發(fā)布到 ModelScope 的官方命令形式swiftexport\--adaptersoutput/qwen3-0_6b-math-lora/vx-xxx/checkpoint-xxx\--push_to_hubtrue\--hub_model_id你的模型ID\--hub_token你的Token\--use_hffalse安全做法不要把真實 Token 保存進(jìn).md、腳本或 Git 歷史。先檢查基礎(chǔ)模型許可證、數(shù)據(jù)許可證和隱私要求再決定是否公開。13. 進(jìn)階地圖現(xiàn)在只需認(rèn)識名字全參數(shù) SFT訓(xùn)練所有參數(shù)資源和數(shù)據(jù)要求更高。QLoRA量化基礎(chǔ)模型后訓(xùn)練 LoRA進(jìn)一步省顯存但兼容性更復(fù)雜。DPO/KTO/GRPO 等偏好學(xué)習(xí)或強(qiáng)化學(xué)習(xí)不是零基礎(chǔ)第一課。DeepSpeed/FSDP/Megatron多卡或大規(guī)模訓(xùn)練技術(shù)。vLLM/SGLang/LMDeploy推理加速后端各自兼容性不同。AWQ/GPTQ/BNB/FP8不同量化方法。EvalScope模型評測工具。多模態(tài)微調(diào)數(shù)據(jù)還包含images、videos、audios等字段資源需求更大。推薦順序LoRA SFT → 可靠評測 → 部署 → QLoRA/量化 → 多卡訓(xùn)練 → 偏好或強(qiáng)化學(xué)習(xí)。14. 常見報錯排查swift: command not found可能沒激活正確環(huán)境或包裝到了另一個 Pythonwhichpythonwhichswift python-mpip show ms-swiftWindows 使用where python where swift模型或數(shù)據(jù)下載失敗檢查網(wǎng)絡(luò)和磁盤空間確認(rèn)模型 ID 拼寫ModelScope 不通時嘗試--use_hf true反之亦然私有/受限模型需要先在對應(yīng)平臺授權(quán)和登錄不要重復(fù)中斷大文件下載。CUDA out of memory按第 9 章的順序縮小訓(xùn)練配置并用nvidia-smi查看占用。BF16 不支持或出現(xiàn) NaN換成--torch_dtype float16或使用支持 BF16 的 GPU。若仍出現(xiàn) NaN再檢查學(xué)習(xí)率、數(shù)據(jù)異常和依賴版本。數(shù)據(jù)被丟棄或提示格式錯誤先用 23 條數(shù)據(jù)測試并增加--stricttrue它會讓錯誤樣本直接報錯便于找到壞行。檢查 JSON、角色順序、空答案和超長樣本。默認(rèn)truncation_strategydelete時超過max_length的訓(xùn)練樣本可能被刪除。訓(xùn)練沒有明顯效果數(shù)據(jù)太少或答案質(zhì)量低訓(xùn)練問題與測試問題差別太大學(xué)習(xí)率太低或訓(xùn)練步數(shù)太少模型太小任務(wù)超過其能力只測試了訓(xùn)練原題誤把背誦當(dāng)泛化生成參數(shù)不同比較不公平。訓(xùn)練后能力變差數(shù)據(jù)單一、錯誤或相互矛盾學(xué)習(xí)率過大epoch 太多導(dǎo)致過擬合訓(xùn)練模板或模型類型不匹配沒有保留通用能力相關(guān)的數(shù)據(jù)。15. 怎樣做一次像樣的小實驗準(zhǔn)備一張實驗記錄表實驗?zāi)P蛿?shù)據(jù)量max_lengthranklrepoch驗證結(jié)果備注baseline原始模型0----記錄 20 道題基線exp01Qwen 小模型10051281e-41待填寫首次 LoRAexp02同上10051285e-51待填寫只改 lr科學(xué)實驗的核心是固定一組測試題每次只改一個主要變量保存配置、日志和 checkpoint同時記錄成功與失敗不用訓(xùn)練集原題冒充測試集成績。15.1 loss 怎么看loss 是模型答案與標(biāo)準(zhǔn)答案差距的數(shù)學(xué)度量。通常訓(xùn)練 loss 下降說明正在擬合數(shù)據(jù)但它不是最終成績訓(xùn)練 loss 下降、驗證效果也提高通常是好現(xiàn)象訓(xùn)練 loss 繼續(xù)下降、驗證效果變差可能過擬合loss 不動檢查數(shù)據(jù)、可訓(xùn)練參數(shù)、學(xué)習(xí)率loss 突然 NaN檢查精度、學(xué)習(xí)率、異常數(shù)據(jù)和依賴。不要比較不同數(shù)據(jù)、不同模板下 loss 的絕對數(shù)值后直接下結(jié)論。16. 一周入門計劃第 1 天終端與環(huán)境學(xué)會cd、ls、pwd創(chuàng)建 Python 環(huán)境成功運行swift --help。第 2 天模型推理跑通一個小模型理解 model、token、temperature、max_new_tokens。第 3 天數(shù)據(jù)手寫 10 條 JSONL用 Python 檢查解析區(qū)分訓(xùn)練集與驗證集。第 4 天LoRA用 1050 條數(shù)據(jù)跑冒煙測試找到 checkpoint看懂 loss 和 step。第 5 天比較準(zhǔn)備 20 個固定問題比較原始模型和微調(diào)模型記錄失敗案例。第 6 天參數(shù)實驗只改變 epoch 或 learning_rate使用 YAML 保存配置比較實驗結(jié)果。第 7 天部署啟動本地 API用 curl 調(diào)用寫一頁學(xué)習(xí)總結(jié)。17. 最小速查表# 安裝python-mpipinstall-Ums-swift# 看幫助這是查當(dāng)前版本參數(shù)最可靠的方法之一swift--helpswift sft--helpswift infer--helpswift deploy--help# 原始模型推理swift infer--modelQwen/Qwen3-0.6B--infer_backendtransformers# LoRA 微調(diào)swift sft\--modelQwen/Qwen3-0.6B\--tuner_typelora\--datasetdata/train.jsonl\--max_length512\--per_device_train_batch_size1\--gradient_accumulation_steps8\--learning_rate1e-4\--lora_rank8\--lora_alpha32\--target_modulesall-linear\--num_train_epochs1\--output_diroutput/my-first-lora# LoRA 推理替換真實路徑swift infer--adaptersoutput/.../checkpoint-...--temperature0# 本地部署替換真實路徑swift deploy\--adaptersoutput/.../checkpoint-...\--infer_backendtransformers\--host127.0.0.1\--port800018. 官方資料與繼續(xù)學(xué)習(xí)優(yōu)先看官方資料因為命令和默認(rèn)值會變化ms-swift GitHub 與官方 READMEms-swift 中文文檔首頁安裝說明快速開始命令行參數(shù)自定義數(shù)據(jù)集預(yù)訓(xùn)練與微調(diào)推理與部署支持的模型與數(shù)據(jù)集官方 examples 目錄遇到問題時提問要附上操作系統(tǒng)、GPU 型號與顯存、python --version、pip show ms-swift torch transformers、完整命令、報錯最后 50 行、最小數(shù)據(jù)樣例。不要附 Token 或隱私數(shù)據(jù)。結(jié)語學(xué)習(xí) AI 不是智力競賽而是把大問題拆成小問題、不斷得到反饋的過程。你第一次的目標(biāo)只有四個swift --help能運行小模型能回答一句話3 條 JSONL 能被正確讀取LoRA 冒煙測試能生成 checkpoint。做到這四點你已經(jīng)完成了一個真實的大模型微調(diào)閉環(huán)。接下來不是“我會不會”而只是“我準(zhǔn)備把哪一步練得更熟”。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久99久在线| 欧洲色区| 丁香婷婷五月天成人| 黄色av高清| 操99| 桔色成人在线| 五月婷婷综合激情| 热99色| 人妻免费网站| 日本操逼九九九九58日本操逼| 国产免费一区二区三州老师F1F1| 婷婷五月花| 综合精品99| 国产五月婷| 2025天天日爽| 亚洲欧洲中文日韩久久AV乱码| 欧美狠狠地| 99热综合| 亚洲在线激情婷婷五月| www.婷婷| 婷婷综合| 天天婷婷色六月| 色五月婷婷五月| 午夜免费高清AV片| 久久人妻人人| 中文字幕97超级碰| 日本婷久久| 国产99久9在线| 九九视频精品在线免费| 超碰在线网站9| 色婷婷丁香五月高清在线| 五月亭亭网成人在线视频| 五月婷丁香| 99这里只有精品国产| 在线可以看的av网址| 成人精品视频99在线观看免费| 国产成人av在线播放| 婷婷六月网| 97在线观看| site:hcxsz888.com| 久久婷婷伊人| 六月婷婷五月天| httpwww色com日本| 精品久久99码| 久久视频九九视频| 成人短视频免费| 97五月天| 噜噜噜精品欧美成人在线观看| 操操啪| 九九热av| 狠狠干在线| www.色婷婷.com| 婷婷精品在线| 97色五月丁香婷婷| 五月丁香六月激情| 成人在线日韩欧美| 777丁香六月青青草婷婷综合久月| 色五月婷婷网| 丁香五月综合在线观看| 夜夜骑操AV| 人人操婷婷| 色色色综合| 六月丁香啪| 综合一区二区三区| 中文字幕在线日亚州9| 综合逼五月激情婷婷| 在线sebiav精品视频| 色综合久久88色综合天天| 婷婷五月天av| www.久久99热地址发布| 婷婷丁香五月天欧美| 丁香五月婷婷少妇| 无码碰碰| 综合网色| 五月天综合久久| 色无码| 激情小说五月天中文字幕| 在线不卡视频| www.婷婷,com| 激情骚五月| 五月丁香婷婷钟和色图| 八戒青柠影视剧在线观看| 亚洲国产99| 色99在线观看| 99热婷婷| 99re热视频这里只精品| 五月色婷婷影院| 婷婷丁香五月天小说| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 激情综合在线播放| 亚洲色色五月天| 91亚洲免费片| 操操精品| A色色| 色激情五月| 免费做A爰片77777| 久久青青日本视频| 九九精品丁香花| 91欧美日韩| 超碰在线免费| 丁香婷婷综合激情五月色| 亚州精品久久久久AV无码| 小视频一区| 国产精品久久久60086| 婷婷干五月综合在线播放| 日本色五月婷婷| 婷婷激情综合网| 玖玖爱资源站| 丁香五月婷婷社区| 丁香婷婷人妻| 五月天.com| 亚洲另类婷婷综合| 久久精品亚洲一级牲爱综合| 色久综合| 99碰碰视频| 激情婷婷色色| 婷婷五月丁香色综合| 色色三级视频| 婷婷五月激情六月丁香| 类似婷婷激情综合网站| 亚洲婷婷五月天| 91在线人| 99er在线观看| 欧美性生交XXXXX无码小说| 99热99成人| 99性视频| 丁香五月五月婷婷欧美大香蕉| 涩婷婷视频快播人妻| 激情久久久| 五月色丁香激情| 99九九精品| 久久性爱视频| 五月婷婷综合精品| 玖玖婷婷五月天毛片| 永久思思热在线| 淫荡工a| 六月丁香啪啪| 五月天激情国产综合AV| 99re免费精品视频| 激情精品久久| 丁香激情综合| 亚洲正能量欧美| 激情丁香婷婷六月天| 大香蕉av在线| 久婷久婷激情肉| 婷婷伊人久久综合| 欧洲MV日韩MV国产| 久久这里有精品99| 无码动漫AV| 第四色大香蕉| 7777激情基地| 五月婷婷六月激情| 六月婷婷狠狠做| #NAME?| 亚洲无码99| 99综合网| 女人被男人吃奶到高潮| 五月丁香啪啪| 欧美日韩成人一区二区| 五月天色在线| 婷婷五月天色| 久久99久久99久久99人受| 99热99精品在线观看| 天天色五月婷婷91久久久久久久| 99热在线这里| 色你久久| 久久九⑨| 国产精品久久久久久久久久| 这里只有精彩视| 亚洲国产精品VA在线看黑人| 亚洲激情五月天| 日本九九九九| 99热超碰| 字幕网AV中文字幕| 99无码视频| 亚洲国产无线乱码在线观看| 99热精品在线观看| 色九月综合| 国产毛片操B| 色九月综合网| 久9视频| 性五月激情| 91AV婷婷| www.五月丁香av| 天天精品视频在线观看视频| 综合五月天| 激情人妻综合| 色婷婷在线视频| 国产成人精品亚洲线观看| 91精品久久久久久综合五月天| 色噜噜狠噜噜视频| 99热成人| 久久免费操| 另类小说五月天综合| 丁香五月第四色88| 精品激情| 中文字幕91,综合| 开心六月丁香五月婷婷| 综合噜噜| A短视频免费在线观看| 亚洲色基地| 亚洲天堂大香蕉| 丁香五月激情婷婷激情| 91精品久久久久| 99久久国产宗和精品1上映| 极品少妇XXXX精品少妇偷拍| 玖玖91| 色九九一二| 秋霞三及片| 九97免费视频| 色五月亚洲| 色青五月天| 丁香五月天堂网| 开心五月深爱五月| 日日夜夜狠狠操| 久久精品99久久久久久久久| 丁香婷婷基地| 丁香婷婷基地| 中文字幕久久一区二区三区| 97人凄人人操人人爽| 色色欧美。| 这里只有精品视频99| www.久久久久久| 婷婷丁香宗合888| 久久久月丁香| se色99| 91精品婷婷国产综合| www,setingting| 99久久久久| 热成人网| 在线五月色播| 日日日日做夜夜夜夜无码| 97超级啪啪在线观看| 日本综合色色| 99碰碰视频| 激情久久丁香| 九九爱这里只有精品| 九九热视频在线观看| 99爱在线| 五月婷婷在线观看| 狠狠干青青草| 久久婷婷五月天亚洲欧美| 99re这里只有精品国产99| 涩涩五月天综合| 欧美日韩国产一区二区| 婷婷五月激情图片| 丁香五月性| 拳交大逼| 午夜成人天堂久久无码日韩久久| 九九这里只有精品| 日本三级日本黄色| 五丁香激情综合| 99热精国产这里只有精品| 久久久人妻不卡| 丁香蜜臀黄色婷婷五月天| www超碰| 激情丁香五月天综合| 思思热闹这里只有精品| 五月婷婷成人| 婷婷久草| 91a片爽| 丁香五月成人丝袜| 免费AV黄在线播放| 开心激情网五月| 色99色| 综合 激情 婷婷| 热婷婷av| 欧美五月婷婷| 五月丁婷婷| 五月人妻婷婷视频| 欧美久久婷婷| 美女久久婷婷| 色五月综合| 婷婷五月丁香久久| 丰满女老板BD高清A片| 久久er99热精品一区二区| 嫩草AV久久伊人妇女超级A| .青娱乐天天操B| 99re免费视频| 五月丁香综合网| 久久精品一区二区三区四区| 天天插天天干| 久久9视频| 九月av在线| 99视频久久免费视频| 中文字幕在线免费观看视频| 精品久久9| www.日韩国产| 久久女人九九| 色五月色综合| 大战熟女丰满人妻AV| 久久青草国| 99久久99热这里只有精品| 色999五月色| 丁香六月婷婷操逼网| VA日本视频| 深爱婷婷丁香五月激情| 成人.在线日韩| 热九九在线| 久久曰曰| 色婷婷色五月色丁香| AA片在线观看视频在线播放| 九九99久久| 99热在线这里| 青青操日本摸摸看看| 思思国产99| 久久久久8888| 啊v视频在线观看| 思思99精品视频| 中文字幕 码精品视频网站| 激情丁香五月天图片| 日韩色五月| 一区二区三区XXXXXX| 在线观看免费狠狠色丁香香综合| 夜夜嗨一区二区三区直播内容| 天天干肏夜夜| 另类在线| 激情色中文| 五月丁香婷婷激情在线视频| 婷婷六月情| 99热这里只有国产精品| 啪啪六月婷婷| 99无码视频| 97色婷婷| 伊人综合网站| WWW.五月com| 久热99热| 色五月天网| 天天肏视频| 大香蕉AV电影在线| 99se丁香| 99热最新精品| 婷婷五月丁香六月天亚洲综合| 日韩操逼小电影| 人人摸人人澡人人| 超碰69天堂| 开心六月丁香五月婷婷| 丁香婷婷九月| 91热在线观看视频| xxxx五月| 色情婷婷| 一起草AV| 丁香五月区| 色色色综合网| 久久国产高清| 天天操天爱综合| 激情图片五月天| 亚洲 成人 电影av在线观看| 26uuu91| 日本超碰在线| 熟美女麻豆| 丁香婷五月天| 公的粗大挺进了我的密道| 超碰9| 玖玖午夜视频| 五月婷婷亚洲色图| 五月综合婷婷五月| 色五月激情问网站| 五月激情偷拍| 97色综合视频| 色香久久| 免费看成人747474九号视频在线观看| 婷婷五月天亚洲综合| 另类在线| 天天拍夜夜撸| 婷婷激情综合| 五月综合精品| 91干网| 天堂草在线观| 18久久| 思思热国产| 大香蕉婷婷婷| 夜夜撸夜夜骑| 婷婷五月色情| 超碰高清在线| 怡春院久操| 亚洲色爱综合| 五月天停停日日| 久久99久久99精品免观看粉嫩| 色婷婷丁香社综合| 五月丁香成年黄色| 丁香五月婷婷婷婷欧美综合| 亚洲AV成人在线观看| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 欧美性爱专区| 丁香六月亚洲综合| 狠狠色噜噜狠狠| 丁香五月天激情| 九九99九九99| 99超超碰| 偷拍91九色| 夜夜 操无码| 五月天天综合| 天天成人综合| 婷婷色啪| 免费观看高清无码| 99在线免费观看| 97人人操人人爽| 嫩草AV久久伊人妇女超级A| 五月丁香婷婷综合激情基地| 九九精品少妇| 黑人糟蹋人妻HD中文字幕| 激情小说五月天| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 噜噜色com| 日日夜夜九九| 99视频自拍| 夜夜骑日日夜夜| 九九久久高清| 色色欧美色色色| 欧美日韩成人在线网站| 婷婷亚洲欧美丁香五月| 精品综合久久久久久五月天| 99热观看| 色色丁香| 亭亭色色五月天| 激情 婷婷 丁香五月天| sisi热国产| 中文字幕av在线播放| 日日干夜夜干| 狠狠操综合| 伊人啪啪网| 九九爱激情| 丁香九月婷婷色| 另类在线| 99亚洲视频| 婷婷五月在线视频| 五月丁香婷婷在线| 看片视频在线免费日产在线看| 综合激情五月丁香9999久久精| 全高清无码视頻| 夜夜撸夜夜骑| 激情丁香九九五月综合网| 五月丁香六月婷婷婷婷| 婷婷激情六月中文| 这里只有精品视频在线看| 五月婷婷综合色拍| 狠狠色官网| 6080av| 丁香五月丁香伊人| 五月永久激情| 五月天色在线| 婷丁香五月天| 婷婷俺去也| 91丨九色丨丰满人妖| 97影院一级片| 婷婷五月在线视频| 激情国产五月| 五月丁香激情综合啪啪| 五月激情射| 综合激情在线观看| 51XX午夜影福利| 日韩婷婷| 思思热久热| 婷婷激情人妻| 日本韩国视频在线观看社区免费的9| 99ER热精品视频| 精品热青草| 国产超碰人人| 五月婷婷六月丁香激情深爱| 婷婷丁香色五月亚洲| 激情文学天天| 婷婷五月天福利| 97超碰综合| 国产精品久久久久久久久久久久| 色一情一乱一乱一区91| 五月开心婷婷| 天天在线XXX| 99操| 人人叉久| 婷婷综合成人五月天| 国产精品日日躁夜夜躁| 99色婷婷视频| www.久久99精品| 天天做综合| 五月婷婷六月丁香在线视频免费在线观看| 97超碰免费超级在线观看| 色婷久| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网| 丁香五月天婷婷久久| 五月天婷婷激情在线色图| 婷婷五月天成人网| 性爱在线播放av| 69色婷婷| 99伊人婷婷在线| 天天噪夜夜爽| 五月色影院| 91操操| 99热丁香| 婷婷五月丁香欧洲| 五月天激情av| 碰超亚洲| 色婷婷激情五月天在线观看| 精品久久久91久久影视网| 六月激情婷婷| 五月激情婷婷六月| 热久久这里只有三级视频| 婷婷综合成人五月天| 99视频色在线观看| 91色在线 | 日韩| 久久综合影院| 色五月婷婷影院| 秋霞A V毛片| 亚洲黄色影视| 99这里只有免费的小视频在线观看| 成人版视频在线观看| 国产黄色av| 久热网在线视频| 开心五月婷婷伊人| 婷婷基地爱| 97操男人的天堂| 久久久精品色色色| 激情五月天的婷婷| 99热这里只有精品55| 五月综合亚洲色| 少妇人妻丰满做爰XXX| 先锋av性爱成人电影| 久热只有精品| 色婷婷在线视频综合| 1024成人免费看| 天天综合五月| 97婷婷丁香五月天激情图片| 九色综合网| 五月丁香久久丝袜啪啪| 日本黄色精品| 日韩狠狠色| 人妻内射麻豆视频| 91综合在线视频| 五月丁香婷婷色色| 天天综合天天玩夜夜玩天天玩夜夜玩 | 日本一级大片| www.婷婷,com| 婷婷激情五月天亚洲综合| 久久婷婷五月综合色天| 婷婷五月激情小说| 激情五月婷婷色| 婷婷内射视频在线| 亚洲成av人影院| 五月激情五月丁香| 婷婷丁香婷婷97| 久久永久网址| 久久精品国产AV一区二区三区 | 九月丁香| 色婷婷视频在线| 狠狠色综合网| 国产操B| 午夜成人AV在线| 久久久精久人妻| 婷婷基地成人五月天| www狠狠爱com| 99精品在这里| 色综合天天综合成人网| 激情综合网,婷婷五月天| 中文av在线观看| 99精品偷自拍| 操逼五月婷婷| 七七色色综合| 婷婷五月色综合香五月| 亚洲综合婷婷| 日本久久精品18| 99色色网| 婷婷激情网五月天| 六月丁香婷婷天堂| 五月婷婷久久内射| 岛国av电影网站| 色五月婷婷狠狠撸| 91精产一区三区免费观看| 秋霞黄色一级久久| www.五月天色色.com| 五月亭亭欧美女人| 丁香五月欧美激情| 9l视频自拍九色9l视频自拍九色9l社区| 久久久久久久91| 国产AV一区二区三区最新精品| 五月丁香六月激情综合| 日日干夜夜干| 91九色国产| 99热这里只有精品8| 天天做天天要天天爽| 婷婷五月丁香基地在线视频官网| 五月婷婷av| 中文字幕,综合,91| 337p大胆噜噜噜噜噜91Av| 色五月婷婷91| 高清无码视频网址| 国产黄大片在线观看画质优化| 年轻的妺妺伦理HD中文| 国产做爰视频免费播放| 丁香五月色| 久草婷婷在线| 99精品在线观看视频| 中文字幕黄色电影网址| 超碰色婷婷| 色婷婷五月综合色婷婷| 中文激情网| 夜夜夜叫天天天做| 99噜噜| 五月天婷婷綜合院| 四LLL少妇BBBB槡BBBB| 99久久超级| 五月丁香五月丁香五月丁香五月丁香91| 丁香五月天亚洲综合| a免费在线| 偷拍91九色| 久久黄色免费视频| 婷婷丁香五月亚洲免费| 婷婷色网站| 色99综合色88| 丁香五月偷拍| 99热婷婷| 97爱综合| 另类国产综合| 激情婷婷丁香五月天| 影音 五月 婷婷 久久| 天天爽在线视频| 性日本精品| 播播网色播播| 色综合色色| 超碰在线国产9| 国产精品婷婷午夜在线观看| 天天插天天插天天插天天插| 色五月大香蕉婷婷| 99免费视频在线观看爱| 激情五月丁香五月| 婷婷激情性爱| 五月丁香激情在线| 99无码| 99视频网址| 九九热思思| 99热国产| 六月丁香婷婷视频综合在线观看| 国产26uuu| 色婷婷色丁香色欲av| 婷婷夜夜夜夜| 午夜在线成人网站免费观看| 五月天大香蕉| 99ri在线| 色综合久| 日韩中文欧美| 99热在线只有精品| av在线观看网站| 婷婷色综合av| 99人妻碰碰碰久久久久视| 色情久久久| 这里只有精品久久| 校园激情 亚洲| 五月天婷婷色综合| 久久精品婷婷| 人人摸人人操人人爽| 国产精品国产| 岛国av网站| 成人五月丁香社区| 99热色精品| 婷婷开心青青草| 免费无码毛片一区二区A片| 久久婷婷五月天激情唯美| 天天色粽合合合合合合合| 色婷婷4| 图片区 小说区 区 亚洲五月 | 五月婷婷在线短视频| 色综合九九色综合88| 久久五月丁香婷婷| a网站免费观看| 九九九这里只有精品| 色一情一乱一乱一区91Av| 五月婷AV| 久久婷婷网站| 色婷婷丁香五月天在线视频| 五月香婷婷| 美女美女美女三级色天天天天天| 美女激情综合| www超碰| 秋霞电影一级黄| 天堂美国久久| 激情五月婷婷综合秋霞| 五月天婷婷基地| 4399在线日本A片| 色婷精品91| 激情综合色婷婷啪啪六月天| 婷婷丁香激情五月天色色| 婷婷激情五月综合| 久久爱综合| 色五月婷婷影院| 丁香伊人激情| 激情五月综合网| 丁香五月婷婷亚洲天堂| 日本熟妇乱妇熟色A片蜜桃| 女高怪谈在线观看| 色婷婷内射| 六月丁香中文字幕| 久久精品系列| 丁香五月天AV在线 | 婷婷综合久久| 一二区成人电影| 久久综合55| 成人精品一区日本无码网| 欧美久久网| 99热97| 欧美成人网婷婷综合在线| 99视频久久| 色五月大| 久久九九经典| 人人操人人妻| 91性交在线播放| 91狠狠色丁香婷婷综合久久| 欧美日韩中文国产一区发布| 欧美日韩成人在线免费| 成人做爰高潮A片免费视频| 91色色色| 99爱爱| 97操操| 婷婷六月综合基地| 噜噜操操| 五月婷在线观看| 大香蕉婷婷丁香天堂AV| 涩综合网| 五月婷婷六月丁香在线| 91超级碰| www.色五月| 成人国产欧美大片一区| 婷婷五月天网| 69超碰在线| 久久桃花网色婷婷| 婷婷五月天福利| 91碰碰| 日本波多野结衣视频| 亚洲成人丁香花| 97人妻碰碰碰久久香蕉| 天天日天天狠狠操| 丁香婷婷成人在线播放| 九九这里只有精品| 日日夜夜狠狠| 久久精品日| 秋霞AV美国| 翔田千里aV中文字幕| 丁香五月骚喷水视频| 激情五月网站| 激情综合五月婷婷丁香| 亚洲乱码日产精品BD| 久99在线| 91丨九色丨白浆| 婷婷五月天美女| 色五月婷婷五月天激情综合| 婷婷婷婷婷开心无码播放| 夜夜干夜夜操| 强伦轩人妻一区二区电影| 一级黄色片看看| 丁香五月天婷婷中文| 天天舔天天插天天干| 五月开心久久| 久操大香蕉| 欧美性爱丁香五月| 大胆伊人久久| 激情五月综合色婷婷| www.婷婷| 丁香色情五月综合激情| WWW、日本色丁香co m| 激情五月狠狠| 乱岳熟女50岁| 91人人操人人| 色偷偷综合| 色婷婷在线电影| 综合激情网五月激情| 九色无码| 人妻激情网| 另类小说婷婷色| 久久久com| 六月婷婷最新网址| 五月天激情美女久久| 五月婷婷六月色| 国产成人网址| 丁香五月婷婷在线| 伊人激情网| 清色五月天| 五月天综合在线网| 日韩欧美一级大黄网站| 99人妻碰碰碰久久久久禁片| www热久久yy9| 六月婷婷在线| 五月婷婷福利| 日韩中文字幕| 色五月色综合| 五月丁香婷婷色| 人妻爽爽爽久久久久久久久| 激情五月综合网| 99九九精品| 无码啪啪| 婷婷激情综合无月| 大香蕉综合视频在线| 五月丁香婷婷综合视频| 色一情一乱一乱一区9| 影音先锋777xfplay色资源网站| 丁香色情五月综合激情| 五月婷婷六月少妇激情| 9999热在线| 色丁香五月| 99日韩| 99热这里有精品| 六月五月久久丁香| 丁香五月最新网址| 激情六月丁香| 九九熱最新視頻| 亚洲中文字幕AV在线| 九九热精品6| 丁香五月另类色婷婷麻豆| 九月婷婷久久| 日日爽日日爽| 欧洲一区二区| 久久怕怕视频| 久久人妻www| 日本色色色| 狠狠色噜噜色狠狠狠综合色| 丁香五月日韩| 婷婷六月色情| 色婷婷99| http://www.com久久久精品一区| 精品久久这里热66| 久热视频A.| 亚洲AV无码成人精品区电影网| 久久草大香蕉| 99视频| 中文字幕日韩无码制服诱或| 婷婷丁香五月综合| 丁香六月青青草| 99ri6在线视频| 久久9视频| 丁香六月综合激情| 青青草蜜臀| 日韩成人综合网| 97在线日韩| 天天日天天爽| 色伊人婷婷| 色婷婷六月丁香综合欲精品| 99色色网站| 久青操| 久热A片| 第四色在线观看| 亚洲久久激情| se婷97| 亚洲色五月| 天天做夜夜爽| 成人一级片| 五月天丁香| 五月婷婷丁香在线| 日日爽日日| 激情五月天伊人av| www色五月天| 婷婷成人综合五月| 五月社区婷婷激情| 色婷婷激情小说网| 婷婷五月色影视先锋| 久久xxxx| 99热精品少| 99热这里只有精品在线免费| 99re这里只有精品99| 五月丁香激情四射综合| 亚洲黄色影视| 亚洲色激情| 狠狠综合| 六月五月久久丁香| 性婷婷| 激情综合网激情五月丁香| 久久成人天| 丁香婷婷婷五月| 日韩三级高清无码| 激情综合九月| 天天干天天做| 熟妇天天综合| 色色色色色五月丁香| 五月婷丁香花| 日日操,夜夜撸| 丁香六月婷婷综合啪啪| 91玖玖| 国产精品人成A片一区二区| 五月激情丁香啪啪| 婷五月天| 97色色色色色色色| 国产免费一区二区三州老师F1F1| 婷婷激情视频| 国精产品一区一区三区免费视频| 伊人激情综合| 99啪啪视频| 五月丁香久久久日婷婷久久婷婷日| 99热这里只有精品最新地址获取| 亚洲热综合网在线观看| 丁香五月婷婷色情综合| 丁香五月综合| 婷婷情色五月| 9久操| 丁香六月天婷婷色| 色色色色五月天| av九九| 激情人妻综合| 免费国产视频| 深夜A片| 日日日日日| 97超级操操| 色婷婷XXXXX| 婷婷六月激情在线视频| 少妇综合网| 狠狠色丁香久久综合婷婷亚洲成人福利| 色视频2025| 123草逼网| 无码人妻AV久久久一区二区三区| 99色色热热| 色播五月婷婷五月| 国产99久久久国产精品免费看| 91成人电影| 开心五月丁香啪| 五月婷婷婷丁香播| 玖玖资源网站最新站| 综合婷婷| 久久草婷婷丁香网站| 色婷婷丁香AV综合| 无码色| 久久性刺激| 沈娜娜av| 99热精品在线| α久久| WWW.99热| 九月婷婷综合色干| 九九色色| 天天激情站| 开心亚洲久久开心| 99热碰碰| 五月天色小说| 99热只有这里有精品| 亚洲激情五月天| 色丁香五月天射婷婷爱婷婷| 六月丁香啪| 欧美综合五月天婷婷tin| 免费婷婷| 日日肏夜夜干| 成人色情五月天婷婷丁香| 91久久九色| 婷婷久久五月| www.久久爱.com| 天天天天天天天操| 日本婷婷丁香五月| 91精品久久久久| 超碰av在线| 99热啪啪| 五月丁香最新| 五月婷婷丁香五月天| 五月天综合视频| 亚洲视频伍月婷婷| 久久99热精品a片在线观看| 九热在线这里有精品6| 成人电影AV在线观看| 五月色丁香婷婷综合| 婷婷香蕉精品| 国产亚洲成AV人片在线观黄桃| 九九热在线视频| 久久久WWW| 天天色99| 精品亚洲国产成AV人片传媒| 丁香六月啪| 在线播放成人网站| 99ER热精品视频| 超碰av在线| 99在线观看精品视频| 丁香五月偷拍| 国产AV一区二区三区最新精品 | 欧美偷偷操| 五月间天堂综合| 99热这里只有精品268| 五月天婷婷激情网| 思思视频这里是精品| 人妻熟妇六区| 播五月,色五月,开心五月播放器| 99碰碰视频| www.zbzhongsen.com| 牛牛热这里只有jingpin| 日本全黄一级999| 久久久精品人妻| 亚洲成人影视在线观看| 26uuuu精品一区二区| oumeisesewang| 国产五月丁香在线| 伊人久久大香线蕉AV最新午夜| 狠狠操狠狠插| 97人人操人人爽| 色五婷婷在线视频| A久网| 热的国产,热的综合,热的有码| 91综合在线观看| 99精品综合在线| 操91综合网| 99色在线| 亚洲色婷婷| 国产婷婷色综合AV蜜臀AV| 中文毛片无遮挡高潮免费| 久久激情综合| 天天肏天天肏天天肏| 99久视频| 神马欧美精| 操人妻视频91| 天天做天天摸| 五月丁香六月婷婷在线| 久久人人妻| 婷婷久久五月天丁香| 91色色色18| 99久久极情精品一区| 武则天精品久久| 色婷婷激情| 在线观看视频1区| 久久99精品久久久久久青青AR| 999九九九久久久99HD| 婷婷丁香综合| 丁香五月香蕉在线| 天天干天天爽天天操| 婷婷色综合av| 99综合视频| 精品9197碰| 午夜九九九九九九九九九九九九九| 丁香五月情色| 色婷婷五月在线| 99久热这里只有精品| 伊久大香蕉| 婷婷五月天日日日干干干| 久久婷婷亚洲| 偷拍九九热| 操99| 婷婷丁香五月亚洲| 激情视频网址| www.久操| 千人斩操逼| 五月色色网| 色吧网综合| 综合欧美五月婷婷| 六月婷婷综合| 婷婷五月激情黄色| 五月婷久久| 婷婷五月天激情网| 超碰在线资源| 婷婷综合五月天激情| 亚洲色视频| 色婷婷综合成人| 深爱激情婷| 欧美情色一区| 五月丁香综合激情在线观看| 9|无码久久久久久| 天天操天天曰天天射| WWW五月| 99re欧美精品| 五月天a婷婷伊人| 九九精品热| 91人妻人人操人人爽| 婷婷五月天精品| 99精品丰满| 26uuu亚洲欧美| 香蕉AV福利精品导航| 包操45分钟网站| 97超碰人人操| 九久9精品| 在线99热| 91碰碰碰| 综合五月天| 色情播放| 蜜桃婷婷狠狠久久综合| 五月天四色房丁香亭亭| 人人妻人人澡| 五月婷婷中文| 99亚洲欧洲| 人人综合色| 日本天堂免费99| 亚洲激情综合网| 五月婷婷成人| 久色成人| 日韩久操婷婷| 天天日天天爽| 婷婷五月综合激情| www.99热国产| 五月六月婷| 色五月丁香五月| 性做爰1一7伦| 五月婷婷丁香俺日污视频| 久久99精品久久久久子伦| 婷婷五月激情综合| 国庆精品久久| A片试看120分钟做受视频红杏| 99爱在线视频观看| 色婷婷视频| 丁香五月激情图片婷婷| 丁香五月天社区| 777久久综合视频| 九月丁香欧美综合| 午夜五月天| 99久久婷婷五月天| 色色色地址| 亚洲网在线观看| 色婷婷婷婷| 夜夜夜夜做天天天做无码视频| 久碰久| 九九AV在线| 九九久久99| 丁XX 成人| 人妻 性久久久久久| 67194成I人在线观看线路1| 一区二区成人电影免费播放| 五月丁香自拍| 色色色色色色综合| 97超碰人人操| 色欲色香,www,com| 丰满少妇猛烈A片免费看观看| 综合99综合久久久久久久| 天天日天天日天天搞| 五月天天天综合| 日韩精品一区二区亚洲AV观看| 五月婷婷丁香日韩在线| 久草热8精品视频在线观看| 色五月激情综合网| 狠狠人妻色综合| 亚洲国产99| 久久99成人性爱高清视频| 99开心五月五月丁香激情| 色五月大| 9|在线观看视频| 亚洲国产精品SUV| 九热精品| 丁香五月欧美色综合| 中出内射的人妻视频| site:901-07.com| 99色婷婷| 五夜婷婷| 日本久久精品| 久热这里只有精品6官网亚洲| 97丁香婷婷| 91丨九色丨白浆秘| 插逼综合网| 99爽视频| 99热最新| 亚洲色五月| 日日干日日色| 亚洲乱码成人| 日韩十国产极品久久| 色婷婷五月天天天干天天操天天爽| 夜夜www| 韩国婷婷丁香五月| 丁香婷婷色五月| 国产性爱一级| 亚洲成人免费电影| 91久久久久久| 91女人18毛片水多国产| www.玖玖婷婷在线| 六月丁香大香蕉| 五月婷婷 欧美| 五月天中文字幕在线婷婷| 综合激情深爱| 婷婷五月天堂| 五月丁香在线| 99热 在线播放| 九九AV| 五月天综合图片| 嫩草视频。| 丁香蜜臀黄色婷婷五月天| 久婷婷五月激情| 色五月婷婷丁香五月| 丁香五月婷婷超碰在线| 亚洲熟妇AV乱码在线观看| 激情五月天婷婷丁香| 久久99久久99精品免视看婷| 成人婷婷深爱综合网| www.激情五月天.con| 被强行糟蹋的女人A片| 天天婬色综合| 久操婷婷| 51avj视频大全| 禁欲电影完整版在线播放| 蜜乳人妻一区二区三区| 色五月视频无码播放| 激情六月丁香| 九九中文色色| 婷婷五月激情基地| 天天操无码| 97婷婷狠狠久久综合9色| 天天色天天干天天插| 棕合影院色色| www色哟哟| 日韩按摩二区| 天天操综合网| 色九月婷婷综合| 天天天综合网| 怎么样可以看免费的一级av| 五月丁香亚洲校园欧美| 色爱亚洲| 综合九色| 亚洲国产色色| 欧美丰满熟妇BBB久久久| 婷婷精品| 激情綜合W W W,激情五月天| 国产成人高清| 日本成人噜噜噜| 99资源人人| 欧美婷婷精品激情| 青青草Avb在线| 婷婷国产成人| 五月丁香婷婷99| 噜噜网免费视频| 91人人操| 色色色国产| 97操碰视频| 色丁香五月| 情五月亚洲婷婷| 日本不卡一区二区三区| 久久久com| 五月丁香自拍| 99九九热在线观看| 欧美影院婷婷| 丁香五月天堂| 婷婷五月天激情小说网站| 91婷婷视频| 天天干天天干天天操| www.maotanji.com| 午夜丁香婷婷| 丁六月激情| 丁香婷婷老司机久操| 色综合久久88色综合天天99| 激情五月天婷婷图| 风流少妇A片一区二区蜜桃 | 婷婷.com| 久久99视频| 激情AV综合| 欧美啪啪9| 久久视频这里都是精品| 9精品国产在热久久| 九色视频91| 丁香五月激情视频在线| 热热99爱爱| 丁香六月婷| 婷婷淫淫狠狠六月| 五月天婷婷午夜丁香| 色婷婷亚洲综合网站| 亚洲第一黄网| 激情婷婷丁香色五月| 999热在线视频| 婷婷五月成人社区| 五月婷婷中文| 六月丁香综合| 丁六月激情| 亚洲中文字幕av| 婷婷激情综合色五月久久图片| 玖玖色综合| 激情五月天啪啪| wwwC0maV五月花| 五月婷视频久久| 丁香五月婷婷亚洲激情四射| 99∨VTV| 97人人干人人操| 天天操天天操天天操天天操天天操 | 色婷婷av综合网| 五月婷婷开心丁香| 刘玥av在线| 婷婷五月激情在线| YW无码| 九九热中文| 青青热视频| 国外亚洲成AV人片在线观看| 99热日| www亚洲无码| 日韩成人av在线| 久久ER视频com| 久久视9精| 深爱激情六月| 91碰碰视频| 激情开心五月天|