【免費(fèi)下載鏈接】Ministral-3-14B-Base-2512-6bit項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ministral-3-14B-Base-2512-6bit點(diǎn)擊查看免費(fèi)下載Ministral-3-14B-Base-2512-6bit 是 mlx-community 提供的 MLX 格式視覺語(yǔ)言基礎(chǔ)模型語(yǔ)言主干經(jīng) 6-bit 量化支持 262K262144 tokens超長(zhǎng)上下文。它的長(zhǎng)上下文魔法全部來(lái)自一套YaRN 位置編碼配置只需在 config.json 中查看十幾行參數(shù)就能看懂 16K 上下文是如何被 16 倍擴(kuò)展到 262K 的。本文將帶你逐一拆解這些參數(shù)無(wú)需數(shù)學(xué)背景也能讀懂。一、模型速覽Ministral-3-14B-Base-2512-6bit 是什么先花 30 秒了解主角。根據(jù) README.md 的說(shuō)明類型視覺語(yǔ)言模型vision-language文本主干 視覺編碼器支持圖文理解定位Base 預(yù)訓(xùn)練版不是指令微調(diào)版適合自定義后訓(xùn)練/微調(diào)量化語(yǔ)言層 6-bit affine 量化group_size64視覺塔保持 bf16 全精度體積落盤約 12.68GB由 3 個(gè)分片組成如 model-00001-of-00003.safetensors架構(gòu)40 層、hidden_size 5120、32 個(gè)注意力頭KV 頭僅 8 個(gè)GQA 結(jié)構(gòu) 注意區(qū)分想做聊天/指令跟隨應(yīng)選 Instruct 變體這個(gè) Base 版本輸出的是裸補(bǔ)全行為。二、一分鐘定位 YaRN 參數(shù)在 config.json 里找什么超長(zhǎng)上下文的秘密不在權(quán)重文件里而在配置文件里。打開 config.json重點(diǎn)看text_config下的兩處第 36 行上下文上限max_position_embeddings: 262144第 42–53 行YaRN 位置編碼參數(shù)rope_parametersrope_parameters: { beta_fast: 32.0, beta_slow: 1.0, factor: 16.0, llama_4_scaling_beta: 0.1, original_max_position_embeddings: 16384, rope_theta: 1000000000.0, rope_type: yarn }另外generation_config.json 中max_length: 262144與之一致說(shuō)明生成器也按 262K 上限配置。params.json 里還有另一份等價(jià)的yarn段factor16、beta32、alpha1是同一套配置的不同表述。三、6個(gè)關(guān)鍵參數(shù)逐個(gè)拆262K上下文是怎么煉成的下面用一張表把 YaRN 參數(shù)講透這是全文核心參數(shù)取值通俗理解original_max_position_embeddings16384模型原生訓(xùn)練的上下文長(zhǎng)度16K tokensfactor16擴(kuò)展倍數(shù)16K × 16 262K煉成的關(guān)鍵rope_typeyarn位置編碼采用 YaRN長(zhǎng)上下文外推方案而非原生 RoPErope_theta1000000000.0RoPE 基頻10 億比常見的 10000 大 10 萬(wàn)倍讓位置信號(hào)在長(zhǎng)序列中轉(zhuǎn)得更慢不容易混淆beta_fast/beta_slow32 / 1YaRN 的 NTK 插值邊界高頻維度按 32 倍插值、低頻維度按 1 倍中間平滑過(guò)渡llama_4_scaling_beta0.1附加的位置縮放系數(shù)進(jìn)一步修正超長(zhǎng)位置的注意力分布為什么是 16 倍而不是直接改數(shù)字原生 RoPE 只見過(guò) 16384 以內(nèi)的位置直接把max_position_embeddings改成 262144 會(huì)導(dǎo)致模型對(duì)沒(méi)見過(guò)的位置編號(hào)完全懵。YaRN 的思路是對(duì)旋轉(zhuǎn)角度做插值重標(biāo)定高頻維度對(duì)位置敏感、轉(zhuǎn)得快按beta_fast32的比例壓縮角度變化避免外推時(shí)震蕩低頻維度轉(zhuǎn)得慢、本來(lái)就穩(wěn)定按beta_slow1幾乎不動(dòng)超大的rope_theta10 億再整體放緩旋轉(zhuǎn)給 262K 長(zhǎng)度留出余量。三者疊加模型在 16K 到 262K 的位置區(qū)間內(nèi)都能輸出平滑、可區(qū)分的位置信號(hào)——這就是262K 超長(zhǎng)上下文煉成的完整配方。視覺塔用的是另一套默認(rèn)RoPE順帶一提config.json 中vision_config的rope_theta只有 10000rope_type為default——圖像 patch 序列短沒(méi)必要用 YaRN。YaRN 只加在文本主干上。四、快速上手最快運(yùn)行方式倉(cāng)庫(kù)已準(zhǔn)備好用 mlx-vlm 即可加載。按 README.md 的操作pip install -U mlx-vlm python -m mlx_vlm.generate --model mlx-community/Ministral-3-14B-Base-2512-6bit --max-tokens 100 --temperature 0.0 --prompt ...純文本輸入可省略--image參數(shù)YaRN 配置會(huì)自動(dòng)生效無(wú)需額外設(shè)置。五、總結(jié)262K 超長(zhǎng)上下文不是玄學(xué)就藏在 config.json 的rope_parameters里核心公式16384原生× 16factor 262144 tokensYaRN 通過(guò)beta_fast32/beta_slow1的頻率插值 rope_theta1e9的大基頻把位置編碼平滑拉長(zhǎng)該模型 6-bit 量化、視覺塔全精度12.68GB 即可本地跑起來(lái)理解這套參數(shù)后你在任何 Hugging Face 模型卡片里看到rope_type: yarn都能 30 秒內(nèi)算出它的真實(shí)上下文上限。贊分享【免費(fèi)下載鏈接】Ministral-3-14B-Base-2512-6bit項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ministral-3-14B-Base-2512-6bit點(diǎn)擊查看免費(fèi)下載相關(guān)推薦如何解鎖 262K 超長(zhǎng)上下文Ministral-3-14B-Base-2512-8bit 的 YaRN 外推技術(shù)與 RoPE 配置詳解如何解鎖 262K 超長(zhǎng)上下文Ministral 3 14B Base 2512 8bit 的 YaRN 外推技術(shù)與 RoPE 配置詳解 Ministral揭秘262K超長(zhǎng)上下文Ministral-3-14B-Base-2512-bf16的YARN外推與GQA注意力實(shí)現(xiàn)原理揭秘262K超長(zhǎng)上下文Ministral 3 14B Base 2512 bf16的YARN外推與GQA注意力實(shí)現(xiàn)原理 Ministral 3 14B Bas256K長(zhǎng)上下文如何做到Ministral-3-3B-Base-2512-6bit的YaRN縮放與Pixtral視覺架構(gòu)深度解析256K長(zhǎng)上下文如何做到Ministral 3 3B Base 2512 6bit的YaRN縮放與Pixtral視覺架構(gòu)深度解析 Ministral 3 3B上一篇kohya_ss跨平臺(tái)AI繪畫模型訓(xùn)練框架的技術(shù)架構(gòu)革新與實(shí)戰(zhàn)指南下一篇探索Aerich一款現(xiàn)代化的數(shù)據(jù)遷移工具創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考