【免費下載鏈接】gemma-4-31B-it-GGUF項目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF點擊查看免費下載想在自己的電腦上私有化部署 Google 最新開源多模態(tài)大模型嗎gemma-4-31B-it-GGUF 倉庫由 Unsloth 提供收錄了Gemma 4 31B指令微調(diào)版的全部 GGUF 量化版本Q2 到 Q8、BF16開箱即用支持文本與圖像輸入、最長 256K 上下文Apache 2.0 協(xié)議可自由商用。本教程帶你從零開始5 分鐘在本地跑起它。一、這個倉庫里有什么先花 1 分鐘了解倉庫結構下載時心里有數(shù)目錄/文件說明根目錄各*.gguf不同量化精度的主模型從約 10GB 的UD-IQ2_XXS到約 33GB 的Q8_0BF16/16 位原始精度模型分 2 個文件效果最好但顯存要求最高MTP/MTP 多 token 預測草稿模型用于推測解碼加速生成速度mmproj-*.gguf視覺編碼器投影文件看懂圖片必須搭配使用mtp-gemma-4-31B-it.gguf倉庫根目錄的 Q8_0 版 MTP 草稿模型供自動發(fā)現(xiàn)config.json模型架構配置可見 60 層、262K 詞表、256K 上下文等參數(shù)imatrix_unsloth.gguf_fileUnsloth 量化時使用的 imatrix 校準數(shù)據(jù)如何選量化版本按顯存對號入座即可 顯存推薦版本體積約16GBUD-Q2_K_XL/UD-IQ3_XXS10~13GB24GBQ4_K_M最均衡官方 MTP 驗證用此版本約 19GB40GBQ8_0或UD-Q8_K_XL30GB80GB / 雙卡BF16/ 原始精度約 61GB 帶UD前綴的是 Unsloth Dynamic 動態(tài)量化按層重要性分配比特數(shù)同體積下質量更好-XL后綴為更大文件內(nèi)的高精度變體。二、部署前準備安裝 llama.cppGemma 4 需要較新的 llama.cppMTP 功能于 2026-06-07 合并進主干。以 NVIDIA 顯卡為例克隆源碼并編譯git clone https://github.com/ggml-org/llama.cpp cd llama.cpp # -DCMAKE_CUDA_ARCHITECTURES 按你的顯卡填寫89(RTX 4090)、90(H100)、100(B200) cmake -B build -DGGML_CUDAON -DCMAKE_CUDA_ARCHITECTURES90 cmake --build build --config Release -j --target llama-server更多構建細節(jié)可參考 MTP/README.md。三、5分鐘快速啟動 llama-server本倉庫是一個鏡像倉庫可以直接克隆到本地然后指向本地文件啟動git clone https://gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF cd gemma-4-31B-it-GGUF ./path/to/llama-server \ -m gemma-4-31B-it-Q4_K_M.gguf \ --mmproj mmproj-BF16.gguf \ -ngl 999 -fa on參數(shù)小白注釋 -m主模型文件換成你選定的量化版本即可--mmproj視覺投影文件加上它模型才能看圖-ngl 999把所有層卸載到 GPU-fa on開啟 Flash Attention省顯存提速啟動后瀏覽器打開http://localhost:8080即可在 Web 界面與模型對話、上傳圖片。?? 注意倉庫內(nèi)文件較大若只是下載單個文件建議用hf download之類的工具按需拉取不必 clone 整個倉庫。四、進階用 MTP 推測解碼再提速 40% MTP/README.md 中給出了實測數(shù)據(jù)在單卡 B200 上跑Q4_K_M開啟 MTP 后從70 tok/s 提升到 101 tok/s草稿接受率 0.78。新版 llama.cpp 能自動發(fā)現(xiàn)倉庫根目錄的 mtp-gemma-4-31B-it.gguf直接加兩個參數(shù)即可./path/to/llama-server \ -m gemma-4-31B-it-Q4_K_M.gguf \ --spec-type draft-mtp --spec-draft-n-max 4 \ -ngl 999 -fa on想要指定精度或多卡部署可改用顯式寫法--model-draft MTP/mtp-gemma-4-31B-it-Q8_0.gguf詳見 MTP/README.md。五、最佳采樣參數(shù)官方推薦按照 README.md 的 Best Practices無論何種任務都建議使用統(tǒng)一采樣配置參數(shù)推薦值temperature1.0top_p0.95top_k64其他小貼士多模態(tài)輸入圖片/音頻放在提示詞前面效果最佳圖像分辨率支持 70~1120 的視覺 token 預算OCR 讀小字用高值分類/看圖說話用低值多輪對話歷史消息中只保留最終回答不要保留中間思考內(nèi)容六、常見問題Q內(nèi)存/顯存不夠模型卡住怎么辦換更低的量化版本如UD-IQ2_XXS或減少-ngl讓部分層留在內(nèi)存。Q加載 MTP 文件報錯gemma4-assistant架構不認識你的 llama.cpp 太舊了請編譯 2026-06-07 之后的版本。Q只想要文字能力能省掉 mmproj 嗎可以不傳--mmproj參數(shù)即可還能省一點顯存。至此一臺 24GB 顯卡的機器上Gemma 4 31B 已經(jīng)可以流暢本地運行了。它支持 140 語言、256K 長上下文和圖像理解配合 MTP 加速日常問答、文檔解析、代碼任務都值得一試。贊分享【免費下載鏈接】gemma-4-31B-it-GGUF項目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF點擊查看免費下載相關推薦5分鐘跑通gemma-1.1-2b-it本地部署大語言模型新手完全教程5分鐘跑通gemma 1.1 2b it本地部署大語言模型新手完全教程 gemma 1.1 2b it 是 Google 推出的輕量級開源大語言模型約 20大模型基礎模型10分鐘本地跑通Gemma 4 12B多模態(tài)大模型gemma-4-12B-it-GGUF新手完全入門指南10分鐘本地跑通Gemma 4 12B多模態(tài)大模型gemma 4 12B it GGUF新手完全入門指南 gemma 4 12B it GGUF 是 Goog如何用llama.cpp 5分鐘跑通DeepSeek-V4-Flash-GGUF面向新手的本地部署快速上手教程如何用llama.cpp 5分鐘跑通DeepSeek V4 Flash GGUF面向新手的本地部署快速上手教程 本教程面向新手講解如何用 llama.cpp上一篇IDM激活腳本終極指南Windows下載工具永久免費解決方案下一篇dagster-postgres 實戰(zhàn)指南用 PostgreSQL 為 Dagster OSS 提供持久化實例存儲創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何5分鐘在本地跑起gemma-4-31B-it-GGUF：從零開始的新手部署教程
【免費下載鏈接】gemma-4-31B-it-GGUF項目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF點擊查看免費下載想在自己的電腦上私有化部署 Google 最新開源多模態(tài)大模型嗎gemma-4-31B-it-GGUF 倉庫由 Unsloth 提供收錄了Gemma 4 31B指令微調(diào)版的全部 GGUF 量化版本Q2 到 Q8、BF16開箱即用支持文本與圖像輸入、最長 256K 上下文Apache 2.0 協(xié)議可自由商用。本教程帶你從零開始5 分鐘在本地跑起它。一、這個倉庫里有什么先花 1 分鐘了解倉庫結構下載時心里有數(shù)目錄/文件說明根目錄各*.gguf不同量化精度的主模型從約 10GB 的UD-IQ2_XXS到約 33GB 的Q8_0BF16/16 位原始精度模型分 2 個文件效果最好但顯存要求最高MTP/MTP 多 token 預測草稿模型用于推測解碼加速生成速度mmproj-*.gguf視覺編碼器投影文件看懂圖片必須搭配使用mtp-gemma-4-31B-it.gguf倉庫根目錄的 Q8_0 版 MTP 草稿模型供自動發(fā)現(xiàn)config.json模型架構配置可見 60 層、262K 詞表、256K 上下文等參數(shù)imatrix_unsloth.gguf_fileUnsloth 量化時使用的 imatrix 校準數(shù)據(jù)如何選量化版本按顯存對號入座即可 顯存推薦版本體積約16GBUD-Q2_K_XL/UD-IQ3_XXS10~13GB24GBQ4_K_M最均衡官方 MTP 驗證用此版本約 19GB40GBQ8_0或UD-Q8_K_XL30GB80GB / 雙卡BF16/ 原始精度約 61GB 帶UD前綴的是 Unsloth Dynamic 動態(tài)量化按層重要性分配比特數(shù)同體積下質量更好-XL后綴為更大文件內(nèi)的高精度變體。二、部署前準備安裝 llama.cppGemma 4 需要較新的 llama.cppMTP 功能于 2026-06-07 合并進主干。以 NVIDIA 顯卡為例克隆源碼并編譯git clone https://github.com/ggml-org/llama.cpp cd llama.cpp # -DCMAKE_CUDA_ARCHITECTURES 按你的顯卡填寫89(RTX 4090)、90(H100)、100(B200) cmake -B build -DGGML_CUDAON -DCMAKE_CUDA_ARCHITECTURES90 cmake --build build --config Release -j --target llama-server更多構建細節(jié)可參考 MTP/README.md。三、5分鐘快速啟動 llama-server本倉庫是一個鏡像倉庫可以直接克隆到本地然后指向本地文件啟動git clone https://gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF cd gemma-4-31B-it-GGUF ./path/to/llama-server \ -m gemma-4-31B-it-Q4_K_M.gguf \ --mmproj mmproj-BF16.gguf \ -ngl 999 -fa on參數(shù)小白注釋 -m主模型文件換成你選定的量化版本即可--mmproj視覺投影文件加上它模型才能看圖-ngl 999把所有層卸載到 GPU-fa on開啟 Flash Attention省顯存提速啟動后瀏覽器打開http://localhost:8080即可在 Web 界面與模型對話、上傳圖片。?? 注意倉庫內(nèi)文件較大若只是下載單個文件建議用hf download之類的工具按需拉取不必 clone 整個倉庫。四、進階用 MTP 推測解碼再提速 40% MTP/README.md 中給出了實測數(shù)據(jù)在單卡 B200 上跑Q4_K_M開啟 MTP 后從70 tok/s 提升到 101 tok/s草稿接受率 0.78。新版 llama.cpp 能自動發(fā)現(xiàn)倉庫根目錄的 mtp-gemma-4-31B-it.gguf直接加兩個參數(shù)即可./path/to/llama-server \ -m gemma-4-31B-it-Q4_K_M.gguf \ --spec-type draft-mtp --spec-draft-n-max 4 \ -ngl 999 -fa on想要指定精度或多卡部署可改用顯式寫法--model-draft MTP/mtp-gemma-4-31B-it-Q8_0.gguf詳見 MTP/README.md。五、最佳采樣參數(shù)官方推薦按照 README.md 的 Best Practices無論何種任務都建議使用統(tǒng)一采樣配置參數(shù)推薦值temperature1.0top_p0.95top_k64其他小貼士多模態(tài)輸入圖片/音頻放在提示詞前面效果最佳圖像分辨率支持 70~1120 的視覺 token 預算OCR 讀小字用高值分類/看圖說話用低值多輪對話歷史消息中只保留最終回答不要保留中間思考內(nèi)容六、常見問題Q內(nèi)存/顯存不夠模型卡住怎么辦換更低的量化版本如UD-IQ2_XXS或減少-ngl讓部分層留在內(nèi)存。Q加載 MTP 文件報錯gemma4-assistant架構不認識你的 llama.cpp 太舊了請編譯 2026-06-07 之后的版本。Q只想要文字能力能省掉 mmproj 嗎可以不傳--mmproj參數(shù)即可還能省一點顯存。至此一臺 24GB 顯卡的機器上Gemma 4 31B 已經(jīng)可以流暢本地運行了。它支持 140 語言、256K 長上下文和圖像理解配合 MTP 加速日常問答、文檔解析、代碼任務都值得一試。贊分享【免費下載鏈接】gemma-4-31B-it-GGUF項目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF點擊查看免費下載相關推薦5分鐘跑通gemma-1.1-2b-it本地部署大語言模型新手完全教程5分鐘跑通gemma 1.1 2b it本地部署大語言模型新手完全教程 gemma 1.1 2b it 是 Google 推出的輕量級開源大語言模型約 20大模型基礎模型10分鐘本地跑通Gemma 4 12B多模態(tài)大模型gemma-4-12B-it-GGUF新手完全入門指南10分鐘本地跑通Gemma 4 12B多模態(tài)大模型gemma 4 12B it GGUF新手完全入門指南 gemma 4 12B it GGUF 是 Goog如何用llama.cpp 5分鐘跑通DeepSeek-V4-Flash-GGUF面向新手的本地部署快速上手教程如何用llama.cpp 5分鐘跑通DeepSeek V4 Flash GGUF面向新手的本地部署快速上手教程 本教程面向新手講解如何用 llama.cpp上一篇IDM激活腳本終極指南Windows下載工具永久免費解決方案下一篇dagster-postgres 實戰(zhàn)指南用 PostgreSQL 為 Dagster OSS 提供持久化實例存儲創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考