最後更新:
Qwen4 GGUF:去哪裡下載,選哪個檔案
Qwen4 權重尚未發布,所以目前沒有官方的 Qwen4 GGUF。Qwen4-27B 發布後,適用 llama.cpp、Ollama 與 LM Studio 的 GGUF 通常一天內就會出現。以下是去哪裡找、怎麼選。
一句話: 等官方發布,再從 Qwen 官方組織或知名量化作者那裡下載 Q4_K_M。阿里發布權重之前出現的「Qwen4」GGUF 一律別下。
Qwen4 GGUF 會出現在哪裡
- Hugging Face 上的 Qwen 官方. 先看這裡。Qwen 有時會自己發布 GGUF;基礎模型必須是 Qwen/ 下的儲存庫。
- Unsloth. 發布過 Qwen3.8-27B 的 GGUF(unsloth/Qwen3.8-27B-GGUF),是該模型下載量最高的版本。
- LM Studio 社群. 發布過 lmstudio-community/Qwen3.8-27B-GGUF,針對 LM Studio 調整過。
- Ollama 模型庫. Qwen3.8 的項目是 qwen3.8:27b(約 18 GB)。Qwen4 發布後預計會有 qwen4 項目。
來源: Hugging Face 搜尋:qwen4 gguf
來源: lmstudio-community/Qwen3.8-27B-GGUF
選哪種量化
| 格式 | 權重 | 總計(8K 上下文) | 總計(32K) | 總計(128K) |
|---|---|---|---|---|
| BF16 | 54 GB | 56 GB | 57 GB | 64 GB |
| Q8_0 | 29 GB | 30 GB | 32 GB | 38 GB |
| Q6_K | 22 GB | 24 GB | 25 GB | 32 GB |
| Q5_K_M | 19 GB | 21 GB | 22 GB | 29 GB |
| Q4_K_M | 17 GB | 18 GB | 20 GB | 26 GB |
| IQ4_XS | 14 GB | 16 GB | 18 GB | 24 GB |
| Q3_K_M | 13 GB | 15 GB | 16 GB | 23 GB |
以 Qwen3.8-27B 結構的 27B 模型估算,包含 KV 快取與約 1 GB 執行時開銷。Q4_K_M 是大小與品質最常用的平衡點,顯存夠的話可以用 Q5_K_M 或 Q6_K。
如何避開假檔案與壞檔案
- 沒有官方權重,就不可能有真的 Qwen4 GGUF。發布前出現的都是改名或其他模型的微調。
- 看模型卡上的基礎模型(base model),應指向官方 Qwen/ 儲存庫。
- 想要原版模型,就略過「uncensored」「abliterated」或合併版。
- 如果 Qwen4 採用 Qwen3.8-Flash-Next 那套新架構,舊版 llama.cpp 可能無法載入。請先更新 llama.cpp、Ollama 或 LM Studio。
來源: Qwen3.8-Flash-Next 模型卡(Qwen4 架構預覽)
現在就能跑的 Qwen3.8-27B GGUF
先用它測試你的電腦。Qwen4-27B 的 GGUF 出來後,把儲存庫名稱換掉即可。
# llama.cpp (從 Hugging Face 下載)
llama-server -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M -c 32768
# Ollama
ollama run qwen3.8:27bQwen4 相關頁面
Qwen4 發布狀態 · Qwen4-27B · 顯存計算器 · 本機部署 · 線上體驗 · Qwen4-27B 與 Qwen3.8-27B 比較
常見問題
有 Qwen4 的 GGUF 嗎?
沒有官方的。截至 2026 年 10 月 11 日 Qwen4 權重尚未發布,所以還不存在真正的 Qwen4 GGUF。
Qwen4 GGUF 該下載哪個?
24 GB 顯示卡多半選 Q4_K_M,32 GB 可選 Q5_K_M 或 Q6_K,48 GB 選 Q8_0。用顯存計算器核對你的上下文長度。
Qwen4 GGUF 能在 Ollama 與 LM Studio 裡用嗎?
要等它們內建的 llama.cpp 支援 Qwen4 架構。下載前先把軟體更新到最新版。
獨立指南,與阿里巴巴及 Qwen 團隊無關。狀態核對於 2026 年 10 月 11 日。Qwen4 權重尚未發布,發布後我們會更新本頁。