最后更新:
Qwen4 GGUF：去哪里下载，选哪个文件
Qwen4 权重还没发布，所以目前没有官方的 Qwen4 GGUF。Qwen4-27B 发布后，适配 llama.cpp、Ollama 和 LM Studio 的 GGUF 通常一天内就会出现。下面是去哪里找、怎么选。
一句话： 等官方发布，然后从 Qwen 官方组织或知名量化作者那里下载 Q4_K_M。阿里发布权重之前出现的"Qwen4"GGUF 一律别下。
Qwen4 GGUF 会出现在哪里
- Hugging Face 上的 Qwen 官方. 先看这里。Qwen 有时会自己发 GGUF；基础模型必须是 Qwen/ 下的仓库。
- Unsloth. 发布过 Qwen3.8-27B 的 GGUF（unsloth/Qwen3.8-27B-GGUF），是该模型下载量最高的版本。
- LM Studio 社区. 发布过 lmstudio-community/Qwen3.8-27B-GGUF，针对 LM Studio 调过。
- Ollama 模型库. Qwen3.8 的条目是 qwen3.8:27b（约 18 GB）。Qwen4 发布后预计会有 qwen4 条目。
来源: Hugging Face 搜索：qwen4 gguf
来源: lmstudio-community/Qwen3.8-27B-GGUF
选哪种量化
| 格式 | 权重 | 总计（8K 上下文） | 总计（32K） | 总计（128K） |
|---|---|---|---|---|
| BF16 | 54 GB | 56 GB | 57 GB | 64 GB |
| Q8_0 | 29 GB | 30 GB | 32 GB | 38 GB |
| Q6_K | 22 GB | 24 GB | 25 GB | 32 GB |
| Q5_K_M | 19 GB | 21 GB | 22 GB | 29 GB |
| Q4_K_M | 17 GB | 18 GB | 20 GB | 26 GB |
| IQ4_XS | 14 GB | 16 GB | 18 GB | 24 GB |
| Q3_K_M | 13 GB | 15 GB | 16 GB | 23 GB |
按 Qwen3.8-27B 结构的 27B 模型估算，包含 KV 缓存和约 1 GB 运行时开销。Q4_K_M 是体积和质量最常用的平衡点，显存够的话可以上 Q5_K_M 或 Q6_K。
怎样避开假文件和坏文件
- 没有官方权重，就不可能有真的 Qwen4 GGUF。发布前出现的都是改名或别的模型的微调。
- 看模型卡上的基础模型（base model），应当指向官方 Qwen/ 仓库。
- 想要原版模型，就跳过"uncensored""abliterated"或合并版。
- 如果 Qwen4 用的是 Qwen3.8-Flash-Next 那套新架构，旧版 llama.cpp 可能加载不了。先升级 llama.cpp、Ollama 或 LM Studio。
来源: Qwen3.8-Flash-Next 模型卡（Qwen4 架构预览）
现在就能跑的 Qwen3.8-27B GGUF
先用它测试你的机器。Qwen4-27B 的 GGUF 出来后，把仓库名换掉即可。
# llama.cpp（从 Hugging Face 下载）
llama-server -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M -c 32768
# Ollama
ollama run qwen3.8:27bQwen4 相关页面
Qwen4 发布状态 · Qwen4-27B · 显存计算器 · 本地部署 · 在线体验 · Qwen4-27B 和 Qwen3.8-27B 对比
常见问题
有 Qwen4 的 GGUF 吗？
没有官方的。截至 2026 年 10 月 11 日 Qwen4 权重还没发布，所以还不存在真正的 Qwen4 GGUF。
Qwen4 GGUF 该下哪个？
24 GB 显卡大多选 Q4_K_M，32 GB 可以选 Q5_K_M 或 Q6_K，48 GB 选 Q8_0。用显存计算器核对你的上下文长度。
Qwen4 GGUF 能在 Ollama 和 LM Studio 里用吗？
要等它们内置的 llama.cpp 支持 Qwen4 架构。下载前先把软件升级到最新。
独立指南，与阿里巴巴和 Qwen 团队无关联。状态核对于 2026 年 10 月 11 日。Qwen4 权重尚未发布，发布后我们会更新本页。