非官方指南,與 Meta 無關。

最後更新:

Qwen4 GGUF:去哪裡下載,選哪個檔案

Qwen4 權重尚未發布,所以目前沒有官方的 Qwen4 GGUF。Qwen4-27B 發布後,適用 llama.cpp、Ollama 與 LM Studio 的 GGUF 通常一天內就會出現。以下是去哪裡找、怎麼選。

一句話: 等官方發布,再從 Qwen 官方組織或知名量化作者那裡下載 Q4_K_M。阿里發布權重之前出現的「Qwen4」GGUF 一律別下。

Qwen4 GGUF 會出現在哪裡

來源: Hugging Face 搜尋:qwen4 gguf

來源: unsloth/Qwen3.8-27B-GGUF

來源: lmstudio-community/Qwen3.8-27B-GGUF

來源: Ollama 模型庫:qwen3.8

選哪種量化

格式權重總計(8K 上下文)總計(32K)總計(128K)
BF1654 GB56 GB57 GB64 GB
Q8_029 GB30 GB32 GB38 GB
Q6_K22 GB24 GB25 GB32 GB
Q5_K_M19 GB21 GB22 GB29 GB
Q4_K_M17 GB18 GB20 GB26 GB
IQ4_XS14 GB16 GB18 GB24 GB
Q3_K_M13 GB15 GB16 GB23 GB

以 Qwen3.8-27B 結構的 27B 模型估算,包含 KV 快取與約 1 GB 執行時開銷。Q4_K_M 是大小與品質最常用的平衡點,顯存夠的話可以用 Q5_K_M 或 Q6_K。

依你的顯示卡與上下文自己算

如何避開假檔案與壞檔案

來源: Qwen3.8-Flash-Next 模型卡(Qwen4 架構預覽)

現在就能跑的 Qwen3.8-27B GGUF

先用它測試你的電腦。Qwen4-27B 的 GGUF 出來後,把儲存庫名稱換掉即可。

# llama.cpp (從 Hugging Face 下載)
llama-server -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M -c 32768

# Ollama
ollama run qwen3.8:27b

來源: unsloth/Qwen3.8-27B-GGUF

來源: Ollama 模型庫:qwen3.8

Qwen4 發布狀態 · Qwen4-27B · 顯存計算器 · 本機部署 · 線上體驗 · Qwen4-27B 與 Qwen3.8-27B 比較

常見問題

有 Qwen4 的 GGUF 嗎?

沒有官方的。截至 2026 年 10 月 11 日 Qwen4 權重尚未發布,所以還不存在真正的 Qwen4 GGUF。

Qwen4 GGUF 該下載哪個?

24 GB 顯示卡多半選 Q4_K_M,32 GB 可選 Q5_K_M 或 Q6_K,48 GB 選 Q8_0。用顯存計算器核對你的上下文長度。

Qwen4 GGUF 能在 Ollama 與 LM Studio 裡用嗎?

要等它們內建的 llama.cpp 支援 Qwen4 架構。下載前先把軟體更新到最新版。

獨立指南,與阿里巴巴及 Qwen 團隊無關。狀態核對於 2026 年 10 月 11 日。Qwen4 權重尚未發布,發布後我們會更新本頁。