最後更新:
Qwen4 本機部署
Qwen4-27B 是 Qwen4 中面向本機部署的檔位,但權重尚未發布。現在先用 Qwen3.8-27B 把執行環境建好,Qwen4-27B 發布後只需要換個模型名稱。
一句話: 最省事的是在 24 GB 顯示卡或 32 GB 以上的 Mac 上用 Ollama。4-bit 加 32K 上下文約需 20 GB。
選一個執行工具
- Ollama. 一行指令,Windows、macOS、Linux 都能用,首選。
- LM Studio. 桌面應用程式,內建模型瀏覽與聊天視窗,不必開終端機。
- llama.cpp. 對量化、上下文長度與 GPU 分層卸載控制最細。
- vLLM 或 SGLang. 在 NVIDIA 顯示卡上對外提供相容 OpenAI 的 API、服務多人使用;需要完整或 FP8 權重。
步驟
- 用顯存計算器確認顯存,選好量化版本。
- 安裝並更新執行工具,確保支援最新的 Qwen 架構。
- 現在先用下方指令跑 Qwen3.8-27B,確認一切正常。
- Qwen4-27B 發布後,把模型名稱換成 Qwen 官方 Hugging Face 頁面上的正式名稱。
現在就能用的指令(Qwen3.8-27B)
# Ollama
ollama run qwen3.8:27b
# llama.cpp
llama-server -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M -c 32768
# vLLM
pip install vllm
vllm serve Qwen/Qwen3.8-27B
# SGLang
pip install sglang
python3 -m sglang.launch_server --model-path Qwen/Qwen3.8-27B --port 30000Qwen4-27B 的官方儲存庫名稱尚未公布,別自己猜,出來後以 Qwen 官方 Hugging Face 頁面上的名稱為準。
來源: Qwen3.8-27B 模型卡(vLLM 與 SGLang 指令)
在 Mac 上
Apple 晶片的 Mac 由 CPU 與 GPU 共用記憶體,但 macOS 預設只讓 GPU 使用其中一部分。4-bit 的 27B 模型搭配 32K 上下文約需 20 GB,所以 32 GB 記憶體是實際下限,48 GB 以上更寬裕。Ollama 上也有 Qwen3.8 的 MLX 版本(qwen3.8:27b-mlx)。
Qwen4 相關頁面
Qwen4 發布狀態 · Qwen4-27B · 顯存計算器 · GGUF 下載 · 線上體驗 · Qwen4-27B 與 Qwen3.8-27B 比較
常見問題
現在能在本機部署 Qwen4 嗎?
Qwen4 本身還不行:截至 2026 年 10 月 11 日沒有發布權重。現在可以用同樣的工具跑 Qwen3.8-27B。
部署 Qwen4-27B 最簡單的方法是什麼?
Ollama。等 Qwen4 進入它的模型庫,就和現在的 qwen3.8:27b 一樣一行指令。
一定要 NVIDIA 顯示卡嗎?
不用。Ollama、LM Studio 與 llama.cpp 也支援 Apple 晶片的 Mac 與 AMD 顯示卡。vLLM 與 SGLang 主要用於 NVIDIA 伺服器。
獨立指南,與阿里巴巴及 Qwen 團隊無關。狀態核對於 2026 年 10 月 11 日。Qwen4 權重尚未發布,發布後我們會更新本頁。