Zuletzt aktualisiert: 11. Oktober 2026

Qwen4 GGUF: wo herunterladen und welche Datei wählen

Es gibt noch kein offizielles Qwen4-GGUF, weil die Gewichte nicht veröffentlicht sind. Erscheint Qwen4-27B, folgen GGUF-Versionen für llama.cpp, Ollama und LM Studio meist innerhalb eines Tages. Hier steht, wo Sie suchen und wie Sie wählen.

Kurz gesagt: warten Sie auf das offizielle Release und laden Sie dann Q4_K_M von der Qwen-Organisation oder einem bekannten Quantisierer. Ignorieren Sie „Qwen4“-GGUFs, die vor der Veröffentlichung durch Alibaba auftauchen.

Wo Qwen4-GGUFs erscheinen werden

Qwen auf Hugging Face. Zuerst prüfen. Qwen veröffentlicht manchmal eigene GGUFs; das Basismodell muss ein Qwen/-Repository sein.
Unsloth. Hat das Qwen3.8-27B-GGUF veröffentlicht (unsloth/Qwen3.8-27B-GGUF), die meistgeladene Version dieses Modells.
LM-Studio-Community. Hat lmstudio-community/Qwen3.8-27B-GGUF veröffentlicht, abgestimmt auf LM Studio.
Ollama-Bibliothek. Führt Qwen3.8 als qwen3.8:27b (etwa 18 GB). Nach dem Release ist ein qwen4-Eintrag zu erwarten.

Quelle: Hugging-Face-Suche: qwen4 gguf

Quelle: unsloth/Qwen3.8-27B-GGUF

Quelle: lmstudio-community/Qwen3.8-27B-GGUF

Quelle: Ollama-Bibliothek: qwen3.8

Welche Quantisierung wählen

Format	Gewichte	Gesamt, 8K Kontext	Gesamt, 32K	Gesamt, 128K
BF16	54 GB	56 GB	57 GB	64 GB
Q8_0	29 GB	30 GB	32 GB	38 GB
Q6_K	22 GB	24 GB	25 GB	32 GB
Q5_K_M	19 GB	21 GB	22 GB	29 GB
Q4_K_M	17 GB	18 GB	20 GB	26 GB
IQ4_XS	14 GB	16 GB	18 GB	24 GB
Q3_K_M	13 GB	15 GB	16 GB	23 GB

Schätzungen für ein 27B-Modell mit dem Aufbau von Qwen3.8-27B, inklusive KV-Cache und etwa 1 GB Laufzeit-Overhead. Q4_K_M ist der übliche Kompromiss aus Größe und Qualität; mit mehr Speicher lohnt sich Q5_K_M oder Q6_K.

Für Ihre GPU und Ihren Kontext berechnen

Gefälschte oder defekte Dateien vermeiden

Ohne offizielle Gewichte gibt es kein echtes Qwen4-GGUF. Alles vor dem Release ist eine Umbenennung oder ein Fine-Tune eines anderen Modells.
Prüfen Sie das Basismodell auf der Model Card. Es sollte auf das offizielle Qwen/-Repository verweisen.
Überspringen Sie „uncensored“-, „abliterated“- oder Merge-Versionen, wenn Sie das Originalmodell wollen.
Nutzt Qwen4 die neue Architektur von Qwen3.8-Flash-Next, können ältere llama.cpp-Versionen es eventuell nicht laden. Aktualisieren Sie zuerst llama.cpp, Ollama oder LM Studio.

Quelle: Model Card von Qwen3.8-Flash-Next (Vorschau der Qwen4-Architektur)

Das Qwen3.8-27B-GGUF schon heute ausführen

Testen Sie damit jetzt Ihren Rechner. Sobald Qwen4-27B-GGUFs erscheinen, tauschen Sie den Repository-Namen.

# llama.cpp (lädt von Hugging Face)
llama-server -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M -c 32768

# Ollama
ollama run qwen3.8:27b

Quelle: unsloth/Qwen3.8-27B-GGUF

Quelle: Ollama-Bibliothek: qwen3.8

Qwen4: Status und Release-Datum · Qwen4-27B · VRAM-Rechner · Lokal ausführen · Online testen · Qwen4-27B vs. Qwen3.8-27B

FAQ

Gibt es ein Qwen4-GGUF?

Kein offizielles. Stand 11. Oktober 2026 sind die Qwen4-Gewichte nicht veröffentlicht, also gibt es noch kein echtes Qwen4-GGUF.

Welches Qwen4-GGUF soll ich herunterladen?

Q4_K_M für die meisten 24-GB-GPUs, Q5_K_M oder Q6_K bei 32 GB, Q8_0 bei 48 GB. Prüfen Sie Ihre Kontextlänge mit dem VRAM-Rechner.

Läuft das Qwen4-GGUF in Ollama und LM Studio?

Sobald deren llama.cpp-Version die Qwen4-Architektur unterstützt. Aktualisieren Sie die App vor dem Download.

Unabhängiger Ratgeber, nicht mit Alibaba oder dem Qwen-Team verbunden. Stand geprüft am 11. Oktober 2026. Die Qwen4-Gewichte sind noch nicht veröffentlicht; wir aktualisieren diese Seite, sobald sie erscheinen.