최종 업데이트:
Qwen4 GGUF: 어디서 받고 어떤 파일을 고를까
Qwen4 가중치가 공개되지 않았으므로 공식 Qwen4 GGUF도 아직 없습니다. Qwen4-27B가 나오면 llama.cpp, Ollama, LM Studio용 GGUF는 보통 하루 안에 올라옵니다. 어디를 보고 어떻게 고를지 정리했습니다.
Qwen4 GGUF가 올라올 곳
- 허깅페이스의 Qwen. 가장 먼저 확인하세요. Qwen이 직접 GGUF를 올리기도 하며, 기반 모델은 Qwen/ 저장소여야 합니다.
- Unsloth. Qwen3.8-27B GGUF(unsloth/Qwen3.8-27B-GGUF)를 공개했으며, 해당 모델에서 가장 많이 받은 버전입니다.
- LM Studio 커뮤니티. LM Studio에 맞춘 lmstudio-community/Qwen3.8-27B-GGUF를 공개했습니다.
- Ollama 라이브러리. Qwen3.8은 qwen3.8:27b(약 18 GB)로 올라와 있습니다. 출시 후 qwen4 항목이 생길 것으로 보입니다.
출처: lmstudio-community/Qwen3.8-27B-GGUF
어떤 양자화를 고를까
| 형식 | 가중치 | 합계 (8K 컨텍스트) | 합계 (32K) | 합계 (128K) |
|---|---|---|---|---|
| BF16 | 54 GB | 56 GB | 57 GB | 64 GB |
| Q8_0 | 29 GB | 30 GB | 32 GB | 38 GB |
| Q6_K | 22 GB | 24 GB | 25 GB | 32 GB |
| Q5_K_M | 19 GB | 21 GB | 22 GB | 29 GB |
| Q4_K_M | 17 GB | 18 GB | 20 GB | 26 GB |
| IQ4_XS | 14 GB | 16 GB | 18 GB | 24 GB |
| Q3_K_M | 13 GB | 15 GB | 16 GB | 23 GB |
Qwen3.8-27B 구조의 27B 모델 기준 추정치로, KV 캐시와 약 1 GB의 런타임 오버헤드를 포함합니다. Q4_K_M이 크기와 품질의 일반적인 균형점이며, 메모리가 넉넉하면 Q5_K_M이나 Q6_K를 쓰세요.
가짜 파일이나 깨진 파일을 피하는 법
- 공식 가중치가 없으니 진짜 Qwen4 GGUF도 없습니다. 출시 전에 보이는 것은 다른 모델의 이름만 바꾼 것이거나 파인튜닝입니다.
- 모델 카드의 기반 모델(base model)이 공식 Qwen/ 저장소를 가리키는지 확인하세요.
- 원본 모델을 원한다면 "uncensored", "abliterated", 병합 버전은 건너뛰세요.
- Qwen4가 Qwen3.8-Flash-Next의 새 아키텍처를 쓴다면 이전 llama.cpp에서는 로드되지 않을 수 있습니다. llama.cpp, Ollama, LM Studio를 먼저 업데이트하세요.
출처: Qwen3.8-Flash-Next 모델 카드 (Qwen4 아키텍처 미리보기)
지금 Qwen3.8-27B GGUF 실행하기
지금 내 컴퓨터를 시험해 보세요. Qwen4-27B GGUF가 나오면 저장소 이름만 바꾸면 됩니다.
# llama.cpp (허깅페이스에서 다운로드)
llama-server -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M -c 32768
# Ollama
ollama run qwen3.8:27bQwen4 관련 페이지
Qwen4 현황과 출시일 · Qwen4-27B · VRAM 계산기 · 로컬 실행 · 온라인 체험 · Qwen4-27B vs Qwen3.8-27B
자주 묻는 질문
Qwen4 GGUF가 있나요?
공식 버전은 없습니다. 2026년 10월 11일 현재 Qwen4 가중치가 공개되지 않아 진짜 Qwen4 GGUF는 아직 존재하지 않습니다.
어떤 Qwen4 GGUF를 받아야 하나요?
24 GB GPU는 대부분 Q4_K_M, 32 GB는 Q5_K_M이나 Q6_K, 48 GB는 Q8_0. 컨텍스트 길이는 VRAM 계산기로 확인하세요.
Qwen4 GGUF가 Ollama와 LM Studio에서 돌아가나요?
내장된 llama.cpp가 Qwen4 아키텍처를 지원하면 됩니다. 다운로드 전에 앱을 업데이트하세요.
독립 가이드이며 알리바바 및 Qwen 팀과 관련이 없습니다. 현황은 2026년 10월 11일에 확인했습니다. Qwen4 가중치는 아직 공개되지 않았으며, 공개되면 이 페이지를 업데이트합니다.