최종 업데이트: 2026년 10월 17일

Llmspeed: 사기 전에 로컬 LLM 속도를 직접 느껴 보기

Llmspeed는 llmspeed.dev에서 제공하는 무료 오픈 소스 웹 도구입니다. GPU, Mac 또는 CPU와 모델을 고르면 그 하드웨어의 예상 속도로 예시 답변을 흘려 보여 주고, 첫 토큰이 나오기 전 대기 시간까지 재현합니다. 2026년 10월 17일 Hacker News의 Show HN에 올라왔습니다.

Llmspeed란?

대부분의 로컬 LLM 벤치마크는 초당 토큰 수만 알려 줍니다. Llmspeed는 그 숫자를 눈에 보이게 바꿉니다. 프롬프트 길이에 맞는 대기 시간 뒤에 예상 속도로 텍스트가 나타납니다. 프로젝트는 스스로를 “하드웨어를 사기 전에 로컬 LLM이 얼마나 빠른지 느껴 보는” 도구라고 소개합니다.

Vite, Preact, TypeScript로 만든 정적 사이트이며 MIT 라이선스입니다. 모든 예측값이 GitHub 저장소의 데이터 파일 하나에 있어 누구나 숫자의 출처를 확인할 수 있습니다.

• 실시간 시뮬레이션. 프롬프트 길이에 따른 첫 토큰 시간 뒤, 예상 초당 토큰 수로 텍스트가 흐릅니다.
• 레이스 모드. 두 구성을 나란히 실행합니다. 예: RTX 5090 대 Mac Studio.
• 메모리 적합성. 각 양자화에서 모델이 들어가는지, 시스템 RAM으로 일부 오프로드가 필요한지, 아예 실행이 안 되는지 보여 줍니다.
• 지원 범위. GPU, Mac, CPU 30종과 인기 모델 15개. CUDA, Metal, ROCm, Vulkan, CPU 백엔드.
• 공유 링크. 구성이나 레이스마다 고유 링크가 있어 바로 보낼 수 있습니다.

출처: GitHub: albinstman/llmspeed(README)

출처: llmspeed.dev(공식 사이트)

Llmspeed 사용법

1. 브라우저에서 llmspeed.dev를 엽니다. 설치나 계정은 필요 없지만 JavaScript는 켜져 있어야 합니다.
2. 갖고 있거나 살 계획인 하드웨어를 고릅니다. RTX 4090, Mac Studio, CPU 전용 PC 등.
3. 모델과 양자화(Q4_K_M, Q8_0, FP16 등)를 고릅니다. 메모리 표시로 들어가는지, RAM으로 넘치는지, 로드가 안 되는지 알 수 있습니다.
4. 프롬프트 길이를 고릅니다. 길수록 첫 토큰까지 오래 걸리며, 데이터 파일에는 42, 290, 1,800, 12,500토큰 프리셋이 있습니다.
5. 시뮬레이션을 시작하고 답변이 흐르는 것을 봅니다. 결과 옆 라벨(Measured, Derived, Projected)을 확인하세요.
6. 레이스 모드로 두 번째 구성을 옆에 놓고, 링크를 복사해 비교를 공유합니다.

Llmspeed는 속도만 시뮬레이션합니다. 브라우저에서 모델을 실제로 돌리지 않으며 답변 품질은 알려 주지 않습니다.

출처: GitHub: albinstman/llmspeed(README)

출처: llmspeed.dev(공식 사이트)

출처: GitHub: llmspeed data/app-data.json

Llmspeed는 정확한가? Measured, Derived, Projected

모든 추정치에는 얼마나 믿을 수 있는지 알려 주는 라벨이 붙습니다.

2026년 10월 17일에 확인한 데이터 파일에서는 하드웨어 × 모델 × 양자화 조합 1,446개 중 Measured가 76개, Derived가 385개, 실행 불가가 985개였습니다. 실행 가능한 결과 대부분은 직접 측정이 아니라 보간값입니다.

출처: GitHub: albinstman/llmspeed(README)

출처: GitHub: llmspeed data/app-data.json

Llmspeed가 초당 토큰 수를 추정하는 방법

실측값은 r/LocalLLaMA, localscore.ai, llama.cpp 토론 등에서 모아 검증한 커뮤니티 벤치마크입니다. 벤치마크가 없으면 README에 따르면 다음 원리로 계산합니다.

• 생성 속도는 메모리 대역폭에 묶입니다. 토큰마다 활성 가중치를 한 번 읽습니다. MoE 모델은 활성 파라미터만 셉니다.
• 프롬프트 처리(첫 토큰까지 시간)는 연산 성능(FP16 TFLOPS)에 묶입니다.
• 둘 다 실측값으로 보정한 백엔드별 효율 계수를 쓰고, 컨텍스트가 길어질수록 느려지는 보정을 더합니다.
• 부분 오프로드는 하이브리드 모델입니다. GPU에 있는 부분은 GPU 대역폭, RAM으로 넘친 부분은 실측으로 보정한 실효 RAM 대역폭으로 계산합니다.
• 메모리 적합성은 가중치, KV 캐시, 런타임 오버헤드를 사용 가능한 메모리와 비교합니다. Mac 통합 메모리는 약 75%, 외장 GPU VRAM은 약 93%.

우리 사이트의 Qwen4 VRAM 계산기 · Qwen4 로컬 실행 방법

출처: GitHub: albinstman/llmspeed(README)

출처: r/LocalLLaMA

출처: localscore.ai

출처: GitHub: llama.cpp

Llmspeed 하드웨어 목록: GPU, Mac, CPU 30종

2026년 10월 17일 기준 프로젝트 데이터 파일의 장치를 메모리 대역폭 순으로 정리했습니다. 이 모델에서는 대역폭이 생성 속도를 좌우하는 주요 요인입니다. 메모리와 대역폭은 파일에 적힌 값입니다.

출처: GitHub: llmspeed data/app-data.json

Llmspeed가 지원하는 모델

데이터 파일에는 인기순으로 고른 모델 15개가 있습니다: Qwen 3.6/3.8 27B, Qwen 3.5/3.6 35B A3B, Qwen3 30B A3B, Qwen 3.5 9B, GLM-5.3 Flash, DeepSeek V4 Flash, DeepSeek R1 Distill 14B, GPT-OSS 20B, GPT-OSS 120B, Gemma 4 26B A4B, Gemma 4 31B, Llama 3.1 8B, Ornith 1.5 35B A3B, Ornith 1.5 9B, Muse Glimmer 30B.

GPT-OSS 120B, DeepSeek V4 Flash, GLM-5.3 Flash 같은 MoE 모델은 토큰마다 활성 파라미터만 읽기 때문에, 메모리에 들어가기만 하면 전체 크기에 비해 빠르게 생성할 수 있습니다. 가장 큰 모델들은 대용량 메모리 Mac과 워크스테이션에 들어가도록 저비트 양자화로 제공됩니다.

출처: GitHub: llmspeed data/app-data.json

출처: GitHub: albinstman/llmspeed(README)

내 측정값 제출하기

가장 가치 있는 기여는 실제 측정값입니다. 내 컴퓨터에서 llama.cpp 벤치마크를 돌리고, benchmarks/submissions.csv에 한 줄(하드웨어, 모델, 양자화, 백엔드, 엔진 버전, gen_tps, prefill_tps, 프롬프트 토큰 수, 출처 링크, 메모)을 추가한 뒤, 풀 리퀘스트에 llama-bench 전체 출력을 붙입니다. MLX, vLLM, ExLlama 결과도 엔진을 밝히면 환영합니다.

# 1. Measure your own machine with llama.cpp's benchmark tool
llama-bench -m your-model.gguf -p 512 -n 128
# tg128 = generation speed (gen_tps), pp512 = prompt speed (prefill_tps)
# 2. Add a row to benchmarks/submissions.csv and open a pull request

출처: GitHub: albinstman/llmspeed(README)

출처: GitHub: llmspeed benchmarks/submissions.csv

출처: GitHub: llama.cpp

Llmspeed 로컬에서 실행하기

사이트가 완전히 정적이라 직접 복사본을 띄울 수 있습니다. README의 개발 명령:

# Run the site locally (Vite + Preact + TypeScript)
git clone https://github.com/albinstman/llmspeed
cd llmspeed
npm install
npm run dev

출처: GitHub: albinstman/llmspeed(README)

Llmspeed의 한계

• 단일 장치만: 멀티 GPU(텐서 분할, 레이어 분할)는 아직 시뮬레이션하지 않습니다.
• 추정일 뿐 보장은 아님: README에 따르면 드라이버, 엔진 버전, flash attention, 전력 제한, 발열로 실제 수치가 10–30% 달라질 수 있습니다.
• 출시 전 하드웨어의 예측값은 실측이 나오면 교체됩니다.
• Hacker News에서는 예측이 자기 컴퓨터와 맞지 않는다는 의견, 멀티 GPU·NVLink·더 많은 양자화 옵션 요청, 실사용에서는 생성 속도보다 프롬프트 처리 속도와 컨텍스트 길이가 더 중요하다는 지적이 나왔습니다.
• 같은 토론의 다른 제안: 사기 전에 클라우드 GPU를 몇 분 빌려 실제로 시험해 보는 것이 저렴하다는 것입니다.

출처: GitHub: albinstman/llmspeed(README)

출처: daily.dev: Show HN 토론 요약(2026년 10월 17일)

독립 가이드이며 Llmspeed 및 제작자와 관련이 없습니다. 내용은 GitHub의 Llmspeed README와 데이터 파일, Hacker News 토론 요약을 2026년 10월 17일에 확인한 것입니다. 자체 벤치마크는 하지 않았습니다. 하드웨어와 모델 이름은 각 소유자의 상표입니다.