Zuletzt aktualisiert: 17. Oktober 2026

Llmspeed: Spüren, wie schnell ein lokales LLM läuft, bevor du kaufst

Llmspeed ist ein kostenloses Open-Source-Webtool unter llmspeed.dev. Du wählst eine GPU, einen Mac oder eine CPU und ein Modell, und es zeigt eine Beispielantwort in der für diese Hardware vorhergesagten Geschwindigkeit, inklusive Wartezeit bis zum ersten Token. Am 17. Oktober 2026 erschien es als Show HN auf Hacker News.

Was ist Llmspeed?

Die meisten Benchmarks für lokale LLMs liefern eine Zahl in Tokens pro Sekunde. Llmspeed macht diese Zahl sichtbar: Der Text erscheint im vorhergesagten Tempo, nach einer realistischen Wartezeit für die Prompt-Länge. Das Projekt beschreibt sich als Möglichkeit, „zu spüren, wie schnell ein lokales LLM läuft, bevor man die Hardware kauft“.

Es ist eine statische Website, gebaut mit Vite, Preact und TypeScript, unter MIT-Lizenz. Alle Vorhersagen stehen in einer einzigen Datendatei im GitHub-Repository, sodass jeder prüfen kann, woher eine Zahl stammt.

• Echtzeit-Simulation. Der Text läuft mit den vorhergesagten Tokens pro Sekunde, nach einer Zeit bis zum ersten Token, die von der Prompt-Länge abhängt.
• Race-Modus. Zwei Setups laufen nebeneinander, zum Beispiel eine RTX 5090 gegen ein Mac Studio.
• Speicher-Check. Zeigt, ob ein Modell in jeder Quantisierung passt, teilweise in den System-RAM ausgelagert werden muss oder gar nicht läuft.
• Abdeckung. 30 GPUs, Macs und CPUs und 15 beliebte Modelle, mit CUDA-, Metal-, ROCm-, Vulkan- und CPU-Backend.
• Teilbare Links. Jedes Setup und jedes Rennen hat einen eigenen Link.

Quelle: GitHub: albinstman/llmspeed (README)

Quelle: llmspeed.dev (offizielle Website)

So benutzt du Llmspeed

1. Öffne llmspeed.dev im Browser. Keine Installation, kein Konto; die Seite braucht JavaScript.
2. Wähle die Hardware, die du hast oder kaufen willst, etwa eine RTX 4090, ein Mac Studio oder einen reinen CPU-PC.
3. Wähle ein Modell und eine Quantisierung (zum Beispiel Q4_K_M, Q8_0 oder FP16). Der Speicher-Check zeigt, ob es passt, in den RAM überläuft oder nicht lädt.
4. Wähle die Prompt-Länge. Je länger, desto später kommt das erste Token; die Datendatei enthält Vorgaben mit 42, 290, 1.800 und 12.500 Tokens.
5. Starte die Simulation und sieh zu, wie die Antwort erscheint. Achte auf das Label neben dem Ergebnis: Measured, Derived oder Projected.
6. Schalte den Race-Modus ein, um ein zweites Setup daneben zu stellen, und kopiere den Link, um den Vergleich zu teilen.

Llmspeed simuliert nur die Geschwindigkeit. Es führt kein Modell in deinem Browser aus und sagt nichts über die Antwortqualität.

Quelle: GitHub: albinstman/llmspeed (README)

Quelle: llmspeed.dev (offizielle Website)

Quelle: GitHub: llmspeed data/app-data.json

Wie genau ist Llmspeed? Measured, Derived und Projected

Jede Schätzung trägt ein Label, das sagt, wie sehr man ihr trauen kann:

In der Datendatei, die wir am 17. Oktober 2026 gelesen haben, waren von 1.446 Kombinationen aus Hardware, Modell und Quantisierung 76 Measured, 385 Derived und 985 als nicht lauffähig markiert. Die meisten lauffähigen Ergebnisse sind also interpoliert, nicht direkt gemessen.

Quelle: GitHub: albinstman/llmspeed (README)

Quelle: GitHub: llmspeed data/app-data.json

Wie Llmspeed Tokens pro Sekunde schätzt

Gemessene Werte stammen aus Community-Benchmarks, gesammelt und geprüft auf r/LocalLLaMA, localscore.ai, in llama.cpp-Diskussionen und anderswo. Gibt es keinen Benchmark, rechnet das Tool laut README nach Grundprinzipien:

• Die Generierungsgeschwindigkeit hängt an der Speicherbandbreite: Jedes Token liest die aktiven Gewichte einmal. Bei Mixture-of-Experts-Modellen zählen nur die aktiven Parameter.
• Die Prompt-Verarbeitung (Zeit bis zum ersten Token) hängt an der Rechenleistung, gemessen in FP16-TFLOPS.
• Beide nutzen pro Backend Effizienzfaktoren, die an den Messungen kalibriert sind, plus eine Verlangsamung bei wachsendem Kontext.
• Teilweises Auslagern nutzt ein Hybridmodell: Der Anteil auf der GPU läuft mit GPU-Bandbreite, der ausgelagerte Anteil mit einer effektiven RAM-Bandbreite, kalibriert an echten Messungen.
• Der Speicher-Check rechnet Gewichte, KV-Cache und Laufzeit-Overhead gegen den nutzbaren Speicher: etwa 75 % des Unified Memory bei Macs und 93 % des VRAM bei dedizierten GPUs.

Unser Qwen4-VRAM-Rechner · Qwen4 lokal ausführen

Quelle: GitHub: albinstman/llmspeed (README)

Quelle: r/LocalLLaMA

Quelle: localscore.ai

Quelle: GitHub: llama.cpp

Llmspeed-Hardwareliste: 30 GPUs, Macs und CPUs

Das sind die Geräte aus der Datendatei des Projekts am 17. Oktober 2026, sortiert nach Speicherbandbreite, dem wichtigsten Faktor für die Generierungsgeschwindigkeit in seinem Modell. Speicher und Bandbreite sind die Werte aus der Datei.

Quelle: GitHub: llmspeed data/app-data.json

Welche Modelle deckt Llmspeed ab?

Die Datendatei enthält 15 Modelle, ausgewählt nach Beliebtheit: Qwen 3.6/3.8 27B, Qwen 3.5/3.6 35B A3B, Qwen3 30B A3B, Qwen 3.5 9B, GLM-5.3 Flash, DeepSeek V4 Flash, DeepSeek R1 Distill 14B, GPT-OSS 20B, GPT-OSS 120B, Gemma 4 26B A4B, Gemma 4 31B, Llama 3.1 8B, Ornith 1.5 35B A3B, Ornith 1.5 9B, Muse Glimmer 30B.

Mixture-of-Experts-Modelle wie GPT-OSS 120B, DeepSeek V4 Flash und GLM-5.3 Flash lesen pro Token nur ihre aktiven Parameter. Deshalb können sie schneller generieren, als ihre Gesamtgröße vermuten lässt, solange sie in den Speicher passen. Die größten gibt es in sehr niedrigen Quantisierungen, damit sie auf Macs und Workstations mit viel Speicher passen.

Quelle: GitHub: llmspeed data/app-data.json

Quelle: GitHub: albinstman/llmspeed (README)

Eigene Messung beitragen

Der wertvollste Beitrag ist eine echte Messung. Führe den Benchmark von llama.cpp auf deinem Rechner aus, hänge eine Zeile an benchmarks/submissions.csv an (Hardware, Modell, Quantisierung, Backend, Engine-Version, gen_tps, prefill_tps, Prompt-Tokens, Quellenlink, Notizen) und füge die komplette llama-bench-Ausgabe in den Pull Request ein. Ergebnisse von MLX, vLLM oder ExLlama sind ebenfalls willkommen, wenn du die Engine nennst.

# 1. Measure your own machine with llama.cpp's benchmark tool
llama-bench -m your-model.gguf -p 512 -n 128
# tg128 = generation speed (gen_tps), pp512 = prompt speed (prefill_tps)
# 2. Add a row to benchmarks/submissions.csv and open a pull request

Quelle: GitHub: albinstman/llmspeed (README)

Quelle: GitHub: llmspeed benchmarks/submissions.csv

Quelle: GitHub: llama.cpp

Llmspeed lokal ausführen

Die Seite ist komplett statisch, du kannst also eine eigene Kopie betreiben. Die Entwicklungsbefehle aus dem README:

# Run the site locally (Vite + Preact + TypeScript)
git clone https://github.com/albinstman/llmspeed
cd llmspeed
npm install
npm run dev

Quelle: GitHub: albinstman/llmspeed (README)

Grenzen von Llmspeed

• Nur ein Gerät: Multi-GPU-Setups (Tensor- oder Layer-Split) werden noch nicht simuliert.
• Schätzungen, keine Garantien: Laut README können Treiber, Engine-Versionen, Flash Attention, Power-Limits und Temperaturen echte Werte um 10–30 % verschieben.
• Hochgerechnete Werte für unveröffentlichte Hardware werden durch Messungen ersetzt, sobald es welche gibt.
• Auf Hacker News sagten einige Kommentatoren, die Vorhersagen passten nicht zu ihren eigenen Rechnern, wünschten sich Multi-GPU, NVLink und mehr Quantisierungen und wiesen darauf hin, dass Prompt-Verarbeitung und Kontextlänge im Alltag oft wichtiger sind als die reine Generierungsgeschwindigkeit.
• Ein weiterer Vorschlag aus derselben Diskussion: Für ein paar Minuten eine Cloud-GPU zu mieten ist eine günstige Möglichkeit, ein Setup vor dem Kauf wirklich zu testen.

Quelle: GitHub: albinstman/llmspeed (README)

Quelle: daily.dev: Zusammenfassung der Show-HN-Diskussion (17.10.2026)

Unabhängiger Leitfaden, nicht mit Llmspeed oder seinem Autor verbunden. Die Angaben stammen aus dem README und der Datendatei von Llmspeed auf GitHub sowie einer Zusammenfassung der Hacker-News-Diskussion, gelesen am 17. Oktober 2026. Eigene Benchmarks haben wir nicht durchgeführt. Hardware- und Modellnamen sind Marken ihrer Inhaber.