Обновлено: 17 октября 2026 г.

Llmspeed: почувствуйте скорость локальной LLM до покупки

Llmspeed — бесплатный веб-инструмент с открытым кодом на llmspeed.dev. Вы выбираете видеокарту, Mac или CPU и модель, а он выводит пример ответа с той скоростью, которую прогнозирует для этого железа, включая ожидание первого токена. 17 октября 2026 года он появился на Hacker News в формате Show HN.

Что такое Llmspeed?

Большинство бенчмарков локальных LLM дают одно число в токенах в секунду. Llmspeed превращает его в то, что можно увидеть: текст появляется с прогнозной скоростью после реалистичной паузы, зависящей от длины промпта. Сам проект описывает себя как способ «почувствовать, как быстро работает локальная LLM, до покупки железа».

Это статический сайт на Vite, Preact и TypeScript под лицензией MIT. Все прогнозы лежат в одном файле данных в репозитории GitHub, так что любой может проверить, откуда взялось число.

• Симуляция в реальном времени. Текст идёт с прогнозной скоростью в токенах в секунду после времени до первого токена, которое зависит от промпта.
• Режим гонки. Две конфигурации рядом, например RTX 5090 против Mac Studio.
• Проверка памяти. Показывает, помещается ли модель при каждом квантовании, нужна ли частичная выгрузка в системную RAM или она вообще не запустится.
• Охват. 30 видеокарт, Mac и CPU и 15 популярных моделей; бэкенды CUDA, Metal, ROCm, Vulkan и CPU.
• Ссылки для обмена. У каждой конфигурации и гонки есть своя ссылка.

Источник: GitHub: albinstman/llmspeed (README)

Источник: llmspeed.dev (официальный сайт)

Как пользоваться Llmspeed

1. Откройте llmspeed.dev в браузере. Ничего устанавливать не нужно, аккаунт не нужен; странице нужен JavaScript.
2. Выберите железо, которое у вас есть или которое вы собираетесь купить: RTX 4090, Mac Studio, ПК только с CPU и т. д.
3. Выберите модель и квантование (например, Q4_K_M, Q8_0 или FP16). Индикатор памяти покажет, помещается ли модель, уходит ли часть в RAM или она не загрузится.
4. Выберите длину промпта. Чем он длиннее, тем дольше ждать первый токен; в файле данных есть варианты на 42, 290, 1 800 и 12 500 токенов.
5. Запустите симуляцию и смотрите, как идёт ответ. Обратите внимание на метку рядом с результатом: Measured, Derived или Projected.
6. Включите режим гонки, чтобы добавить вторую конфигурацию, и скопируйте ссылку, чтобы поделиться сравнением.

Llmspeed моделирует только скорость. Он не запускает модель в браузере и ничего не говорит о качестве ответов.

Источник: GitHub: albinstman/llmspeed (README)

Источник: llmspeed.dev (официальный сайт)

Источник: GitHub: llmspeed data/app-data.json

Насколько точен Llmspeed? Measured, Derived и Projected

У каждой оценки есть метка, показывающая, насколько ей можно доверять:

В файле данных, который мы смотрели 17 октября 2026 года, из 1 446 сочетаний железа, модели и квантования 76 были Measured, 385 — Derived, а 985 помечены как не запускающиеся. То есть большинство рабочих результатов — интерполяция, а не прямые замеры.

Источник: GitHub: albinstman/llmspeed (README)

Источник: GitHub: llmspeed data/app-data.json

Как Llmspeed оценивает токены в секунду

Измеренные значения взяты из бенчмарков сообщества, собранных и проверенных на r/LocalLLaMA, localscore.ai, в обсуждениях llama.cpp и других источниках. Если бенчмарка нет, по словам README, инструмент считает от базовых принципов:

• Скорость генерации ограничена пропускной способностью памяти: каждый токен один раз читает активные веса. Для моделей mixture-of-experts считаются только активные параметры.
• Обработка промпта (время до первого токена) ограничена вычислительной мощностью в FP16 TFLOPS.
• Оба расчёта используют коэффициенты эффективности для каждого бэкенда, откалиброванные по замерам, плюс замедление по мере роста контекста.
• Частичная выгрузка считается гибридно: часть на видеокарте — по пропускной способности GPU, часть в RAM — по эффективной пропускной способности, откалиброванной по реальным замерам.
• Проверка памяти сравнивает веса, KV-кеш и накладные расходы с доступной памятью: около 75% объединённой памяти на Mac и 93% VRAM на дискретных видеокартах.

Наш калькулятор VRAM для Qwen4 · Как запустить Qwen4 локально

Источник: GitHub: albinstman/llmspeed (README)

Источник: r/LocalLLaMA

Источник: localscore.ai

Источник: GitHub: llama.cpp

Список железа в Llmspeed: 30 видеокарт, Mac и CPU

Это устройства из файла данных проекта на 17 октября 2026 года, отсортированные по пропускной способности памяти — главному фактору скорости генерации в его модели. Объём памяти и пропускная способность — значения из файла.

Источник: GitHub: llmspeed data/app-data.json

Какие модели есть в Llmspeed?

В файле данных 15 моделей, отобранных по популярности: Qwen 3.6/3.8 27B, Qwen 3.5/3.6 35B A3B, Qwen3 30B A3B, Qwen 3.5 9B, GLM-5.3 Flash, DeepSeek V4 Flash, DeepSeek R1 Distill 14B, GPT-OSS 20B, GPT-OSS 120B, Gemma 4 26B A4B, Gemma 4 31B, Llama 3.1 8B, Ornith 1.5 35B A3B, Ornith 1.5 9B, Muse Glimmer 30B.

Модели mixture-of-experts вроде GPT-OSS 120B, DeepSeek V4 Flash и GLM-5.3 Flash на каждом токене читают только активные параметры, поэтому могут генерировать быстрее, чем подсказывает их общий размер, если помещаются в память. Самые большие доступны в низкобитных квантованиях, чтобы поместиться на Mac и рабочих станциях с большим объёмом памяти.

Источник: GitHub: llmspeed data/app-data.json

Источник: GitHub: albinstman/llmspeed (README)

Добавьте свой замер

Самый ценный вклад — реальный замер. Запустите бенчмарк llama.cpp на своём компьютере, добавьте строку в benchmarks/submissions.csv (железо, модель, квантование, бэкенд, версия движка, gen_tps, prefill_tps, токены промпта, ссылка на источник, заметки) и вставьте полный вывод llama-bench в pull request. Результаты MLX, vLLM или ExLlama тоже принимаются, если указать движок.

# 1. Measure your own machine with llama.cpp's benchmark tool
llama-bench -m your-model.gguf -p 512 -n 128
# tg128 = generation speed (gen_tps), pp512 = prompt speed (prefill_tps)
# 2. Add a row to benchmarks/submissions.csv and open a pull request

Источник: GitHub: albinstman/llmspeed (README)

Источник: GitHub: llmspeed benchmarks/submissions.csv

Источник: GitHub: llama.cpp

Запуск Llmspeed локально

Сайт полностью статический, поэтому можно поднять свою копию. Команды для разработки из README:

# Run the site locally (Vite + Preact + TypeScript)
git clone https://github.com/albinstman/llmspeed
cd llmspeed
npm install
npm run dev

Источник: GitHub: albinstman/llmspeed (README)

Ограничения Llmspeed

• Только одно устройство: конфигурации с несколькими видеокартами (разбиение по тензорам или слоям) пока не моделируются.
• Оценки, а не гарантии: по словам README, драйверы, версии движка, flash attention, лимиты мощности и температура могут сдвинуть реальные значения на 10–30%.
• Прогнозы для невышедшего железа заменят замерами, когда они появятся.
• На Hacker News часть комментаторов писала, что прогнозы не совпали с их машинами, просила поддержку нескольких GPU, NVLink и больше вариантов квантования и отмечала, что в реальной работе скорость обработки промпта и длина контекста часто важнее чистой скорости генерации.
• Ещё один совет из того же обсуждения: арендовать облачную видеокарту на несколько минут — дешёвый способ по-настоящему проверить конфигурацию до покупки.

Источник: GitHub: albinstman/llmspeed (README)

Источник: daily.dev: обзор обсуждения Show HN (17.10.2026)

Независимый гайд, не связан с Llmspeed и его автором. Сведения взяты из README и файла данных Llmspeed на GitHub и обзора обсуждения на Hacker News, прочитанных 17 октября 2026 года. Собственных замеров мы не проводили. Названия железа и моделей — товарные знаки их владельцев.