最后更新: 2026年10月17日

Llmspeed：买硬件前，先感受本地大模型跑多快

Llmspeed 是一个免费开源的网页工具，地址 llmspeed.dev。选一块显卡、一台 Mac 或 CPU，再选一个模型，它就按这套硬件的预测速度把示例回答一个字一个字地播出来，连首个 token 之前的等待也算在内。2026 年 10 月 17 日它以 Show HN 的形式登上 Hacker News。

Llmspeed 是什么？

大多数本地大模型测评只给一个 token/s 数字。Llmspeed 把这个数字变成能看见的东西：文字按预测速度出现，在此之前还有一段与提示词长度相符的等待。项目自己的说法是“在买硬件之前，感受本地大模型跑多快”。

它是用 Vite、Preact 和 TypeScript 写的纯静态网站，MIT 开源协议。所有预测数据都放在 GitHub 仓库的一个数据文件里，任何人都能查每个数字从哪来。

• 实时模拟. 文字按预测的 token/s 流式输出，开头先等一段与提示词长度相关的首 token 时间。
• 对比模式（Race）. 两套配置并排跑，比如 RTX 5090 对 Mac Studio。
• 显存是否够用. 显示模型在每种量化下能否装下、是否需要部分卸载到内存，或者根本跑不了。
• 覆盖范围. 30 种显卡、Mac 和 CPU，15 个热门模型，涵盖 CUDA、Metal、ROCm、Vulkan 和 CPU 后端。
• 分享链接. 每个配置或对比都有独立链接，可以直接发给别人。

来源: GitHub：albinstman/llmspeed（README）

来源: llmspeed.dev（官网）

Llmspeed 怎么用

1. 用浏览器打开 llmspeed.dev。不用安装、不用注册，页面需要开启 JavaScript。
2. 选择你已有或打算买的硬件，比如 RTX 4090、Mac Studio 或只有 CPU 的电脑。
3. 选择模型和量化（如 Q4_K_M、Q8_0 或 FP16）。显存指示会告诉你装得下、会溢出到内存，还是加载不了。
4. 选择提示词长度。提示词越长，首个 token 出来前等得越久；数据文件里预设了 42、290、1,800 和 12,500 个 token 四档。
5. 开始模拟，看回答逐字输出，并留意结果旁的标签：实测（Measured）、推算（Derived）或预测（Projected）。
6. 打开对比模式加入第二套配置，再复制链接分享这次对比。

Llmspeed 只模拟速度，不会在你的浏览器里真正运行模型，也说明不了回答质量。

来源: GitHub：albinstman/llmspeed（README）

来源: llmspeed.dev（官网）

来源: GitHub：llmspeed data/app-data.json

Llmspeed 准吗？实测、推算和预测三种标签

每个估算值都带一个标签，说明可信程度：

我们在 2026 年 10 月 17 日查看的数据文件里，1,446 个“硬件 × 模型 × 量化”组合中有 76 个是实测，385 个是推算，985 个标为跑不了。也就是说，能跑的结果大多是插值，而不是直接实测。

来源: GitHub：albinstman/llmspeed（README）

来源: GitHub：llmspeed data/app-data.json

Llmspeed 如何估算 token/s

实测数据来自社区基准，从 r/LocalLLaMA、localscore.ai、llama.cpp 讨论区等处收集并核对。没有基准时，README 说工具会按基本原理推算：

• 生成速度受内存带宽限制：每生成一个 token 都要把激活权重读一遍。混合专家（MoE）模型只计激活参数。
• 提示词处理（首 token 时间）受算力限制，按 FP16 TFLOPS 计算。
• 两者都套用按后端校准的效率系数（用实测数据标定），并随上下文变长加入降速。
• 部分卸载用混合模型：放在显卡上的部分按显存带宽算，溢出到内存的部分按校准过的有效内存带宽算。
• 显存占用计入权重、KV 缓存和运行开销，与可用内存比较：Mac 统一内存约按 75%，独立显卡显存约按 93%。

本站 Qwen4 显存计算器 · Qwen4 本地部署教程

来源: GitHub：albinstman/llmspeed（README）

来源: r/LocalLLaMA

来源: localscore.ai

来源: GitHub：llama.cpp

Llmspeed 硬件列表：30 种显卡、Mac 和 CPU

以下是 2026 年 10 月 17 日项目数据文件中的设备，按内存带宽排序；在它的模型里，带宽是决定生成速度的主要因素。内存和带宽均为该文件使用的数值。

来源: GitHub：llmspeed data/app-data.json

Llmspeed 支持哪些模型？

数据文件按热度列出 15 个模型：Qwen 3.6/3.8 27B, Qwen 3.5/3.6 35B A3B, Qwen3 30B A3B, Qwen 3.5 9B, GLM-5.3 Flash, DeepSeek V4 Flash, DeepSeek R1 Distill 14B, GPT-OSS 20B, GPT-OSS 120B, Gemma 4 26B A4B, Gemma 4 31B, Llama 3.1 8B, Ornith 1.5 35B A3B, Ornith 1.5 9B, Muse Glimmer 30B。

GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 这类混合专家模型每个 token 只读取激活参数，所以只要装得下，生成速度会比总参数量看起来快。最大的几个模型提供了低比特量化，好让大内存 Mac 和工作站也能装下。

来源: GitHub：llmspeed data/app-data.json

来源: GitHub：albinstman/llmspeed（README）

提交你自己的测速结果

最有价值的贡献是一条真实测量。在你的机器上跑 llama.cpp 的基准工具，在 benchmarks/submissions.csv 末尾加一行（硬件、模型、量化、后端、引擎版本、gen_tps、prefill_tps、提示词 token 数、来源链接、备注），并在 PR 里贴上完整的 llama-bench 输出。MLX、vLLM、ExLlama 等引擎的结果也欢迎，注明引擎即可。

# 1. Measure your own machine with llama.cpp's benchmark tool
llama-bench -m your-model.gguf -p 512 -n 128
# tg128 = generation speed (gen_tps), pp512 = prompt speed (prefill_tps)
# 2. Add a row to benchmarks/submissions.csv and open a pull request

来源: GitHub：albinstman/llmspeed（README）

来源: GitHub：llmspeed benchmarks/submissions.csv

来源: GitHub：llama.cpp

在本地运行 Llmspeed

网站是纯静态的，可以自己跑一份。README 中的开发命令：

# Run the site locally (Vite + Preact + TypeScript)
git clone https://github.com/albinstman/llmspeed
cd llmspeed
npm install
npm run dev

来源: GitHub：albinstman/llmspeed（README）

Llmspeed 的局限

• 只支持单设备：多卡（张量并行或按层切分）暂不模拟。
• 是估算不是保证：按 README 的说法，驱动、引擎版本、flash attention、功耗墙和散热都可能让真实数字偏差 10–30%。
• 未上市硬件的预测值会在有实测后替换。
• Hacker News 上有评论说预测和自己机器的实际速度对不上，希望加入多卡、NVLink 和更多量化选项，还指出实际使用中提示词处理速度和上下文长度往往比单纯的生成速度更重要。
• 同一讨论里的另一个建议：买之前花几分钟租一块云 GPU 实测，成本很低。

来源: GitHub：albinstman/llmspeed（README）

来源: daily.dev：Show HN 讨论摘要（2026-10-17）

独立教程，与 Llmspeed 及其作者无关联。内容来自 GitHub 上 Llmspeed 的 README 和数据文件，以及 Hacker News 讨论摘要，查阅于 2026 年 10 月 17 日。我们没有自己做基准测试。硬件和模型名称是其所有者的商标。