最後更新: 2026年10月17日

Llmspeed：買硬體前，先感受本地 LLM 跑多快

Llmspeed 是免費開源的網頁工具，網址 llmspeed.dev。選一張顯示卡、一台 Mac 或 CPU，再選一個模型，它就以這套硬體的預測速度逐字播放示範回答，連第一個 token 之前的等待也算進去。2026 年 10 月 17 日它以 Show HN 的形式登上 Hacker News。

Llmspeed 是什麼？

大多數本地 LLM 測試只給一個 token/s 數字。Llmspeed 把數字變成看得見的東西：文字依預測速度出現，之前還有一段與提示詞長度相符的等待。專案自己的說法是「在買硬體之前，感受本地 LLM 跑多快」。

它是以 Vite、Preact 和 TypeScript 寫成的純靜態網站，採 MIT 授權。所有預測資料都放在 GitHub 儲存庫的一個資料檔裡，任何人都能查每個數字的來源。

• 即時模擬. 文字依預測的 token/s 串流輸出，開頭先等一段與提示詞長度相關的首 token 時間。
• 對比模式（Race）. 兩套配置並排執行，例如 RTX 5090 對 Mac Studio。
• 記憶體是否足夠. 顯示模型在每種量化下能否放得下、是否需要部分卸載到系統記憶體，或根本無法執行。
• 涵蓋範圍. 30 種顯示卡、Mac 和 CPU，15 個熱門模型，涵蓋 CUDA、Metal、ROCm、Vulkan 和 CPU 後端。
• 分享連結. 每個配置或對比都有獨立連結，可直接傳給別人。

來源: GitHub：albinstman/llmspeed（README）

來源: llmspeed.dev（官方網站）

Llmspeed 怎麼用

1. 用瀏覽器開啟 llmspeed.dev。不用安裝、不用註冊，頁面需要啟用 JavaScript。
2. 選擇你已有或打算購買的硬體，例如 RTX 4090、Mac Studio 或只有 CPU 的電腦。
3. 選擇模型和量化（如 Q4_K_M、Q8_0 或 FP16）。記憶體指示會告訴你放得下、會溢出到系統記憶體，還是無法載入。
4. 選擇提示詞長度。提示詞越長，第一個 token 出現前等得越久；資料檔預設 42、290、1,800 和 12,500 個 token 四檔。
5. 開始模擬，看回答逐字輸出，並留意結果旁的標籤：實測（Measured）、推算（Derived）或預測（Projected）。
6. 開啟對比模式加入第二套配置，再複製連結分享。

Llmspeed 只模擬速度，不會在你的瀏覽器裡真正執行模型，也無法說明回答品質。

來源: GitHub：albinstman/llmspeed（README）

來源: llmspeed.dev（官方網站）

來源: GitHub：llmspeed data/app-data.json

Llmspeed 準嗎？實測、推算和預測三種標籤

每個估算值都附有標籤，說明可信程度：

我們在 2026 年 10 月 17 日查看的資料檔中，1,446 個「硬體 × 模型 × 量化」組合裡有 76 個是實測，385 個是推算，985 個標示為無法執行。也就是說，可執行的結果大多是內插值，而非直接實測。

來源: GitHub：albinstman/llmspeed（README）

來源: GitHub：llmspeed data/app-data.json

Llmspeed 如何估算 token/s

實測資料來自社群基準，從 r/LocalLLaMA、localscore.ai、llama.cpp 討論區等處收集並核對。沒有基準時，README 說工具會依基本原理推算：

• 生成速度受記憶體頻寬限制：每產生一個 token 都要把啟用權重讀一遍。混合專家（MoE）模型只計啟用參數。
• 提示詞處理（首 token 時間）受運算力限制，以 FP16 TFLOPS 計算。
• 兩者都套用依後端校準的效率係數（以實測資料標定），並隨上下文變長加入降速。
• 部分卸載採混合模型：放在顯示卡上的部分以顯示記憶體頻寬計，溢出到系統記憶體的部分以校準過的有效頻寬計。
• 記憶體占用計入權重、KV 快取和執行開銷，再與可用記憶體比較：Mac 統一記憶體約以 75% 計，獨立顯示卡約以 93% 計。

本站 Qwen4 顯存計算器 · Qwen4 本地部署教學

來源: GitHub：albinstman/llmspeed（README）

來源: r/LocalLLaMA

來源: localscore.ai

來源: GitHub：llama.cpp

Llmspeed 硬體清單：30 種顯示卡、Mac 和 CPU

以下是 2026 年 10 月 17 日專案資料檔中的裝置，依記憶體頻寬排序；在它的模型裡，頻寬是決定生成速度的主要因素。記憶體和頻寬都是該檔案使用的數值。

來源: GitHub：llmspeed data/app-data.json

Llmspeed 支援哪些模型？

資料檔依熱門程度列出 15 個模型：Qwen 3.6/3.8 27B, Qwen 3.5/3.6 35B A3B, Qwen3 30B A3B, Qwen 3.5 9B, GLM-5.3 Flash, DeepSeek V4 Flash, DeepSeek R1 Distill 14B, GPT-OSS 20B, GPT-OSS 120B, Gemma 4 26B A4B, Gemma 4 31B, Llama 3.1 8B, Ornith 1.5 35B A3B, Ornith 1.5 9B, Muse Glimmer 30B。

GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 這類混合專家模型每個 token 只讀取啟用參數，所以只要放得下，生成速度會比總參數量看起來快。最大的幾個模型提供低位元量化，讓大記憶體 Mac 和工作站也能放得下。

來源: GitHub：llmspeed data/app-data.json

來源: GitHub：albinstman/llmspeed（README）

提交你自己的測速結果

最有價值的貢獻是一筆真實量測。在你的電腦上執行 llama.cpp 的基準工具，在 benchmarks/submissions.csv 末尾加一列（硬體、模型、量化、後端、引擎版本、gen_tps、prefill_tps、提示詞 token 數、來源連結、備註），並在 PR 中貼上完整的 llama-bench 輸出。MLX、vLLM、ExLlama 等引擎的結果也歡迎，註明引擎即可。

# 1. Measure your own machine with llama.cpp's benchmark tool
llama-bench -m your-model.gguf -p 512 -n 128
# tg128 = generation speed (gen_tps), pp512 = prompt speed (prefill_tps)
# 2. Add a row to benchmarks/submissions.csv and open a pull request

來源: GitHub：albinstman/llmspeed（README）

來源: GitHub：llmspeed benchmarks/submissions.csv

來源: GitHub：llama.cpp

在本機執行 Llmspeed

網站是純靜態的，可以自己架一份。README 中的開發指令：

# Run the site locally (Vite + Preact + TypeScript)
git clone https://github.com/albinstman/llmspeed
cd llmspeed
npm install
npm run dev

來源: GitHub：albinstman/llmspeed（README）

Llmspeed 的限制

• 只支援單一裝置：多卡（張量並行或依層切分）暫不模擬。
• 是估算不是保證：依 README 的說法，驅動程式、引擎版本、flash attention、功耗上限和散熱都可能讓實際數字偏差 10–30%。
• 未上市硬體的預測值會在有實測後替換。
• Hacker News 上有留言說預測與自己電腦的實際速度不符，希望加入多卡、NVLink 和更多量化選項，也指出實際使用時提示詞處理速度和上下文長度往往比單純生成速度更重要。
• 同一討論中的另一個建議：購買前花幾分鐘租一張雲端 GPU 實測，成本很低。

來源: GitHub：albinstman/llmspeed（README）

來源: daily.dev：Show HN 討論摘要（2026-10-17）

獨立教學，與 Llmspeed 及其作者無關。內容來自 GitHub 上 Llmspeed 的 README 和資料檔，以及 Hacker News 討論摘要，查閱於 2026 年 10 月 17 日。我們沒有自行做基準測試。硬體和模型名稱是其所有者的商標。