bestmodel.run / planejar
Quantos tok/s você tira do rig antes de alugar
Nenhum contribuidor mediu este rig ainda, então o número abaixo é modelado, não medido: física de banda de memória mais um custo fixo por camada calibrado em medições reais do pool. Cada valor vem com faixa.
4× B300 288GB · 212k de contexto · 1 usuário
202tok/s Flash (FP8 (official block FP8))
112tok/s GLM-5.3 cheio (FP8 (official block FP8))
Por quantização
| Modelo | Quant · engine | Cabe? | Memória (GB) | tok/s | tok/s com MTP | TTFT |
|---|---|---|---|---|---|---|
| GLM-5.3 (full) | BF16 · vLLM / SGLang | não | 1516.1 / 1094.4 | - | - | - |
| GLM-5.3 (full) | FP8 (official block FP8) · vLLM / SGLang | sim | 768.7 / 1094.4 | 112 (84–157) | 220 (133–371) | 3.2 s |
| GLM-5.3 (full) | NVFP4 · vLLM / SGLang / TRT-LLM | sim | 433.6 / 1094.4 | 122 (90–177) | 240 (142–420) | 3.2 s |
| GLM-5.3 (full) | EXL3 3.5 bpw · ExLlamaV3 (TP) | sim | 339.5 / 1094.4 | 125 (92–184) | 247 (145–436) | 3.2 s |
| GLM-5.3 (full) | GGUF Q4_K_M · llama.cpp (layer split) | sim | 466.6 / 1094.4 | 88 (66–104) | 174 (105–247) | 3.2 s |
| GLM-5.3-Flash | BF16 · vLLM / SGLang | sim | 641.6 / 1094.4 | 175 (136–237) | 343 (213–557) | 1.3 s |
| GLM-5.3-Flash | FP8 (official block FP8) · vLLM / SGLang | sim | 324 / 1094.4 | 202 (151–288) | 395 (236–677) | 1.3 s |
| GLM-5.3-Flash | NVFP4 · vLLM / SGLang / TRT-LLM | sim | 181.6 / 1094.4 | 216 (159–319) | 423 (249–749) | 1.3 s |
| GLM-5.3-Flash | EXL3 3.5 bpw · ExLlamaV3 (TP) | sim | 141.6 / 1094.4 | 221 (161–329) | 432 (253–772) | 1.3 s |
| GLM-5.3-Flash | GGUF Q4_K_M · llama.cpp (layer split) | sim | 195.6 / 1094.4 | 166 (122–199) | 325 (191–467) | 1.3 s |
tok/s = mid (low–high), decode com 1 usuário. MTP assume aceite de 1.6–2.4 tokens por passo. TTFT = prefill do contexto inteiro, MFU 40%. Memória usável = 95% por GPU; banda efetiva = 75% da nominal.
De onde vem o número
Em batch 1 cada token lê os pesos ativos uma vez, mas em rigs multi-GPU o que domina é o custo fixo por camada (kernels, all-reduce, roteamento MoE). Por isso o Flash, com 45 camadas contra 78, ganha bem menos que a razão 40B/18B de parâmetros ativos sugere. A atenção esparsa (DSA) deixa o contexto quase irrelevante para o decode; ele pesa no TTFT.
| Âncora do pool | Medido |
|---|---|
| GLM-5.2 (same 78-layer base as 5.3) NVFP4, 4x RTX PRO 6000, vLLM | 86.79 tok/s |
| GLM-5.3-Flash ~3-bit, 2x RTX PRO 6000, vLLM | 149.69 tok/s |
| GLM-5.3-Flash NVFP4, 8x B200 TP8/EP8 (Blackfrost model card, single stream) | 165.6 tok/s |
| GLM-5.2 GGUF ~Q4, 4x RTX PRO 6000, llama.cpp layer split | 39.74 tok/s |
Specs: zai-org/GLM-5.3 config.json (78 layers, kv_lora_rank 512, index_topk 2048); ~753B total / ~40B active · zai-org/GLM-5.3-Flash config.json (45 layers, 11 DSA + 34 KDA, 288 experts top-8); 320B total / 18B active · NVIDIA B300 spec: 288 GB HBM3e, 8 TB/s, 5 PFLOPS dense FP8