bestmodel.run / planejar

Quantos tok/s você tira do rig antes de alugar

Nenhum contribuidor mediu este rig ainda, então o número abaixo é modelado, não medido: física de banda de memória mais um custo fixo por camada calibrado em medições reais do pool. Cada valor vem com faixa.

4× B300 288GB · 212k de contexto · 1 usuário

202tok/s Flash (FP8 (official block FP8))

112tok/s GLM-5.3 cheio (FP8 (official block FP8))

Flash ≈ 1.8× mais rápido · base: modeled · sem MTP

Por quantização

ModeloQuant · engineCabe?Memória (GB)tok/stok/s com MTPTTFT
GLM-5.3 (full)BF16 · vLLM / SGLangnão1516.1 / 1094.4---
GLM-5.3 (full)FP8 (official block FP8) · vLLM / SGLangsim768.7 / 1094.4112 (84–157)220 (133–371)3.2 s
GLM-5.3 (full)NVFP4 · vLLM / SGLang / TRT-LLMsim433.6 / 1094.4122 (90–177)240 (142–420)3.2 s
GLM-5.3 (full)EXL3 3.5 bpw · ExLlamaV3 (TP)sim339.5 / 1094.4125 (92–184)247 (145–436)3.2 s
GLM-5.3 (full)GGUF Q4_K_M · llama.cpp (layer split)sim466.6 / 1094.488 (66–104)174 (105–247)3.2 s
GLM-5.3-FlashBF16 · vLLM / SGLangsim641.6 / 1094.4175 (136–237)343 (213–557)1.3 s
GLM-5.3-FlashFP8 (official block FP8) · vLLM / SGLangsim324 / 1094.4202 (151–288)395 (236–677)1.3 s
GLM-5.3-FlashNVFP4 · vLLM / SGLang / TRT-LLMsim181.6 / 1094.4216 (159–319)423 (249–749)1.3 s
GLM-5.3-FlashEXL3 3.5 bpw · ExLlamaV3 (TP)sim141.6 / 1094.4221 (161–329)432 (253–772)1.3 s
GLM-5.3-FlashGGUF Q4_K_M · llama.cpp (layer split)sim195.6 / 1094.4166 (122–199)325 (191–467)1.3 s

tok/s = mid (low–high), decode com 1 usuário. MTP assume aceite de 1.6–2.4 tokens por passo. TTFT = prefill do contexto inteiro, MFU 40%. Memória usável = 95% por GPU; banda efetiva = 75% da nominal.

De onde vem o número

Em batch 1 cada token lê os pesos ativos uma vez, mas em rigs multi-GPU o que domina é o custo fixo por camada (kernels, all-reduce, roteamento MoE). Por isso o Flash, com 45 camadas contra 78, ganha bem menos que a razão 40B/18B de parâmetros ativos sugere. A atenção esparsa (DSA) deixa o contexto quase irrelevante para o decode; ele pesa no TTFT.

Âncora do poolMedido
GLM-5.2 (same 78-layer base as 5.3) NVFP4, 4x RTX PRO 6000, vLLM86.79 tok/s
GLM-5.3-Flash ~3-bit, 2x RTX PRO 6000, vLLM149.69 tok/s
GLM-5.3-Flash NVFP4, 8x B200 TP8/EP8 (Blackfrost model card, single stream)165.6 tok/s
GLM-5.2 GGUF ~Q4, 4x RTX PRO 6000, llama.cpp layer split39.74 tok/s

Specs: zai-org/GLM-5.3 config.json (78 layers, kv_lora_rank 512, index_topk 2048); ~753B total / ~40B active · zai-org/GLM-5.3-Flash config.json (45 layers, 11 DSA + 34 KDA, 288 experts top-8); 320B total / 18B active · NVIDIA B300 spec: 288 GB HBM3e, 8 TB/s, 5 PFLOPS dense FP8