Esta herramienta estima el número de GPU requerido después de descontar los tokens de entrada que la caché evita reprocesar. Introduce tus supuestos operativos para obtener un resultado principal, métricas complementarias y una lectura práctica que facilite la planificación. Los cálculos se realizan localmente en el navegador y sirven para comparar escenarios, dimensionar capacidad y detectar cuellos de botella antes de comprometer presupuesto o infraestructura.
El entero final es la cantidad mínima teórica de GPU para el promedio especificado.
No incluye límites de memoria, paralelismo del modelo, latencia de interconexión ni redundancia; añade réplicas según tu arquitectura.
Con 25 sol/s, 3.000 tokens de entrada, 65 % de aciertos, 80 % reutilizado, 500 de salida, 18.000 tokens/s por GPU y 75 % de utilización, se requieren 4 GPU.
No en este modelo; solo reduce el reprocesamiento de la parte reutilizable de entrada.
Una fracción de GPU no cubre la carga por sí sola.
Puede introducirse, pero deja poco margen para variaciones y suele ser menos robusto.
No. Debes añadirla según tu nivel de disponibilidad.
El medido con el mismo modelo, precisión, lote y longitud de contexto.
| Métrica | Uso |
|---|---|
| Tokens efectivos | Carga computacional después de la caché. |
| Demanda total | Tokens procesados por segundo. |
| Utilización | Fracción operativa del rendimiento máximo. |