Esta herramienta estima la concurrencia y las réplicas necesarias para servir un modelo ajustado con una latencia observada. Introduce tus supuestos operativos para obtener un resultado principal, métricas complementarias y una lectura práctica que facilite la planificación. Los cálculos se realizan localmente en el navegador y sirven para comparar escenarios, dimensionar capacidad y detectar cuellos de botella antes de comprometer presupuesto o infraestructura.
El resultado conecta el objetivo de tráfico con la capacidad simultánea que debe soportar la plataforma.
Usa latencia p95 para un escenario conservador y añade redundancia independiente del margen de tráfico.
Con 18 sol/s, 650 ms de inferencia, 80 ms de sobrecarga y 25 % de margen, se recomiendan 17,52 solicitudes concurrentes.
Puede modificar el modelo servido, la longitud de respuesta o la infraestructura utilizada.
p95 ofrece una planificación más conservadora.
No necesariamente; añade redundancia según tu objetivo.
El máximo de solicitudes simultáneas que una réplica puede manejar con calidad aceptable.
Ayuda, pero una cola y pruebas de carga siguen siendo necesarias.
| Métrica | Uso |
|---|---|
| Latencia efectiva | Inferencia más sobrecarga. |
| Concurrencia | Solicitudes simultáneas requeridas. |
| Réplicas | Instancias mínimas por capacidad. |