Calcula cuántas solicitudes simultáneas puede sostener un servicio de inferencia LLM a partir de la latencia objetivo, el tiempo medio de respuesta y el caudal por instancia. El resultado ayuda a dimensionar concurrencia, réplicas y margen de seguridad sin confundir velocidad de procesamiento con tiempo total percibido por el usuario.
Instancias = techo(demanda ÷ [caudal por instancia × (1 − margen)]).
La concurrencia aproxima las solicitudes que estarán activas al mismo tiempo. Las instancias recomendadas incorporan la reserva indicada, mientras que el margen de latencia compara la experiencia medida con el objetivo.
La relación usa la ley de Little en régimen estable. Colas, lotes dinámicos y picos muy breves pueden exigir pruebas de carga adicionales.
Una demanda de 25 solicitudes/s con 1,8 s de latencia implica unas 45 solicitudes concurrentes. Con 8 solicitudes/s por instancia y 20 % de reserva se recomiendan 4 instancias.
No necesariamente. Usa la métrica que corresponda al objetivo de experiencia; para capacidad global suele ser más útil la duración total.
En un sistema estable, el número medio de solicitudes activas equivale a la tasa de llegada multiplicada por el tiempo que permanecen en el sistema.
Sí. Reserva una fracción de la capacidad para variaciones, colas, tareas de mantenimiento y picos no previstos.
Calcula cada clase por separado o usa medias ponderadas de latencia y caudal si comparten la misma infraestructura.
No modela tiempos de arranque ni reglas de autoescalado; añade capacidad mínima suficiente para cubrir ese retraso.
| Elemento | Uso |
|---|---|
| Entradas | Definen la carga y la capacidad disponible. |
| Resultado principal | Resume la decisión operativa más importante. |
| Métricas secundarias | Ayudan a comprobar margen, volumen y eficiencia. |