Calcula la latencia esperada de un agente de IA a partir del tiempo del modelo, las herramientas secuenciales y la sobrecarga de infraestructura. También compara el resultado con un objetivo de servicio y estima cuántas tareas por minuto puede sostener una cantidad determinada de ejecuciones concurrentes.
Latencia = modelo + (herramienta × llamadas secuenciales) + sobrecarga
Capacidad/min = concurrencia × 60.000 ÷ latencia en ms
Una latencia inferior al objetivo deja margen operativo. La capacidad por minuto supone que las ejecuciones concurrentes permanecen ocupadas de forma continua.
No incluye colas externas variables ni límites de tasa del proveedor. Usa percentiles reales, no solo promedios, para compromisos de nivel de servicio.
Con 1.800 ms de modelo, 3 herramientas de 450 ms y 300 ms de sobrecarga, la latencia es 3.450 ms. Con 20 tareas concurrentes, la capacidad teórica es aproximadamente 347,8 tareas por minuto.
Sí. Multiplica la latencia de herramienta por el número de llamadas secuenciales.
Introduce como latencia de herramienta el tiempo del camino paralelo más lento y ajusta las llamadas secuenciales.
No. Es una capacidad teórica basada en la latencia introducida y la concurrencia disponible.
Para planificación conservadora suele ser más útil el percentil 95.
Indica que la latencia estimada supera el objetivo de servicio.
| Componente | Impacto |
|---|---|
| Modelo | Generación y razonamiento |
| Herramientas | APIs, búsquedas y bases de datos |
| Sistema | Red, cola y orquestación |