#791 · Herramienta de IA y tecnología

Calculadora de capacidad de latencia con caché de prompts

Esta herramienta estima la concurrencia necesaria para sostener una carga cuando parte de las solicitudes reutiliza un prefijo almacenado en caché. Introduce tus supuestos operativos para obtener un resultado principal, métricas complementarias y una lectura práctica que facilite la planificación. Los cálculos se realizan localmente en el navegador y sirven para comparar escenarios, dimensionar capacidad y detectar cuellos de botella antes de comprometer presupuesto o infraestructura.

Calculadora

Parámetros del escenario
sol/s
%
ms
ms
%

Cómo usar esta calculadora

  1. Introduce los valores de carga, rendimiento y coste correspondientes a tu escenario.
  2. Revisa que las unidades coincidan con las utilizadas por tu proveedor o equipo.
  3. Pulsa Calcular para actualizar el resultado.
  4. Compara escenarios modificando una variable cada vez.

Fórmula

Latencia media = tasa de aciertos × latencia con acierto + tasa de fallos × latencia sin acierto. Concurrencia recomendada = solicitudes/s × latencia media en segundos ÷ (1 − margen).

Qué significa el resultado

El resultado indica cuántas solicitudes deberían poder permanecer activas simultáneamente sin superar la carga estimada.

La estimación supone una llegada relativamente estable; las ráfagas, colas, límites del proveedor y variaciones de longitud pueden exigir más margen.

Ejemplo de cálculo

Con 40 sol/s, 70 % de aciertos, 120 ms en aciertos, 900 ms en fallos y 20 % de margen, la latencia media es 354 ms y la concurrencia recomendada es 17,70.

Consejos para obtener mejores resultados

  • Mide latencias p50 y p95 por separado.
  • Reserva margen adicional para ráfagas.
  • Segmenta la tasa de aciertos por tipo de prompt.
  • Repite la prueba cuando cambie el modelo.

Preguntas frecuentes

¿Por qué la tasa de aciertos reduce la concurrencia necesaria?

Porque una latencia menor mantiene cada solicitud activa durante menos tiempo.

¿Debo usar latencia media o p95?

Para planificación conservadora suele ser más seguro calcular también con p95.

¿Qué ocurre si la caché no tiene aciertos?

La herramienta usa íntegramente la latencia sin acierto.

¿El margen de capacidad sustituye una prueba de carga?

No. Solo añade reserva matemática; la prueba real sigue siendo necesaria.

¿La fórmula incluye tiempo de red?

Sí, siempre que las latencias introducidas ya lo incluyan.

Guía de métricas

MétricaUso
Latencia ponderadaCombina aciertos y fallos.
ConcurrenciaSolicitudes activas simultáneas.
MargenReserva frente a picos y variabilidad.

Explora las categorías de calculadoras

22 categorías