Esta herramienta estima el rendimiento sostenible de solicitudes al reducir los tokens que deben procesarse en cada petición. Introduce tus supuestos operativos para obtener un resultado principal, métricas complementarias y una lectura práctica que facilite la planificación. Los cálculos se realizan localmente en el navegador y sirven para comparar escenarios, dimensionar capacidad y detectar cuellos de botella antes de comprometer presupuesto o infraestructura.
El resultado expresa la tasa media que podría sostenerse antes de considerar colas, límites de red o variaciones de longitud.
La salida real depende de batching, planificación, longitud máxima y distribución de solicitudes.
Con 72.000 tokens/s, 4.000 tokens de entrada, 600 de salida, 70 % de aciertos, 75 % reutilizado y 80 % de utilización, el rendimiento es aproximadamente 27,76 solicitudes/s.
Es la parte de los tokens de entrada que no necesita reprocesarse cuando hay un acierto.
Para evitar planificar sobre el máximo teórico permanente.
La capacidad utilizable mostrada ya está expresada en tokens por segundo.
Normalmente aumenta los tokens efectivos, aunque la caché puede compensar parte del coste.
Solo indirectamente, si la capacidad total introducida ya proviene de una medición con batching.
| Métrica | Uso |
|---|---|
| Solicitudes/s | Tasa de peticiones atendidas. |
| Tokens efectivos | Trabajo medio por petición. |
| Ganancia | Incremento relativo frente a no usar caché. |