Convierte la capacidad de generación de un sistema LLM en solicitudes por segundo y tareas por hora. Usa el número de GPU, los tokens generados por segundo, la longitud media de salida, la utilización y el porcentaje de sobrecarga para estimar un rendimiento sostenible, no solo un máximo teórico.
Solicitudes/s = tokens efectivos/s ÷ tokens de salida por solicitud.
El rendimiento expresa cuántas respuestas completas pueden terminarse por unidad de tiempo con la salida media indicada. La tasa de tokens efectiva permite separar capacidad bruta y pérdidas operativas.
La entrada también consume cómputo. Si el prefill es significativo, incorpóralo reduciendo la utilización o usando una tasa medida extremo a extremo.
Ocho GPU a 120 tokens/s, con 75 % de utilización y 12 % de sobrecarga, entregan 633,6 tokens/s efectivos. Para respuestas de 300 tokens equivalen a 2,112 solicitudes/s o 7.603 tareas por hora.
No de forma directa. Usa una tasa por GPU medida extremo a extremo o ajusta la utilización para reflejar el coste de procesamiento de entrada.
Con una tasa de generación fija, cada respuesta más larga ocupa una mayor parte de los tokens disponibles por segundo.
Puede introducirse, pero en producción suele ser prudente usar el valor realmente observado, ya que existen burbujas, colas y variabilidad.
Puede elevar la utilización y el rendimiento, aunque el efecto exacto debe reflejarse en la medición de tokens por segundo.
Solo si cada usuario genera exactamente una tarea. Para sesiones con varias solicitudes, divide por la media de tareas por usuario.
| Elemento | Uso |
|---|---|
| Entradas | Definen la carga y la capacidad disponible. |
| Resultado principal | Resume la decisión operativa más importante. |
| Métricas secundarias | Ayudan a comprobar margen, volumen y eficiencia. |