Calcula el rendimiento sostenible de un clúster LLM para trabajos por lotes. Convierte GPU, tokens por segundo, tokens por registro, utilización y tiempo improductivo en registros por hora y por día, además de estimar cuánto tardará en completarse un conjunto de datos concreto.
El resultado principal mide la capacidad procesada por hora. La proyección diaria y el tiempo de finalización traducen el caudal técnico a planificación operativa.
La tasa supone una mezcla estable. Registros muy variables, límites de almacenamiento o fases secuenciales pueden generar cuellos de botella no incluidos.
32 GPU a 1.800 tok/s, con 82 % de utilización y 8 % de tiempo improductivo, producen 43.453,44 tok/s efectivos. A 750 tokens por registro son 208.576 registros por hora.
La utilización refleja cuánto del rendimiento nominal se alcanza mientras el sistema opera; el tiempo improductivo descuenta pausas o periodos sin trabajo.
Solo si la tasa por GPU también mide únicamente generación y el coste de entrada es despreciable. Para lotes completos conviene usar tokens totales por registro.
Puede reducir la eficiencia por relleno o desequilibrio. Usa una tasa efectiva medida con esa distribución o separa grupos de longitudes.
Sí, multiplica por 24 horas. Ajusta el tiempo improductivo o interpreta el resultado según las horas reales de operación.
No, salvo que esa fase ya reduzca la tasa observada. Añade su duración por separado para el plazo total.
| Elemento | Uso |
|---|---|
| Entradas | Definen la carga y la capacidad disponible. |
| Resultado principal | Resume la decisión operativa más importante. |
| Métricas secundarias | Ayudan a comprobar margen, volumen y eficiencia. |