Dimensiona GPU para completar un lote LLM dentro de un plazo. A partir de registros, tokens por registro, rendimiento por GPU, horas disponibles, utilización y reserva de capacidad, calcula el mínimo de aceleradores, las GPU-hora requeridas y la duración con la configuración seleccionada.
GPU = techo(GPU-hora ÷ plazo), donde el rendimiento efectivo aplica utilización y reserva.
Las GPU-hora cuantifican el trabajo agregado. Dividirlas por el plazo convierte ese volumen en aceleradores paralelos mínimos bajo las eficiencias introducidas.
La fórmula supone escalado lineal. Comunicación, lectura de datos, límites de I/O y paralelismo del modelo pueden reducir la eficiencia al añadir GPU.
Diez millones de registros a 900 tokens suman 9.000 millones de tokens. Una GPU a 2.500 tok/s, 80 % de utilización y 15 % de reserva entrega 1.700 tok/s efectivos: 1.470,59 GPU-hora. Para 24 horas se necesitan 62 GPU.
Sí. Es una unidad de trabajo agregado; diez GPU-hora pueden ser una GPU durante diez horas o diez GPU durante una hora, si el escalado fuese lineal.
Sí, reduce el rendimiento utilizable por GPU para dejar capacidad frente a variaciones, fallos o trabajo adicional.
Multiplica los tokens por registro por el número de pasadas o calcula cada etapa por separado.
Redondea el resultado a un múltiplo del tamaño de la réplica y valida el paralelismo del runtime.
No de forma separada. Redúcelo del plazo disponible o incorpóralo mediante una utilización efectiva menor.
| Elemento | Uso |
|---|---|
| Entradas | Definen la carga y la capacidad disponible. |
| Resultado principal | Resume la decisión operativa más importante. |
| Métricas secundarias | Ayudan a comprobar margen, volumen y eficiencia. |