Dimensiona el número de GPU que necesita un agente de IA alojado en infraestructura propia. La estimación combina la demanda máxima, el rendimiento observado por GPU, la memoria de cada réplica, la utilización objetivo y una reserva de alta disponibilidad.
GPU por capacidad = techo(demanda ÷ (rendimiento × utilización))
GPU por memoria = techo(VRAM de réplica ÷ VRAM por GPU)
GPU totales = máximo(capacidad, memoria) + reserva
La cifra principal es el número entero de GPU que conviene provisionar. El cálculo evita superar la utilización objetivo y comprueba que la réplica quepa en memoria.
El rendimiento debe medirse con el mismo modelo, precisión, longitud de contexto y estrategia de lotes que se usarán en producción.
Para 25 tareas/s, 4 tareas/s por GPU, 75 % de utilización, 20 GB por réplica, GPU de 24 GB y una unidad de reserva: se requieren 9 GPU en total.
Porque ambos requisitos deben cumplirse simultáneamente.
Sí. Se añade al requisito base calculado.
Esta versión supone GPU homogéneas; usa la capacidad efectiva más conservadora si mezclas modelos.
El medido con tu modelo, lote, precisión y contexto reales.
No. Está orientada a inferencia de agentes en producción.
| Criterio | Protege frente a |
|---|---|
| Capacidad | Saturación de solicitudes |
| Memoria | Falta de VRAM |
| Reserva | Fallo o mantenimiento |