Estima el número de GPU requerido para servir un modelo de lenguaje según el tamaño de los pesos, la precisión, la memoria adicional y la demanda de inferencia. Combina una restricción de memoria con otra de caudal y devuelve el mayor requisito, para evitar un dimensionamiento que quepa en memoria pero no soporte el tráfico esperado.
GPU requeridas = máximo entre techo(memoria ÷ memoria por GPU) y techo(demanda ÷ caudal por GPU).
El resultado integra dos cuellos de botella. El requisito de memoria garantiza que pesos y reserva entren; el de caudal garantiza que el conjunto pueda procesar la tasa objetivo.
No sustituye una prueba del runtime. Paralelismo tensorial, duplicación de pesos, longitud de contexto y tamaño de lote pueden cambiar la memoria efectiva y el rendimiento.
Un modelo de 70 mil millones de parámetros a 16 bits ocupa unos 140 GB de pesos. Con 25 % de sobrecarga son 175 GB: 3 GPU de 72 GB. Si la demanda es 12 solicitudes/s y cada GPU sostiene 3,5, el caudal exige 4 GPU; por tanto, el resultado es 4.
Sí, la estimación usa gigabytes decimales para una comparación sencilla. El runtime puede informar GiB y producir una pequeña diferencia.
Porque cada parámetro ocupa menos bits, aunque puede existir metadato adicional y no todo el ahorro teórico se materializa.
No de forma explícita. El número mínimo indica capacidad agregada; debes validar que la topología y el runtime soporten el reparto elegido.
Usa un valor sostenible obtenido con el modelo, la precisión, el contexto, el lote y el hardware que planeas desplegar.
Sí cuando necesites tolerancia a fallos, mantenimiento sin interrupción o margen para picos; la cifra mostrada es un mínimo técnico.
| Elemento | Uso |
|---|---|
| Entradas | Definen la carga y la capacidad disponible. |
| Resultado principal | Resume la decisión operativa más importante. |
| Métricas secundarias | Ayudan a comprobar margen, volumen y eficiencia. |