Cómo usar esta calculadora
- Introduce documentos y tokens medios.
- Añade el rendimiento medido por GPU.
- Define ventana y utilización objetivo.
- Revisa GPU, horas-GPU y reserva.
#897 · Herramienta de IA y tecnología
Calculadora de GPU para procesamiento documental con IA
Estima el número de GPU necesario para procesar documentos con IA según volumen, tokens por documento, rendimiento por GPU, ventana de tiempo y utilización objetivo. También muestra horas de GPU y capacidad de reserva para planificar infraestructura.
Calculadora
Datos del escenarioFórmula
GPU = techo[(tokens totales ÷ segundos disponibles ÷ rendimiento por GPU) ÷ utilización]
Qué significa el resultado
El resultado aproxima la flota mínima de GPU bajo un rendimiento sostenido.
Mide el rendimiento con tu modelo, precisión, longitud de contexto y hardware reales.
Ejemplo de cálculo
100.000 documentos de 4.000 tokens equivalen a 400 millones de tokens. En 24 horas se requieren 4.630 tok/s; con 1.200 tok/s por GPU y 75 % de utilización, se recomiendan 6 GPU.
Consejos para obtener mejores resultados
- Revisa los supuestos al menos una vez al mes.
- Compara varios escenarios antes de tomar una decisión.
- Mantén separadas las métricas recurrentes de los eventos puntuales.
- Documenta cambios importantes para poder explicar la evolución.
Preguntas frecuentes
¿Qué rendimiento por GPU debo usar?
Utiliza una prueba representativa con el modelo y la configuración reales.
¿La calculadora distingue entrenamiento e inferencia?
Está orientada a inferencia y procesamiento por lotes.
¿Cómo afecta el batching?
Puede aumentar el rendimiento, aunque también modificar la latencia y el uso de memoria.
¿Debo contar GPU de respaldo?
Sí, si necesitas alta disponibilidad o mantenimiento sin detener el servicio.
¿Se incluye el tiempo de OCR y preprocesamiento?
No; evalúalo como una etapa separada si limita el flujo total.
Calculadoras relacionadas
Indicadores clave
| Indicador | Uso práctico |
|---|---|
| Horas-GPU | Trabajo computacional total. |
| Reserva | Capacidad no consumida por la carga media. |