Estima cuántos tokens consumirá una carga de inferencia de un modelo de lenguaje y cuánto margen queda dentro de un presupuesto operativo. Combina solicitudes, tokens de entrada, tokens de salida, reintentos y sobrecarga del sistema para mostrar el consumo total, el promedio por solicitud y la cantidad máxima de tareas que admite el límite definido.
La capacidad del presupuesto se obtiene dividiendo el límite de tokens entre el consumo efectivo por solicitud.
El resultado principal representa el volumen total que debe poder procesar el proveedor o la infraestructura. El margen indica si el límite elegido cubre la carga con las hipótesis actuales.
Los tokens reales dependen del tokenizador, el modelo y la estructura exacta de cada solicitud. Utiliza medias observadas cuando dispongas de registros.
Con 10.000 solicitudes, 1.200 tokens de entrada, 350 de salida, 80 de sobrecarga y 3 % de reintentos, el consumo efectivo es 1.678,9 tokens por solicitud y el total es 16.789.000 tokens.
Sí. Deben incluirse como sobrecarga o dentro de los tokens de entrada porque también se procesan en cada inferencia.
Reduce los tokens de entrada medios según la proporción realmente facturada o procesada como caché en tu proveedor.
La calculadora no valida el límite de un modelo concreto; debes comparar entrada, salida y sobrecarga con su ventana de contexto.
El promedio sirve para coste agregado; un percentil alto ofrece una reserva más prudente para capacidad y límites.
Porque cada repetición vuelve a consumir tokens y puede elevar el presupuesto total aunque la tarea lógica sea la misma.
| Elemento | Uso |
|---|---|
| Entradas | Definen la carga y la capacidad disponible. |
| Resultado principal | Resume la decisión operativa más importante. |
| Métricas secundarias | Ayudan a comprobar margen, volumen y eficiencia. |