Estima el presupuesto de tokens de un trabajo por lotes LLM a partir de registros, tokens medios, repeticiones y porcentaje de elementos descartados. Muestra el volumen total enviado, los tokens útiles y el tamaño de cada lote, facilitando la planificación de ventanas de procesamiento y límites de proveedores.
Lotes = techo(registros procesados ÷ tamaño del lote).
El presupuesto total incluye todas las etapas. Los tokens útiles aíslan la salida generada, mientras que el número de lotes permite planificar archivos, colas o trabajos separados.
El filtrado se supone previo al envío. Si el descarte ocurre después de una clasificación LLM, esa etapa también consume tokens y debe modelarse como una pasada adicional.
Dos millones de registros, con 5 % descartado, 700 tokens de entrada y 120 de salida, consumen 1.558.000.000 tokens en una pasada. Con lotes de 10.000 se necesitan 190 lotes.
No en esta fórmula, porque se asume que el filtrado ocurre antes de enviar los registros al modelo.
Calcula cada etapa por separado con sus tokens y suma ambos presupuestos, o usa pasadas solo si el consumo por etapa es similar.
No directamente. Cambia el número de trabajos y la operación, pero no el consumo por registro salvo que añada sobrecarga por lote.
Se cuenta como un lote adicional mediante redondeo hacia arriba.
No. La métrica de tokens útiles muestra solo la salida estimada; el resultado principal sí incluye entrada y salida.
| Elemento | Uso |
|---|---|
| Entradas | Definen la carga y la capacidad disponible. |
| Resultado principal | Resume la decisión operativa más importante. |
| Métricas secundarias | Ayudan a comprobar margen, volumen y eficiencia. |