De piloto a producción: el costo de inferencia que nadie calcula

Respuesta corta: la inferencia es la ejecución de un modelo para producir una respuesta, y un agente puede necesitar varias ejecuciones por tarea. El costo depende del contexto enviado, la salida generada, los reintentos y la infraestructura utilizada. Para pasar a producción, medí el consumo por tarea aceptada y probalo con el volumen esperado.

La idea ancla: una conversación corta en una demostración no representa el consumo de un proceso completo durante un mes.

Una tarea puede llamar muchas veces al modelo

Un agente de soporte puede interpretar un pedido, elegir una consulta, analizar el resultado y redactar una respuesta. Si falta información, vuelve a preguntar. Si una herramienta falla, el recorrido puede sumar nuevas llamadas.

Cada ejecución procesa entradas y genera salidas. En servicios medidos por tokens, esas partes pueden tener tarifas diferentes. Los tokens son unidades del procesamiento de texto; no equivalen siempre a palabras y su cantidad cambia según el contenido y el modelo.

Un documento extenso adjunto al caso puede pesar más que el mensaje del usuario. Si se reenvía en cada paso, multiplica el consumo. El registro del piloto debería mostrar qué información se repite y qué llamadas aportan algo necesario para resolver la tarea.

Armá una cuenta por recorrido

Usá tarifas vigentes de la alternativa que estés evaluando, sin extrapolar precios de otro modelo. Para infraestructura propia, estimá recursos y tiempo de ejecución en vez de aplicar una tarifa por tokens que no pagás directamente.

ComponenteQué medirQué puede aumentar el consumo
Entrada al modeloTokens por llamadaHistoriales y documentos completos
SalidaTokens generadosRespuestas extensas innecesarias
RepeticionesLlamadas por casoErrores, ambigüedad y reintentos
Recuperación de contextoBúsquedas y procesamientoFuentes dispersas o mal indexadas
InfraestructuraRecursos y tiempo activoCapacidad reservada sin uso

Como ejemplo hipotético de volumen, 1.000 tareas con cuatro llamadas cada una representan 4.000 ejecuciones. Si el flujo real termina usando siete, serán 7.000. El precio unitario puede mantenerse igual y aun así cambiar mucho la cuenta mensual.

Separá los casos que terminaron bien de los abandonados. Un agente que consume recursos y luego deriva todo a una persona sigue generando gasto. El denominador útil es la tarea aceptada con el nivel de calidad acordado.

Los picos cambian la capacidad necesaria

Una prueba con un usuario no permite anticipar qué ocurre cuando varias áreas consultan al mismo tiempo. La capacidad debe soportar concurrencia, límites de los servicios externos y tiempos de espera aceptables.

Probá una carga parecida a la hora más exigente del negocio. Incluí solicitudes largas y herramientas lentas. Observá cuánto tardan los casos más demorados, cuántos se rechazan y si la cola se recupera cuando baja la demanda.

En infraestructura propia, una GPU o CPU ociosa también cuesta. En un servicio externo, un límite de consumo o de solicitudes puede frenar el flujo. Ambas alternativas necesitan una política para priorizar trabajo y derivar cuando se agota la capacidad disponible.

Reducir consumo sin degradar el servicio

Primero eliminá trabajo innecesario: contexto irrelevante, llamadas duplicadas y respuestas más largas de lo que el usuario necesita. Después evaluá si algunas tareas pueden resolverse con reglas, búsquedas o modelos distintos.

El almacenamiento en caché puede evitar cálculos repetidos, pero exige controlar vigencia y permisos. Una respuesta sobre un horario público admite otro tratamiento que el estado de cuenta de un cliente. Reutilizar una salida personalizada entre usuarios puede exponer información.

También necesitás límites de pasos y reintentos. Cuando el agente no progresa, derivar con los antecedentes disponibles evita gastar indefinidamente. Cada optimización debe compararse contra los mismos casos de prueba para confirmar que conserva la calidad.

La puerta de entrada a producción

Antes de habilitar usuarios reales, acordá un presupuesto operativo, alertas de consumo y una acción ante desvíos. Una alerta avisa; un límite efectivo puede detener nuevas ejecuciones. Especificá qué pasa con los casos en curso y cómo sigue trabajando el equipo.

Bootable puede instrumentar el flujo para medir llamadas, demoras y tareas completadas. El informe del piloto debe incluir consumo normal, escenario de mayor demanda y supuestos pendientes. Esa evidencia permite dimensionar el servicio sin depender de una demostración comercial.

El checklist de preparación reúne las condiciones previas. La discusión sobre cómo el gasto tecnológico puede crecer aunque baje el trabajo manual corresponde a la paradoja del costo de IA.

Preguntas frecuentes

¿La inferencia es lo mismo que entrenar?

No. Entrenar modifica parámetros del modelo. La inferencia utiliza un modelo disponible para resolver una entrada y generar una salida.

¿Un modelo local elimina el costo por consulta?

Puede eliminar una tarifa externa por llamada, pero consume hardware, energía y operación. Su costo unitario depende también del uso efectivo de la capacidad instalada.

¿Alcanza con medir una semana?

Depende de si representa tu operación. Cierres de mes, campañas o picos estacionales pueden requerir pruebas adicionales antes de proyectar el consumo.

En resumen

Para dimensionar inferencia, medí recorridos completos, repeticiones y concurrencia. Probá las optimizaciones contra calidad y tiempos de respuesta. Un piloto está preparado para escalar cuando conocés su consumo, sus límites y el procedimiento que aplica al superarlos.

Acción para esta semana: registrá llamadas, contexto y reintentos de un caso completo en la planilla de estimación del PDF que acompaña este artículo.

Descarga gratuitaPlanilla de costo de inferencia: estimá la segunda factura antes de arrancar

4 páginas · el material ampliado, en PDF. Gratis, por dejar tu email.

Descargar gratis