Respuesta corta: para confiar en un agente necesitás limitar lo que puede hacer, observar sus acciones y poder detenerlo. Los controles deben funcionar aunque el modelo interprete mal un pedido o reciba instrucciones maliciosas dentro de un documento. La confianza se construye con pruebas y registros verificables de cada operación.
La idea ancla: la autonomía aceptable termina donde deja de ser controlable el impacto de un error.
Empezá por la acción de mayor impacto
Un agente que consulta horarios tiene un riesgo distinto de otro que cambia una cuenta bancaria. El análisis debe mirar cada herramienta disponible y el efecto que produce. Una misma conversación puede pasar de una consulta inocua a una operación sensible.
En un proceso de soporte, por ejemplo, recopilar información técnica podría ejecutarse automáticamente. Reiniciar un servicio requiere condiciones adicionales. Borrar datos necesita otro tratamiento. La clasificación debe quedar implementada en el flujo, con permisos independientes y aprobaciones cuando correspondan.
Evitá credenciales compartidas con un administrador. Una identidad específica permite revocar accesos y atribuir acciones sin bloquear a todo el equipo. Los permisos deben alcanzar solamente los sistemas y operaciones necesarios para el objetivo aprobado.
Las instrucciones del modelo no son una barrera suficiente
Podés indicarle al agente que nunca revele información comercial. Esa instrucción ayuda, pero el servicio que consulta datos también debe comprobar qué puede ver cada usuario. Si la herramienta devuelve toda la cartera, ya entregó información que el modelo no necesitaba.
Un correo o archivo puede contener instrucciones que intenten desviar al agente de su tarea. El sistema debe tratar ese contenido como información recibida, sin convertirlo en autoridad para cambiar permisos o enviar datos. La validación de destinos y acciones ocurre fuera del texto generado.
Probá estos escenarios con material controlado: un adjunto que pide ignorar las reglas, un cliente que consulta un pedido ajeno y un resultado de herramienta que contiene información inesperada. Medí qué bloquea el sistema y qué llega a una persona.
Qué registrar para reconstruir un caso
La observabilidad reúne registros, métricas y recorridos de ejecución. Su utilidad práctica es poder responder qué pasó, dónde se frenó y a quién afectó. Guardar miles de mensajes sin relación entre sí no alcanza.
| Evidencia | Para qué sirve | Cuidado necesario |
|---|---|---|
| Identificador del caso | Une las acciones de una tarea | Mantenerlo entre sistemas |
| Herramienta y resultado | Confirma qué operación ocurrió | Ocultar secretos y campos innecesarios |
| Versión del flujo y modelo | Permite comparar cambios | Registrar despliegues |
| Aprobación humana | Acredita quién habilitó la acción | Vincularla a la operación exacta |
| Tiempo, errores y reintentos | Detecta degradación | Alertar con umbrales útiles |
Registrá las fuentes utilizadas y la decisión operativa, sin exigir una supuesta transcripción del pensamiento interno del modelo. Una explicación generada puede ser convincente y aun así describir mal la causa del resultado. La evidencia más firme está en los datos consultados, las reglas aplicadas y las acciones ejecutadas.
Alertas que alguien pueda atender
Un tablero sirve si tiene un responsable y una respuesta prevista. Definí qué ocurre cuando aumentan los errores, aparecen accesos rechazados o se acumulan casos pendientes. Una alerta sin destinatario deja el problema abierto hasta que un cliente lo detecta.
La condición de parada también debe ser operativa. Puede consistir en deshabilitar una herramienta de escritura, suspender nuevas ejecuciones o pasar a revisión manual. Detener el modelo no siempre cancela una operación que ya llegó a otro sistema; hace falta comprobar el estado final.
Bootable puede implementar esa supervisión junto con los conectores y probar la interrupción del flujo. El responsable de negocio debe definir qué servicios siguen funcionando durante la contingencia y cómo se recuperan las tareas pendientes.
Revisar también después de un cambio
Una nueva versión del modelo, una herramienta agregada o un permiso ampliado puede modificar el riesgo. Repetí las pruebas relacionadas antes de habilitar el cambio. Conservá una versión anterior utilizable y verificá cómo volver a ella.
La revisión periódica debería buscar accesos que ya no hacen falta, registros que contienen información excesiva y alertas que nadie atiende. El artículo sobre gobernanza desde el inicio explica quién decide y mantiene estas reglas.
Preguntas frecuentes
¿Tengo que aprobar cada paso?
No necesariamente. Podés automatizar consultas y acciones acotadas con controles probados. Las operaciones de mayor impacto pueden requerir una aprobación específica antes de ejecutarse.
¿Guardar todo mejora la auditoría?
No. Puede aumentar la exposición de datos y dificultar la búsqueda. Guardá evidencia suficiente, con acceso restringido y plazos definidos según el uso y las obligaciones aplicables.
¿MCP resuelve estos controles?
MCP facilita la integración, pero la seguridad depende de cómo implementes permisos, herramientas y operación. El artículo sobre MCP y acceso a datos delimita esa responsabilidad.
En resumen
Un agente confiable tiene permisos acotados, acciones observables y una forma probada de detenerse. Revisá esas condiciones antes de ampliar su autonomía. La guía de implementación para PyMEs conecta la seguridad con el resto de las decisiones del proyecto.
Acción para esta semana: documentá la acción más riesgosa, su control y su responsable usando el checklist del PDF que acompaña este artículo.
4 páginas · el material ampliado, en PDF. Gratis, por dejar tu email.
