El debate sobre la seguridad de la IA ha ganado protagonismo en los últimos meses, con figuras como Dario Amodei, Sam Altman y Elon Musk reclamando más control sobre el desarrollo de los modelos avanzados ante la preocupación por los riesgos asociados a su creciente capacidad de actuación. Algunos incidentes ya evidencian estos riesgos: agentes de OpenAI accedieron a servidores de producción de Hugging Face durante una prueba de ciberseguridad, mientras que un agente de Meta provocó la exposición de datos corporativos y de usuarios durante dos horas.

A continuación, David Villalón, cofundador y CEO de Maisa, señala cinco claves que las organizaciones deberían tener en cuenta al incorporar agentes de IA a sus procesos de producción.

1. Separar la evolución del modelo de la autonomía que se le concede

Las empresas no pueden decidir cómo evolucionarán los modelos ni a qué velocidad aumentarán sus capacidades, pero sí pueden determinar qué nivel de autonomía están dispuestas a conceder a la IA cuando deja de ser un simple asistente y empieza a ejecutar trabajo real.

Que un modelo sea cada vez más potente no debería implicar automáticamente que tenga acceso a más sistemas o pueda ejecutar más acciones. La autonomía debe responder a las necesidades del proceso y no a todas las capacidades que ofrece el modelo.

2. Definir el proceso y los permisos antes de ampliar la autonomía

Una vez definido el grado de autonomía, el siguiente paso es establecer sus límites operativos: qué proceso debe ejecutar, qué información necesita, con qué sistemas puede interactuar y qué acciones está autorizado a realizar. La autonomía no debería consistir en dar a un sistema acceso generalizado a las herramientas de una empresa y añadir controles después. El primer paso es definir qué proceso debe ejecutar, qué información necesita, con qué sistemas puede interactuar y qué acciones está autorizado a realizar.

Cada agente debe tener una función concreta y operar con los permisos necesarios para cumplirla. Las acciones críticas, como los movimientos de dinero o las modificaciones de información sensible, deben contar con mecanismos de validación. Si el sistema no puede resolver una situación siguiendo las instrucciones aprobadas, debe detenerse y trasladar el caso a una persona, en lugar de improvisar.

3. Elegir una arquitectura de IA adaptada al trabajo que se quiere automatizar

No todos los sistemas de IA están preparados para asumir las mismas responsabilidades. Un asistente que analiza información es distinto de un agente encargado de ejecutar un proceso completo. En este último caso, el modelo puede planificar cómo resolver una tarea, pero sus pasos deben convertirse en instrucciones ejecutables, verificarse y mantenerse dentro de un procedimiento aprobado.

Esta arquitectura resulta especialmente adecuada para procesos repetitivos y sujetos a reglas, como la gestión administrativa, la concesión de préstamos, los controles KYC y AML o la detección de fraude. En cambio, la negociación, el asesoramiento abierto y las tareas que requieren juicio discrecional siguen necesitando una mayor intervención humana. Cualquier cambio permanente en el procedimiento debe revisarse y aprobarse.

4. Poder reconstruir cada acción, no solo consultar lo que ha respondido la IA

Guardar las conversaciones o instrucciones de un agente no basta para demostrar qué ha hecho realmente. La empresa debe poder verificar qué datos ha utilizado, qué cambios ha realizado en sus sistemas y cómo ha llegado a cada resultado.

Para ello, la trazabilidad debe registrar las fuentes utilizadas, las versiones del modelo y del proceso, los pasos realizados, sus resultados y cualquier intervención humana o excepción.

La organización debe poder reconstruir y reproducir una ejecución bajo las mismas condiciones, algo especialmente importante en procesos críticos o regulados. No basta con que un agente explique lo que ha hecho: la empresa debe poder demostrarlo mediante un registro independiente de sus actuaciones.

5. Asignar responsabilidades claras sobre el comportamiento de cada agente

La incorporación de agentes plantea un reto de gobernanza: determinar quién responde por sus actuaciones y quién supervisa sus resultados. Cada agente debe tener un responsable en el área de negocio correspondiente, con la participación de los equipos de riesgos, cumplimiento y seguridad en la definición de los controles.

También deben separarse las funciones: quien desarrolla o configura un agente no debería ser la única persona que aprueba su puesta en producción. La responsabilidad última sobre los resultados debe permanecer en la organización que incorpora el agente, independientemente de que utilice tecnología propia o de terceros. Además, externalizar la tecnología no implica transferir la responsabilidad: las entidades financieras, por ejemplo, siguen respondiendo ante sus clientes y supervisores por las operaciones de sus agentes, aunque utilicen modelos o plataformas de terceros.

Conclusión

La evolución de la IA continuará y el debate sobre los límites de los modelos más avanzados seguirá abierto. Sin embargo, las empresas no necesitan paralizar su adopción, sino gestionarla correctamente. La próxima fase de la IA empresarial dependerá de quién sea capaz de convertir la inteligencia de los modelos en trabajo real de forma controlada, verificable y alineada con las necesidades de cada organización.