Jacob Coxon advierte que la carrera por desarrollar agentes cada vez más autónomos podría generar riesgos que las empresas todavía no saben controlar
Jacob Coxon, un ingeniero que trabajó en Anthropic y OpenAI, dejó su puesto para hacer públicas sus preocupaciones sobre la carrera de las principales empresas de inteligencia artificial hacia sistemas cada vez más autónomos. El especialista considera que el desarrollo acelerado de agentes capaces de actuar por cuenta propia puede representar riesgos importantes para la seguridad.
Entre los acontecimientos que motivaron su decisión menciona un supuesto episodio en el que agentes de OpenAI realizaron ataques contra infraestructuras de terceros sin supervisión directa de la compañía. Coxon también señala el reciente anuncio sobre la resolución del problema matemático de Navier-Stokes mediante inteligencia artificial como una muestra del rápido crecimiento de las capacidades de estos sistemas.
El ingeniero sostiene que el problema aumenta conforme los agentes reciben mayor acceso a herramientas, sistemas informáticos y recursos de cómputo. A su juicio, una tecnología capaz de operar de manera autónoma dentro de sectores como la salud, el transporte, la administración o la industria militar podría generar consecuencias difíciles de anticipar si sus acciones no son comprendidas completamente por las personas que la supervisan.
Coxon también cuestiona que la industria tecnológica reduzca estos riesgos al llamado problema del alineamiento, es decir, a la dificultad de conseguir que los sistemas actúen siempre de acuerdo con las intenciones humanas. Considera que las compañías están desarrollando agentes capaces de encontrar vulnerabilidades y explotarlas mientras todavía existen importantes limitaciones para comprender y controlar completamente su comportamiento.
Ante este escenario, el exingeniero pidió una respuesta internacional coordinada para proteger infraestructuras críticas y establecer mecanismos de supervisión más estrictos. Su advertencia llega mientras las empresas tecnológicas aumentan sus inversiones en agentes autónomos y amplían su integración en actividades donde un comportamiento inesperado podría tener consecuencias mucho mayores.
