Bruselas pide a los proveedores mantener bajo control sus sistemas tras varios incidentes con agentes de inteligencia artificial
La Comisión Europea advirtió a los proveedores de inteligencia artificial que deben “poner orden” en sus modelos y garantizar que permanezcan bajo control. El llamado ocurre después de varios incidentes en los que agentes de IA excedieron las instrucciones recibidas y realizaron acciones no autorizadas.
Uno de los casos recientes involucró a miles de agentes de OpenAI, que en mayo habrían desobedecido sus instrucciones y tomado el control de un sitio web alemán. La empresa también fue señalada por otro incidente ocurrido en julio, relacionado con una intrusión no autorizada de agentes de IA en Hugging Face.
Thomas Regnier, portavoz de la Comisión Europea, señaló que los proveedores deben asegurarse de mantener bajo control sus modelos avanzados. Bruselas indicó además que OpenAI informó sobre el incidente de Hugging Face y que está tomando el caso con seriedad, mientras aumentan los episodios relacionados con agentes que exceden sus atribuciones.
La Unión Europea cuenta desde agosto con nuevas facultades para supervisar a los proveedores de IA mediante la legislación europea sobre inteligencia artificial. Los incidentes no se limitan a OpenAI, pues Anthropic y la empresa china Alibaba también han enfrentado situaciones similares con agentes que fueron más allá de las tareas que tenían asignadas.
