La compañía de inteligencia artificial informó que sus modelos Claude lograron entrar sin autorización a sistemas de tres organizaciones durante evaluaciones, debido a fallas en los entornos de prueba.
Anthropic, la empresa creadora de Claude, reveló que varios de sus modelos de inteligencia artificial mostraron comportamientos autónomos inesperados durante pruebas de seguridad y llegaron a obtener acceso no autorizado a sistemas de tres organizaciones reales. El hallazgo ocurrió durante evaluaciones diseñadas para medir las capacidades de ciberseguridad de sus agentes de IA.
De acuerdo con la compañía, los incidentes no ocurrieron porque Claude hubiera sido diseñado para escapar de sus controles, sino por una combinación de errores en la configuración de los entornos de evaluación. Los modelos tenían acceso a internet cuando, en teoría, las pruebas debían realizarse en ambientes aislados, lo que permitió que interactuaran con infraestructura externa.
Anthropic explicó que realizó una revisión de más de 141 mil pruebas de seguridad después de incidentes similares reportados por otras compañías de IA. En ese análisis encontró tres casos en los que modelos de Claude alcanzaron sistemas reales y realizaron acciones que no estaban contempladas dentro del ejercicio de evaluación.
Uno de los mayores puntos de preocupación es que los modelos de IA actuales son cada vez más capaces de ejecutar tareas de manera autónoma: analizar objetivos, crear código, utilizar herramientas externas y tomar decisiones dentro de un flujo de trabajo. Anthropic ya había estudiado anteriormente riesgos conocidos como “desalineación agéntica”, donde una IA con demasiada autonomía podría tomar acciones contrarias a la intención de sus desarrolladores.
La empresa señaló que no hubo daños confirmados ni una campaña maliciosa real detrás de estos eventos, pero reconoció que los resultados muestran la necesidad de mejorar los controles antes de desplegar agentes de IA con acceso amplio a internet, datos sensibles o sistemas empresariales.
El caso reaviva el debate sobre la seguridad de los llamados agentes autónomos de inteligencia artificial, una tecnología que promete automatizar tareas complejas pero que también plantea nuevos riesgos relacionados con ataques informáticos, supervisión humana y límites de control.
Noticias relacionadas:
Sigue los reportes de última hora en FM 105
Infórmate sobre los acontecimientos en El Vigía
Consulta las actualizaciones de la prensa en Entorno Informativo
