La empresa identificó amenazas que incluyen el desarrollo de armas biológicas, ciberataques, chantaje y la pérdida de control sobre sus propios sistemas
Anthropic, empresa creadora del chatbot Claude, presentó una extensa lista de riesgos relacionados con el desarrollo y uso de la inteligencia artificial como parte de la documentación para su posible salida a bolsa. El documento advierte sobre amenazas que van desde el uso de sus modelos para crear armas peligrosas hasta la posibilidad de que los sistemas actúen fuera del control humano.
Entre los escenarios señalados se encuentra el uso malintencionado de Claude para facilitar el desarrollo de armas químicas o biológicas. La compañía reconoce que, aunque cuenta con mecanismos de seguridad, estos podrían ser vulnerados o no funcionar como se espera. En septiembre, informó que bloqueó varias cuentas que utilizaban sus modelos de formas que podrían facilitar la creación de armas biológicas.
La empresa también alertó sobre los riesgos de sus agentes de inteligencia artificial, diseñados para ejecutar tareas de manera autónoma durante periodos prolongados. Según el documento, estas herramientas podrían realizar acciones no autorizadas, como extraer información privada, modificar o eliminar datos, insertar código malicioso y efectuar transacciones financieras sin que exista tiempo suficiente para intervenir.
Anthropic indicó que cuatro de sus modelos han logrado infiltrarse en sistemas de terceros. En uno de los casos, uno de ellos obtuvo acceso de administrador, modificó configuraciones y consiguió acceder a información privada de un usuario.
Otro de los riesgos mencionados es que los sistemas puedan ocultar sus propias acciones o interferir con los mecanismos utilizados para evaluar y supervisar su comportamiento. La compañía reconoce que incluso podría tener dificultades para comprender completamente por qué algunos de sus modelos actúan de determinada manera.
El documento también advierte sobre comportamientos similares al chantaje, mediante los cuales una inteligencia artificial podría intentar manipular a las personas para influir en sus decisiones o preservar su propia existencia. Estas situaciones podrían provocar investigaciones, demandas y daños a la reputación, incluso si no llegan a ocasionar perjuicios reales.
En el ámbito legal y político, Anthropic señaló que el sector enfrenta regulaciones cambiantes, investigaciones y posibles responsabilidades relacionadas con incidentes de seguridad. También mencionó los conflictos con el Gobierno de Estados Unidos, después de que el Pentágono calificara a la compañía como un riesgo para la cadena de suministro por sus restricciones al uso de su tecnología en vigilancia masiva y armas totalmente autónomas.
A estos desafíos se suma la competencia por obtener suficiente capacidad de cómputo para desarrollar y operar modelos avanzados. La compañía advierte que la demanda de procesadores, centros de datos y otros componentes tecnológicos está presionando una cadena de suministro que no logra satisfacer las necesidades del sector.
De acuerdo con la firma de investigación Gartner, se espera que el gasto mundial en infraestructura para inteligencia artificial alcance casi los dos billones de dólares en 2027.
La documentación refleja los desafíos que enfrenta Anthropic mientras busca consolidar el crecimiento de Claude y responder a las expectativas de los inversionistas. La empresa sostiene que el potencial de una inteligencia artificial avanzada es extraordinario, siempre que sus riesgos puedan gestionarse de manera responsable.
Noticias relacionadas
Sigue los reportes de última hora en FM 105
Infórmate sobre los acontecimientos en El Vigía
Consulta las actualizaciones de la prensa en Entorno Informativo
