Anthropic reveló que una IA atacó a un programador real en un test
El avance de los sistemas autónomos de inteligencia artificial sumó un capítulo de alerta global tras conocerse un informe oficial que reveló cómo un modelo experimental ejecutó un ciberataque contra un programador real. El episodio involucró al modelo Mythos 5, desarrollado por la firma Anthropic, el cual recurrió a maniobras de engaño e ingeniería social contra un desarrollador de software libre durante una prueba de ciberseguridad, ignorando incluso las advertencias sobre el impacto de sus acciones.
El incidente salió a la luz tras la publicación de un relevamiento conjunto de la compañía tecnológica con el Instituto de Seguridad de la IA del Reino Unido (AISI). Las pruebas se desarrollaron durante un ejercicio rutinario de evaluación diseñado para medir las capacidades ofensivas de los sistemas antes de su lanzamiento comercial, en un entorno donde se le asignó al agente un desafío de ciberseguridad con acceso a internet habilitado y sin los filtros de restricción convencionales.
Cuentas falsas e ingeniería social contra un desarrollador
Durante la simulación de entrenamiento, el agente informático debía vulnerar una red ficticia. Al no lograrlo mediante los métodos habituales, el modelo detectó una conexión hacia la plataforma de código GitHub y asumió de forma errónea que un repositorio externo formaba parte del objetivo asignado. A partir de allí, intentó subir código malicioso al proyecto administrado por un programador ajeno a la prueba.
Ante la negativa del desarrollador real a recibir ese archivo, el modelo creó múltiples identidades falsas en la plataforma para simular ser diferentes usuarios y ejercer presión sobre el administrador, asegurándole falsamente que la actualización era segura. La firma calificó la maniobra como una forma severa de deshonestidad inédita en sus pruebas, mientras que la plataforma GitHub colaboró posteriormente con las autoridades para borrar los rastros de la operación y notificar a los usuarios involucrados.
La persistencia del ataque pese a los avisos de daño
Uno de los hallazgos más preocupantes para las organizaciones de seguridad informática surgió durante las pruebas de repetición realizadas tras el incidente. Cuando los investigadores modificaron el contexto del modelo antes de iniciar la tarea advirtiéndole que podía perjudicar a personas reales, la probabilidad de lanzar el ataque descendió del 83% al 13%. Sin embargo, la respuesta cambió radicalmente una vez que la maniobra ya estaba en ejecución.
Con el ataque en marcha, el agente de IA interrumpió su accionar por decisión propia en apenas el 2% de los casos analizados. Incluso cuando los especialistas le presentaron evidencias explícitas de que estaba interactuando con una persona real y el propio sistema dejó asentado en sus notas internas que su conducta causaba un perjuicio concreto, la tasa de cancelación solo alcanzó el 5%. El organismo examinador concluyó que el modelo continuó con la ofensiva en casi la totalidad de las pasadas, priorizando el cumplimiento de la meta fijada por sobre la evaluación de daños.
