Gemini accede por error a sistemas de tres empresas durante una prueba de ciberseguridad

Un fallo en el aislamiento del entorno de pruebas permitió al modelo de Google interactuar con sistemas reales, un incidente que vuelve a poner el foco sobre los riesgos de seguridad asociados a los agentes de IA con capacidad para actuar de forma autónoma.

El avance de los agentes de inteligencia artificial está ampliando considerablemente las capacidades de los modelos. Ya no se limitan a generar respuestas: algunos sistemas pueden navegar por Internet, utilizar herramientas, buscar información y ejecutar diferentes acciones para alcanzar un objetivo. Esa autonomía, sin embargo, también introduce nuevos desafíos de seguridad.

Un episodio protagonizado por Gemini, el modelo de inteligencia artificial de Google, ha vuelto a poner esta cuestión sobre la mesa después de que el sistema consiguiera acceder a infraestructuras pertenecientes a tres empresas reales durante una prueba controlada de ciberseguridad.

El incidente se produjo durante un ejercicio realizado el pasado mes de mayo por Irregular, compañía especializada en analizar la seguridad y los riesgos asociados a sistemas avanzados de inteligencia artificial.

La prueba había sido diseñada para evaluar el comportamiento de Gemini frente a una organización ficticia y comprobar su capacidad para desenvolverse en un escenario simulado de ataque. Sin embargo, un problema en la configuración del entorno provocó que el modelo no estuviera completamente aislado de Internet.

De una simulación a sistemas reales

Al disponer de acceso a la red, Gemini amplió su actividad más allá de los límites previstos inicialmente para el ejercicio.

Según la información conocida sobre el incidente, el modelo consiguió interactuar con sistemas pertenecientes a tres organizaciones que no formaban parte de la simulación.

En uno de los casos, Gemini realizó diferentes intentos con credenciales hasta localizar una combinación que permitía acceder a un sistema protegido. En otros dos episodios, identificó credenciales expuestas públicamente en repositorios de Internet y las empleó para acceder a servicios externos.

El caso resulta especialmente relevante porque el sistema no se limitó a proporcionar instrucciones sobre cómo podría desarrollarse un ataque. Gemini fue capaz de buscar información, localizar posibles puntos de entrada y utilizar las herramientas que tenía disponibles para avanzar de manera activa en la tarea.

El reto de controlar a los agentes autónomos

El episodio refleja uno de los principales desafíos que acompañan al desarrollo de la denominada IA agéntica: controlar qué acciones puede ejecutar un sistema cuando dispone simultáneamente de autonomía, acceso a Internet, herramientas y credenciales.

A medida que estos agentes se integran en los entornos corporativos, cuestiones como la gestión de permisos, la segmentación de los entornos de prueba, la supervisión humana y la trazabilidad de cada acción adquieren una importancia creciente.

Un error de configuración puede ampliar considerablemente el alcance inicialmente previsto para un agente y permitirle interactuar con recursos externos que nunca deberían haber formado parte de su entorno operativo.

Google ha señalado que el incidente no provocó daños, pero el episodio sirve como ejemplo de los riesgos que pueden aparecer cuando sistemas de IA cada vez más capaces reciben acceso a herramientas y entornos reales.

Más allá de las capacidades de Gemini, el caso abre una cuestión que las organizaciones tendrán que abordar a medida que avance la adopción de agentes autónomos: cómo establecer límites técnicos suficientemente robustos para garantizar que una IA pueda actuar por sí misma sin hacerlo fuera del perímetro autorizado.