La inteligencia artificial ya no solo es capaz de escribir textos, generar imágenes o programar. Los modelos más avanzados también están aprendiendo a buscar vulnerabilidades y desenvolverse de manera autónoma por internet, una capacidad que acaba de dejar un episodio tan llamativo como incómodo para Google.
Gemini, la inteligencia artificial de la compañía, consiguió acceder a los sistemas de tres empresas reales durante una prueba diseñada para evaluar sus capacidades en ciberseguridad, según ha confirmado Google a la BBC.
El incidente se produjo durante una evaluación realizada en mayo por una empresa independiente especializada en pruebas de seguridad. El objetivo era comprobar hasta dónde podía llegar el modelo frente a diferentes desafíos informáticos, pero Gemini terminó saliendo del entorno previsto para el ejercicio y accediendo a sistemas reales.
Según la explicación proporcionada por Google, la IA localizó información disponible públicamente en internet y utilizó esos datos para deducir credenciales de acceso a páginas que consideraba parte de la prueba.
El modelo logró entrar en los sistemas de tres compañías antes de detenerse. Las empresas afectadas fueron posteriormente informadas de lo ocurrido.
Una IA capaz de actuar sin instrucciones paso a paso
El episodio pone el foco sobre uno de los grandes cambios que está experimentando actualmente la inteligencia artificial: el salto desde los tradicionales chatbots hacia los denominados agentes de IA, sistemas capaces de ejecutar sucesivas acciones para alcanzar un objetivo sin necesitar instrucciones humanas para cada uno de los pasos.
En una prueba de ciberseguridad, esto significa que un modelo puede buscar información, analizar posibles vulnerabilidades, probar diferentes estrategias y ejecutar acciones utilizando herramientas informáticas.
El problema aparece cuando el sistema no distingue correctamente dónde termina el entorno autorizado para realizar la prueba.
Eso es precisamente lo que habría ocurrido con Gemini. El modelo interpretó que los sistemas a los que estaba accediendo formaban parte del ejercicio cuando, en realidad, pertenecían a empresas ajenas al test.
Google no considera lo sucedido un caso de desalineación del modelo y sostiene que Gemini se detuvo cuando identificó que había accedido a sistemas reales. La compañía ha trabajado con su socio encargado de las pruebas para introducir cambios en los procedimientos de evaluación.
Google no es la única que se enfrenta al problema
El incidente de Gemini se produce mientras los principales laboratorios de inteligencia artificial están sometiendo sus modelos a pruebas cada vez más exigentes para conocer sus capacidades en ámbitos como la programación y la ciberseguridad.
Y Google no es la única compañía que se ha encontrado con comportamientos inesperados durante estas evaluaciones. Otros desarrolladores de modelos avanzados, entre ellos OpenAI y Anthropic, también han documentado incidentes relacionados con sistemas que excedieron los límites previstos durante pruebas de seguridad.
Estos episodios están llevando a las empresas a prestar especial atención no solo a lo que una inteligencia artificial es capaz de hacer, sino también a los mecanismos necesarios para limitar dónde, cuándo y bajo qué permisos puede hacerlo.
El reto de controlar una IA cada vez más autónoma
El caso de Gemini ilustra una cuestión que será cada vez más relevante a medida que los agentes de inteligencia artificial ganen autonomía.
Hasta ahora, buena parte del debate sobre los riesgos de la IA se ha concentrado en las respuestas incorrectas, los sesgos o la generación de contenidos problemáticos. Pero los sistemas capaces de interactuar directamente con internet y utilizar herramientas externas plantean un escenario diferente: una equivocación puede traducirse en una acción sobre sistemas reales.
En este caso, las compañías afectadas fueron avisadas y el modelo detuvo su actividad, mientras Google y la empresa responsable de la evaluación revisaron el procedimiento utilizado en las pruebas.
El episodio deja así una paradoja para la industria tecnológica: cuanto más capaces se vuelven los modelos de actuar por sí mismos, más importante resulta asegurarse de que también sepan dónde tienen que detenerse.
