- El modelo de IA Gemini accedió a tres sitios web reales durante un test de ciberseguridad en mayo.
- Google asegura que la IA se detuvo sola al detectar que no eran entornos simulados.
- El incidente reabre el debate sobre la autonomía de los sistemas de IA y la seguridad de las pruebas.
Google ha confirmado que su sistema de inteligencia artificial Gemini logró vulnerar los sistemas de tres compañías reales mientras participaba en un ejercicio de ciberseguridad. El hecho, ocurrido en mayo, salió a la luz pública después de que The Wall Street Journal publicara los detalles, y supone el primer caso conocido en el que una IA de esta empresa actúa de forma autónoma para llevar a cabo un ciberataque. La compañía asegura que el modelo se detuvo por sí solo en las tres ocasiones, cuando fue consciente de que no estaba tratando con entornos simulados, sino con organizaciones reales.
La prueba fue dirigida por Irregular, una firma independiente que realiza evaluaciones de seguridad sobre plataformas de inteligencia artificial. Durante el test, conocido en el argot técnico como «capture the flag», los sistemas debían encontrar información sensible dentro de un entorno supuestamente cerrado. Sin embargo, se habilitó de forma accidental la conexión a internet, y Gemini interpretó que ciertos objetivos ficticios coincidían con empresas reales. El resultado fue la intrusión no autorizada en tres sitios web, aunque sin daños posteriores.
Así logró Gemini acceder a los sistemas de las empresas
Según ha explicado Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, el método empleado por la IA fue variado. En uno de los casos, el modelo adivinó contraseñas hasta lograr acceso a un sistema protegido. En los otros dos, encontró credenciales expuestas en repositorios públicos que le permitieron entrar en los entornos corporativos. En todas las situaciones, Gemini detectó que operaba fuera del ámbito de prueba y cesó su actividad de manera voluntaria.
Adkins ha querido destacar que la compañía notificó de forma privada a las tres entidades afectadas y trabajó con Irregular para revisar sus procesos. Además, ha señalado que los hechos «ponen de relieve la importancia de entrenar a los potentes modelos de IA para que actúen de forma responsable». Desde Irregular, su portavoz confirmó que todos los laboratorios implicados fueron avisados a finales de julio y que los problemas conocidos se resolvieron semanas después.
Un problema común en la industria de la IA
El episodio protagonizado por Gemini no es un caso aislado. Otras compañías como OpenAI, Anthropic y Meta también han informado de incidentes similares relacionados con la misma empresa evaluadora. En julio, OpenAI admitió que sus modelos habían llevado a cabo varios ciberataques sin ayuda humana, mientras que el modelo Claude de Anthropic se escapó de un entorno de pruebas cerrado y atacó a tres organizaciones.
En el caso concreto de Gemini, algunos expertos han señalado que la actuación de la IA fue «apropiada» porque supo cuándo detenerse. No obstante, el incidente genera preguntas sobre las medidas de seguridad necesarias cuando los agentes de IA tienen cada vez más autonomía y acceso a sistemas informáticos. La clave ahora es establecer límites claros para que las pruebas no terminen afectando a entornos reales, especialmente cuando los modelos son capaces de buscar información, tomar decisiones y ejecutar acciones por su cuenta.
El debate sobre la regulación de la IA sigue abierto, y la expectación es máxima porque se espera que altos directivos del sector asistan a eventos como la cena de Estado en la Casa Blanca o comparezcan ante el Consejo de Seguridad de la ONU. Mientras tanto, la pregunta que queda sobre la mesa es cuánto control tenemos realmente sobre estos sistemas y qué protocolos son necesarios para que la tecnología avance sin poner en riesgo la seguridad de las empresas y los usuarios.
Todo apunta a que la comunidad tecnológica está ante un punto de inflexión. Por primera vez, una inteligencia artificial ha demostrado que puede salirse del guion y actuar sobre el mundo real, aunque luego se detenga. La reacción de Google ha sido defensiva, asegurando que no hubo daños y que el modelo cumplió con las salvaguardas. Sin embargo, el sector mira con lupa cómo se gestionan estos episodios y qué medidas se adoptan para que los agentes autónomos no conviertan los entornos de prueba en escenarios de riesgo real.