DeepMind alerta sobre los retos de la interacción masiva entre agentes inteligentes

Google DeepMind y aliados sueltan 10 millones para estudiar las locuras que harán millones de agentes AI interactuando

Google DeepMind, esa misma que el mes pasado puso en primera fila sus herramientas basadas en agentes durante Google I/O, decidió que era hora de no jugar con fuego a ciegas. Se juntó con Schmidt Sciences (la fundación de Eric y Wendy Schmidt, sí, otro que mete millones en estas movidas), ARIA (la agencia del Reino Unido que no se anda con bromas, buscando siempre la próxima gran locura tecnológica) y la Cooperative AI foundation, más el brazo benéfico Google.org, para soltar la friolera de 10 millones de dólares que van directos a financiar investigaciones sobre lo que pasa cuando decenas, cientos o millones de agentes de IA empiezan a interactuar por su cuenta.

La idea es simple: no dejan que esto lo manejen solo los laboratorios tech gigantes que pueden tirar de sus chequeras como quieran. Esas mentes académicas, que no están aplastadas por resultados trimestrales y discursos de marketing, tienen que meter cabeza y pensar qué pasará cuando ese enjambre de agentes no sea solo ficción, sino el pan nuestro de cada día en las infraestructuras económicas y sociales. Porque, spoiler alert, todavía no hay una rama consolidada que se dedique a la seguridad en sistemas multi-agente y están empezando a ver que, sin reglas claras, todo puede acabar muy mal.

¿Pero qué demonios puede salir mal con estos agentes interactuando?

Para Shah, de DeepMind, y James Fox, que pilota el programa de IA Confiable en Schmidt Sciences, los riesgos pueden parecer un upgrade acelerado de los problemas actuales en internet. Nada nuevo, pero multiplicado y refinado en velocidad y efectos: estafas automatizadas, inyecciones de prompts maliciosos para convertir a esos agentes en malware autónomo, ciberataques que no venías venir ni en pesadillas. Para el común, un agente corrupto y funcionando a toda máquina es como un virus que se replica sin control, pero con la diferencia de que podría ejecutar estrategias mucho más inteligentes y rápidas.

Lo terrorífico aquí es que ya conocemos el terreno: humanos torpes pero peligrosos. Ahora imagina el escenario con cientos de miles de agentes colgados de las redes, actuando y reaccionando a la vez sin supervisión directa, con agendas (malas o no) implícitas que pueden surgir sin que nadie haya previsto ese salto. Fox lo clava: “Tenemos esta plaza digital en común que es vital para el rollo social y económico, pero si se convierte en caos sin ley, adiós a todo”. Del otro lado, Shah se ríe cuando le preguntan si creen que todo se va al garete ya mismo, tipo crash económico total para fin de año. “Eso aún no, pero más adelante no lo descarto”, dice, apenas maquillando la amenaza.

Simulaciones, sandbox y la única manera de entender este lío

Y aquí está el meollo: tú no puedes probar qué pasa con millares de agentes si solo estudias a uno o dos por separado. La cosa es que la complejidad se dispara en un ecosistema donde todo el mundo está conectado y las interacciones emergen, no se programan a la carta.

Shah y Fox quieren que los investigadores tengan espacio para soltar agentes en simuladores hiperrealistas, esos “sandbox” donde puedes ver cómo se comportan, qué fallos encuentran y si empiezan a hacer cosas raras que ni los propios creadores vieron venir. Los agentes basados en modelos de lenguaje grande (LLMs) no son necesariamente racionales ni previsibles, una idea que muchos no quieren aceptar. La interacción masiva no solo multiplica las variables, sino las convierte en una maraña caótica que posiblemente dé lugar a comportamientos tipo “mente colmena”, donde la inteligencia colectiva puede crecer —o irse por el desagüe— de formas impensadas.

Hay investigadores en DeepMind que defienden que la Inteligencia Artificial General (AGI) no llegará como un ordenador ultrainteligente solitario, sino como ese enjambre de agentes, un organismo distribuido con capacidad superior a la suma de sus partes. Suena a ciencia ficción, pero están apostando a esa carta. Eso es lo que hace que la investigación sobre la seguridad de estos sistemas no sea un tema menor ni de futuro lejano, sino urgente y complicado.

¿Zero Trust? El nuevo mantra para la seguridad de los agentes AI

Mientras DeepMind anuncia esta movida de financiación, otras compañías como Anthropic no se quedan atrás. Hace un par de semanas publicaron un código de conducta para el despliegue de agentes basados en IA, tomando prestado el concepto de “zero trust” (cero confianza) que viene de la ciberseguridad: en resumidas cuentas, parte del principio de que **todo es vulnerable y que, sí o sí, alguien va a intentar romper el sistema, tú solo tienes que estar preparado**.

Refael Angel, CTO de Akeyless en Tel Aviv, señala algo que pocos quieren escuchar: los métodos tradicionales de seguridad asumen software con comportamientos fijos y predecibles porque fue hecho por humanos. Un agente digital “rompe” todos esos esquemas clásicos. **Razona, improvisa y puede ser corrompido con solo una frase bien camuflada en un documento que se lea sin cuestionar.**

Este nuevo paquete de 10 millones para investigar cómo manejar estos bichos no debería ser cosa de un solo laboratorio o gigante tecnológico. Aquí lo importante es que salgan estándares que se puedan confiar globalmente, que no dependan de qué empresa tenga más músculo o agenda. Pero cuidado: Angel advierte que la investigación en seguridad puede caer en la trampa de perseguir escenarios muy pintorescos o “exóticos”, mientras se ignora lo que ya sucede y que puede ser igual de trágico en lo cotidiano.

Las reglas que todavía no existen y se necesitan ayer

No hay una “disciplina” clara, una hoja de ruta para enfrentar estos desafíos. La falta de un área de investigación dedicada para la seguridad en sistemas multi-agente es un agujero negro que genera más preguntas que respuestas. Mientras las grandes empresas desarrollan sus propias soluciones internas y bastante opacas, la comunidad científica independiente está lejos de tener el control o siquiera el poder para poner límites éticos o técnicos claros.

La paradoja: la academia puede cimentar esas reglas porque piensa en el largo plazo, sin presión de resultados inmediatos o públicos de accionistas, pero le falta músculo. La industria tiene músculo, pero mira a lo práctico, a lo inmediato, y carece de ese horizonte amplio sin el cual algunas amenazas graves pueden colarse por la puerta trasera.

El negocio está en riesgo y la confianza del público también. Estamos construyendo un ecosistema digital que debe ser seguro, cooperativo y sostenible, o pagar el precio con caos y desconfianza masiva. Ni DeepMind ni sus aliados se quieren quedar cortos y están apostando a que esta inyección de capital haga despegar la línea de investigación que haga toda esta experiencia viable y no apocalíptica.

“El futuro llegó antes de lo que pensábamos” — ¿y ahora qué?

Fox lo resume al grano: hace apenas un par de años estos riesgos eran pura especulación de manuales de ciencia ficción o debates apagados. Ahora, ya no. Los escenarios que antes parecían de un futuro distante están tocando la puerta. Todo apunta a que la llegada masiva de agentes de IA al mercado y a la infraestructura sensible (finanzas, redes sociales, seguridad, etc.) será en los próximos meses.

Nos toca aprender y adaptarnos rápido, sin dejar que estas tecnologías escapen de nuestro control. Porque una mente colmena de agentes corriendo suelta no es una imagen bonita si no sabemos cómo meterles un límite. O ponerles cinturón de seguridad.

¿Quién va a vigilar a los vigilantes? ¿Y si los vigilantes son varios millones y se vigilan entre ellos? La industria está jugando un “partida en la oscuridad” y solo la investigación independiente y colaborativa puede poner luz en el tablero.

Tú, que estás leyendo esto, ¿confías en que la humanada podrá mantener esta revolución tecnológica bajo control, o el apocalipsis digital es solo cuestión de tiempo?

Artículos Relacionados