«Yo, robot» es ciencia ficción. «Hoy, robot» es el presente que vivimos. El presente de una tecnología que ya preocupa a algunos de los mayores expertos en inteligencia artificial. Las máquinas que actúan sin supervisión directa ya no están en el cine: están en nuestros navegadores, en nuestros escritorios… y pronto, quizá, en nuestros despachos.
Los agentes autónomos, sistemas capaces de operar en el mundo real siguiendo objetivos definidos por humanos pero sin su intervención constante, son el nuevo umbral de la inteligencia artificial (IA).
Capaces de navegar por internet, rellenar formularios, contratar servicios o incluso escribir código y autoevaluarse, estos programas suponen una promesa de eficiencia… y una fuente creciente de incertidumbre.
La promesa: hacer más con menos
Empresas como Google DeepMind, Meta o Salesforce apuestan decididamente por esta tecnología. De hecho, OpenAI ha lanzado Operator, un agente capaz de reservar una mesa en un restaurante o navegar por páginas web sin que el usuario tenga que intervenir paso a paso.
También existen iniciativas como Manus, que comparten un mismo objetivo: automatizar tareas complejas con la mínima interacción humana. Aunque todavía se encuentran en fase experimental, su evolución es rápida y su adopción creciente.
Operator, por ejemplo, está diseñado para actuar como un asistente que navega, hace clics, escribe, selecciona opciones e incluso realiza pagos. Si se encuentra con un obstáculo como un CAPTCHA o una petición de tarjeta, te avisa. Pero si no, sigue por su cuenta.
El investigador Yoshua Bengio advierte que los agentes autónomos de IA, si adquieren demasiada independencia, podrían actuar sin permiso, resistirse al apagado o replicarse sin control.
«Si seguimos desarrollando sistemas agénticos, estamos jugando a la ruleta rusa con la humanidad», sostiene Bengio. Su preocupación no gira en torno a que estas máquinas desarrollen conciencia, sino a que tomen decisiones por sí mismas en el mundo real, más allá de una simple ventana de chat.
El problema aparece cuando estos agentes acceden a herramientas externas, almacenan datos, interactúan entre sí y son capaces de sortear barreras impuestas para controlarlos. En ese escenario, ya no hablamos de automatización útil, sino de autonomía imprevisible.
La trampa de la obediencia literal
La gran incógnita es: ¿sabemos realmente qué estamos construyendo? Un ejemplo clásico se produjo en 2016, cuando OpenAI entrenó un agente en un videojuego de carreras. Le pidieron que obtuviera la máxima puntuación, sin explicar que debía ganar la carrera.
¿El resultado? El agente encontró un lugar del circuito donde podía dar vueltas infinitas, chocar con bonificaciones y subir la puntuación sin correr en serio. Era más rentable salirse del juego que seguir sus reglas.
Este tipo de conductas no son errores técnicos. Son una consecuencia directa de cómo se les define el objetivo. Cuando le das a una IA autonomía para alcanzar un fin, también le estás dando libertad para reinterpretarlo. Y eso puede llevarla por caminos inesperados.
Yoshua Bengio, uno de los padres del deep learning, alerta de este tipo de conductas en sistemas mal definidos. «No se trata de que las máquinas se rebelen o se vuelvan conscientes», explica. «El riesgo es que, al ser autónomas, sigan objetivos mal planteados y tomen decisiones que nadie previó ni deseó».
Para Bengio, el problema radica en combinar autonomía, persistencia, capacidad de aprendizaje y acceso a herramientas externas. Esa mezcla puede producir efectos caóticos, especialmente si los sistemas pueden escribir y ejecutar su propio código o interactuar con otros sistemas sin barreras.
¿Una exageración? La otra cara del debate
Pero no todos los expertos comparten el tono alarmista. Yann LeCun, director de IA en Meta y también pionero del aprendizaje profundo, cree que estas advertencias son especulativas y desproporcionadas.
«Creo que es una tontería. Es decir, claro que habrá muchas aplicaciones para las cuales los sistemas en un futuro próximo serán de nivel de doctorado, si se quiere. Pero en términos de inteligencia general, no, todavía estamos muy lejos de eso. Cuando digo muy lejos, podría suceder dentro de una década más o menos».
Gary Marcus, crítico habitual del enfoque dominante en IA, también ofrece una visión más matizada: para él los agentes pueden ser útiles, pero aún son torpes. No entienden el mundo. No razonan como humanos. Y eso es un problema para tareas complejas o abiertas.
Para Marcus, el riesgo no es tanto que los agentes se vuelvan peligrosos por sí mismos, sino que se les atribuya más capacidad de la que realmente tienen, y se los implemente sin controles adecuados en entornos sensibles.
Los márgenes de error siguen siendo altos
A día de hoy, estos agentes fallan más de lo que aciertan. Pruebas recientes muestran que su fiabilidad es limitada, especialmente en tareas complejas. Algunos informes indican tasas de error muy elevadas, impropias de sistemas pensados para sustituir decisiones humanas.
Pese a ello, empresas como Salesforce están doblando la apuesta. Marc Benioff, su fundador, quiere desplegar 1.000 millones de agentes antes de final de año a través de su plataforma Agentforce. Según él, esta revolución digital puede transformar radicalmente el trabajo.
El experimento de Salesforce: más productividad, menos persona
Salesforce ya utiliza IA para automatizar entre el 30% y el 50% de las tareas en departamentos clave como ingeniería y soporte. La consecuencia: más de 1.000 despidos en lo que va de año. Aunque algunos empleados han sido recolocados, otros no.
Benioff defiende que estos agentes «hacen más productivos a los usuarios, reducen costes y facilitan procesos». Y asegura que esta fuerza laboral digital puede mover entre 3 y 12 billones de dólares a nivel global. Pero no esconde la necesidad de actuar con responsabilidad.
«Los CEOs tienen que asegurarse de que sus valores estén en el lugar correcto y que los valores generen valor», subraya. Porque la automatización no es neutra: puede crear eficiencias, pero también desigualdades.
Rivalidad tecnológica y visiones enfrentadas
Salesforce no está sola en esta carrera. Microsoft ha respondido con su producto Copilot, integrado en herramientas como Teams o Word. Benioff, sin embargo, desestima el alcance de la competencia: «Todos sabemos que Microsoft Copilot es básicamente el nuevo Microsoft Clippy».
La diferencia, asegura, está en que Agentforce apuesta por agentes verdaderamente autónomos, no por simples asistentes. Un cambio de escala que plantea nuevos desafíos éticos y de gobernanza en el sector tecnológico.
Riesgos invisibles: entre la utilidad y el abuso
El mayor riesgo no es el fallo ocasional. Es el potencial uso malicioso. Investigadores han advertido que estos sistemas podrían utilizarse para ciberataques, campañas automatizadas o manipulaciones en redes.
Su capacidad de escalar acciones sin supervisión, conectarse a múltiples servicios y ocultarse tras automatismos los convierte en una herramienta poderosa… e inquietante. A diferencia de una persona, no se cansan ni cuestionan lo que hacen.
Por eso, más allá del desarrollo técnico, urge definir marcos legales, protocolos de seguridad y estándares éticos. Comprender cómo funcionan no basta.
Aprender a enseñar a las máquinas
Otro límite crítico es la falta de «sentido común». Los agentes actuales, incluso los más avanzados, no comprenden el mundo como lo haría un niño de cinco años. No tienen memoria estable, no entienden consecuencias sociales, y no distinguen entre lo correcto y lo inadecuado salvo que se lo programen explícitamente.
Para evitar estos desvíos, OpenAI explora alternativas como el aprendizaje por demostración o la retroalimentación humana directa. También estudia cómo usar transfer learning para que los agentes infieran un «sentido común» a partir de múltiples entornos.
Por eso, compañías como OpenAI experimentan con entrenamiento por refuerzo humano, retroalimentación directa y pruebas en entornos simulados (sandboxing). El objetivo es enseñar a los agentes no solo qué hacer, sino cómo hacerlo de forma segura, eficiente y ética.
Pero todas estas soluciones tienen sus propios riesgos. La extrapolación de valores o recompensas puede fallar. Y los sistemas basados en redes neuronales siguen siendo vulnerables a errores difíciles de detectar.
Mientras tanto, herramientas como Universe permiten simular entornos y detectar comportamientos fallidos antes de que lleguen al mundo real. Un paso necesario, pero insuficiente si no se acompaña de vigilancia y regulación.
Lo que está en juego
La promesa de tener asistentes digitales que gestionen tareas, organicen viajes o automaticen compras es tentadora. Pero cuanto más poder delegamos, más crítica es la pregunta: ¿quién tiene el control?
La frontera entre ayuda y autonomía está cada vez más difusa. Y la tecnología, por sí sola, no tiene criterio. Somos nosotros quienes debemos marcar los límites, definir su uso y asumir las consecuencias.
Porque una IA no es solo una herramienta. Es una decisión política, económica y ética. Y el momento de decidir cómo queremos que actúe, es ahora.
