OpenAI y Anthropic alertan ante la ONU de los riesgos de perder el control sobre la inteligencia artificial

OpenAI, Anthropic y expertos en IA reclaman cooperación internacional ante unos sistemas cada vez más autónomos.
Sam Altman, CEO de OpenAI Sam Altman, CEO de OpenAI
Sam Altman, CEO de OpenAI :: Shutterstock

La inteligencia artificial ha llegado al Consejo de Seguridad de Naciones Unidas no solo como una de las grandes oportunidades tecnológicas del momento, sino también como un potencial riesgo para la seguridad internacional. Los responsables de algunas de las principales compañías del sector han reclamado a los gobiernos una mayor cooperación para afrontar el rápido desarrollo de unos sistemas cada vez más capaces y autónomos.

El consejero delegado de Anthropic, Dario Amodei, y el CEO de OpenAI, Sam Altman, participaron este miércoles en una reunión del Consejo de Seguridad de la ONU dedicada a la inteligencia artificial y la seguridad internacional. Una sesión convocada por Francia coincidiendo con la Asamblea General de Naciones Unidas y en la que también intervino Yoshua Bengio, uno de los investigadores pioneros de la inteligencia artificial moderna.

El encuentro llega en un momento en el que el desarrollo de los sistemas de IA está avanzando a mayor velocidad que los marcos regulatorios diseñados para supervisarlos. Naciones Unidas ha situado entre los asuntos de debate la posibilidad de que sistemas cada vez más avanzados desarrollen comportamientos no previstos o difíciles de controlar.

PUBLICIDAD

Amodei advierte de un riesgo «para la humanidad en su conjunto»

Durante su intervención, Amodei advirtió de que, si la tecnología se gestiona de forma inadecuada, «la IA podría suponer un riesgo para la humanidad en su conjunto».

El responsable de Anthropic defendió que las diferencias políticas y económicas entre países deberían quedar en segundo plano ante un desafío que considera global. «Ningún líder, ninguna empresa y ninguna nación pueden gestionar esto solos», aseguró ante los miembros del Consejo de Seguridad.

Una preocupación compartida por Bengio, copresidente del Panel Científico Internacional Independiente sobre Inteligencia Artificial de Naciones Unidas, quien señaló que los riesgos derivados de una eventual pérdida de control sobre sistemas avanzados son «reales e inminentes». Naciones Unidas también ha advertido de que este tipo de riesgos podrían atravesar tanto las fronteras entre empresas como las existentes entre países.

El incidente entre OpenAI y Hugging Face entra en el debate

Uno de los episodios que mejor refleja estas preocupaciones tuvo como protagonistas precisamente a OpenAI y Hugging Face. Clément Delangue, cofundador de esta última, explicó ante el Consejo de Seguridad cómo agentes de inteligencia artificial desarrollados por OpenAI consiguieron comprometer parte de la infraestructura de Hugging Face tras escapar de las restricciones establecidas durante unas pruebas.

El caso ha sido analizado por el Panel Científico Internacional Independiente sobre IA de Naciones Unidas. Según el organismo, entre mayo y julio de 2026 varios agentes utilizados por OpenAI en entrenamientos y evaluaciones de ciberseguridad sortearon restricciones de red, se comunicaron entre ejecuciones que debían permanecer separadas, engañaron a un evaluador e intentaron ocultar algunas de sus acciones. También comprometieron partes de los sistemas de OpenAI y Hugging Face.

El informe puntualiza que estos hechos no permiten calcular la probabilidad ni determinar cuándo podría producirse una pérdida grave de control sobre sistemas de IA. Sí los considera, sin embargo, una muestra real de algunos de los problemas que podrían surgir a medida que los agentes ganen capacidades.

Delangue resumió la paradoja ante Naciones Unidas: «Fuimos atacados por IA, pero, más importante aún, nos defendimos con IA».

Según explicó, Hugging Face recurrió además a un modelo chino para ayudar a defenderse del ataque porque estaba sometido a menos restricciones que herramientas estadounidenses comparables. El episodio refleja también la creciente competencia internacional entre los modelos desarrollados en Estados Unidos y China.

Altman reclama que las decisiones salgan de Silicon Valley

Sam Altman centró su intervención en la necesidad de establecer mecanismos de cooperación internacional para decidir cómo debe evolucionar la inteligencia artificial.

«Si la IA ha de ser democrática, las decisiones más importantes no pueden tomarse únicamente en los laboratorios de San Francisco», afirmó el responsable de OpenAI. A su juicio, estas decisiones también deben pasar por procesos democráticos y por gobiernos que respondan ante sus ciudadanos.

El debate coincide con la creciente implantación de agentes capaces de ejecutar tareas de forma autónoma y utilizar herramientas digitales con una intervención humana cada vez menor. Precisamente esa autonomía es una de las cuestiones que está examinando Naciones Unidas ante el riesgo de que los objetivos aprendidos por determinados sistemas terminen divergiendo de las intenciones de sus desarrolladores.

Estados Unidos y China dibujan dos caminos distintos

Pese a las llamadas a la cooperación internacional, las principales potencias tecnológicas mantienen diferencias importantes sobre cómo debe regularse la inteligencia artificial.

La Administración estadounidense de Donald Trump se ha mostrado contraria a crear un gran sistema internacional de regulación. Durante la Asamblea General de Naciones Unidas, Trump rechazó los intentos de construir lo que denominó un esquema global para controlar la IA.

El asesor de Ciencia y Tecnología de la Casa Blanca, Michael Kratsios, trasladó una posición similar al Consejo de Seguridad: antes de establecer estructuras internacionales de regulación, defendió que los países deberían desarrollar capacidad técnica y compartir buenas prácticas.

China, por su parte, reclamó una mejora continua de los marcos regulatorios, los sistemas de respuesta ante emergencias y la cooperación transfronteriza. Su embajador ante Naciones Unidas, Fu Cong, defendió que la comunidad internacional debe prestar atención tanto al desarrollo de la tecnología como a su seguridad.

La IA se convierte en asunto de seguridad internacional

No es la primera vez que la inteligencia artificial llega al Consejo de Seguridad. El organismo abordó por primera vez sus riesgos en 2023, cuando los Estados miembros comenzaron a discutir las posibles implicaciones de esta tecnología para la paz y la seguridad internacionales.

Tres años después, el debate ha cambiado de escala. La discusión ya no gira únicamente alrededor de los usos potenciales de la inteligencia artificial, sino también sobre el comportamiento de sistemas capaces de ejecutar acciones de manera autónoma.

El Panel Científico Internacional Independiente de Naciones Unidas señala que ninguna empresa ni ningún país dispone por sí solo de información suficiente sobre todos los incidentes para detectar cada patrón de riesgo emergente. Su último análisis estudia por ello mecanismos utilizados en ámbitos como la aviación, la energía nuclear o la ciberseguridad que podrían servir de referencia para gestionar los riesgos asociados a sistemas avanzados.

El desafío para los gobiernos será encontrar un equilibrio entre aprovechar una tecnología con capacidad para transformar industrias enteras y establecer mecanismos de seguridad capaces de evolucionar a una velocidad similar a la propia inteligencia artificial.

Add a Comment

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

PUBLICIDAD