Francia denuncia a Grok por generar contenidos sexuales ilícitos

La red social X, antes Twitter, ha reconocido que su sistema de inteligencia artificial Grok ha permitido la generación y difusión de imágenes sexualizadas, incluidas representaciones de menores, a través de su plataforma. La admisión llega tras varias denuncias públicas y abre la puerta a sanciones legales en Estados Unidos y Europa.

El reconocimiento se produjo después de que Grok respondiera a una denuncia concreta admitiendo «lapsos en las salvaguardas» y asegurando que se están corrigiendo «de forma urgente». La empresa xAI, desarrolladora del sistema, subrayó que el material de abuso sexual infantil (CSAM) es ilegal y está prohibido.

La situación ha intensificado el escrutinio regulatorio sobre el uso de IA generativa en plataformas digitales de gran alcance.

Riesgo legal en Estados Unidos

La legislación federal estadounidense contempla responsabilidades penales y civiles para las empresas que faciliten CSAM generado por IA tras haber sido notificadas y no actuar con diligencia.

Las sanciones pueden variar según la jurisdicción y el grado de conocimiento o inacción, lo que sitúa a X en una posición de riesgo jurídico relevante si no refuerza sus mecanismos de control.

Este marco legal ha acelerado los movimientos de la compañía para revisar sus sistemas de moderación automática.

Uso indebido de la IA y reacciones de usuarios

Las alertas se intensificaron tras conocerse que usuarios de X Premium estaban empleando Grok para crear imágenes no consensuadas, principalmente de mujeres, en bikini o ropa interior.

También se detectaron solicitudes para generar imágenes de menores en ropa mínima, una práctica que Grok llegó a calificar como «casos aislados» en un primer momento, antes de reconocer deficiencias en sus filtros.

La presión de los usuarios ha crecido para exigir la eliminación inmediata de contenidos y una regulación más estricta del uso de la herramienta.

Denuncia formal del Gobierno francés

El Francia ha dado un paso más al presentar una denuncia ante la Justicia y ante Pharos, el organismo de verificación de contenidos ilícitos en línea, contra Grok.

Los ministros Roland Lescure, Anne Le Henanff y Aurore Bergé fundamentan la denuncia en el artículo 40 del Código Penal, al considerar que la IA ha permitido la creación de contenidos sexistas y sexuales, incluidos deepfakes sin consentimiento.

Desde finales de diciembre se ha detectado un aumento significativo de vídeos solicitados por usuarios que pedían a la IA generar imágenes de mujeres desnudas, lo que ha motivado la actuación gubernamental.

Evaluación bajo la normativa europea

Además de la vía judicial, el Ejecutivo francés ha solicitado a la Arcom que evalúe si X ha incumplido el Reglamento de Servicios Digitales (DSA) de la Unión Europea.

El foco está en las obligaciones de prevención y retirada de contenidos ilícitos, así como en la eficacia de los sistemas de moderación automatizada.

El Gobierno francés ha subrayado que internet no es una zona de impunidad y ha reiterado su compromiso con la lucha contra la violencia sexual y sexista, también en el entorno digital.