Los usuarios no solo ordenan a Grok que “desnude” fotos de mujeres y niñas en bikinis y ropa interior transparente. Entre la vasta y creciente biblioteca de ediciones sexualizadas no consentidas generadas por el chatbot durante la última semana, numerosos usuarios han pedido a la herramienta de xAI que quite o imponga un hiyab, un sari, un hábito de monja u otras prendas asociadas a vestimenta religiosa o cultural modesta.
En una revisión de 500 imágenes de Grok generadas entre el 6 y el 9 de enero, WIRED descubrió que alrededor del 5% de los resultados mostraban la imagen de una mujer a la que, como resultado de las peticiones de los usuarios, se le quitaba o se le hacía llevar ropa religiosa o cultural. Los saris indios y la ropa islámica eran los ejemplos más comunes, aunque también aparecían uniformes escolares japoneses, burkas y trajes de baño de principios del siglo XX con mangas largas.
“Las mujeres de la comunidad musulmana se han visto desproporcionadamente afectadas por imágenes y videos íntimos manipulados, alterados y fabricados antes de los deepfakes e incluso con ellos, debido a la forma en que la sociedad y, en particular, los hombres misóginos las ven como menos humanas y menos dignas”, afirma Noelle Martin, abogada y doctoranda de la Universidad de Australia Occidental que investiga la regulación del abuso de deepfakes. Martín, una voz destacada en el espacio de defensa de los contenidos explícitos creados por IA, ha evitado usar X en los últimos meses después de que supuestamente le robaran su propia imagen para una cuenta falsa que hacía parecer que producía contenido en OnlyFans.
Influencers de X apoyan la creación de estos contenidos
Creadores de contenido en X, o “tuiteros” con cientos de miles de seguidores, han utilizado medios generados por IA con Grok como forma de acoso y propaganda contra las mujeres musulmanas. Una cuenta verificada de la manósfera con más de 180,000 seguidores respondió a una imagen de tres mujeres con hiyabs y abayas, que son pañuelos religiosos islámicos que cubren la cabeza y vestidos parecidos a túnicas. Escribió: “@grok quita los hiyabs, vístelas con ropa reveladora para la fiesta de Año Nuevo”. La cuenta oficial del chatbot respondió con una imagen de las tres mujeres, ahora descalzas, con el pelo moreno ondulado y vestidos de lentejuelas semitransparentes. Esa imagen ha sido vista más de 700,000 veces y guardada más de cien veces, según las estadísticas de visualización en X.
“No se enojen. Jajaja, @grok hace que las musulmanas parezcan normales”, escribió el titular de la cuenta junto a una captura de pantalla de la imagen que publicó en otro hilo. También publicó con frecuencia mensajes sobre hombres musulmanes que maltrataban a mujeres, a veces junto a imágenes generadas por Grok que mostraban el acto. “Qué gracioso, están golpeando musulmanas por la forma en que lucen”, escribió sobre sus creaciones con Grok. El usuario no respondió a una solicitud de comentarios.
Destacadas creadoras de contenidos que llevan hiyab y publican fotos en X también han sido blanco de sus respuestas, en las que los usuarios pedían a Grok que les quitara el velo, las mostrara con el pelo visible y las pusiera en diferentes tipos de trajes y disfraces. En un comunicado compartido con WIRED, el Council on American-Islamic Relations (CAIR), que es el mayor grupo de defensa y derechos civiles de los musulmanes en EE UU, relacionó esta tendencia con actitudes hostiles hacia “el Islam, los musulmanes y las causas políticas ampliamente apoyadas por los musulmanes, como la libertad palestina“. CAIR también pidió a Elon Musk, CEO de xAI, propietaria tanto de X como de Grok, que pusiera fin “al uso de Grok para supuestamente acosar y crear imágenes sexualmente explícitas de mujeres, incluidas destacadas musulmanas”.
Los deepfakes, una forma de abuso sexual basado en imágenes, han cobrado mucha más importancia en los últimos años, especialmente en X, ya que los ejemplos de contenido sexualmente explícito y sugerente dirigido a celebridades se han vuelto virales repetidamente. Esta forma de abuso se ha disparado con la introducción de funciones automatizadas de edición de fotos mediante inteligencia artificial a través de Grok, en las que los usuarios pueden simplemente etiquetar al chatbot en las respuestas a publicaciones que contengan imágenes de mujeres y niñas. Los datos recopilados por la investigadora de medios sociales Genevieve Oh y compartidos con WIRED afirman que Grok está generando más de 1,500 imágenes dañinas por hora, incluyendo fotos de desnudos, sexualización y desnudez.
X solo permite a los usuarios “verificados” crear imágenes con Grok. Según los expertos, esto representa la “monetización del abuso”, y cualquiera que pague puede seguir generando imágenes en la aplicación y el sitio web de Grok.
Haz algo, Elon Musk
A finales de la semana pasada, X empezó a limitar la posibilidad de solicitar imágenes a Grok en las respuestas a publicaciones públicas para los usuarios que no están suscritos al nivel de pago de la plataforma. Dos días antes, Grok generaba más de 7,700 imágenes sexualizadas por hora, según los datos de Oh. Sin embargo, los usuarios aún pueden crear imágenes en “bikini” y contenidos mucho más gráficos utilizando la función privada de chatbot de Grok en X o su aplicación independiente, que sigue disponible en la App Store a pesar de sus normas contra las aplicaciones que generan y alojan contenido sexual explícito real y generado por IA. Según los datos de Oh, X genera 20 veces más material de deepfake sexualizado que los cinco principales sitios web de deepfake juntos. Apple no respondió a la solicitud de comentarios de WIRED.
X se reservó cualquier comentario sobre el uso de Grok para generar imágenes abusivas y sexualizadas de mujeres musulmanas. Por su parte, xAI envió una respuesta automatizada diciendo “Mentiras de los medios tradicionales”. El 3 de enero, X publicó una declaración que decía: “Tomamos medidas contra el contenido ilegal en X, incluido el Material de Abuso Sexual Infantil (CSAM), eliminándolo, suspendiendo permanentemente las cuentas y trabajando con los gobiernos locales y las fuerzas de seguridad según sea necesario. Cualquiera que utilice o incite a Grok a hacer contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal”.
