En su entrada de blog, Altman escribió que OpenAI era “consciente de lo adictivo que podría llegar a ser un servicio como este, y podemos imaginar muchas formas en que podría utilizarse para intimidar”.
Como resultado, explica Altman, OpenAI construyó una serie de barreras de seguridad en la aplicación Sora, incluyendo medidas para mitigar el uso indebido de la semejanza de alguien en deepfakes. En una entrada del blog de la empresa, también se indican las restricciones al “contenido sexual, la violencia gráfica que involucra a personas reales, la propaganda extremista, el contenido de odio y el contenido que promueve la autolesión o los trastornos alimentarios“.
Es probable que estas protecciones se pongan a prueba a medida que más usuarios se unan a la aplicación.
Una alternativa a TikTok y Reels, donde los usuarios pueden generar o remezclar contenidos basados en IA y compartirlos en Instagram y Facebook.
Pokémon y South Park
Cuando pedí a Sora que generara videos míos en bikini y como un personaje de anime desnudo, ambas solicitudes fueron bloqueadas por incluir potencialmente “material sugerente o subido de tono”. En un video de Sora en el que aparecemos Altman y yo en una piscina, ambos aparecemos completamente vestidos, con camiseta y todo.
Las representaciones del consumo de marihuana no parecen estar restringidas. Sora creó un clip mío “fumándome 10 porros gordos” en mi mesa de la oficina, encendiéndolos todos a la vez, sin ningún problema. Pero la aplicación no generó videos míos “fumando crack”. También se negó a generar clips de mi imagen saltando desde un puente o montado en un dragón, alegando que el contenido podría infringir las normas sobre autolesiones.
Parece que OpenAI también quiere impedir que se creen videos de personajes públicos y famosos como Taylor Swift. En las pruebas de WIRED, las solicitudes de videos de Darth Vader y Boss Baby (Jefe en Pañales) fueron bloqueadas por violar potencialmente “las barreras de protección relativas a la similitud con contenidos de terceros”. La aplicación incluso rechazó una petición de un “imitador de Taylor Swift”. Pero Sora generó fácilmente videos de personajes de Pokémon como Pikachu y Bulbasaur. Según informa The Wall Street Journal, la aplicación permitirá a los usuarios generar clips con material protegido por derechos de autor, a menos que el titular de los derechos opte por no hacerlo.
Una petición de Altman “en un episodio de South Park” mostraba al CEO acercándose a Eric Cartman, uno de los protagonistas del programa, presentándose y diciendo que estaba allí para charlar sobre IA. “¿Esa es la cosa que escribió mi ensayo para clase? ¿O la que nos va a robar todos los trabajos?”, respondió el Cartman generado por la IA, con una convincente recreación de la voz y los gestos del personaje. En un momento dado, sin embargo, la voz quejumbrosa de Cartman salió de la boca de Altman.
La aplicación Sora llega poco después del lanzamiento de un canal de video similar de Meta, llamado Vibes. La oferta de IA desplazable es abundante. Mientras que mis primeras experiencias con Vibes fueron aburridas e insustanciales, las de Sora, con su proliferación de deepfakes sonrientes, fueron mucho más eléctricas y preocupantes.
La aplicación recuerda a los videos navideños Elf Yourself de mediados de la década de 2000, en los que podías poner tu cara o la de un amigo en una animación de baile, pero los cameos de Sora son mucho más dinámicos y abiertos. Algunas de las versiones de mí mismo eran un poco rebuscadas o de aspecto absurdo. Aun así, a menudo todo encajaba: la voz y los movimientos daban en el clavo.
Envié a mi compañero uno de los videos de la IA que mejor imitaba mi imagen, sin darle el contexto general. El clip me mostraba transformándome en una mujer con el pelo largo y abundante. Al principio, mi compañero no se dio cuenta de que era una versión totalmente sintética de mi voz y mi aspecto.
Artículo publicado originalmente en WIRED. Adaptado por Alondra Flores.
