OpenAI lanzó su nuevo generador de videos de IA el martes, presentando un feed social donde los usuarios pueden compartir videos sorprendentemente realistas. Sin embargo, a horas del lanzamiento de Sora 2, el feed—y otras plataformas de redes sociales—se inundaron con videos que mostraban personajes con derechos de autor en escenarios inapropiados, junto con contenido violento y racista. Esto contradice las propias reglas de OpenAI para Sora y ChatGPT, que prohíben material que incite a la violencia o cause daño.
The Guardian revisó varios prompts y clips, encontrando que Sora produjo videos de amenazas de bomba y tiroteos masivos, con personas aterradas huyendo de campus universitarios y lugares concurridos como la Grand Central Station de Nueva York. Otros prompts generaron escenas de guerra de Gaza y Myanmar, mostrando niños creados por IA describiendo sus hogares destruidos. Un video, generado con el prompt "grabación de Etiopía estilo noticiero de guerra civil", mostró a un reportero con chaleco antibalas informando sobre enfrentamientos en zonas residenciales. Otro, usando solo "manifestación de Charlottesville", representó a un manifestante negro con equipo de protección gritando un lema supremacista blanco: "No nos reemplazarán".
Sora actualmente es solo por invitación y no está disponible para el público. A pesar de esto, escaló rápidamente a lo más alto de la App Store de Apple solo tres días después de su lanzamiento limitado, superando al propio ChatGPT de OpenAI.
Bill Peebles, director de Sora, expresó emoción en X, diciendo: "Ha sido épico ver de lo que es capaz la creatividad colectiva de la humanidad hasta ahora", y prometió más códigos de invitación pronto.
La aplicación ofrece un vistazo a un futuro donde distinguir lo real de lo falso podría volverse mucho más difícil, especialmente cuando estos videos comiencen a propagarse más allá de la plataforma de IA. Expertos en desinformación advierten que escenas tan realistas podrían oscurecer la verdad y ser explotadas para fraude, acoso e intimidación.
Joan Donovan, profesora de la Universidad de Boston especializada en manipulación mediática, señaló: "No tiene fidelidad histórica, no tiene relación con la verdad. Cuando personas crueles obtienen herramientas como esta, las usarán para odio, hostigamiento e incitación".
Sam Altman, CEO de OpenAI, elogió el lanzamiento de Sora 2 como "realmente genial", llamándolo un momento "ChatGPT para la creatividad" que se siente fresco y divertido. Reconoció cierta preocupación sobre la adicción a redes sociales, el acoso y el riesgo de "contenido basura"—videos repetitivos de baja calidad que saturan las plataformas. Altman enfatizó que el equipo trabajó arduamente para evitar estos riesgos e implementó salvaguardas contra el uso de la imagen de personas o la creación de contenido perturbador o ilegal. Por ejemplo, la aplicación bloqueó una solicitud para generar un video de Donald Trump y Vladimir Putin compartiendo algodón de azúcar.
Aún así, en los primeros tres días, muchos videos de Sora se propagaron en línea. Un reportero de The Washington Post creó un clip que representaba a Altman como un líder militar de la Segunda Guerra Mundial y reportó haber hecho videos con "contenido indignante, crímenes falsos y mujeres salpicadas con sustancia blanca". El feed de Sora también presenta numerosos videos de personajes con derechos de autor de programas como Bob Esponja, South Park y Rick y Morty, y no tuvo problemas para producir un video de Pikachu aumentando aranceles. En un caso, videos generados por IA representaron a China robando rosas del Jardín de Rosas de la Casa Blanca o uniéndose a una protesta de Black Lives Matter con Bob Esponja, quien en otro clip declaró y planeó una guerra contra Estados Unidos. Un video capturado por 404 Media mostró a Bob Esponja vestido como Adolf Hitler.
Paramount, Warner Bros. y Pokémon Co. no respondieron a solicitudes de comentario.
David Karpf, profesor asociado de la Escuela de Medios y Asuntos Públicos de la Universidad George Washington, dijo haber visto videos de personajes con derechos de autor respaldando estafas de criptomonedas. Cree que está claro que las salvaguardas de OpenAI para su herramienta de video Sora están fallando.
Karpf comentó: "Los límites de seguridad no son reales si la gente ya está usando personajes con derechos de autor para promover estafas falsas de criptomonedas. En 2022, las empresas tecnológicas habrían enfatizado la contratación de moderadores de contenido. Para 2025, han decidido que no les importa".
Justo antes de que OpenAI lanzara Sora 2, la compañía contactó a agencias de talento y estudios, informándoles que necesitarían excluirse si no querían que su material con derechos de autor fuera replicado por el generador de videos, según reportó The Wall Street Journal.
OpenAI dijo a The Guardian que los propietarios de contenido pueden reportar infracciones de derechos de autor usando un formulario de disputas, pero artistas individuales o estudios no pueden excluirse completamente. Varun Shetty, director de alianzas mediáticas de OpenAI, declaró: "Trabajaremos con los titulares de derechos para bloquear personajes en Sora upon request y atender solicitudes de retirada".
Emily Bender, profesora de la Universidad de Washington y autora de The AI Con, advirtió que Sora está creando un entorno peligroso donde es "más difícil encontrar fuentes confiables y más difícil confiar en ellas una vez encontradas". Describió las herramientas de medios sintéticos como una "plaga en nuestro ecosistema informativo", comparando su impacto con un derrame de petróleo que erosiona la confianza en los sistemas técnicos y sociales.
Nick Robins-Early contribuyó a este reporte.
Preguntas Frecuentes
Por supuesto. Aquí tienes una lista de preguntas frecuentes sobre las preocupaciones de seguridad en torno a la aplicación de video Sora de OpenAI, redactadas de manera clara y natural.
Preguntas Generales Para Principiantes
1. ¿Qué es Sora de OpenAI?
Sora es un modelo de IA de OpenAI que puede crear clips de video realistas e imaginativos a partir de una simple descripción de texto.
2. ¿Cuál es el principal problema de seguridad del que se habla respecto a Sora?
A pesar de las reglas de seguridad, los usuarios han podido crear y compartir videos violentos y racistas usando Sora, lo que demuestra que sus protecciones actuales no funcionan como se esperaba.
3. ¿Por qué es esto importante?
Es una gran preocupación porque muestra que la tecnología puede ser fácilmente mal utilizada para difundir contenido dañino, lo que podría conducir a acoso en el mundo real, desinformación y otros perjuicios graves.
4. ¿No dijo OpenAI que estaban probando Sora por seguridad?
Sí, OpenAI declaró que se tomaban la seguridad en serio y realizaban pruebas rigurosas con un pequeño grupo de expertos antes de un lanzamiento más amplio. La aparición de este contenido dañino sugiere que sus medidas de seguridad iniciales no fueron suficientes para prevenir el mal uso.
5. ¿Qué está haciendo OpenAI al respecto ahora?
OpenAI ha reconocido el problema y declaró que están trabajando para fortalecer sus barreras de seguridad, lo que incluye mejorar sus filtros de contenido y políticas de uso para bloquear la creación de dicho material dañino.
Preguntas Avanzadas En Profundidad
6. ¿Cómo está la gente eludiendo los filtros de seguridad de Sora?
Es probable que los usuarios estén utilizando una técnica llamada "jailbreaking", donde reformulan sus solicitudes o usan lenguaje codificado para engañar a la IA y que ignore sus pautas de seguridad, generando así el contenido prohibido.
7. ¿Qué son las barreras de seguridad en IA como Sora?
Las barreras de seguridad son un conjunto de reglas, filtros y clasificadores integrados en la IA para evitar que genere contenido dañino, sesgado o inseguro. Se supone que deben bloquear prompts relacionados con violencia, discurso de odio y otras violaciones de políticas.
8. ¿Es este problema exclusivo de Sora o otros generadores de video de IA también lo tienen?
Este es un desafío para toda la industria de la IA generativa. Sin embargo, este incidente con Sora ha destacado lo difícil que es crear sistemas de seguridad perfectos, incluso para una empresa líder como OpenAI con recursos extensos.
9. ¿Cuál es la diferencia entre un fallo técnico y un fallo de política en este contexto?
