OpenAI lanz贸 su nuevo generador de videos de IA el martes, presentando un feed social donde los usuarios pueden compartir videos sorprendentemente realistas. Sin embargo, a horas del lanzamiento de Sora 2, el feed鈥攜 otras plataformas de redes sociales鈥攕e inundaron con videos que mostraban personajes con derechos de autor en escenarios inapropiados, junto con contenido violento y racista. Esto contradice las propias reglas de OpenAI para Sora y ChatGPT, que proh铆ben material que incite a la violencia o cause da帽o.
The Guardian revis贸 varios prompts y clips, encontrando que Sora produjo videos de amenazas de bomba y tiroteos masivos, con personas aterradas huyendo de campus universitarios y lugares concurridos como la Grand Central Station de Nueva York. Otros prompts generaron escenas de guerra de Gaza y Myanmar, mostrando ni帽os creados por IA describiendo sus hogares destruidos. Un video, generado con el prompt "grabaci贸n de Etiop铆a estilo noticiero de guerra civil", mostr贸 a un reportero con chaleco antibalas informando sobre enfrentamientos en zonas residenciales. Otro, usando solo "manifestaci贸n de Charlottesville", represent贸 a un manifestante negro con equipo de protecci贸n gritando un lema supremacista blanco: "No nos reemplazar谩n".
Sora actualmente es solo por invitaci贸n y no est谩 disponible para el p煤blico. A pesar de esto, escal贸 r谩pidamente a lo m谩s alto de la App Store de Apple solo tres d铆as despu茅s de su lanzamiento limitado, superando al propio ChatGPT de OpenAI.
Bill Peebles, director de Sora, expres贸 emoci贸n en X, diciendo: "Ha sido 茅pico ver de lo que es capaz la creatividad colectiva de la humanidad hasta ahora", y prometi贸 m谩s c贸digos de invitaci贸n pronto.
La aplicaci贸n ofrece un vistazo a un futuro donde distinguir lo real de lo falso podr铆a volverse mucho m谩s dif铆cil, especialmente cuando estos videos comiencen a propagarse m谩s all谩 de la plataforma de IA. Expertos en desinformaci贸n advierten que escenas tan realistas podr铆an oscurecer la verdad y ser explotadas para fraude, acoso e intimidaci贸n.
Joan Donovan, profesora de la Universidad de Boston especializada en manipulaci贸n medi谩tica, se帽al贸: "No tiene fidelidad hist贸rica, no tiene relaci贸n con la verdad. Cuando personas crueles obtienen herramientas como esta, las usar谩n para odio, hostigamiento e incitaci贸n".
Sam Altman, CEO de OpenAI, elogi贸 el lanzamiento de Sora 2 como "realmente genial", llam谩ndolo un momento "ChatGPT para la creatividad" que se siente fresco y divertido. Reconoci贸 cierta preocupaci贸n sobre la adicci贸n a redes sociales, el acoso y el riesgo de "contenido basura"鈥攙ideos repetitivos de baja calidad que saturan las plataformas. Altman enfatiz贸 que el equipo trabaj贸 arduamente para evitar estos riesgos e implement贸 salvaguardas contra el uso de la imagen de personas o la creaci贸n de contenido perturbador o ilegal. Por ejemplo, la aplicaci贸n bloque贸 una solicitud para generar un video de Donald Trump y Vladimir Putin compartiendo algod贸n de az煤car.
A煤n as铆, en los primeros tres d铆as, muchos videos de Sora se propagaron en l铆nea. Un reportero de The Washington Post cre贸 un clip que representaba a Altman como un l铆der militar de la Segunda Guerra Mundial y report贸 haber hecho videos con "contenido indignante, cr铆menes falsos y mujeres salpicadas con sustancia blanca". El feed de Sora tambi茅n presenta numerosos videos de personajes con derechos de autor de programas como Bob Esponja, South Park y Rick y Morty, y no tuvo problemas para producir un video de Pikachu aumentando aranceles. En un caso, videos generados por IA representaron a China robando rosas del Jard铆n de Rosas de la Casa Blanca o uni茅ndose a una protesta de Black Lives Matter con Bob Esponja, quien en otro clip declar贸 y plane贸 una guerra contra Estados Unidos. Un video capturado por 404 Media mostr贸 a Bob Esponja vestido como Adolf Hitler.
Paramount, Warner Bros. y Pok茅mon Co. no respondieron a solicitudes de comentario.
David Karpf, profesor asociado de la Escuela de Medios y Asuntos P煤blicos de la Universidad George Washington, dijo haber visto videos de personajes con derechos de autor respaldando estafas de criptomonedas. Cree que est谩 claro que las salvaguardas de OpenAI para su herramienta de video Sora est谩n fallando.
Karpf coment贸: "Los l铆mites de seguridad no son reales si la gente ya est谩 usando personajes con derechos de autor para promover estafas falsas de criptomonedas. En 2022, las empresas tecnol贸gicas habr铆an enfatizado la contrataci贸n de moderadores de contenido. Para 2025, han decidido que no les importa".
Justo antes de que OpenAI lanzara Sora 2, la compa帽铆a contact贸 a agencias de talento y estudios, inform谩ndoles que necesitar铆an excluirse si no quer铆an que su material con derechos de autor fuera replicado por el generador de videos, seg煤n report贸 The Wall Street Journal.
OpenAI dijo a The Guardian que los propietarios de contenido pueden reportar infracciones de derechos de autor usando un formulario de disputas, pero artistas individuales o estudios no pueden excluirse completamente. Varun Shetty, director de alianzas medi谩ticas de OpenAI, declar贸: "Trabajaremos con los titulares de derechos para bloquear personajes en Sora upon request y atender solicitudes de retirada".
Emily Bender, profesora de la Universidad de Washington y autora de The AI Con, advirti贸 que Sora est谩 creando un entorno peligroso donde es "m谩s dif铆cil encontrar fuentes confiables y m谩s dif铆cil confiar en ellas una vez encontradas". Describi贸 las herramientas de medios sint茅ticos como una "plaga en nuestro ecosistema informativo", comparando su impacto con un derrame de petr贸leo que erosiona la confianza en los sistemas t茅cnicos y sociales.
Nick Robins-Early contribuy贸 a este reporte.
Preguntas Frecuentes
Por supuesto. Aqu铆 tienes una lista de preguntas frecuentes sobre las preocupaciones de seguridad en torno a la aplicaci贸n de video Sora de OpenAI, redactadas de manera clara y natural.
Preguntas Generales Para Principiantes
1. 驴Qu茅 es Sora de OpenAI?
Sora es un modelo de IA de OpenAI que puede crear clips de video realistas e imaginativos a partir de una simple descripci贸n de texto.
2. 驴Cu谩l es el principal problema de seguridad del que se habla respecto a Sora?
A pesar de las reglas de seguridad, los usuarios han podido crear y compartir videos violentos y racistas usando Sora, lo que demuestra que sus protecciones actuales no funcionan como se esperaba.
3. 驴Por qu茅 es esto importante?
Es una gran preocupaci贸n porque muestra que la tecnolog铆a puede ser f谩cilmente mal utilizada para difundir contenido da帽ino, lo que podr铆a conducir a acoso en el mundo real, desinformaci贸n y otros perjuicios graves.
4. 驴No dijo OpenAI que estaban probando Sora por seguridad?
S铆, OpenAI declar贸 que se tomaban la seguridad en serio y realizaban pruebas rigurosas con un peque帽o grupo de expertos antes de un lanzamiento m谩s amplio. La aparici贸n de este contenido da帽ino sugiere que sus medidas de seguridad iniciales no fueron suficientes para prevenir el mal uso.
5. 驴Qu茅 est谩 haciendo OpenAI al respecto ahora?
OpenAI ha reconocido el problema y declar贸 que est谩n trabajando para fortalecer sus barreras de seguridad, lo que incluye mejorar sus filtros de contenido y pol铆ticas de uso para bloquear la creaci贸n de dicho material da帽ino.
Preguntas Avanzadas En Profundidad
6. 驴C贸mo est谩 la gente eludiendo los filtros de seguridad de Sora?
Es probable que los usuarios est茅n utilizando una t茅cnica llamada "jailbreaking", donde reformulan sus solicitudes o usan lenguaje codificado para enga帽ar a la IA y que ignore sus pautas de seguridad, generando as铆 el contenido prohibido.
7. 驴Qu茅 son las barreras de seguridad en IA como Sora?
Las barreras de seguridad son un conjunto de reglas, filtros y clasificadores integrados en la IA para evitar que genere contenido da帽ino, sesgado o inseguro. Se supone que deben bloquear prompts relacionados con violencia, discurso de odio y otras violaciones de pol铆ticas.
8. 驴Es este problema exclusivo de Sora o otros generadores de video de IA tambi茅n lo tienen?
Este es un desaf铆o para toda la industria de la IA generativa. Sin embargo, este incidente con Sora ha destacado lo dif铆cil que es crear sistemas de seguridad perfectos, incluso para una empresa l铆der como OpenAI con recursos extensos.
9. 驴Cu谩l es la diferencia entre un fallo t茅cnico y un fallo de pol铆tica en este contexto?
