Am Dienstag veröffentlichte OpenAI seinen neuesten KI-Video-Generator und führte einen Social Feed ein, in dem Nutzer auffallend realistische Videos teilen können. Bereits innerhalb weniger Stunden nach dem Start von Sora 2 wurden der Feed – sowie ältere Social-Media-Plattformen – jedoch mit Videos überschwemmt, die urheberrechtlich geschützte Charaktere in unangemessenen Szenarien zeigten, zusammen mit gewalttätigen und rassistischen Inhalten. Dies verstößt gegen OpenAIs eigene Regeln für Sora und ChatGPT, die Material verbieten, das zu Gewalt anregt oder Schaden verursacht.
The Guardian sichtete mehrere Prompts und Clips und stellte fest, dass Sora Videos von Bombendrohungen und Massenerschießungen produzierte, in denen verängstigte Menschen von College-Campussen und belebten Orten wie der Grand Central Station in New York flohen. Andere Prompts erzeugten Kriegsszenen aus Gaza und Myanmar mit KI-generierten Kindern, die die Zerstörung ihrer Häuser schilderten. Ein Video, ausgelöst durch den Prompt „Ethiopia footage civil war news style“, zeigte einen Reporter in einer kugelsicheren Weste, der über Gefechte in Wohngebieten berichtete. Ein weiteres, das nur mit „Charlottesville rally“ erstellt wurde, zeigte einen schwarzen Demonstranten in Schutzausrüstung, der einen white-supremacist-Slogan rief: „You will not replace us.“
Sora ist derzeit nur auf Einladung verfügbar und nicht für die Öffentlichkeit zugänglich. Trotzdem stieg die App nur drei Tage nach der eingeschränkten Veröffentlichung an die Spitze des Apple App Stores und übertraf damit OpenAIs eigenes ChatGPT.
Bill Peebles, der Leiter von Sora, äußerte sich auf X begeistert: „Es war episch zu sehen, wozu die kollektive Kreativität der Menschheit bisher fähig ist“, und versprach bald mehr Einladungscodes.
Die App bietet einen Vorgeschmack auf eine Zukunft, in der die Unterscheidung zwischen echt und gefälscht viel schwieriger werden könnte, insbesondere wenn diese Videos sich über die KI-Plattform hinaus verbreiten. Experten für Desinformation warnen, dass solche realistischen Szenen die Wahrheit verschleiern und für Betrug, Mobbing und Einschüchterung ausgenutzt werden könnten.
Joan Donovan, eine Professorin der Boston University, die auf Medienmanipulation spezialisiert ist, merkte an: „Es hat keine Treue zur Geschichte, es hat keine Beziehung zur Wahrheit. Wenn grausame Menschen Tools wie dieses in die Hände bekommen, werden sie sie für Hass, Belästigung und Aufhetzung nutzen.“
OpenAI-CEO Sam Altman lobte den Start von Sora 2 als „wirklich großartig“ und bezeichnete ihn als einen „ChatGPT für Kreativität“-Moment, der sich frisch und unterhaltsam anfühle. Er räumte einige Bedenken hinsichtlich Social-Media-Sucht, Mobbing und dem Risiko von „Slop“ ein – minderwertigen, repetitiven Videos, die Plattformen überfluten. Altman betonte, dass das Team hart daran gearbeitet habe, diese Fallstricke zu vermeiden, und Sicherheitsvorkehrungen gegen die Nutzung von Abbildern Personen oder die Erstellung verstörender oder illegaler Inhalte implementiert habe. So blockierte die App beispielsweise eine Anfrage, ein Video von Donald Trump und Wladimir Putin zu generieren, die Zuckerwatte teilten.
Dennoch verbreiteten sich in den ersten drei Tagen viele Sora-Videos online. Ein Reporter der Washington Post erstellte einen Clip, der Altman als WWII-Militärführer darstellte, und berichtete, Videos mit „Ragebait, gefälschten Verbrechen und von weißer Schleimmasse bespritzten Frauen“ erstellt zu haben. Der Sora-Feed enthält auch zahlreiche Videos von urheberrechtlich geschützten Charakteren aus Serien wie SpongeBob Schwammkopf, South Park und Rick and Morty und hatte kein Problem, ein Video von Pikachu zu produzieren, der Zölle erhöht.
In einem Fall zeigten KI-generierte Videos, wie China Rosen aus dem Rosengarten des Weißen Hauses stahl oder sich einer Black-Lives-Matter-Protestaktion mit SpongeBob anschloss, der in einem anderen Clip einen Krieg gegen die USA erklärte und plante. Ein von 404 Media aufgenommenes Video zeigte SpongeBob als Adolf Hitler verkleidet.
Paramount, Warner Bros. und die Pokémon Co. reagierten nicht auf Kommentaranfragen.
David Karpf, außerordentlicher Professor an der School of Media and Public Affairs der George Washington University, sagte, er habe Videos gesehen, in denen urheberrechtlich geschützte Charaktere Kryptowährungs-Betrug bewerben. Er ist der Ansicht, es sei eindeutig, dass OpenAIs Sicherheitsvorkehrungen für sein Sora-Video-Tool versagen.
Karpf bemerkte: „Die Schutzmaßnahmen sind nicht real, wenn Leute bereits urheberrechtlich geschützte Charaktere nutzen, um gefälschte Krypto-Betrugsmaschen zu verbreiten. 2022 hätten Tech-Unternehmen betont, Content-Moderatoren einzustellen. Bis 2025 haben sie beschlossen, dass es ihnen egal ist.“
Kurz vor dem Start von Sora 2 kontaktierte OpenAI Talentagenturen und Studios und informierte sie, dass sie opt-out müssten, wenn sie nicht wollten, dass ihr urheberrechtlich geschütztes Material vom Video-Generator repliziert wird, wie das Wall Street Journal berichtete.
OpenAI teilte dem Guardian mit, dass Rechteinhaber Urheberrechtsverletzungen über ein Streitbeilegungsformular melden können, einzelne Künstler oder Studios jedoch nicht vollständig opt-out können. Varun Shetty, OpenAIs Leiter Medienpartnerschaften, erklärte: „Wir werden mit Rechteinhabern zusammenarbeiten, um auf Anfrage Charaktere in Sora zu blockieren und Anfragen zur Entfernung bearbeiten.“
Emily Bender, Professorin an der University of Washington und Autorin von The AI Con, warnte, Sora schaffe eine gefährliche Umgebung, in der es „schwieriger wird, vertrauenswürdige Quellen zu finden, und schwerer, ihnen zu vertrauen, sobald man sie gefunden hat“. Sie beschrieb synthetische Medien-Tools als „Geißel unseres Informationsökosystems“ und verglich ihre Auswirkungen mit einer Ölpest, die das Vertrauen in technische und soziale Systeme untergräbt.
Nick Robins-Early hat zu diesem Bericht beigetragen.
Häufig gestellte Fragen
Selbstverständlich. Hier ist eine Liste von FAQs zu den Sicherheitsbedenken bezüglich OpenAIs Video-App Sora, verfasst in einem klaren und natürlichen Ton.
Allgemeine / Einsteiger-Fragen
1. Was ist OpenAIs Sora?
Sora ist ein KI-Modell von OpenAI, das aus einer einfachen Textbeschreibung realistische und einfallsreiche Videoclips erstellen kann.
2. Welches Hauptsicherheitsproblem wird bei Sora diskutiert?
Trotz Sicherheitsregeln konnten Nutzer gewalttätige und rassistische Videos mit Sora erstellen und teilen, was zeigt, dass derzeitige Schutzmaßnahmen nicht wie beabsichtigt funktionieren.
3. Warum ist das ein großes Problem?
Dies ist ein gravierendes Problem, da die Technologie leicht missbraucht werden kann, um schädliche Inhalte zu verbreiten, was zu echter Belästigung, Desinformation und anderen ernsthaften Schäden führen könnte.
4. Hatte OpenAI nicht angekündigt, Sora auf Sicherheit zu testen?
Ja, OpenAI betonte, Sicherheit ernst zu nehmen und rigorose Tests mit einer kleinen Expertengruppe vor einer breiteren Veröffentlichung durchzuführen. Das Auftauchen dieser schädlichen Inhalte legt nahe, dass die anfänglichen Sicherheitsmaßnahmen nicht ausreichten, um Missbrauch zu verhindern.
5. Was unternimmt OpenAI jetzt dagegen?
OpenAI hat das Problem anerkannt und gibt an, an der Stärkung der Sicherheitsvorkehrungen zu arbeiten, einschließlich verbesserter Inhaltsfilter und Nutzungsrichtlinien, um die Erstellung solcher schädlicher Materialien zu blockieren.
Fortgeschrittene / Vertiefende Fragen
6. Wie umgehen Nutzer Soras Sicherheitsfilter?
Nutzer wenden vermutlich eine Technik namens Jailbreaking an, bei der sie ihre Anfragen umformulieren oder codierte Sprache verwenden, um die KI dazu zu bringen, ihre Sicherheitsrichtlinien zu ignorieren und die verbotenen Inhalte zu generieren.
7. Was sind Sicherheitsvorkehrungen bei KI wie Sora?
Sicherheitsvorkehrungen sind Regeln, Filter und Klassifikatoren, die in die KI integriert sind, um zu verhindern, dass sie schädliche, voreingenommene oder unsichere Inhalte generiert. Sie sollen Prompts blockieren, die Gewalt, Hassrede oder andere Richtlinienverstöße betreffen.
8. Ist dieses Problem einzigartig für Sora oder haben andere KI-Video-Generatoren es auch?
Dies ist eine Herausforderung für die gesamte generative KI-Branche. Dieser Vorfall mit Sora hat jedoch verdeutlicht, wie schwierig es ist, perfekte Sicherheitssysteme zu schaffen, selbst für ein führendes Unternehmen wie OpenAI mit umfangreichen Ressourcen.
9. Was ist der Unterschied zwischen einem technischen Versagen und einem Richtlinienversagen in diesem Kontext?
