Η OpenAI κυκλοφόρησε τον νεότερο γεννητήρα βίντεο τεχνητής νοημοσύνης της την Τρίτη, εισάγοντας μια κοινωνική ροή όπου οι χρήστες μπορούν να μοιράζονται εντυπωσιακά ρεαλιστικά βίντεο. Ωστόσο, εντός ωρών από την έναρξη λειτουργίας του Sora 2, η ροή — και παλαιότερες πλατφόρμες κοινωνικών δικτύων — πλημμύρισαν με βίντεο που έδειχναν πνευματικά δικαιώματα χαρακτήρες σε ακατάλληλα σενάρια, μαζί με βίαιο και ρατσιστικό περιεχόμενο. Αυτό έρχεται σε αντίθεση με τους δικούς κανόνες της OpenAI για το Sora και το ChatGPT, οι οποίοι απαγορεύουν υλικό που ενθαρρύνει τη βία ή προκαλεί βλάβη.
Το Guardian εξέτασε αρκετά prompts και κλιπ, διαπιστώνοντας ότι το Sora παρήγαγε βίντεο με απειλές βομβαρδισμών και μαζικές σφαγές, με τρομοκρατημένους ανθρώπους να διαφεύγουν από πανεπιστημιουπόλεις και γεμάτα σημεία όπως ο Κεντρικός Σταθμός της Νέας Υόρκης. Άλλα prompts δημιούργησαν σκηνές πολέμου από τη Γάζα και τη Μιανμάρ, με παιδιά από τεχνητή νοημοσύνη να περιγράφουν τα σπίτια τους να καταστρέφονται. Ένα βίντεο, που προκλήθηκε από το "Ethiopia footage civil war news style", έδειξε έναν δημοσιογράφο με αλεξίσφαιρο γιλέκο να αναφέρει συγκρούσεις σε κατοικημένες περιοχές. Ένα άλλο, χρησιμοποιώντας μόνο το "Charlottesville rally", απεικόνισε έναν μαύρο διαδηλωτή με προστατευτικό εξοπλισμό να φωνάζει ένα λευκός υπερμαχής σύνθημα: "Δεν θα μας αντικαταστήσετε."
Το Sora είναι προς το παρόν μόνο με πρόσκληση και δεν είναι διαθέσιμο στο ευρύ κοινό. Παρά αυτό, ανέβηκε γρήγορα στην κορυφή του App Store της Apple μόλις τρεις ημέρες μετά τον περιορισμένο εκτόξευσή του, ξεπερνώντας το δικό της ChatGPT της OpenAI.
Ο Bill Peebles, επικεφαλής του Sora, εξέφρασε τον ενθουσιασμό του στο X, λέγοντας, "Ήναι επικό να βλέπεις τι είναι ικανή να πετύχει η συλλογική δημιουργικότητα της ανθρωπότητας μέχρι στιγμής," και υποσχέθηκε περισσότερους κωδικούς πρόσκλησης σύντομα.
Η εφαρμογή προσφέρει μια προεπισκόπηση ενός μέλλοντος όπου η διάκριση του πραγματικού από το ψεύτικο θα μπορούσε να γίνει πολύ πιο δύσκολη, ειδικά καθώς αυτά τα βίντεο αρχίζουν να διαδίδονται πέρα από την πλατφόρμα τεχνητής νοημοσύνης. Οι ειδικοί παραπληροφόρησης προειδοποιούν ότι τέτοιες ρεαλιστικές σκηνές θα μπορούσαν να επισκιάσουν την αλήθεια και να αξιοποιηθούν για απάτη, εκφοβισμό και εκφοβισμό.
Η Joan Donovan, καθηγήτρια στο Πανεπιστήμιο της Βοστώνης που ειδικεύεται στη χειραγώγηση των μέσων, σημείωσε, "Δεν έχει πιστότητα στην ιστορία, δεν έχει καμία σχέση με την αλήθεια. Όταν σκληροί άνθρωποι πάρουν στα χέρια τους εργαλεία σαν αυτό, θα τα χρησιμοποιήσουν για μίσος, παρενόχληση και υποκίνηση."
Ο διευθύνων σύμβουλος της OpenAI, Sam Altman, επαίνεσε την εκτόξευση του Sora 2 ως "πραγματικά υπέροχη," αποκαλώντας την μια στιγμή "ChatGPT για τη δημιουργικότητα" που φαίνεται φρέσκια και διασκεδαστική. Αναγνώρισε ορισμένες ανησυχίες σχετικά με τον εθισμό στα κοινωνικά δίκτυα, τον εκφοβισμό και τον κίνδυνο της "slop" — χαμηλής ποιότητας, επαναλαμβανόμενα βίντεο που γεμίζουν τις πλατφόρμες. Ο Altman τόνισε ότι η ομάδα εργάστηκε σκληρά για να αποφύγει αυτές τις παγίδες και εφάρμοσε μέτρα ασφαλείας κατά της χρήσης της ομοιότητας των ανθρώπων ή της δημιουργίας ενοχλητικού ή παράνομου περιεχομένου. Για παράδειγμα, η εφαρμογή απέκλεισε ένα αίτημα για δημιουργία βίντεο με τον Donald Trump και τον Vladimir Putin να μοιράζονται μαλλί της γριάς.
Ωστόσο, στις πρώτες τρεις ημέρες, πολλά βίντεο Sora διαδόθηκαν στο διαδίκτυο. Ένας δημοσιογράφος της Washington Post δημιούργησε ένα κλιπ που απεικόνιζε τον Altman ως ηγέτη του Β' Παγκοσμίου Πολέμου και ανέφερε ότι έφτιαχνε βίντεο με "ragebait, ψεύτικα εγκλήματα και γυναίκες που πέφτουν λευκός γλίτσας." Η ροή Sora περιλαμβάνει επίσης πολυάριθμα βίντεο με πνευματικά δικαιώματα χαρακτήρες από σόου όπως ο SpongeBob SquarePants, το South Park και το Rick and Morty, και δεν είχε κανένα πρόβλημα να παράγει ένα βίντεο με τον Pikachu να αυξάνει δασμούς.
Σε μια περίπτωση, βίντεο που δημιουργήθηκαν από τεχνητή νοημοσύνη απεικόνισαν την Κίνα να κλέβει τριαντάφυλλα από τον Κήπο των Τριαντάφυλλων του Λευκού Οίκου ή να συμμετέχει σε μια διαδήλωση Black Lives Matter με τον SpongeBob, ο οποίος σε ένα άλλο κλιπ κήρυξε και σχεδίασε πόλεμο εναντίον των Ηνωμένων Πολιτειών. Ένα βίντεο που κατέγραψε το 404 Media έδειξε τον SpongeBob ντυμένο ως Adolf Hitler.
Οι Paramount, Warner Bros. και Pokémon Co. δεν απάντησαν σε αιτήματα για σχόλια.
Ο David Karpf, αναπληρωτής καθηγητής στη Σχολή Μέσων Επικοινωνίας και Δημόσιων Υποθέσεων του Πανεπιστημίου George Washington, δήλωσε ότι έχει δει βίντεο με πνευματικά δικαιώματα χαρακτήρες που ενθαρρύνουν απάτες κρυπτονομισμάτων. Πιστεύει ότι είναι σαφές ότι τα μέτρα ασφαλείας της OpenAI για το εργαλείο βίντεο Sora αποτυγχάνουν.
Ο Karpf σημείωσε, "Τα προστατευτικά μέτρα δεν είναι πραγματικά αν οι άνθρωποι χρησιμοποιούν ήδη πνευματικά δικαιώματα χαρακτήρες για να προωθήσουν ψεύτικες απάτες κρυπτονομισμάτων. Το 2022, οι τεχνολογικές εταιρείες θα είχαν τονίσει τη πρόσληψη συντονιστών περιεχομένου. Μέχρι το 2025, έχουν αποφασίσει ότι δεν τους νοιάζει."
Λίγο πριν η OpenAI εκτοξεύσει το Sora 2, η εταιρεία επικοινώνησε με πρακτορεία ταλέντων και στούντιο, ενημερώνοντάς τα ότι θα χρειαζόταν να εξαιρεθούν αν δεν ήθελαν το πνευματικά δικαιώματα υλικό τους να αναπαραχθεί από τον γεννήτορα βίντεο, όπως ανέφερε το Wall Street Journal.
Η OpenAI είπε στο Guardian ότι οι κάτοχοι περιεχομένου μπορούν να αναφέρουν παραβίαση πνευματικών δικαιωμάτων χρησιμοποιώντας μια φόρμα διαφορών, αλλά μεμονωμένοι καλλιτέχνες ή στούντιο δεν μπορούν να εξαιρεθούν εντελώς. Ο Varun Shetty, επικεφαλής μέσων εταιρειών της OpenAI, δήλωσε, "Θα συνεργαστούμε με τους κατόχους δικαιωμάτων για να αποκλείσουμε χαρακτήρες από το Sora κατόπιν αιτήματος και να αντιμετωπίσουμε αιτήματα κατάργησης."
Η Emily Bender, καθηγήτρια στο Πανεπιστήμιο της Ουάσιγκτον και συγγραφέας του The AI Con, προειδοποίησε ότι το Sora δημιουργεί ένα επικίνδυνο περιβάλλον όπου είναι "δυσκολότερο να βρεις αξιόπιστες πηγές και πιο δύσκολο να τις εμπιστευτείς μόλις βρεθούν." Περιέγραψε τα συνθετικά μέσα εργαλεία ως "μια μάστιγα στο πληροφοριακό μας οικοσύστημα," συγκρίνοντας τον αντίκτυπό τους με μια διαρροή πετρελαίου που διαβρώνει την εμπιστοσύνη στα τεχνικά και κοινωνικά συστήματα.
Ο Nick Robins-Early συνέβαλε σε αυτή την αναφορά.
Συχνές Ερωτήσεις
Φυσικά Εδώ είναι μια λίστα με Συχνές Ερωτήσεις σχετικά με τις ανησυχίες ασφαλείας γύρω από την εφαρμογή βίντεο Sora της OpenAI, γραμμένες με σαφή και φυσική χροιά.
Γενικές - Ερωτήσεις Αρχάριων
1 Τι είναι το Sora της OpenAI;
Το Sora είναι ένα μοντέλο τεχνητής νοημοσύνης από την OpenAI που μπορεί να δημιουργήσει ρεαλιστικά και δημιουργικά βίντεο κλιπ από μια απλή περιγραφή κειμένου.
2 Ποιο είναι το κύριο ζήτημα ασφαλείας για το οποίο μιλάνε οι άνθρωποι με το Sora;
Παρά τους κανόνες ασφαλείας, οι χρήστες κατάφεραν να δημιουργήσουν και να μοιραστούν βίαια και ρατσιστικά βίντεο χρησιμοποιώντας το Sora, δείχνοντας ότι οι τρέχουσες προστασίες του δεν λειτουργούν όπως προορίζονταν.
3 Γιατί αυτό είναι σημαντικό;
Αυτό είναι μια σημαντική ανησυχία γιατί δείχνει ότι η τεχνολογία μπορεί εύκολα να καταχραστεί για τη διάδοση επιβλαβούς περιεχομένου, το οποίο θα μπορούσε να οδηγήσει σε πραγματικό κόσμο παρενόχληση, παραπληροφόρηση και άλλες σοβαρές βλάβες.
4 Δεν είπε η OpenAI ότι δοκίμαζε το Sora για ασφάλεια;
Ναι, η OpenAI δήλωσε ότι παίρνει την ασφάλεια σοβαρά και διεξήγαγε αυστηρές δοκιμές με μια μικρή ομάδα ειδικών πριν από την ευρύτερη κυκλοφορία. Η εμφάνιση αυτού του επιβλαβούς περιεχομένου υποδηλώνει ότι τα αρχικά μέτρα ασφαλείας τους δεν ήταν αρκετά για να αποτρέψουν την κατάχρηση.
5 Τι κάνει η OpenAI γι' αυτό τώρα;
Η OpenAI έχει αναγνωρίσει το πρόβλημα και δήλωσε ότι εργάζεται για την ενίσχυση των προστατευτικών μέτρων ασφαλείας της, που περιλαμβάνει τη βελτίωση των φίλτρων περιεχομένου και των πολιτικών χρήσης για να αποκλείσει τη δημιουργία τέτοιου επιβλαβούς υλικού.
Προχωρημένες - Εις Βάθος Ερωτήσεις
6 Πώς παρακάμπτουν οι χρήστες τα φίλτρα ασφαλείας του Sora;
Οι χρήστες πιθανώς χρησιμοποιούν μια τεχνική που ονομάζεται jailbreaking, όπου αναδιατυπώνουν τα αιτήματά τους ή χρησιμοποιούν κωδικοποιημένη γλώσσα για να ξεγελάσουν την τεχνητή νοημοσύνη να αγνοήσει τις οδηγίες ασφαλείας της και να παράγει το απαγορευμένο περιεχόμενο.
7 Τι είναι τα προστατευτικά μέτρα ασφαλείας στην τεχνητή νοημοσύνη όπως το Sora;
Τα προστατευτικά μέτρα ασφαλείας είναι ένα σύνολο κανόνων, φίλτρων και ταξινομητών που είναι ενσωματωμένα στην τεχνητή νοημοσύνη για να την αποτρέψουν από τη δημιουργία επιβλαβούς, προκατειλημμένου ή μη ασφαλούς περιεχομένου. Υποτίθεται ότι αποκλείουν prompts που σχετίζονται με βία, ρητορική μίσους και άλλες παραβιάσεις πολιτικής.
8 Είναι αυτό το πρόβλημα μοναδικό για το Sora ή το έχουν και άλλοι γεννητές βίντεο τεχνητής νοημοσύνης;
Αυτή είναι μια πρόκληση για ολόκληρη τη βιομηχανία παραγωγικής τεχνητής νοημοσύνης. Ωστόσο, αυτό το περιστατικό με το Sora έχει επισημάνει πόσο δύσκολο είναι να δημιουργηθούν τέλεια συστήματα ασφαλείας, ακόμη και για μια κορυφαία εταιρεία όπως η OpenAI με εκτεταμένους πόρους.
9 Ποια είναι η διαφορά μεταξύ μιας τεχνικής βλάβης και μιας αποτυχίας πολιτικής σε αυτό το πλαίσιο;
