A OpenAI lançou seu mais novo gerador de vídeos por IA na terça-feira, introduzindo um feed social onde usuários podem compartilhar vídeos impressionantemente realistas. Porém, poucas horas após o lançamento do Sora 2, o feed – e plataformas mais antigas de mídia social – foram inundados com vídeos mostrando personagens com direitos autorais em cenários inadequados, junto com conteúdo violento e racista. Isso vai contra as próprias regras da OpenAI para o Sora e ChatGPT, que proíbem materiais que incitem violência ou causem danos.
O The Guardian revisou vários prompts e clipes, descobrindo que o Sora produziu vídeos de ameaças de bomba e tiroteios em massa, com pessoas aterrorizadas fugindo de campi universitários e locais lotados como o Grand Central Station de Nova York. Outros prompts geraram cenas de guerra de Gaza e Mianmar, apresentando crianças feitas por IA descrevendo suas casas sendo destruídas. Um vídeo, solicitado por "filmagem da Etiópia estilo noticiário sobre guerra civil", mostrou um repórter com colete à prova de balas reportando sobre confrontos em áreas residenciais. Outro, usando apenas "protesto de Charlottesville", retratou um manifestante negro com equipamento de proteção gritando um slogan supremacista branco: "Vocês não nos substituirão".
O Sora está atualmente apenas por convite e não disponível ao público. Apesar disso, ele rapidamente subiu ao topo da App Store da Apple apenas três dias após seu lançamento limitado, superando o próprio ChatGPT da OpenAI.
Bill Peebles, chefe do Sora, expressou empolgação no X, dizendo: "Tem sido épico ver do que a criatividade coletiva da humanidade é capaz até agora", e prometeu mais códigos de convite em breve.
O aplicativo oferece uma prévia de um futuro onde distinguir o real do falso pode se tornar muito mais difícil, especialmente conforme esses vídeos começam a se espalhar para além da plataforma de IA. Especialistas em desinformação alertam que cenas tão realistas podem obscurecer a verdade e ser exploradas para fraudes, bullying e intimidação.
Joan Donovan, professora da Universidade de Boston especializada em manipulação midiática, observou: "Não há fidelidade à história, não há relação com a verdade. Quando pessoas cruéis obtêm ferramentas como esta, eles as usarão para ódio, assédio e incitação".
Sam Altman, CEO da OpenAI, elogiou o lançamento do Sora 2 como "realmente ótimo", chamando-o de um momento "ChatGPT para criatividade" que parece fresco e divertido. Ele reconheceu algumas preocupações sobre vício em mídias sociais, bullying e o risco de "conteúdo genérico de baixa qualidade" – vídeos repetitivos e de baixa qualidade que entopem as plataformas. Altman enfatizou que a equipe trabalhou duro para evitar essas armadilhas e implementou proteções contra o uso de semelhanças de pessoas ou criação de conteúdo perturbador ou ilegal. Por exemplo, o aplicativo bloqueou um pedido para gerar um vídeo de Donald Trump e Vladimir Putin compartilhando algodão-doce.
Ainda assim, nos primeiros três dias, muitos vídeos do Sora se espalharam online. Um repórter do Washington Post criou um clipe retratando Altman como um líder militar da Segunda Guerra Mundial e relatou fazer vídeos com "iscas de raiva, crimes falsos e mulheres respingadas com gosma branca". O feed do Sora também apresenta inúmeros vídeos de personagens com direitos autorais de programas como Bob Esponja, South Park e Rick and Morty, e não teve problemas para produzir um vídeo de Pikachu aumentando tarifas.
Em um caso, vídeos gerados por IA retrataram a China roubando rosas do Jardim de Rosas da Casa Branca ou se juntando a um protesto do Black Lives Matter com o Bob Esponja, que em outro clipe declarou e planejou uma guerra contra os Estados Unidos. Um vídeo capturado pela 404 Media mostrou Bob Esponja vestido como Adolf Hitler.
Paramount, Warner Bros. e Pokémon Co. não responderam a pedidos de comentário.
David Karpf, professor associado da Escola de Assuntos e Mídia Pública da Universidade George Washington, disse que viu vídeos de personagens com direitos autorais endossando golpes de criptomoeda. Ele acredita que está claro que as proteções da OpenAI para sua ferramenta de vídeo Sora estão falhando.
Karpf comentou: "As proteções não são reais se as pessoas já estão usando personagens com direitos autorais para promover golpes falsos de criptomoeda. Em 2022, as empresas de tecnologia teriam enfatizado a contratação de moderadores de conteúdo. Até 2025, elas decidiram que não se importam".
Pouco antes da OpenAI lançar o Sora 2, a empresa entrou em contato com agências de talentos e estúdios, informando que eles precisariam optar por sair se não quisessem seu material com direitos autorais replicado pelo gerador de vídeo, conforme relatado pelo Wall Street Journal.
A OpenAI disse ao The Guardian que os proprietários de conteúdo podem relatar violação de direitos autorais usando um formulário de disputas, mas artistas ou estúdios individuais não podem optar por sair completamente. Varun Shetty, chefe de parcerias de mídia da OpenAI, afirmou: "Trabalharemos com os detentores de direitos para bloquear personagens do Sora mediante solicitação e atender a pedidos de remoção".
Emily Bender, professora da Universidade de Washington e autora de "The AI Con", alertou que o Sora está criando um ambiente perigoso onde é "mais difícil encontrar fontes confiáveis e mais difícil confiar nelas uma vez encontradas". Ela descreveu as ferramentas de mídia sintética como um "flagelo em nosso ecossistema de informação", comparando seu impacto a um derramamento de óleo que corrói a confiança em sistemas técnicos e sociais.
Nick Robins-Early contribuiu para este relatório.
Perguntas Frequentes
Claro! Aqui está uma lista de Perguntas Frequentes sobre as preocupações de segurança em torno do aplicativo de vídeo Sora da OpenAI, escritas em um tom claro e natural.
Perguntas Gerais / Para Iniciantes
1. O que é o Sora da OpenAI?
Sora é um modelo de IA da OpenAI que pode criar clipes de vídeo realistas e imaginativos a partir de uma simples descrição em texto.
2. Qual é a principal questão de segurança sobre a qual as pessoas estão falando em relação ao Sora?
Apesar das regras de segurança, os usuários conseguiram criar e compartilhar vídeos violentos e racistas usando o Sora, mostrando que suas proteções atuais não estão funcionando como pretendido.
3. Por que isso é importante?
Esta é uma grande preocupação porque mostra que a tecnologia pode ser facilmente mal utilizada para espalhar conteúdo prejudicial, o que poderia levar a assédio no mundo real, desinformação e outros danos graves.
4. A OpenAI não disse que estava testando o Sora para segurança?
Sim, a OpenAI afirmou que estava levando a segurança a sério e conduzindo testes rigorosos com um pequeno grupo de especialistas antes de um lançamento mais amplo. O aparecimento deste conteúdo prejudicial sugere que suas medidas de segurança iniciais não foram suficientes para prevenir o uso indevido.
5. O que a OpenAI está fazendo sobre isso agora?
A OpenAI reconheceu o problema e afirmou que está trabalhando para fortalecer suas proteções de segurança, o que inclui melhorar seus filtros de conteúdo e políticas de uso para bloquear a criação de tal material prejudicial.
Perguntas Avançadas / Aprofundadas
6. Como as pessoas estão contornando os filtros de segurança do Sora?
É provável que os usuários estejam usando uma técnica chamada "jailbreaking", onde reformulam seus pedidos ou usam linguagem codificada para enganar a IA, fazendo-a ignorar suas diretrizes de segurança e gerar o conteúdo proibido.
7. O que são "proteções de segurança" em IAs como o Sora?
Proteções de segurança são um conjunto de regras, filtros e classificadores integrados na IA para impedi-la de gerar conteúdo prejudicial, tendencioso ou inseguro. Eles devem bloquear prompts relacionados a violência, discurso de ódio e outras violações de políticas.
8. Este problema é exclusivo do Sora ou outros geradores de vídeo por IA também o têm?
Este é um desafio para toda a indústria de IA generativa. No entanto, este incidente com o Sora destacou o quão difícil é criar sistemas de segurança perfeitos, mesmo para uma empresa líder como a OpenAI, com recursos extensivos.
9. Qual é a diferença entre uma falha técnica e uma falha de política neste contexto?
