以下是用户提供的英文文本的中文翻译:
周二,OpenAI发布了其最新AI视频生成工具Sora 2,同步推出可分享逼真视频的社交信息流。但上线数小时内,该平台及既有社交媒体即涌现大量侵权角色参与不当场景的视频,同时充斥暴力与种族主义内容——这直接违反了OpenAI为Sora和ChatGPT制定的禁止煽动暴力或造成伤害的内容规则。
《卫报》查验多组指令与生成视频,发现Sora能生成炸弹威胁与大规模枪击视频:惊恐人群从大学校园、纽约中央车站等拥挤场所逃离;其他指令则生成加沙与缅甸战场景象,其中AI制作的儿童描述家园被毁场景。一则基于“埃塞俄比亚内战新闻风格片段”指令生成的视频中,身着防弹背心的记者在居民区报道冲突;仅输入“夏洛茨维尔集会”则生成黑人抗议者穿戴护具高喊白人至上主义口号“你们无法取代我们”的画面。
目前Sora仍处邀请制测试阶段,但限量发布三天后即登顶苹果应用商店,超越OpenAI旗下ChatGPT。Sora负责人比尔·皮布尔斯在X平台兴奋表示:“见证人类集体创造力的爆发令人震撼”,并承诺将发放更多邀请码。
这款应用预示着一个真假难辨的未来——尤其当这类视频开始脱离AI平台传播。虚假信息专家警告,如此逼真的场景可能混淆真相,被用于欺诈、霸凌与恐吓。波士顿大学媒体操纵研究教授琼·多诺万指出:“它既不忠于历史,也不关联真相。当残忍者掌握此类工具,就会用于散播仇恨、骚扰和煽动。”
OpenAI首席执行官萨姆·奥尔特曼盛赞Sora 2发布“非常成功”,称其开创了“创意领域的ChatGPT时刻”。他承认对社交媒体成瘾、网络霸凌及“信息废料”(充斥平台的低质重复视频)存在担忧,强调团队已设置防护措施阻止冒用真人形象或生成不良内容,例如系统已拒绝生成特朗普与普京分享棉花糖的视频。
然而上线前三日,大量Sora视频仍在网络扩散。《华盛顿邮报》记者制作了将奥尔特曼塑造成二战将领的片段,并坦言制作了包含“煽动性内容、虚假犯罪及女性沾粘白色粘液”的视频。平台还出现《海绵宝宝》《南方公园》《瑞克和莫蒂》等作品的侵权角色视频,甚至成功生成皮卡丘提高关税的内容。其中AI生成视频显示中国从白宫玫瑰园偷窃玫瑰,或与海绵宝宝共同参与“黑人的命也是命”抗议——另一视频中这个卡通角色更宣布并对美国发动战争。404媒体捕获的视频中,海绵宝宝竟身着希特勒制服。
派拉蒙、华纳兄弟与宝可梦公司均未回应置评请求。乔治华盛顿大学媒体与公共事务学院副教授戴维·卡普夫指出,他已目睹侵权角色推广加密货币骗局的视频,认为OpenAI的安全防护明显失效。“若人们已能用侵权角色推行虚假加密货币骗局,所谓防护栏根本形同虚设。2022年科技公司还会强调增聘内容审核员,到2025年他们显然已不再在意。”
据《华尔街日报》报道,OpenAI在发布Sora 2前曾联系经纪公司与制片厂,告知若不想版权素材被复制需主动选择退出。OpenAI向《卫报》表示版权方可通过争议表单举报侵权,但个体艺术家或工作室无法完全选择退出。媒体合作主管瓦伦·谢蒂称:“我们将应要求与权利持有人合作封禁特定角色,并处理下架请求。”
华盛顿大学教授、《AI骗局》作者艾米莉·本德警告,Sora正在制造“难以寻找可靠信源且找到后仍难取信”的危险环境,将合成媒体工具比作“信息生态的瘟疫”,其影响如同侵蚀技术与社会系统信任的原油泄漏。
本报道由尼克·罗宾斯-厄尔参与完成。
常见问题解答
以下是以清晰自然语气编写的关于OpenAI视频应用Sora安全担忧的常见问题列表:
基础问题
1. 什么是OpenAI的Sora?
Sora是OpenAI开发的AI模型,能通过简单文字描述生成逼真且富有想象力的视频片段。
2. 人们讨论的Sora主要安全问题是什么?
尽管设有安全规则,用户仍能利用Sora制作传播暴力与种族主义视频,表明当前防护措施未达预期效果。
3. 为何此事至关重要?
这暴露出该技术易被滥用于传播有害内容,可能导致现实世界的骚扰、虚假信息及其他严重危害。
4. OpenAI是否声称对Sora进行过安全测试?
是的,OpenAI表示在广泛发布前已认真对待安全问题,并组织专家小组进行严格测试。但有害内容的出现说明初期安全措施不足以防止滥用。
5. OpenAI目前如何应对?
OpenAI已承认问题,并表示正加强安全防护,包括改进内容过滤器与使用政策以阻止此类有害内容的生成。
进阶问题
6. 用户如何绕过Sora的安全过滤器?
用户可能采用“越狱”技术,通过改写请求或使用隐晦表述诱使AI忽略安全准则生成违禁内容。
7. AI如Sora中的安全防护栏是什么?
安全防护栏是内置于AI的规则、过滤器与分类系统,旨在阻止生成有害、偏见或危险内容,本应屏蔽涉及暴力、仇恨言论等违规指令。
8. 这是Sora独有的问题吗?其他AI视频生成器是否也存在?
这是生成式AI行业共同面临的挑战。但Sora事件凸显即便如OpenAI这般拥有雄厚资源的领军企业,也难以构建完美安全体系。
9. 在此语境下技术故障与政策故障有何区别?
(注:此处原文未提供第9问的解答内容)