OpenAI发布视频应用Sora之际,平台上却出现了暴力与种族主义内容,这暴露出其安全防护机制存在明显漏洞。
以下是用户提供的英文文本的中文翻译: 周二,OpenAI发布了其最新AI视频生成工具Sora 2,同步推出可分享逼真视频的社交信息流。但上线数小时内,该平台及既有社交媒体即涌现大量侵权角色参与不当场景的视频,同时充斥暴力与种族主义内容——这直接违反了OpenAI为Sora和ChatGPT制定的禁止煽动暴力或造成伤害的内容规则。 《卫报》查验多组指令与生成视频,发现Sora能生成炸弹威胁与大规模枪击视频:惊恐人群从大学校园、纽约中央车站等拥挤场所逃离;其他指令则生成加沙与缅甸战场景象,其中AI制作的儿童描述家园被毁场景。一则基于“埃塞俄比亚内战新闻风格片段”指令生成的视频中,身着防弹背心的记者在居民区报道冲突;仅输入“夏洛茨维尔集会”则生成黑人抗议者穿戴护具高喊白人至上主义口号“你们无法取代我们”的画面。 目前Sora仍处邀请制测试阶段,但限量发布三天后即登顶苹果应用商店,超越OpenAI旗下ChatGPT。Sora负责人比尔·皮布尔斯在X平台兴奋表示:“见证人类集体创造力的爆发令人震撼”,并承诺将发放更多邀请码。 这款应用预示着一个真假难辨的未来——尤其当这类视频开始脱离AI平台传播。虚假信息专家警告,如此逼真的场景可能混淆真相,被用于欺诈、霸凌与恐吓。波士顿大学媒体操纵研究教授琼·多诺万指出:“它既不忠于历史,也不关联真相。当残忍者掌握此类工具,就会用于散播仇恨、骚扰和煽动。” OpenAI首席执行官萨姆·奥尔特曼盛赞Sora 2发布“非常成功”,称其开创了“创意领域的ChatGPT时刻”。他承认对社交媒体成瘾、网络霸凌及“信息废料”(充斥平台的低质重复视频)存在担忧,强调团队已设置防护措施阻止冒用真人形象或生成不良内容,例如系统已拒绝生成特朗普与普京分享棉花糖的视频。 然而上线前三日,大量Sora视频仍在网络扩散。《华盛顿邮报》记者制作了将奥尔特曼塑造成二战将领的片段,并坦言制作了包含“煽动性内容、虚假犯罪及女性沾粘白色粘液”的视频。平台还出现《海绵宝宝》《南方公园》《瑞克和莫蒂》等作品的侵权角色视频,甚至成功生成皮卡丘提高关税的内容。其中AI生成视频显示中国从白宫玫瑰园偷窃玫瑰,或与海绵宝宝共同参与“黑人的命也是命”抗议——另一视频中这个卡通角色更宣布并对美国发动战争。404媒体捕获的视频中,海绵宝宝竟身着希特勒制服。 派拉蒙、华纳兄弟与宝可梦公司均未回应置评请求。乔治华盛顿大学媒体与公共事务学院副教授戴维·卡普夫指出,他已目睹侵权角色推广加密货币骗局的视频,认为OpenAI的安全防护明显失效。“若人们已能用侵权角色推行虚假加密货币骗局,所谓防护栏根本形同虚设。2022年科技公司还会强调增聘内容审核员,到2025年他们显然已不再在意。” 据《华尔街日报》报道,OpenAI在发布Sora 2前曾联系经纪公司与制片厂,告知若不想版权素材被复制需主动选择退出。OpenAI向《卫报》表示版权方可通过争议表单举报侵权,但个体艺术家或工作室无法完全选择退出。媒体合作主管瓦伦·谢蒂称:“我们将应要求与权利持有人合作封禁特定角色,并处理下架请求。” 华盛顿大学教授、《AI骗局》作者艾米莉·本德警告,Sora正在制造“难以寻找可靠信源且找到后仍难取信”的危险环境,将合成媒体工具比作“信息生态的瘟疫”,其影响如同侵蚀技术与社会系统信任的原油泄漏。 本报道由尼克·罗宾斯-厄尔参与完成。 常见问题解答 以下是以清晰自然语气编写的关于OpenAI视频应用Sora安全担忧的常见问题列表: 基础问题 1. 什么是OpenAI的Sora? Sora是OpenAI开发的AI模型,能通过简单文字描述生成逼真且富有想象力的视频片段。 2. 人们讨论的Sora主要安全问题是什么? 尽管设有安全规则,用户仍能利用Sora制作传播暴力与种族主义视频,表明当前防护措施未达预期效果。 3. 为何此事至关重要? 这暴露出该技术易被滥用于传播有害内容,可能导致现实世界的骚扰、虚假信息及其他严重危害。 4. OpenAI是否声称对Sora进行过安全测试? 是的,OpenAI表示在广泛发布前已认真对待安全问题,并组织专家小组进行严格测试。但有害内容的出现说明初期安全措施不足以防止滥用。 5....