Nebula XAI

Experience the future artificial intelligence

揭露 Sora 2:Mindgard 发现 OpenAI 视频工具中的音频漏洞

在人工智能不断发展的领域,安全漏洞往往潜藏在最意想不到的地方。近日,人工智能安全公司 Mindgard 发现 OpenAI 的 Sora 2 模型存在一个惊人的缺陷,该缺陷允许敏感的系统提示信息通过音频转录泄露。这一发现不仅引发了人们对人工智能安全性的担忧,也凸显了在人工智能开发中采取严格安全措施的必要性。

## 隐藏提示信息的发现

Mindgard 于 2025 年 11 月 3 日启动了一项研究,并在几天后发表了研究成果。该研究揭示了一种提取 Sora 2 内部规则的非常规方法。这些规则,也称为系统提示,规定了人工智能操作和响应的边界。由 Aaron Portnoy 领导的 Mindgard 研究团队旨在探索各种途径来揭示这些隐藏规则。

该团队尝试了文本、图像、视频和音频等多种数据格式,试图从 Sora 2 的输出中获取信息。然而,结果往往不尽如人意。 Sora 2 视频中显示的文本会迅速劣化,随着视频播放的进行变得难以辨认。这种被称为“语义漂移”的现象,凸显了从视觉媒体中提取信息所面临的挑战。

## 音频:揭开秘密的关键

在反复试验中,Mindgard 的研究人员发现,音频生成是恢复 Sora 2 信息的最有效途径。通过引导 Sora 2 发出部分内部指令,他们得以整理出包含关键运行细节的文本记录。这种方法被证明非常有效,使他们能够重建几乎完整的底层指令集。

研究团队巧妙地调整了音频速度,以便在 Sora 2 生成的 10 到 15 秒的短音频片段中容纳更多信息。这种方法能够高保真地恢复系统提示信息,包括指示 AI 避免生成“性暗示画面或内容”的准则。通过这一过程,他们获得了模型核心配置代码的详细集合,这对于理解 AI 的运行机制至关重要。

## 对人工智能安全的影响

Mindgard 的研究结果意义重大。尽管 Sora 2 拥有强大的安全训练,但其通过创新提示提取核心设置的能力引发了人们对信息泄露风险的担忧。像 Sora 2 这样的多模态模型中的此类漏洞,可能会为敏感信息泄露开辟新的途径。

针对这些发现,Mindgard 为人工智能开发者提供了重要的建议。他们建议将系统提示视为机密设置,严格测试音频和视频输出是否存在潜在泄露,并限制人工智能响应的长度。此外,人工智能技术的用户也应积极主动地向供应商询问操作规则的隐私性,并确保所有输出都得到充分保护。

在一个日益依赖人工智能的世界里,如何在维护安全的同时促进创新是一项微妙的平衡。Mindgard 的研究强调了在人工智能安全实践中持续保持警惕的迫切性。随着我们深入迈入数字时代,了解伴随高级人工智能系统而来的漏洞对于保护技术及其用户至关重要。

Generative AI GPT Perplexity Comet AI Semiconductor AI Sora AI Stable Diffusion