Nebula XAI

Experience the future artificial intelligence

揭露 Sora 2:Mindgard 發現 OpenAI 視訊工具中的音訊漏洞

在人工智慧不斷發展的領域,安全漏洞往往潛藏在最意想不到的地方。近日,人工智慧安全公司 Mindgard 發現 OpenAI 的 Sora 2 模型存在一個驚人的缺陷,該缺陷允許敏感的系統提示資訊透過音訊轉錄洩露。這項發現不僅引發了人們對人工智慧安全性的擔憂,也凸顯了在人工智慧開發中採取嚴格安全措施的必要性。

## 隱藏提示訊息的發現

Mindgard 於 2025 年 11 月 3 日啟動了一項研究,並在幾天後發表了研究成果。該研究揭示了一種提取 Sora 2 內部規則的非常規方法。這些規則,也稱為系統提示,規定了人工智慧操作和回應的邊界。由 Aaron Portnoy 領導的 Mindgard 研究團隊旨在探索各種途徑來揭示這些隱藏規則。

團隊嘗試了文字、圖像、視訊和音訊等多種資料格式,試圖從 Sora 2 的輸出中獲取資訊。然而,結果往往不盡人意。 Sora 2 影片中顯示的文字會迅速劣化,隨著影片播放的進行變得難以辨認。這種被稱為「語意漂移」的現象,凸顯了從視覺媒體中提取資訊所面臨的挑戰。

## 音訊:揭開秘密的關鍵

在反覆試驗中,Mindgard 的研究人員發現,音訊產生是恢復 Sora 2 資訊的最有效途徑。透過引導 Sora 2 發出部分內部指令,他們得以整理出包含關鍵運作細節的文字記錄。這種方法被證明非常有效,使他們能夠重建幾乎完整的底層指令集。

研究團隊巧妙地調整了音訊速度,以便在 Sora 2 生成的 10 到 15 秒的短音訊片段中容納更多資訊。這種方法能夠高保真度地恢復系統提示訊息,包括指示 AI 避免產生「性暗示畫面或內容」的準則。透過這個過程,他們獲得了模型核心配置程式碼的詳細集合,這對於理解 AI 的運作機制至關重要。

## 對人工智慧安全的影響

Mindgard 的研究結果意義重大。儘管 Sora 2 擁有強大的安全訓練,但其透過創新提示提取核心設定的能力引發了人們對資訊外洩風險的擔憂。像 Sora 2 這樣的多模態模型中的此類漏洞,可能會為敏感資訊外洩開闢新的途徑。

針對這些發現,Mindgard 為人工智慧開發者提供了重要的建議。他們建議將系統提示視為機密設置,嚴格測試音訊和視訊輸出是否有潛在洩露,並限制人工智慧回應的長度。此外,人工智慧技術的使用者也應積極主動地向供應商詢問營運規則的隱私性,並確保所有輸出都得到充分保護。

在一個日益依賴人工智慧的世界裡,如何在維護安全的同時促進創新是一項微妙的平衡。 Mindgard 的研究強調了在人工智慧安全實踐中持續保持警惕的緊迫性。隨著我們深入邁入數位時代,了解伴隨高階人工智慧系統的漏洞對於保護技術及其用戶至關重要。

See also  三星HBM4晶片取得進展:人工智慧半導體技術的飛躍