W.A.L.Tとは、画像やテキストからビデオを生成するモデルとは何ですか？

2023年12月27日、スタンフォード大学、Google Research、およびGeorgia Institute of Technologyの研究者は、Window Attention Latent Transformer（W.A.L.T）モデルを導入しました。トランスニューラルネットワークアーキテクチャを利用して、潜在的なビデオ拡散モデル（LVDMS）の新しいアプローチを提示すると、静的な画像やテキストの説明からのフォトリアリックなビデオの生成が容易になります。

### W.A.L.Tチームの革新的なアプローチ

研究者は、自動エンコーダーを採用して、ビデオと画像の両方を統一された潜在的な次元の統一された潜在スペースにマッピングし、モダリティ全体で学習と生成を可能にしました。ビデオと画像でW.A.L.Tを同時にトレーニングすることにより、彼らはモデルに最初からの動きをより深く理解することを提供しました。

さらに、変圧器ブロックの特殊な設計により、潜在的なビデオ拡散をモデル化することができました。これらのブロックは、空間的な自己触媒層と空間的注意を窓に限定している間に交互になります。このデザインは、局所的な窓の注意を払っているための計算需要の減少や、画像とビデオフレームを独立して処理するための共同トレーニングの可能性など、大きな利点を提供します。

### W.A.L.Tの強力なパフォーマンス

研究チームは、「これらの設計の選択により、確立されたビデオ（UCF-101および速度論-600）および画像（ImagENET）の生成ベンチマークで、クラシファイアフリーガイダンスを使用せずに最先端のパフォーマンスを達成することができます。 「

画像とビデオは、共有潜在スペースにエンコードされています。変圧器のバックボーンは、窓が制限された2つのレイヤーを持つブロックを備えたこれらの潜伏物を処理します。空間層は画像とビデオ内の空間的関係をキャプチャしますが、空間的層はビデオの時間的ダイナミクスをモデル化し、アイデンティティの注意マスクを介して画像の移行をモデル化します。テキストコンディショニングは、空間的な相互参加を介して行われます。

研究者は、テキストからビデオへの生成タスクの3つのモデルのカスケードを訓練しました：8で3.6秒のビデオを生成する2つの超解像度ビデオ拡散モデルによってアップサンプリングされた、小さな128 x 128ピクセルクリップを生成するベース潜在ビデオ拡散モデル。 1秒あたりのフレーム、512 x 896ピクセルの解像度に達します。

W.A.L.Tは、特にビデオの滑らかさの観点から、堅牢なパフォーマンスを実証し、「画像とビデオの統一されたフレームワークが画像とビデオ生成の間のギャップを埋める」という研究者の主張を検証しているように見えます。

### W.A.L.Tのテキストからビデオへの世代の分野への貢献

W.A.L.Tは、テキストからビデオへの分野への重要な貢献として、いくつかの重要な利点を提供します。

1. **統一されたフレームワーク：**画像とビデオの両方で単一のモデルをトレーニングすることにより、W.A.L.Tは視覚コンテンツの包括的な理解を開発し、現実的で一貫性のあるビデオを生成できるようにします。

2.*窓付き注意：**ウィンドウの注意を使用することで、W.A.L.Tはビデオのローカル地域に焦点を合わせ、計算コストを削減し、トレーニング効率を改善できます。

3. **最先端のパフォーマンス：** W.A.L.Tは、確立されたビデオおよび画像生成ベンチマークで最先端の結果を達成し、テキストまたは画像プロンプトから高品質のビデオを生成する際の強力なパフォーマンスを実証します。

W.A.L.Tの機能は、創造的なコンテンツの生成、ビデオ編集、およびエンターテイメント、教育などのさまざまなアプリケーションの新しい可能性を開きます。これは、AIを搭載したビデオ統合の分野での重要な前進を表しています。