Google DeepMind、MIT、オックスフォード大学などの共同研究チームは、テキストから動画を生成する技術が、コンピュータビジョン分野における待望の「事前学習の起爆剤」になる可能性を示す論文を発表した。研究チームが開発したフレームワーク「GenCeption」は、大規模な動画拡散モデルを転用することで、単一のアーキテクチャでありながら6つの異なる視覚認識タスクを実行できる。各タスクの専門モデルと同等以上の性能を発揮しつつ、必要な微調整（ファインチューニング）データ量を7分の1から500分の1に削減したと報告されている。
■専門モデルが乱立するコンピュータビジョン分野の現状
論文の冒頭では、現在のコンピュータビジョン分野が抱える課題が率直に指摘されている。自然言語処理（NLP）分野では過去10年間でアーキテクチャの劇的な統合が進み、タスクごとに分かれていた無数のモデルが、強力な生成目的で一度だけ事前学習された少数の汎用的な基盤モデルへと置き換わっていった。しかし、コンピュータビジョン分野ではそのような統合がまだ起きていないと論文は主張する。
「Segment Anything」や「Depth Anything」といったモデルは非常に優秀だが、これらは特定のタスクに特化している。それぞれが独自のアーキテクチャ、トレーニングパイプライン、そして多くの場合に独自のデコーダーを必要とする。新しい視覚機能を構築することは、依然として新しいモデルをゼロから設計することを意味している。研究チームは、これはこの分野の避けられない性質ではなく、適切な事前学習の目的（プレトレーニング・オブジェクティブ）がまだ見つかっていないことの現れであると捉えている。そして、その解決策として提示されたのが「テキスト動画生成」である。
■静止画モデルにはない、動画生成がエンコードする3つの特性
論文では、普遍的な視覚事前学習パラダイムが満たすべき3つの特性を特定し、テキスト動画生成こそがこれらすべてを同時にクリアできる唯一のアプローチであると主張している。
1つ目は「時空間構造」である。物理世界は4次元だ。静止画のみで学習されたモデルは、物体の識別や表面の特性を近似することはできても、動きや物体の永続性、あるいは時間の経過とともに物事がどのように変化するかを支配する因果関係を完全に内面化することはできない。一貫した動画シーケンスを生成するには、これらの特性を明示的なラベルとしてではなく、モデルがフレームごとに満たすべき構造的制約として、暗黙的に内面化する必要がある。
2つ目は「視覚と言語のアライメント（整合）」である。テキスト動画生成モデルは自然言語の説明を条件として機能するため、学習される視覚表現は本質的に言語的意味論に根ざしている。CLIPのような対照学習モデルもこのアライメントを近似するが、生成ベースの学習の方がより深く内面化できると研究チームは主張する。なぜなら、単に一致するペアと一致しないペアを区別するだけでなく、テキストの説明と矛盾しない具体的な視覚的詳細を再構築しなければならないからである。
3つ目は「スケール」である。テキスト動画生成は、その商業的応用の可能性から、莫大な計算資源とデータの投資を引きつけてきた。その結果として得られた事前学習済みのバックボーンは、現存する視覚モデルの中で最大かつ最も有能な部類に入り、大規模言語モデル（LLM）に変革をもたらしたような「創発的挙動」を可能にする規模で動作している。これまでの「VideoMAE」や「V-JEPA」といった動画表現学習モデルは、桁違いに規模が小さいままであった。GenCeptionの核心的な賭けは、商業的な動画生成バックボーンが持つスケールを、認識タスクへと方向転換させることにある。
■GenCeptionの仕組み：1回のフォワードパスで6つのタスクを処理
GenCeptionは、Alibaba（アリババ）の通義実験室（Tongyi Lab）が2025年2月にApache 2.0ライセンスで公開した、140億パラメータを持つオープンソースのテキスト動画生成拡散トランスフォーマー「WAN 2.1」をベースに構築されている。このモデルは論文公開時点で動画生成ベンチマーク「VBench」で1位を獲得しており、200万回以上のダウンロードを記録している。そのアーキテクチャには、フレーム間の時間的一貫性を維持しながら動画を時空間潜在表現にエンコードする3D因果変分オートエンコーダー「Wan-VAE」が採用されている。
GenCeptionにおける最大のアーキテクチャ上の工夫は、通常は低速で反復的な生成プロセスを、単一ステップのフィードフォワード認識モデルに変換した点にある。標準的な拡散推論は、ランダムな信号からノイズを段階的に除去して一貫した出力を得るために、数十回に及ぶデノイジングステップを繰り返す。GenCeptionはこれをショートカットし、入力動画のクリーンな潜在表現を拡散トランスフォーマーに直接入力し、条件付けのタイムステップをゼロ（完全にデノイズされたコンテンツを処理する生成フローの終着点）に固定して、1回のフォワードパス（順伝播）でモデルの出力を抽出する。この結果、標準的な拡散推論よりも劇的に高速化され、かつクリエイティブな揺らぎを排除した決定論的なタスク関連の予測を出力できるようになる。
単一のアーキテクチャ内で6つの異なる視覚タスクを統一するため、チームはすべての密な出力モダリティを標準的なRGB動画フレームとしてエンコードするという、極めて統一的でエレガントな表現手法を採用した。深度マップ、法線マップ、セグメンテーションマスク、カメラ姿勢表現は、それぞれ3チャンネルの視覚フォーマットに変換される。これにより、GenCeptionの論文に記載されている通り、すべての密なタスクに対して同じバックボーン、同じデコーダー、そして潜在空間で計算される標準的なL2損失という同一の損失関数が適用される。新しいタスクを追加するためのトレーニングコストは、データを正しくフォーマットすることだけにほぼ削減される。
一方、3Dキーポイント予測などの疎なタスクは異なる方法で処理される。学習可能な少数のトークンが動画の潜在ストリームに追加され、軽量な多層パーセプトロン（MLP）によってデコードされる。それ以外のアーキテクチャは変更されない。
■ベンチマーク結果：わずかなデータで専門モデルに匹敵
GenCeptionのプロジェクトページに記録されている通り、深度推定の「KITTI」および「SINTEL」、表面法線の「Hi4D」、3D人体姿勢の「EMDB」といった標準化されたベンチマーク一式で評価した結果、GenCeptionは「DepthAnything3」「SAM3」「D4RT」「VGGT-Ω」「Sapiens」「David」「Genmo」「Lotus-2」などの専用の専門モデル群と同等以上の性能を示した。
最も顕著な発見は、データ効率の高さである。同じ微調整条件下において、この動画生成バックボーンは、深度推定においてVideoMAEやV-JEPAといった他の動画事前学習アプローチの最大モデルを上回った。さらに、それぞれのタスクにおける最も強力な専用モデルであるD4RTやVGGT-Ωと同等の性能を、7分の1から500分の1という極めて少ないトレーニングデータ量で達成した。著者はこの理由について、動画生成の事前学習段階で物理世界に関する膨大な構造的知識がすでにバックボーンにエンコードされているため、認識タスクへ適応させるために必要な追加の信号が比較的少なくて済むからだと分析している。
また、論文ではスケーリング則（モデル規模やデータ量の増加に伴う性能向上）の予備的な証拠も報告されている。モデルサイズと微調整データの双方を増やすことで性能が向上し、言語モデルを変革したスケーリング則と一致する曲線を描いた。ただし、論文自体もこれらは初期の観察結果であり、確立された法則ではないと明記しているが、この曲線の形状こそが、NLPとの類似性を単なる比喩ではなく信頼に足るものにしている。
■創発的な汎化能力：人間で訓練し、動物にも適用可能
科学的に興味深い結果の1つに、研究チームが「創発的挙動」と呼ぶ現象がある。GenCeptionの微調整データセットは、Blenderを用いて800体のデジタル人間モデルを200のモーションキャプチャシーケンスでアニメーション化した、ほぼ完全に合成（シンセティック）された人間の動画で構成されている。これには実用的なプライバシー上の利点がある。現実の人間の映像から、グラウンドトゥルース（正解値）となる深度マップ、表面法線、3D関節位置を含む同様のラベル付きデータセットを構築するには、広範な同意フレームワークと膨大なアノテーション作業が必要になるが、合成データであればその両方を回避できる。
このように意図的に限定されたトレーニング分布であったにもかかわらず、GenCeptionはドメイン適応を明示的に行うことなく、現実世界の動画映像や、動物、ロボット、アニメキャラクターといった全く異なるオブジェクトカテゴリに対しても、きれいに汎化（適応）することができた。研究チームは、この理由を動画生成事前学習段階の幅広さに求めている。WAN 2.1は、膨大な範囲のシーン、オブジェクト、動きのタイプにわたるインターネット規模の動画データでトレーニングされている。認識の微調整は、微調整データには含まれていなかったドメインにも転移できるほど十分に一般的な表現にアクセスしているとみられる。
この結果は実用上極めて重要である。合成環境と現実世界のギャップを埋めるための従来の「Sim-to-Real」転移アプローチ（ドメインランダム化、敵対的訓練、明示的な分布マッチングなど）は、エンジニアリングの負担が大きく、タスクごとに個別に行う必要があった。強力な生成バックボーンが事前学習中にドメイン不変の表現をエンコードすることで、そのエンジニアリングの労力を代替できるのであれば、新しい視覚認識システムを開発するコストは大幅に低下する可能性がある。
■バックボーンモデルに関する注意点
GenCeptionの導入を検討する研究者や組織は、報告されたすべての結果の基礎となっているバックボーンモデル「WAN 2.1」が、Alibabaの通義実験室によって開発された同社の製品である点に留意する必要がある。2026年6月8日、米国国防総省（DoD）は国防授権法（NDAA）第1260H条に基づき、Alibabaを中国軍事企業（CMC）に正式指定した。Alibabaに対する直接的な契約禁止措置は2026年6月30日に発効しており、サプライチェーンの制限は2027年6月に国防総省の請負業者にも拡大される予定である。
ただし、GenCeptionの手法自体はWAN 2.1に依存しているわけではない。このフレームワークは、原理的には十分な規模と品質を備えた任意の動画生成バックボーンに適用可能である。中国製ソフトウェアに関する法的、コンプライアンス、またはセキュリティ上の制約がある組織は、このアプローチに基づいてシステムを構築・導入する前に、代替のバックボーンに置き換えるべきかどうかを評価する必要がある。
■同時期に行われた関連研究との比較
論文では、同様の仮説を共有する2つの関連研究について言及されている。1つは、専用の事後学習戦略をとるのではなく、多ステップ生成によるトレーニングフリーのプロンプトアプローチを用いて、動画生成モデルが再利用可能な視覚的プライア（事前知識）をエンコードしているという定性的な証拠を示したものだ。もう1つの「Vision Banana」は、ネイティブな動画空間ではなく2D画像領域で動作し、フィードフォワード推論ではなく多ステップ生成に焦点を当てている。
GenCeptionは、標準化された評価データセットにわたる厳密な定量的ベンチマークと、実用的な導入を可能にするフィードフォワードの効率性を組み合わせている点で、これら両者と一線を画している。推論時の多ステップ生成は、ほとんどの実用的な視覚認識アプリケーションにとって遅すぎるため、シングルパス（1回通すだけ）のアーキテクチャが現実世界で利用するための必須条件となる。
■実務における「汎用モデル vs 専門モデル」のトレードオフ
論文が描く比喩は正確であり、真剣に受け止める価値がある。2026年におけるコンピュータビジョンは、NLPにおけるBERT時代に似ている。この分野では、タスクごとに個別の微調整モデルが維持されており、それぞれに独自のトレーニング実行、評価プロトコル、およびメンテナンスのオーバーヘッドが存在する。自律走行ロボット用の実用的なビジョンシステムであれば、深度推定、セグメンテーション、3D姿勢のために別々のモデルが必要となり、トレーニング、監視、更新を行う3つのパイプラインを維持しなければならない。
もし動画生成の事前学習が、予備的な証拠が示唆するようにスケールし続けるのであれば、論理的な終着点は、これらすべてのタスクにわたって同時に微調整された単一の汎用バックボーンになる。GenCeptionがビジョン分野の転換点となるか、あるいはそこに至る初期の一歩となるかは、今回の論文で提示されたものよりも大規模な実験にかかっている。
なお、論文とプロジェクト資料は genception.github.io で公開されており、論文全文は arXiv:2607.09024 で閲覧できる。この論文は、2026年9月8日〜12日にスウェーデンのマルメで開催予定の「ECCV 2026」で発表される。
■注目ポイントQ&A ●画像ベースの手法と比較して、なぜ動画生成がコンピュータビジョンの事前学習シグナルとして優れているのですか？
動画生成は、物体がどのように動き、視点によって表面がどのように変化し、時間の経過とともにシーンがどのように進化するかという「時空間構造」をモデルに内面化させるため、静止画での学習では不可能なレベルの理解が可能になります。また、テキスト動画生成への商業的投資により、動画表現学習単体で訓練されたモデルよりもはるかに大規模なバックボーンが構築されています。さらに、これらのモデルはテキストを条件としているため、得られる視覚表現が本質的に言語に根ざしており、多様なタスクにおいてテキスト指示で制御しやすくなります。
●1つのモデルを複数の視覚タスクに共有することで、専門モデルと比較して性能のトレードオフは発生しますか？
GenCeptionが報告したベンチマークによると、トレードオフは最小限であり、場合によっては存在しません。6つのタスクすべてで共同訓練された単一の汎用モデル構成は、個別の専門モデル構成と同等の性能を示し、いずれも標準化された評価において最新の専用モデルと同等以上の結果を残しています。ただし、これらの結果がより大きな規模やさらに広範なタスクでも維持されるかどうかは、論文でも明記されている通り、今後の検証が必要な予備的な段階にあります。
●合成データで訓練されたAIモデルは、本当に現実世界で機能するのですか？
GenCeptionの結果は、強力な生成バックボーンが、これまで想定されていた以上に合成環境と現実世界のギャップを埋められることを示唆しています。モデルは合成された人間の動画で微調整されましたが、ドメイン適応を行うことなく、現実世界の映像や動物、ロボットといった全く異なるカテゴリに汎化できました。これは、インターネット規模の動画生成事前学習によって、ロボット工学の研究者が従来ドメインランダム化などを通じて明示的に設計しなければならなかった「ドメイン不変の表現」が、暗黙的にエンコードされているためと考えられます。
●企業や政府のチームがこのアプローチを採用するにあたり、注意すべき点はありますか？
はい。GenCeptionで使用されているバックボーンモデル「WAN 2.1」は、Alibabaの通義実験室（Tongyi Lab）が開発・維持しているものです。米国国防総省は2026年6月8日にAlibabaを中国軍事企業に指定し、2026年6月30日から直接の契約禁止措置が発効しています。中国製ソフトウェアに関するコンプライアンスやセキュリティ上の制約がある組織は、WAN 2.1を直接使用するか、あるいは別の動画生成バックボーンに置き換えるかを評価する必要があります。なお、研究フレームワーク自体は特定のバックボーンに依存していません。
元記事: Video Generation Pre-Training Unifies Six Vision Tasks, Beats Specialists on Less Data