ちょっと待って、これはビデオゲーム?それとも水晶玉?
ノンプレイヤーキャラクターが壁に向かって歩いているのを見て、「ああ、これって月曜日の私だ」と思ったことはありませんか?従来のビデオエンジンやゲームエンジンは、ピクセルを世界のように見せることに優れていますが、ほとんどは操り人形のようなものです。Odyssey のワールドモデルは、その糸を切りたいと考えています。画面に表示されるものをレンダリングするだけでなく、次に何が起こるかを理解しようとします。舞台セットというよりは、箱の中の脳みそだと考えてください。
AI がシーンを見て、ボールがソファの裏に転がり、反対側から再び現れるなど、何が起こるかを予測するデモを見たことがあるなら、Odyssey はそのサンドボックスで遊んでいます。そして、Unreal や Unity を、まあ、少し基本的なものだと感じさせるような方法でそれを行っています。役に立たないわけではありません。スプレッドシートに対する電卓のようなものです。非常に便利ですが、モデルに思考が必要になるまでは。
そこで、Odyssey のワールドモデルが従来のビデオエンジンやゲームエンジンとどのように異なるかを、博士号や500 ページの取扱説明書、6 本の指が必要なコントローラーなしで説明しましょう。
エレベーターピッチ:ビデオエンジンはレンダリングする。Odyssey は現実をモデル化する
- 従来のエンジン:フレームを描画し、物理をシミュレートし、入力に応答するように設計された、決定論的(または擬似乱数的)なルールベースのシステム。ルール付きのリアルタイム絵筆です。
- Odyssey のワールドモデル:学習された予測エンジン。シーンを描画するだけでなく、世界の隠れた状態を推定し、起こりうる未来を予測します。それは単に「あなたが見るもの」ではなく、「おそらく次に起こること」です。
重要な違い:エンジンは、シミュレートするように指示されたものをシミュレートします。Odyssey は、世界が何であるか、そして何になるかを推測します。スクリプトから状態の理解への飛躍が、これが重要な理由です。
監督を考えてみてください:ゲームエンジンはストーリーボードを作成する。Odyssey は即興演奏する
- Unity や Unreal では、あなたはすべてのセリフを設定する監督です。照明、物理、AI の経路探索、ヒットボックスなど。エンジンはあなたの計画を完璧に実行します(衝突バグが発生するまでは)。
- Odyssey のワールドモデルは、即興演奏できる俳優です。シーンを与えると、意図、遮蔽、および観測されないダイナミクスを推測します。あなたからのハードコードされた動作ではなく、ビデオからパターンを学習します。操り人形というよりは、予測的な常識です。
類似点:従来のエンジンは、ナビゲーションモードの Google マップのようなものです。ターンバイターンで、明示的にスクリプト化されています。Odyssey は、そのルートを何千回も運転したことがあり、高速道路が閉鎖されたときにどういうわけかショートカットを知っている友人のようなものです。あなたはそれをプログラムしませんでした。それはそれを推測しました。
入力:アセットとスクリプト vs. 生の経験
- 従来のエンジンは、メッシュ、テクスチャ、シェーダー、アニメーション、およびスクリプトを取り込みます。あなたは世界を手作りします。
- Odyssey は、ビデオ、軌道、およびマルチモーダルデータを取り込みます。フレームを模倣するだけでなく、世界の動作傾向を捉えた潜在表現(圧縮された数学的な脳)を構築します。
効果:エンジンは、アーティストとデザイナーがあらゆるレンガを構築する必要があります。Odyssey は、タイムラプス映像を見ることで、都市全体の計画を学習しようとします。あらゆる変数をマイクロマネージメントすることなく、勢い、遮蔽、因果関係などのダイナミクスを内部化します。
物理:焼き付けられたルール vs. 学習されたダイナミクス
- エンジン = 明示的な物理。重力は、調整しない限り 9.81 m/s² です。衝突は、ソフトボディにしない限り硬直的です。
- Odyssey = 学習された物理。それは、物が通常どのように動き、いつ滑り、跳ね返り、変形するか、または3 フレームの間ソファの後ろに消えるだけかを推定します。
注目すべきは、学習された物理は、厄介な現実世界の端のケースに一般化できることです。ゲームの物理は、ラグドールがくしゃみをして軌道に乗るまでは非の打ちどころがありません。Odyssey は、完璧ではなく、もっともらしさに焦点を当てています。
不確実性:ゲームはそれを避ける。Odyssey はそれを糧にする
ゲームエンジンは確実性が大好きです。光がここにあれば、影はそこにあります。コードが「歩く」と言うと、キャラクターは歩きます。Odyssey は確率を受け入れます。複数の可能な未来を追跡し、尤度を割り当てます。それが、ロボットの経路、カメラの動き、交通などを予測するのに強力な理由です。現実を 1 つのスクリプトに崩壊させるのではなく、「たぶん」を生かし続けます。
ドローン、車、ロボット、あるいは次のカットを推測するビデオ編集ツールのアシスタントを構築しているなら、それは重要です。世界は混沌のゴブリンです。Odyssey はゴブリンをモデル化します。
制御:命令型コマンド vs. 高レベルの意図
- 従来のエンジン:A を押すと、キャラクターがジャンプします。API を呼び出すと、シェーダーがコンパイルされます。直接制御できます。
- Odyssey:ドアに到達するなどの目標を設定すると、物理とコンテキストの下で目標を達成するシーケンスを予測します。ジョイスティックというよりは、ミッションブリーフィングです。
これが、人々が自律エージェントのワールドモデルに興奮している理由です。マリオをアニメーション化することではなく、「ベビーカーに衝突しないでください」とシステムに伝え、計画を信頼することです。大胆ですね。
表現:ジオメトリ優先 vs. 潜在空間優先
従来のエンジンは、ジオメトリとマテリアルから世界を構築します。Odyssey は、潜在空間に世界を構築します。オブジェクト、モーション、および意図が三角形ではなく「特徴」である圧縮されたベクトルスープです。
驚くべき利点:潜在空間は、欠落した情報を埋めるのに最適です。サイクリストがトラックの後ろに隠れると、作成しない限り、エンジンはトラックの後ろにあるものを知りません。Odyssey は、「おそらくまだサイクリストがいる」と言い、それに応じて計画を立てます。
また、Odyssey のようなモデルは、明示的なアセットなしで説得力のあるビデオを合成できます。それは、ポリゴンによるレンダリングではなく、理解によるレンダリングです。
忠実度 vs. 先見性:エンジンは美しさで勝ち、Odyssey は予測で勝つ
- エンジンは、完璧な照明、反射、4K の水たまりを実現します。誰も気づかないでしょう。
- Odyssey は、「もし~ならどうなるか…」を実現します。先見の明が得られます。脅威の検出、軌道の予測、もっともらしい次のフレーム、反事実など。
優れているとか劣っているとかではなく、異なるのです。The Last of Us の次作を作成する場合は、Unreal を使い続けてください。ゴミ箱を交通に蹴り込んではならないロボットを作成する場合は、Odyssey のワールドモデリングがあなたの新しい親友です。
トレーニング vs. オーサリング:データハングリー vs. 労働ハングリー
- エンジンは労働力を消費します。レベルデザイン、リギング、スクリプト作成。コンテンツを出荷します。
- Odyssey はデータを消費します。ビデオ、ログ、センサーフィード。あなたは経験を出荷します。
はい、それは GPU を意味します。バケツいっぱいです。また、データガバナンス、プライバシー、バイアス軽減など、最新の AI ビュッフェ全体。しかし、それは方程式を反転させます。維持するルールが少なくなり、環境が変化するときの一般化が増えます。
デバッグ:100 万個のスライダー vs. 100 万個のサンプル
- エンジンのバグ:コライダーを調整し、if ステートメントを追加して、それを 1 日と呼びます。
- ワールドモデルのバグ:より多くのデータを収集し、損失関数を調整し、外れ値をプルーニングし、制約を追加します。コードではなく、そのメモリを編集しています。
良い点は?学習すると、一般化されます。エンジンで 1 つの衝突を修正しても、すべてのドアが賢くなるわけではありません。ドアに関するワールドモデルをトレーニングすると、そうなる可能性があります。
Odyssey が輝く場所:厄介で、スクリプト化されていない現実
- ロボット工学:人間、ペット、および不正なルンバの周りの経路を計画します。
- 自動運転:ライトが黄色に変わったときにピックアップトラックが何をするかを予測します(ネタバレ:何でも)。
- AR/VR:コンタクトレンズを落としたかのようにリビングルームを旋回するときに、仮想オブジェクトを安定させ、信じられるように保ちます。
- ビデオツール:オクルージョンのインペインティング、次のフレームの予測、ショットの安定化、コンテキストからの B ロールの合成。
- エージェント:ソフトウェアに、300 ステップのマクロではなく、高レベルの目標から「次は何をするか」を決定させます。
従来のエンジンは、スタジオの照明、スクリプト化されたイベント、何にも触れない観客など、すべてを制御するときに優れています。Odyssey は、観客が野次を飛ばし、立ち上がり、ステージでソーダをこぼしたときに輝きます。そして、ショーは続けなければなりません。
内部構造:非常に短いオタクツアー
- 潜在的な世界の状態:オブジェクト、モーション、および関係の圧縮された表現。
- ダイナミクスモデル:現在の状態とアクションを与えられた場合、次の潜在的な状態を予測します。
- 観測モデル:潜在的な状態を予測されたフレームまたはセンサーの読み取り値に変換します。
- プランナー/ポリシー:不確実性を考慮して、目標を達成するために可能なアクションを検索します。
従来のエンジンには、レンダラー、物理、AI スクリプトなど、独自のスタックがありますが、生の経験からダイナミクスを学習しません。Odyssey はそうします。
パフォーマンス:リアルタイムはモデルランドでは異なる
エンジンは、ラスタライズと物理のためにハードウェアが最適化されています。ワールドモデルは、ニューラル推論のためにアクセラレータに依存しています。リアルタイムは可能ですが、予測能力のために視覚的な忠実度をトレードオフします。つまり、見た目はそれほど光沢がない場合もありますが、ストリートスマートに動作します。「神の光線が少ない」というよりは、「バスにひかれないで」ということです。
ガードレール:モーションブラーよりも幻覚が重要な理由
ゲームでは、グリッチは TikTok です。現実世界では、グリッチは訴訟です。そのため、Odyssey スタイルのシステムには以下が必要です。
- 地上データとのキャリブレーション(センサー、マップ)
- ハイステークスのコールに対するヒューマンインザループチェック
従来のエンジンは、突然新しいレーンを想像することはありません。ワールドモデルはそうするかもしれません。ガードレールは仕事の一部です。
クロスオーバーエピソード:彼らは一緒に働くことができますか?
もちろんです。このパイプラインを想像してみてください。
- 記録されたビデオを使用して、ワールドモデルで動作をプロトタイプします。
- 制御可能な変数を使用して、ゲームエンジンのサンドボックスで検証および改良します。
- ループバック—エンジンはエッジケースを明らかにし、モデルは再トレーニングします。
エンジンは制御性とテストを提供します。ワールドモデルは一般化を提供します。それはピーナッツバターとゼリーです。キーボードがベタベタすることはありません。
コスト、複雑さ、および「なぜ今なのか」
- GPU が高速になり、モデルアーキテクチャがスマートになり、猫の写真よりも多くのビデオがあります(まあ、ほとんど)。
- 開発者はスクリプトの限界に達しています。アプリが現実世界に対応する場合、すべてのシナリオを手作業で作成してもスケールしません。
- ユーザーは反応するアシスタントを求めています。単にレンダリングするだけではありません。それが変化です。
それは安いですか?いいえ。しかし、2012 年に独自のカットシーンパイプラインを構築することもそうではありませんでした。違い:モデルは、ユースケース全体で学習を償却します。「ドアがどのように機能するか」を知ると、すべてのドアが恩恵を受けます。
実践的なシナリオ:実際に何が変わるか
- あなたはロボット開発者です。階段とランプの if-then をコーディングする代わりに、多くの階段とランプのビデオでトレーニングします。Odyssey は通過可能性を予測し、それに応じて計画を立てます。
- AR を構築しています。リビングルームのすべてのテクスチャに対してフィーチャートラッカーを調整する代わりに、モデルはオクルージョンを通じてオブジェクトを追跡し、再表示を推測します。仮想ランプは所定の位置に留まります。
- あなたはビデオツールメーカーです。トランジションだけでなく、「次のショットを予測」の提案を提供します。モデルはこれが料理ビデオであることを知っており、おそらく次にタマネギのクローズアップが必要になります。
- シミュレーションに参加しています。ゲームエンジンを使用してまれなハザードをストレステストします。Odyssey を使用して、人間が実際にどのように反応するかを学習します。一緒に、安全性とリアリズムを手に入れることができます。
クイックヒット比較:Odyssey vs. 従来のエンジン
映画品質のビジュアルを作成している場合は、エンジンがあなたの頼りになるものです。「次に何が起こるか」が必要な場合は、Odyssey のワールドモデルがパーティーの大人です。
ツールの現実チェック:実際に必要なもの
- ビデオ/センサーの取り込みとラベル付け(または弱い監視)のためのデータパイプライン。
- トレーニングインフラストラクチャ—クラウド GPU またはオンプレミス GPU クラスター、プラスチェックポイントと評価ハーネス。
- 高速推論を実行できるサービングレイヤー。理想的にはバッチ処理と量子化を使用します。
- 可観測性:ドリフト、障害ケース、および不確実性のスパイクを監視します。
- フォールバックプラン:信頼度が低下した場合の安全なデフォルト。
これは魅力的ですか?特にそうではありません。しかし、それは、アプリに記憶する代わりに考えさせることの代償です。
注意:Sider.AI がこの図にどのように適合するか
注目に値すること:アプローチを比較しようとして頭が混乱している場合は、Sider.AI が「何を構築すべきか」という質問をトリアージするのに役立ちます。ロボットのルーティング、AR の安定化、予測など、ユースケースをフィードすると、トレードオフが要約され、関連する調査が表面化し、「なぜ損失が減少しないのか」と言うよりも早く技術的な計画をスケッチすることさえできます。水たまりの反射を売るためにここにいるのではありません。研究室の半分を再発明しないようにするためにここにいます。 消滅しない誤解
- 「ワールドモデルはエンジンを置き換える。」そうではありません。それらはそれらを強化します。エンジンは制御されたビジュアルで輝き、モデルは厄介な現実で輝きます。
- 「学習された物理を信頼することはできません。」キャリブレーションと制約を行えばできます。エンジニアは、これを制御システムで何十年も行ってきました。
- 「それは単なるビデオ予測です。」それは、計画、意思決定、不確実性という目的を持ったビデオ予測です。それが、見栄えの良いものから役に立つものへの魔法のステップです。
決定方法:Stern スタイルのミニフローチャート
- 映画のような、決定論的なビジュアルが必要ですか?ゲームエンジンを使用します。
- 現実世界で確率的な予測が必要ですか?ワールドモデルを使用します。
- 両方が必要ですか?動作のモデルから始め、テスト用のエンジンから始めます。彼らに握手をさせます。
- データがありませんか?収集を開始します。将来の自分がコーヒーをおごってくれます。
将来の予測(適切に):ハイブリッドなすべて
エンジンがより多くの学習されたコンポーネントを吸収することを期待してください—NPC 動作モデル、学習された物理、さらにはカメラモーション。ワールドモデルがより制御可能でツールフレンドリーになることを期待してください—プロンプト可能な計画、編集可能な潜在シーン、および安全性の保証を考えてください。
すぐに、意図を説明することでシーンを「作成」するかもしれません。「雨の日の午後、気が散った歩行者、配達ロボットはルートを変更する必要があります。」システムは、ビジュアルとダイナミクスをレンダリングします。タイムラインのレイヤーのように両方を編集します。それが私たちが入ろうとしている合流車線です。
まとめ:誰が操縦しているのか—あなた、スクリプト、それともモデル?
従来のエンジンは、非常に信頼性の高い劇の素晴らしい監督です。Odyssey のワールドモデルは、物理の中間試験にも合格した即興劇団です。制御が必要な場合は、スクリプトを使用します。適応性が必要な場合は、モデルを使用します。両方が必要な場合は—GPU を熱いジャガイモのようにジャグリングする私たちに参加してください。
これがあなたの持ち帰りです:エンジンはあなたが構築した世界を示します。Odyssey は、あなたが会う世界を示そうとします。それに応じて選択してください—そして、ステージでソーダ用にモップを手元に置いてください。
FAQ
Q1: Odyssey のワールドモデルは Unity または Unreal の代替ですか?
いいえ。代替ではなく、補完と考えてください。高忠実度のビジュアルと正確な制御にはゲームエンジンを使用し、予測、不確実性の処理、および現実世界の一般化が必要な場合は、Odyssey のワールドモデルを使用します。
Q2: ロボット工学と AR にワールドモデルが重要なのはなぜですか?
世界はあなたのスクリプトに従わないからです。ワールドモデルは、起こりうる結果を予測し、オクルージョンを通じてオブジェクトを追跡し、人間と混沌の周りを計画します—従来のエンジンが生の経験から学習しないことです。
Q3: 学習された物理と予測の注意点は何ですか?
幻覚を見たり、過信したりする可能性があります。修正:地上データでキャリブレーションし、不確実性を追跡し、安全制約を追加し、ハイステークスの決定については人間をループに保ちます。
Q4: ワールドモデルをリアルタイムで実行できますか?
はい、適切なハードウェアとモデルの最適化(量子化、蒸留、バッチ処理)を使用します。トレードオフを期待してください。映画のようなアイキャンディーを減らし、ストリートスマートな先見性を高めます。
Q5: スクリプトからワールドモデルへの移行を開始するにはどうすればよいですか?
タスク関連のデータを収集し、目標を定義し、ダイナミクスモデルをトレーニングし、プランナーを統合します。ゲームエンジンのサンドボックスで検証し、反復処理します。ボーナス:Sider.AI などのツールは、スタックをマッピングし、行き止まりを回避するのに役立ちます。