動画生成AIに「夕方の街を歩く」と頼めば、短い映像は作れます。では、その街に次の指示で雨を降らせ、カメラを横へ振り、さらに登場物を追加したとき、同じ世界が続いて見えるかとなると話は変わります。
Tencentが公開したHy-Nomasは、テキスト指示だけでなくカメラの動きも手掛かりに、動画の世界を複数ターンで継ぎ足すことを狙うオープンモデルです。単発のクリップを量産する道具というより、「前の場面を覚えたまま、次の場面へ進める」ための構成に目が向きます。
ローカル実行の案内にはGeForce RTX 4090向けの低メモリ構成もあります。ただし、これは気軽なPCアプリの意味ではありません。仕組みと準備を分けて見ていきます。
Hy-Nomasの面白さは、動画を一発で出すことより、指示とカメラ操作で「次の区間」を作りながら世界をつなげようとしている点です。
まずは生成の単位と、手元で試すための条件を混同しないことが出発点になります。
Hy-Nomasは、何を「世界」としてつなぐのか
公式リポジトリによると、Hy-Nomasは自由形式のテキスト指示またはカメラ制御で、対話的な動画世界を生成するモデルです。物体、場面、見た目、動作を次の指示で変えたり、カメラの軌道を指定したりする構成が用意されています。
ここでいう世界は、完成した3Dゲームデータそのものではありません。動画を小さな区間ごとに生成し、前の区間の情報を使いながら次へ進める考え方です。だから、同じ人物や街をどこまで一貫して扱えるかは、単なる一枚絵の美しさとは別の難所になります。
「指示に従う動画」と「前の場面を引き継ぐ動画」は似て見えて、必要な設計が違います。
Hy-Nomasは、複数ターンの操作とカメラ制御を最初から対象にしているところが特徴です。
「世界の記憶」はKVキャッシュで次の区間へ渡す
モデルカードは、Hy-Nomasが動画をセグメント単位で自己回帰的に生成し、永続的なKVキャッシュで前の文脈を次のセグメントへ渡すと説明しています。新しい場面は毎回まっさらな状態から作るのではなく、過去の生成履歴を参照するわけです。
テキストは「何を起こしたいか」、カメラ軌道は「どこから見たいか」を渡す役割です。これらと過去の動画表現を合わせて次の区間を作るため、同じ場所で視点だけを変える、行動を追加する、といった対話の土台になります。
ただし、記憶を持つ設計が、そのまま長時間の完全な整合性を保証するわけではありません。公式READMEの技術報告書は公開予定とされており、品質比較や実用上の限界は、自分の題材で小さく確かめる段階です。
生成を続けるほど、保存する履歴とGPUメモリの扱いが重要になります。
Hy-Nomasは、その履歴をKVキャッシュとして扱い、低メモリ構成では残す範囲も調整します。
RTX 4090で動く、は「低メモリ構成がある」ということ
公式は、単一のGeForce RTX 4090で動かすための `single_gpu_low_mem_inference` 構成を公開しています。そこではINT8のDiT重みとKVキャッシュ、FP8のデコーダー、処理段階ごとにモデルをCPUへ戻すオフロードを組み合わせます。標準の推論設定はモデルカードで720×1280・24fps・8ステップと案内されています。
つまりRTX 4090は、「大きな生成パイプラインを工夫して1枚のGPUへ収める」ための目安です。低メモリ化は便利ですが、履歴の保持量を制限し、CPUとGPUの間で部品を移動させる構成でもあります。解像度、生成時間、連続性、待ち時間のどれを優先するかは別に考えたいところです。
ローカルAIをGPUメモリに合わせて選ぶ視点は、Nemotron 3.5 Boltの記事とも重なります。モデル名や「動く」という一言だけで決めず、量子化、必要な周辺部品、使いたい作業の長さまで見ると判断しやすくなります。
RTX 4090向け設定は、公式が動作経路を示したことを意味します。
自分のOS、ドライバー、保存容量、生成したい長さまで含めて初めて、試せる環境かを判断できます。
試す前に、GPU以外で確認したいこと
公式の推奨経路は、対応するNVIDIAドライバー、Docker、NVIDIA Container Toolkitを備えたLinuxホストです。手動構築の説明ではPython 3.12以上、CUDA 13.0、C++コンパイラなども挙げられています。モデルの重みだけを入れればすぐ動く、という種類の配布ではありません。
ダウンロードする素材も、生成用DiT、動画デコーダー、テキストエンコーダー、用途に応じたLoRAなどに分かれます。特に低メモリ構成では、INT8 DiTとFP8デコーダーの対応した組み合わせを使う必要があります。モデルカードは利用する構成に合わせて必要な資産を選ぶよう案内しています。
日常の開発環境にAIの道具を足すなら、必要なものだけを段階的に読み込む設計も参考になります。Pi 1.0の記事で触れたように、まず小さな用途で入出力と保存先を把握してから、複雑な連続生成へ広げるほうが原因を切り分けやすくなります。
公開コードとモデルがあることは、セットアップ不要や商用利用の自動許可を意味しません。
Apache-2.0表記、配布元の説明、利用する重みと周辺モデルの条件を、導入する構成ごとに確認しましょう。
ゲームやロボットに使う前に、まず「操作が続くか」を見る
Hy-Nomasの公開物には、ロボットアームのデータで訓練したRobotics LoRAも含まれます。ゲーム的な仮想空間、カメラ操作、ロボットのシミュレーションという連想は自然ですが、これは現実のロボットを安全に動かせることの証明ではありません。
価値を見極めるなら、派手な一場面よりも、二回目・三回目の指示で対象、位置関係、カメラの向きがどこまで保たれるかを見たいところです。そこに失敗が出れば、プロンプト、履歴、計算資源のどこを見直すかが見えてきます。
動画生成は「きれいに出たか」から、「次の操作へ渡せるか」へ関心が移り始めています。Hy-Nomasは、その問いをローカルで検証できる形にしたモデルです。まずは公式の構成を読み、短い場面を少数ターンで動かし、手元の環境に必要なGPUと準備の重さを確かめるところから始めるのがよさそうです。
