今回は、ワイの最強の自作PCを使って、ローカルAIで動画を生成してみたのでどんな感じなのかを共有します。

強いグラボを積んだPCがあれば、クラウドサービスの利用料は不要で、生成回数による課金もありません。

全体フロー

AIで画像、動画を生成するにあたっては「StabilityMatrix」を最初にインストールしてツールやモデル全体を管理して使うのが便利です。

画像・動画生成のフロントエンドとしては、「ComfyUI」という生成のステップをワークフローとして可視化できるツールがメジャーなようです。ぱっと難しそうに見えますが、ワークフローのテンプレートを選んでダウンロードすると、適切なモデルもわかりやすくダウンロードできますので、それを使えばとりあえず使い始められます。

動画を生成するのに使用するモデルとしては「Wan2.2」を使用しました。Wan 2.2は、Alibabaが公開しているオープンな動画生成AIモデルです。テキストから動画を作る T2V(Text-to-Video) や、画像を元に動画化する I2V(Image-to-Video) などに対応しています。今回は、お手軽なT2Vを試しました。

GPUはとりあえずNVIDIAを買っとけば安心ですかねー。

ソフトウェアのセットアップなど

まずは、Stability Matrixを公式からダウンロードしてインストールしましょう。

ダウンロードしたら解凍して、ワイはCドライブ直下に置きました。

そしたら、StabilityMatrixを起動して、パッケージは「ComfyUI」を選びます。

インストール中にモデルもダウンロードするようお勧めされますが、後で選ぶのでskipでOK

インスコ出来たら起動します。

ここで、Videoのテンプレートを選んで、Wan 2.2で検索して、表示された中から、「Wan 2.2 14B Text to Video」を選びました。14Bはパラメータ数を表していて、ここは各自の環境に合わせたサイズを選べばよいと思います。

テンプレートをダウンロードすると、簡単に動画生成を試せるワークフロー画面が表示されます。左の青枠の中に必要なモデルとかのファイルがリンク付きで出てきて、右側の赤い枠にプロンプトを入れるようになっています。便利ですね♪

生成に必要なのでリンクを全部クリックしてダウンロードしますが、ワイは例示されているようにComfyUI配下へ直接保存するのではなく、Stability Matrixにモデルファイルをまとめて管理してもらい、各ツールで共有したいので、Stability Matrix配下のフォルダにそれぞれ保存しました。

生成してみよう

セットアップが終わったら、早速生成してみましょう。

その前に、サイズをやや大きく縦長(720x1280px)にして、下のturbo modeをtrueにします。turbo modeはfalseがデフォルトなんですが、ワイの最強のRTX5090でも5秒の動画を生成するのに10分以上もかかります。trueにすれば画質は下がるみたいですが2分で完了できるので、ワイ的にここはtrue一択。

それでは、適当なプロンプトを入れて、

生成うおぉぉぉーーーん！

うおお、ワイの最強の自作PCのVRAM(32GB)とメインメモリ(32GB)を全力で使っとる。使用率も100%！

プロンプトもAIに考えてもらう

AI動画って、モデルとプロンプトがキモだと思うんですけど、プロンプト考えるの大変ですよね。動画の内容を言葉で全部説明するなんて無理ぽ。

ということで、プロンプトを作るのもAIの力を借ります。ワイはチャッピー先輩にお願いして、いくつかプロンプトを考えてもらいました。

作例

動画貼れるYouTubeチャンネルも持っていないので、0.5秒ごとに10枚、左上→右下の時系列で切り貼りしてみました。脳内で再生してみてください。m(_ _)m

歩かせると少々ぎこちないときもありますが、なんかちゃんと動いてます！

学校の教室

雨の日

駅のホーム

【参考】今回使用したPCのスペックと動画の設定