ローカルAIで動画の文字起こしと要約をしてみた＋CMカットその後

今回は、録画した動画をローカルAIを使って文字起こしと要約をしてみたよ。

前回、Claude Codeを使って動画のエンコとカット編集しましたが、その続きです。

なお、引き続きお題は先日エアチェックした初代ガンダムの劇場版IIです。

ローカルAIで文字起こし

Claude Code先生に相談したところ、WhisperというローカルAIを使った文字起こしがよい、しかもNVIDIAのGPUを使えますよってことで、faster-whisperというのをインストールしてもらい、文字起こしをしました。ここは電気代だけで済みますね。

結果は、ちょーっと聞き取れていない箇所が散見されました。雰囲気85～90点くらい？

さらにクラウドAIを使って校正することもできる

そして、その結果に対して、Claude Codeに校正をかけてもらうことができます。こちらはクラウドを使うのでクレジットを消費しますが。

書き起こしだけだと、同音異義語が結構間違っていました。

海戦当初→開戦当初、更新できるか→交信できるか、転身して→転進して、注意→中尉、将尉→少尉

それから、クラウドのClaudeはガンダムについての知識も持っているようで、固有名詞も直してくれました。

アムロレイ→アムロ・レイ、ドレン隊→ドレン大尉、キシリア様、スレッガー、ランバ・ラル、マ・クベなど

後者は、ガンダムみたいな有名な作品なのでできてしまったところで、自分で撮った動画だと無理ですね。自分の辞書とかを作って育てていく必要がありそうです。

要約もだいたいOKだが一部間違いあり

文字起こしを読んで、例えば400字以内に要約してねというお題などもお願いしたらやってくれます。これは、クラウドを使うのでクレジットを消費します。が、私がお願いしたときは、説明の中の時系列が少し間違っていました。具体的に言うと、ランバ・ラルを倒す→ガンダムを下ろされるってなっていて時間軸が逆だったかな。

指摘すればもちろん直してくれます。

Claude Code先生に、ガンダムを知ってるからできたんでしょ？と聞いたら、ほとんど文字起こしだけ見てやりましたとのことでした。

CMカットその後

前回は人力でやりましたが、ひろきさんのコメント、にゃんずさんの投稿、それからClaude Codeから勧められたこともあって、AmatsukazeをつかってCMカットしてみました。

ワイは、日本の自宅に10年モノの録画PC(i7-4770)がありまして、それで録ったものをリモートで視聴したいスタイルですので、CMカット+エンコはできれば録画PCでやりたいです。

ついでに、10年たったのでエンコード後のフォーマットも刷新したいと思っています。

Claude Code先生と相談しながら、x264・1080pを基本にして、この古い映像だけ左右180pxをカット。インターレス解除もKFM、D3DVP、QTGMCを全部試してみました。KFMはなぜかエラー。D3DVPとQTGMCは、QTGMCのほうが綺麗だけど計算リソース重いらしい。

両方試した結果、ワイには違いが分かりませんでしたwww

ということで、処理の軽いD3DVPを採用しました。これでしばらく試運転します。

そして、AmatsukazeのCMカットは完璧でした。こういう特定の用途に対してはAIにやらせるとというより、先人が専用に作ったロジックのほうが確実ですね♪

CMの認識に、局のロゴを認識する必要があり、これをGUIで各局ごとに1回は取得する必要があるようなのですが、ここは1回やってしまえば、CLIから呼び出せるので、Claude Code君から呼び出すこともできました。AI時代になってGUIから一周回ってCLIが最強になった気がしてます。

次こそはクライマックス。Claude Codeで動画編集したい

なかなか先に進みませんが、次こそはClaude Code先生にお願いして30秒くらいの予告編を作ってもらおうかと思っています。

たぶんつづく