ComfyUI Video Stabilizer
動画の手ブレを補正する ComfyUI 用のカスタムノードを公開しました。補正ではみ出した画面の端を、動画生成AIで描き足すための出力を備えています。あわせて、映像に手ブレを加えるノードも用意しました。
はみ出した端を、動画生成AIで埋める
手ブレ補正そのものは、特別な機能ではありません。昔から機械的な処理として広く行われてきたもので、このノードもその手法を流用しています。
ただ、生成AIの登場で一つ変わったことがあります。動画のアウトペイント、つまり画面の外側を描き足すことができるようになりました。
手ブレ補正は揺れと逆向きに映像をずらすので、そのぶん画面の端がはみ出します。これまでは、補正を強くかけるほど、その分だけ画角を犠牲にするしかありませんでした。動画生成AIを使えば、はみ出して欠けた部分を埋められます。
そのためにこのノードには、はみ出した部分をあえて残して出力する crop_and_pad と expand のモードがあります。
手ブレを取り除けるなら、加えることもできる
あとから加えた機能として、映像に手ブレを加えるノードもあります。手ブレを取り除けるなら、逆に加えることもできるはずだ、という発想です。三脚、手持ち、歩き、アクション、乗り物の振動といった揺れの種類と強さを選んで、映像に足せます。
AIが作る映像は滑らかすぎることが多いので、こうした単純ながら手触りを加える処理は、意外と有効です。
補正で取り除いた揺れもデータとして残るので、あとから元の映像に戻すこともできます。
