インディーズVFX短編映画『BYE-BYE』でAIツールをどのように使用したか記事が公開されています。AIツール使う映像スタジオのPR記事のような雰囲気ですが、メモしておきます。
https://www.cgchannel.com/2023/12/how-new-ai-workflows-helped-create-indie-vfx-short-bye-bye/
新しいAIワークフローがインディーズVFX短編映画『BYE-BYE』の制作にどのように貢献したか
アーティストであり監督でもあるChávez Olmos氏が、インディーズ・ホラー映画『BYE-BYE』のVFX制作に新しいAIベースのツールをどのように使用したかを示す興味深い技術的内訳を発表しました。
この2分間の短編を完成させるために、元Image Engineのコンポジットスーパーバイザーは、ジェネレーティブAIプラットフォームLeonardo.aiと、NukeとPhotoshopの新しい機械学習機能をロトスコープとペイント作業に使用し、不安な顔の変形エフェクトを作成しました。
私たちはChávez Olmos氏に連絡を取り、この作業がどのように行われたのか、そしてAIワークフローが限られた予算で複雑なVFXを制作しようとする他のインディーズ映画制作者にどのように役立つのかを聞きました。
都市伝説を無気味なVFXショートフィルムに変える
都市伝説に基づいた『BYE-BYE』は、カーラとハンナという2人の女性が、人気のない地下鉄のホームで電車を待っていると、暗闇からゾッとするようなささやきが聞こえてきます。
映画自体は現在、映画祭で上映されているためオンラインでは短いクリップしか見ることができませんが、その内訳から次に何が起こるかを知ることができます。
短時間のライブ撮影では時間がかかりすぎるエフェクトをAIで制作
『BYE-BYE』は、カナダ映画監督協会のイニシアティブにより、バンクーバーのルモステージで、8人の監督にバーチャル・プロダクションで短編映画プロジェクトを監督するチャンスを与えることで実現しました。
Chávez Olmos氏は、特殊メイクのレジェンドであるディック・スミス氏の指導を受けたことがありますが、撮影に使える時間が2時間しかなかったため、登場人物の一人に想定していた複雑な補綴メイクのルックを作るために新しいAIベースのワークフローを利用しました。
「撮影現場で 2 時間以内にこれを達成するのは不可能だと分かっていたので、AIと機械学習を使ってポストプロダクションを効率化するというアイデアがすべてでした」
AIツール： NukeのCopyCatでロトとマットを制作
Chávez Olmos氏がアーティフィカル・インテリジェンス担当クリエイティブ・ディレクターを務めるVFX・アニメーションスタジオ、Boxel Studioは、この作品で多くの新しいAI・機械学習ツールを使用しました。
最も重要なもののひとつは、Foundry社の業界標準コンポジット・ソフトウェアであるNukeの一部であるCopyCatで、ユーザーが独自のニューラルネットワークをトレーニングしてVFX作業を自動化することができます。
BoxelはCopyCatとリアルタイムのポートレートマットモデルMODNetを併用し、ライブ映像の背景から2人の俳優を分離しました。
「CopyCatは強力なツールであることが証明され、このプロジェクトで広範囲に使用しました」とChávez Olmos氏。 「私たちはロトスコープ プロセスを支援し、カラー グレーディング セッションに必要なすべての DI マットを生成するためにこれを利用しました」
チャベス・オルモスが、ジェネレーティブAIプラットフォームLeonardo.aiとNukeのCopyCatシステムを使って、VFX用のデジタルメイクアップ・コンセプトを作成するための初期テストの一部：『BYE-BYE』で使用されたワークフロー。
AIツール： Leonardo.aiでデジタルメイクを生成
Boxelはまた、CopyCatとLeonardo.aiを併用し、生身の俳優が年上の女性に変身する重要なフェイシャル・トランスフォーム・エフェクトを作成しました。
この生成的AIプラットフォームは、プロダクション用に調整されたさまざまなAIモデルを提供するだけでなく、ユーザーが自分のソース画像を使ってカスタマイズしたAIモデルをトレーニングすることもできます。
「私たちは（Leonardo.aiを使用して）、老婦人のキャラクターのために私が思い描いたスタイルと一致するルックを生成するために、独自のパーソナライズされたモデルを作成しました」とChávez Olmos氏は言う。「Leonardoで一貫性のある "スタイルキーフレーム "を確立することで、CopyCatを使って中間を生成し、プレートにマッピングすることができました」
Chávez Olmos氏によると、画像間のガイダンスにControlNetの機能を使用したことは、この作業にとって非常に重要であったといいます。「俳優の演技に忠実で、彼女の動きやポーズを生成プロセスに反映させることができました」
AIツール： Photoshopのジェネレーティブ・フィルで背景を塗り潰す
Boxelは、今年初めにPhotoshopに導入されたAIベースのオブジェクト除去・背景置換ツール「Generative Fill」も、『BYE-BYE』のペイントアウト作業に使用しました。
Chávez Olmos氏は、このツールについて「かなり便利だった」と述べこう付け加えました 「近い将来、特にAdobeのビデオパッケージ向けにリリースされることを楽しみにしているツールだ」
バーチャルプロダクションとAI：インディーズ映画制作の新たな可能性を開く？
この短編のセット拡張作業は Unreal Engine で行われ、Boxel はこの部分に AI を使用しませんでしたが、Chávez Olmos 氏によると、チームは現在、同スタジオでの次の監督プロジェクトに向けて、「Unreal でいくつかのエキサイティングな AI/ML ツールをテスト中」だそうです。
『BYE-BYE』のUnreal Engine VP スーパーバイザーであり、Boxel Studio の新技術担当ディレクターでもある Juan Carlos Galindo 氏は、『BYE-BYE』で使用されたようなバーチャル・プロダクションと AI ベースのワークフローを組み合わせることで、映画制作者に新たな作業方法がもたらされると述べています。
「新たなテクノロジーは状況を一変させています。監督たちは今、自分のビジョンを強化するためのまったく新しいツールボックスを手にしています」