スゲー

参考資料

女子サッカーTVCMはどのように作られたか?

世界中で話題になったTVCM「Orange - la Compil des Bleues」のメイキング記事が公開されています。サッカー興味ないのでまったく知りませんでしたが、AIは使わずFlameで手作業による合成らしいです。

https://www.fxguide.com/fxfeatured/how-they-did-that-brilliant-womens-football-tvc/

 

女子サッカーTVCMはどのように作られたか?

フランスのProdigious社でシニアフレイムアーティスト兼VFXスーパーバイザーを務めるニコラ・ヴォーゲルは、世界中で大流行した「Orange - la Compil des Bleues」のTVCMを担当した。ストーリーテリングのためのVFXとしては、ここ数年で最も印象的な作品のひとつです。しかも、その映像はすべてストック映像であり、コンポジットのほとんどはFlameでAIを使わずに行われている。私たちはフランスのニコラに、この信じられないほど効果的なコミュニケーション作品と、同様に印象的なコンポジットについて話を聞いた。

 

FXGUIDE:あなたとチームは何本のシュートを打ちましたか?

Nicolas:最初は、5つのゲームアクションを3つのショットに分けてやることになっていました。つまり15ショットです。しかしエージェンシーからは、非常にダイナミックな編集をするために、できるだけ多くのショットをフェイクするようにと言われました。最終的には35ショットをこなしました。

FXGUIDE: VFXはFlameで行われたのですね?

Nicolas:ショットの90%はFlameを使っています。顔の置き換え」はすべてFlameで行いました。女性の髪の毛はすべてFlame上で「ペイント」ツールを使って1フレームずつ消していきました。
Reveal」シーケンスのモーションデザインはAfterFxで行ったので、「Before/After」ショットを行うために偽のソフトウェアインターフェイスを作らなければならなかった。
多くの人が信じていることに反して、これはDeepfakeのソリューションではありません。とはいえ、AIがこの種のエフェクトでどんなことができるのか、興味津々です。

 

FXGUIDE: ディープフェイクやMLソリューションの検討はしましたか?もしそうなら、なぜFlameを選んだのですか?

Nicolas:このプロジェクトは1年前に始まりました。マルセルの代理店から、女子サッカー選手をフランス代表の選手に置き換えるというアイデアが持ち込まれたのです。当時、Podigiousポストプロダクションの責任者だったクエンティン・マルタンが、このプロジェクトが実現可能かどうか私に相談に来ました。私はすぐに素晴らしいアイデアだと思いました。このプロジェクトを絶対に成功させなければならないと。

私たちはすぐに3つの異なる技術を検討した:

  • DeepdFake、
  • 3Dマッピング
  • Flameでの合成です。

私は数カ月前に他のプロジェクトで顔の置き換えに取り組んでいたので、これらの異なる技術を比較することができましたが、その限界は十分承知していました。

ディープフェイクは、MLにたくさんの画像を送り込まなければならないので、制作にとても時間がかかります。また、Deepfakeのレンダリング画像をレタッチする必要があり、特に複雑な動きについては、必ずしもうまく機能するとは限りません。そのため、この手法を選択するのは危険でした。

2つ目の選択肢は3Dマッピングでした。しかし、ここでも制作時間が長すぎました。また、選手の3Dスキャンも必要だったため、制作コストも高すぎました。

Flameで顔を変えるのは、私がすでにやったことのあるトリックで、適切な画像ソースさえあれば不可能だとは思いませんでした。
私たちはマルセルにこのテクニックを提案しました。そして、十分にリアルな結果が得られるかどうか、2つのショットでテストを行うよう依頼されました。週間後、エージェンシーはテストを検証しました。

 

FXGUIDE: 典型的なショットのFlameでのプロセスを概説できますか?

Nicolas:各プランは、複数のアクション・ノードからなる1つのバッチに対応しています。複数のグラフィックデザイナーが、ショットの異なる部分を同時に作業することができます。

まず、背景(ピッチや観客のいるスタンドなど)を再現することで、選手の頭を完全に消す必要がありました。

それから、男子の頭部をロトスコープし、スタビライズし、女子の動きをトラッキングした。男性の映像のリタイミングも必要だった。それから、首とシャツの襟のつなぎ目をワーピング(歪みツール)を使って調整しました。

次に、選手のモルフォロジーに取り組みました:

  • 胸を消す(変形作業とシャツの影の除去)
  • 腕、胸、太ももを拡大
  • 筋肉を再設計し(ペイント+トラッキング)、肌の色を調整した(キーヤ+ロト+カラーワーパー)

最後に、服の色を変え、シャツの名前と背番号を変え、ジャージとショーツの見えるところに2つの星を追加しました。
すべてのワイドショットで、選手の長い髪をフレームごとに消しました。特にゴールネット裏のアクションは厄介でした。また、ワイドショットで選手が多すぎる場合も消しました。

 

FXGUIDE: 各ショットについて、男子の映像の中からどうやって一致する映像を見つけたのか話してもらえますか?試合映像からですか、それともこのためだけに新たに撮影した映像ですか?

Nicolas:最初のテストの後、男子選手との撮影を企画することが重要だと考えました。複数のカメラでスピナーを使って、あらゆる角度から撮影したかったです。しかし、全選手を集めて撮影することは不可能だったので、このアイデアはすぐに頓挫し、実際の試合映像、つまりアーカイブ映像のみを使用することになりました。

私たちはFFFの画像バンクを利用することができました。Les Artisans du Film が画像検索を担当し、過去3年間の全試合における選手のベストアクションをプリ・エディットしてくれました。3週間かかりました。その後、私はフェイクするには複雑すぎるショットを除外し、編集者が最終カットを始める間に、彼らは男子の試合で対応する画像を探し始めました。

 

FXGUIDE: 現場でどのくらい働きましたか?

Nicolas:1年前に1回目のテストを行いました。
Les Artisans du Film によるイメージ・リサーチは3週間続きました。
Prodigiousのグラフィック・アーティスト、セバスチャン・ドゥルクールとエミリア・ルドンディが6週間私と一緒にFlameを使い、ほとんどのショットのリギングを行いました。
最後の2週間は、Prodigiousの他の多くのグラフィックデザイナーとアシスタント・グラフィックデザイナーに手伝ってもらい、予定通りに完成させることができました。

最終的に、編集に2週間、Flameに70日、After FXに20日かかりました。

スポットの制作には7週間を要しました。

 

FXGUIDE:「コンポジットを売る」ためのグレーディングはどの程度複雑でしたか?

Nicolas:一般的に言って、2つのショットをうまく合成するには、同じ光の方向、カメラ軸、焦点距離が必要です。これを達成できれば、仕事の50%は終わったことになります。
公式戦だけを使うことで、ようやくこの条件を満たすことができました。
サッカーの試合をテレビで見ることに慣れている人なら、カメラがいつも同じ場所にあることに気づくでしょう。試合は夕方に行われることが多く、スタジアムはいつも同じように照らされ、四方から光が差し込みます。ピッチ上の選手の影を見てください。グラウンドには常に4つの影があります。光はほぼ毎回一致します。
正直言って、これは予想していなかったことで、本当に嬉しい驚きでした。時には運も必要です!

FXGUIDE: 検討して削除されたりしたショットはたくさんありましたか? それとも、すべてのショットがオリジナルの編集だったのですか?

Nicolas:長すぎたり、多くの選手が写っていたり、動きを合わせるのが不可能だったりと、複雑すぎるショットはすべて選考から外しました。

FFFの画像バンクでショットを探している間に、ポストプロデューサーのジョナサン・ケイタが、もっとフェイクとして面白いショットを見つけてくれました。他のカメラ軸でアクションを切り取ることができました。だから、モンタージュのショットを自分の都合のいいように変えることができた。一方、カルチャウイの最初のドリブル、ル・ソンマーの最後の祝賀、カスカリーノの驚異的な走りなど、特定の重要なショットは編集で絶対にリギングすることに代理店と合意していました。

 

FXGUIDE: これはどのような解像度で仕上げられたのですか?ベースとなる女性の映像はHDだったと思いますが?

Nicolas: 画像ソースはHD(1920×1080)です。

FXGUIDE: 特に誇りに思っているショットはありますか?

Nicolas:最後のショットはかなり誇りに思っています。アントワーヌ・グリーズマンがいつも長袖を着てプレーするので、シャツに長袖を追加してほしいというものです。ここでもFlameのMotion Warpを使い、わずか数時間で仕上げました。

そして何よりも、私たちがこのチャレンジに立ち向かい、このプロジェクトの実現に貢献できたことを誇りに思います。
素晴らしいアイデアから始まり、私たちはこの素晴らしいコンセプトに絶対に応えなければなりませんでした。
マルセルエージェンシーは常に私たちを信頼し、疑うようなことはありませんでした。このプロジェクトに取り組む機会を与えてくれた彼らに心から感謝しています。

このスポットは世界中で話題を呼び、人々が評価してくれるだろうという予感はありましたが、これほど大きな反響があるとは予想できませんでした。
このアイデアを思いついたマルセルのアントナン・ジャコとヴァンサン・テフェーヌを本当にうれしく思っている。この成功は本当に当然の報いです。

FXGUIDE:本当にありがとうございます。

参考資料

DragGAN のソースコード公開

画像をドラッグ操作可能にする「DragGAN」のソースコードが公開されました。

https://vcai.mpi-inf.mpg.de/projects/DragGAN/
https://github.com/XingangPan/DragGAN

「DragGAN」は世界中の複数の研究機関の研究者が、デジタル画像を非常に柔軟かつ正確に操作するための新しい手法として開発しました。

画像作成に使われる人工知能の一種である生成的敵対ネットワーク(GAN)の出力を制御する従来の手法とは異なり、DragGANはより高い精度と柔軟性、幅広い応用を提供すします。従来の手法では、手動で注釈を付けた学習データや既存の3Dモデルに依存することが多く、システムの汎用性に限界がありました。

DragGANの特徴は、ユーザーが画像内の任意のポイントを特定のターゲットポイントにインタラクティブに「ドラッグ」できることです。この方法によって、動物、車、人間、風景など、さまざまな画像のポーズ、形、表情、レイアウトを、誰でも非常に正確に変更することができます。

DragGANは主に2つのコンポーネントから構成されます。1つ目は、特徴に基づく動き監視で、選択された点を目標位置に誘導します。もう1つは、GANの特徴量を用いて選択された点の位置を追跡する、新しい点追跡アプローチです。

DragGANの利点の一つは、複雑な状況でも非常に現実的な出力を生成することでです。例えば、不明瞭なコンテンツのもっともらしい表現を作成したり、オブジェクトの自然な剛性に忠実な方法で形状を変更したりすることができます。

このシステムは、画像操作と点追跡の両方において、従来の方法よりも大きな利点を示しています。

 

GANをドラッグする:生成画像多様体上でのインタラクティブなポイントベースの操作

概要

ユーザのニーズを満たすビジュアルコンテンツを合成するためには、生成されるオブジェクトのポーズ、形状、表情、レイアウトを柔軟かつ正確に制御する必要がある。既存のアプローチでは、手動で注釈を付けた学習データや事前の3Dモデルによって、生成的敵対ネットワーク(Generative Adversarial Network:GAN)の制御性を得ているが、柔軟性、精度、汎用性に欠けることが多い。この研究では、GANを制御する強力な方法でありながら、まだあまり研究されていない方法、すなわち、図1に示すように、画像の任意の点を「ドラッグ」して、ユーザがインタラクティブに目標点に正確に到達する方法を研究する。これを実現するために、我々はDragGANを提案する: 1)特徴量に基づく動き監視により、ハンドルポイントを目標位置に向けて移動させる。2)識別可能なGANの特徴量を活用し、ハンドルポイントの位置を特定し続ける新しいポイント追跡アプローチ。DragGANにより、誰でもピクセルの移動先を正確に制御して画像を変形させることができるため、動物、車、人間、風景など様々なカテゴリのポーズ、形状、表情、レイアウトを操作することができる。これらの操作は、GANの学習された生成画像多様体上で実行されるため、オクルージョンされたコンテンツの幻覚や、物体の剛性に一貫して従う形状の変形といった困難なシナリオであっても、現実的な出力を生成する傾向がある。定性的および定量的な比較の両方により、画像操作と点追跡のタスクにおいて、先行アプローチに対するDragGANの優位性が示される。また、GAN逆変換による実画像の操作についても紹介する。

 

 

 

 

 

 

 

 

 

 

 

参考資料

2D ビデオから 3D シーンを再構築する「NVIDIA Neuralangelo」

2D動画から 3Dシーンを再構築する「NVIDIA Neuralangelo」の映像が公開されています。
現在よく見かけるマルチビュー ステレオ アプローチ(複数の写真から3D形状を復元するやつ)に代わるAI ベースの研究成果らしいです。

https://blogs.nvidia.com/blog/2023/06/01/neuralangelo-ai-research-3d-reconstruction/?ncid=so-yout-296458#cid=nr01_so-yout_en-us

NVIDIA Researchが開発したニューラルネットワークを用いた3D再構成のための新しいAIモデル「Neuralangelo」は、2Dのビデオクリップを詳細な3D構造に変換し、建物、彫刻、その他の現実世界のオブジェクトのリアルなバーチャルレプリカを生成します。

ミケランジェロが大理石の塊から驚くほどリアルなビジョンを彫るように、Neuralangeloは複雑なディテールやテクスチャを持つ3D構造を生成します。クリエイターは、これらの3Dオブジェクトをデザインアプリケーションに取り込み、さらに編集して、アート、ビデオゲーム開発、ロボット工学、産業用デジタルツインに使用することができます。

屋根板、ガラス板、滑らかな大理石など、複雑な素材の質感を2D動画から3D資産に変換するNeuralangeloの能力は、従来の方法を大きく上回ります。この高い忠実度により、開発者やクリエイターがスマートフォンで撮影した映像を使って、プロジェクトで使用可能な仮想オブジェクトを迅速に作成することが容易になりました。

「Neuralangeloが提供する3D再構成機能は、クリエイターにとって大きなメリットとなり、デジタル世界で現実世界を再現するのに役立ちます」と、研究部門のシニアディレクターで論文の共著者であるMing-Yu Liuは述べています。「このツールによって、開発者は最終的に、小さな像であれ巨大な建物であれ、詳細なオブジェクトをビデオゲームや産業用デジタルツインの仮想環境に取り込むことができるようになるでしょう」

NVIDIAの研究者はデモで、このモデルがミケランジェロのダビデ像のような象徴的なものからフラットベッドトラックのようなありふれたものまで再現できることを紹介しました。Neuralangeloは、建物の内部や外観を再現することもできます。NVIDIAのベイエリア・キャンパスにある公園の詳細な3Dモデルで実証されました。

 

ニューラルレンダリングで見る3Dモデル

3Dシーンを再構築する先行するAIモデルは、反復するテクスチャパターン、均質な色、強い色のバリエーションを正確に捉えることに苦労してきました。Neuralangeloは、NVIDIA Instant NeRFを支える技術であるインスタントニューラルグラフィックスプリミティブを採用し、これらの微細なディテールを捉えることができるようにしました。

オブジェクトやシーンをさまざまな角度から撮影した2D映像を使い、アーティストが被写体を複数の側面から見て奥行きやサイズ、形状の感覚を得るように、異なる視点を捉えた複数のフレームを選択します。

各フレームのカメラ位置を決定すると、彫刻家が被写体の形を彫り始めるように、NeuralangeloのAIはシーンのラフな3D表現を作成します。

彫刻家が石を削って布や人物の質感を再現するように、レンダリングを最適化し、細部を鮮明にします。

最終的には、バーチャルリアリティやデジタルツイン、ロボット開発などに利用できる3Dオブジェクトや大規模なシーンが完成します。

参考資料

CGキャラを自動的にアニメ、ライティング、合成する AI ツール「Wonder Studio」

CGキャラクターを自動的にアニメーション、ライティング、合成する AI ツール「Wonder Studio」の情報が公開されています。投資家向けな感じがするサイトですね。

https://wonderdynamics.com/

 

ワンダースタジオ

実写のシーンにCGキャラクターを自動でアニメーションさせ、照明や合成を行うAIツール

 

ブラウザで見るVFXスタジオへようこそ

 

デコレーション

MoCapも、複雑な3Dソフトウェアも、高価なプロダクションハードウェアも不要で、アーティストに必要なのはカメラだけです。

 

ショット単位で作業する必要がない

ショット全体またはシーン全体をアップロードすると、システムは自動的にカットを検出し、シーケンス全体を通して俳優を追跡します。

 

フレーム単位の重厚なVFX作業は不要

シングルカメラで撮影された映像をもとに、俳優の演技を自動検出します。そして、その演技を、自動でアニメーション、照明、合成されたお好みのCGキャラクターに移植します。

体モーキャップ
ライティングとコンポジット
ReID
手モーキャップ
アドバンスド・リターゲティング

 

既存のパイプラインへの適応

Wonder Studio AIは、「客観的」なVFX作業の80%~90%を自動化し、アーティストには残りの「主観的」な作業を残し、すでに使用しているソフトウェアにエクスポートすることができます。

個々の要素をエクスポートする

モーションキャプチャー
キャラクターパス
アルファマスク
クリーンプレート
カメラ軌道
Blenderファイル
最終レンダリング

 

宇宙人でもできるほど簡単

複雑な3Dソフトウェアや時間のかかる学習曲線に別れを告げましょう。

 

複数のキャラクター

複数のキャラクターを割り当ててSF世界を作る。

 

ハードな VFX ショットを過去のものに

ダイナミックカメラ
ダイナミックライティング

 

独自のスタイルを与える

独自の定型化されたキャラクターを実写ショットでシームレスに構成する

 

アーティストコミュニティからの無料キャラクター

Wonder Studioで無料で使える、アーティストが制作したキャラクターの一部をご紹介します。

 

 

 

 

 

 

Wonder Studioを今すぐ入手する

3Dアーティストの方で、ご自身のキャラクターを当社のプラットフォームで紹介したい方は、お問い合わせください。

参考資料

Temporally Stable Real-Time Joint Neural Denoising and Supersampling

Intelの新しいリアルタイム向けのデノイズとスーパーサンプリングを組み合わせた技術の品質がよさそう。

https://www.intel.com/content/www/us/en/developer/articles/technical/temporally-stable-denoising-and-supersampling.html

ノイズの多い低解像度の入力に対して、時空間フィルタリングを行い、2倍の解像度でノイズ除去およびアンチエイリアス処理を行った出力を生成します。従来のノイズ除去器と比較して、本手法はより多くのディテールとコントラストを保持し、同程度の計算コストでより高い解像度を生成することができます。

 

概要

近年のレイトレーシング・ハードウェアの進歩により、リアルタイムのパストレーシングが可能になり、レイトレーシングによるソフトシャドウ、光沢反射、拡散グローバルイルミネーションは、現在ゲームにおける一般的な機能となっています。しかしながら、レイバジェットにはまだ限界があります。その結果、アンダーサンプリングが発生し、エイリアシングやノイズとして表れます。
先行研究では、これらの問題に個別に対処しています。しかし、ニューラルネットワークに基づく時間的スーパーサンプリング法は、その優れたロバスト性により、現代のゲームにおいて広く使用されていますが、ニューラルネットワークによるノイズ除去は、その高い計算コストのため、依然として困難です。

本発表では、スーパーサンプリングとノイズ除去を組み合わせたリアルタイムレンダリング用の新しいニューラルネットワークアーキテクチャを紹介し、2つの別々のネットワークと比較してコストを削減することができます。これは、1つの低精度特徴抽出器と複数の高精度フィルタステージを共有することで実現されています。さらにコストを削減するために、本ネットワークは低解像度の入力を受け取り、高解像度のノイズ除去されたスーパーサンプリング出力を再構成します。この技術は時間的に安定した高忠実度の結果をもたらし、TAAやニューラルアップサンプリングと組み合わせた最新のリアルタイム統計的・分析的ノイズ除去器をターゲット解像度まで大幅に凌駕しています。

 

 

デノイズを検証したビデオを見ると、テクスチャを維持した状態でのデノイズが綺麗に見えます。

参考資料

Enemies – real-time cinematic teaser | Unity

ゲームエンジンのUnityを使用したリアルタイムデモが公開されています。これまでのUnityを使用した映像に比べると、だいぶリアルなルックになってますね。凄い。

https://unity.com/ja/demos/enemies

 

Unityのビジュアルクオリティの水準を高める

Enemies は、ハイエンドで魅力的なコンテンツを作成するための Unity プラットフォームのパワーと能力を示すもので、あらゆるクリエイティブチームがそのビジョンを完全に実現することができます。
リアルタイム3D(RT3D)技術は、クリエイターが求めるビジュアルクオリティや臨場感を実現するために、常に進化を続けています。

 

Unityのデジタルヒューマン

Unity初のリアルなデジタルヒューマンを搭載した「The Heretic」の作業を発展させたのが「Enemies」です。改良点は以下の通りです。

  • より優れた4Dパイプライン
  • GPU上のスキンアタッチメントシステムにより、高密度メッシュを実現(例:桃色毛羽)。
  • 虹彩にコースティクスを適用し、よりリアルな目を実現
  • 新しいスキンシェーダー
  • 血流シミュレーションとしわマップのためのテンション技術により、細かいディテールのためのフェイシャルリグが不要になりました。

 

エネミーを支える技術

High Definition Render Pipeline(HDRP)のすべての機能が改善され、Adaptive ProbeボリュームやScreen Space Global Illumination(SSGI)など、いくつかの新システムが導入されました。
リアルタイム・レイトレース反射、レイトレース環境オクルージョン、NVIDIAのDeep Learning Super Sampling(DLSS)のネイティブサポートにより、デモは4Kでネイティブ解像度並みの画質で実行可能です。

 

ストランドベース・リアルタイム・ヘアソリューション

主人公の非常にリアルな髪のために、DemoチームとUnityのR&Dチームは、ストランドベースの髪のオーサリング、インポート、シミュレーション、レンダリングのための全く新しいヘアソリューションを共同開発しました。
このソリューションは、Alembic形式のデータを出力するすべてのオーサリングツールに対応しています。Enemiesでは、Maya XGenを使用し、Weta Barbershopでパイプラインを検証しています。

 

リリース情報

このデモは、3月23日~25日に開催されるGame Developers Conference(GDC)のUnityブースで紹介され、参加者はスタンドアローンとして、またはUnity Editorで動作させてチェックすることができます。

デモチームは、2022年第2四半期にHairソリューションとアップデートされたDigital Human Packageをリリースする予定です。ご期待ください。

参考資料

NeROIC: Neural Object Capture and Rendering from Online Image Collections

カメラ、照明、背景が異なるオンライン画像から、3Dオブジェクトを作成する技術が発表されています。

https://formyfamily.github.io/NeROIC/

 概要

カメラ、照明、背景が異なる写真から任意の物体の高品質な形状と材料特性を取得し、オンライン画像コレクションから物体表現を取得する新しい方法を提案する。これにより、ノベルビュー合成、再照明、調和的な背景合成など、様々なオブジェクト中心のレンダリングアプリケーションを、困難な実環境の入力から実現することができる。

ニューラルラジアンスフィールドを拡張した多段アプローチにより、まず表面形状を推定し、粗く推定された初期カメラパラメータを改良し、粗い前景オブジェクトマスクを活用して学習効率と形状品質を向上させる。また、ロバストな法線推定技術を導入し、重要なディテールを保持しつつ、幾何学的ノイズの影響を排除する。最後に、表面の材料特性と環境照明を抽出し、球面調和で表現し、鋭い影などの過渡的な要素を処理する拡張を行う。これらのコンポーネントを組み合わせることで、高度にモジュール化された効率的なオブジェクト取得フレームワークが実現する。

広範な評価と比較により、レンダリングアプリケーションに有用な高品質のジオメトリと外観特性を取得する上で、我々のアプローチの優位性が実証されている。

 

オーバービュー

異なる条件の物体画像を入力とし、2段階のモデルを構築する。まず、他の手法で取得した画像のカメラポーズと物体の前景マスクを用いて、NeRFベースのネットワークを学習させることにより、スキャンした物体の形状を最適化し、カメラポーズを改良する。次に、法線抽出層を用いて、形状(密度関数で表現)から表面法線を計算し、最後に、第2段階のモデルにより、各画像について物体の材料特性を分解して照明条件について解決する。

 

新しいビューの合成

共通のオブジェクトのオンライン画像があれば、学習画像の照明条件を用いて、オブジェクトの新しいビューを合成することができます。

 

マテリアル分解

また、キャプチャしたオブジェクトの材料特性(アルベド、スペキュラリティ、ラフネスマップを含む)および表面法線を解くことができます。

リライティング

モデルから生成されたマテリアルプロパティとジオメトリを使用して、さらに新しい照明環境でオブジェクトをレンダリングすることができます。