Breakdown

参考資料

アバター 2 の新しいフェイシャル パイプライン

アバター 2 で使用された新しいフェイシャル パイプラインの記事が公開されています。

https://www.fxguide.com/fxfeatured/exclusive-joe-letteri-discusses-weta-fxs-new-facial-pipeline-on-avatar-2/

 

Wētā FXは、まったく新しいフェイス・パイプラインを開発しました。この画期的な新アプローチを最初に開発したのは2019年だが、同社は『Avatar: The Way of Water』の公開に合わせて、韓国で開催されたSIGGRAPH ASIAで新しいアプローチを公開したばかりです。この徹底討論ではWētā FX Snr.に直接話を聞いている。VFXスーパーバイザーのJoe Letteri氏と、テクニカルペーパーの他の著者の一人であるKaran Singh氏に、新しいアプローチを開発する決断をした理由について、直接話を聞きました。

 

背景

フェイシャルアニメーションの新しいシステムは、FACSパペットから解剖学的ベースとしての筋繊維曲線に移行することに基づいています。この新しいアプローチは、Anatomically Plausible Facial SystemまたはAPFSと呼ばれ、アニメーター中心で、解剖学的な発想から生まれた、顔のモデリング、アニメーション、再ターゲッティング転送のためのシステムです。

 

新システムは、Wētā FXが『ゴラム』以来一貫して使用してきた、受賞歴のあるFACSパイプラインに代わるものです。映画『アリータ:バトル・エンジェル』(2019年)のためにR&D FACSアプローチを極めて強く押し出したLetteri氏は、FACSベースのパペットシステムには、顔の筋肉の分離、カバー、線形組み合わせ使用、広域冗長性などの大きな問題が多すぎるだけだと判断しました。

例えばFACSは筋肉主導の表情を表す顔のポーズのセットをマッピングしますが、適切なフェイシャルアニメーションを得るために、FACSパペットリグは、アニメーターが信じられるパフォーマンスを達成できるように、900ものFACS形状をリグに追加することになってしまうかもしれません。FACSが「間違っている」のではなく、タイムベースのフェイシャルアニメーションのために設計されたシステムではないのです。FACSは音声を中心に構築されたものではなく、むしろ孤立した感情表現を中心に構築されたものです。

「私たちは、アーティストが顔の動きを直接コントロールできるシステムが必要だったのです」とLetteri氏は語る。「FACSはあくまで感情ベースのシステムであり、表情をコード化するものです。FACSには対話はありませんし、私たちがやっていることはほとんど対話です。FACSは正確な孤立した表情を表すかもしれませんが、ポーズ間の移行方法に関する情報はありません。結局、一種の推測をしなければなりません。移行を直感するようなもので、それは素晴らしいことですが、維持するのは困難です」とLetteri氏は説明しています。FACSシステムは、状態から状態へ移行するときに、基本的に顔全体に直線的に状態変化が起こるので、非常に "rubbery "なのです。

 

 

Letteri氏と彼のチームは、フェイスパイプライン全体をゼロからやり直すことにしました。「私はこの問題を見て、こう思いました。これはもうやりたくない。これは難しすぎる。もっといい方法があるはずだと。顔の筋肉がどのように配置され、どのようにつながっているのか、もう一度見直してみました。そして、その結合をマップ化すれば、顔を表現する高次元空間の基礎ができることに気づいたのです」。

チームは、表情が作られ、筋肉が活性化すると、他の筋肉が連動して活性化したり、筋肉が受動的に引っ張られたりすることに着目しました。"筋肉が神経ネットワークによく似た一種のネットワークで相互接続しているため "と、Letteri氏は推論しています。
「そこで私は、筋肉を直接ベースとする神経回路網を作ればいいのではないかと考えたのです。つまり、多くのディープラーニングは、問題に数字を投げかけて、たくさんのデータを与えれば、相関関係を割り出してくれようとするものなのです。でも、私たちはすでに相関関係を知っているのだから、それを基礎としてコード化すればいいのでは?数学の世界に入り込めば、それは大きな微分積分の連鎖になります。基本的な微積分です」。

そしてチームは、アニメーターが顎、目、筋肉のどのような組み合わせでも表現できるようなシステムを構築することを目指しました。「ベースとして、例えばシガニー・ウィーバーの顔を見て、"筋肉 "が何をしているかを解くようにシステムを訓練し、それを別のネットワークでキャラクターに転送できるのは素晴らしいことです」。
さらに、筋肉カーブにより、アニメーターは顔の筋肉ごとに直接コントロールできるようになりました。ただし、筋肉曲線は、皮膚の下にある実際の筋肉と1対1で一致するように設計されているわけではないことを指摘する必要があります。筋肉曲線は、アニメーターがコントロールできる方法で、かつ、非常に高い忠実度でキャプチャされたパフォーマンスである顔の動きと一致するように、顔を解決するように設計されています。

 

APFS

新しいAPFSは、178本の筋繊維の曲線、つまり「歪み」の曲線に基づいています。これらの筋繊維曲線が収縮・弛緩することで、きめ細かく忠実な人間の顔の表情が得られます。エンドツーエンドのシステムは、インワードアウト(顔が筋繊維曲線によって駆動される)とアウトサイドイン(アニメーターが顔の表面から顔を「正しく」ドラッグして動かすことができる)の両方が可能です。

このシステムは、人間の筋肉を1対1でマッピングしているわけではありません。上唇の湾曲など、顔のいくつかの側面は、実際には顎や下顔面の筋肉によって駆動されている結果だからです。むしろ、このシステムは178の曲線からなる配列であり、解剖学的なインスピレーションに基づく一連の制御を可能にしますが、肉/筋肉の直接的なエミュレーションやシミュレーションではありません。

さらに、FACSの人形はFACSの表情の直線的な組み合わせで作られており、回転は含まれていません。眼球を中心とした回転成分を自然に含む正しいまぶたのアニメーションを得るには、一連の中間的なFACS形状を追加する必要があります。

 

まぶたの例

各筋肉または歪み曲線には、関連する歪み値があります。筋肉のカーブは実際にはねじれませんが、ひずみ値はカーブに沿って、その局所空間における収縮または拡張を提供します。ある意味これは長さの変化率です。実際の曲線のひずみ数値は単位がなく、これは異なる文字に転送する際に役立ちます。ひずみ値は単独で機能するというより、セットの一部として機能します。

例えば、まぶたの瞬きには、まつ毛のラインに沿った筋カーブ(水平方向)と、直交方向(目の周りの上下方向)の両方が存在する。この場合、水平方向の曲線は眼球の上を回転しているため、実際のひずみ値はあまり変化しませんが、垂直方向の曲線はひずみ値が劇的に変化しています。
しかし、最も重要なのは、垂直カーブが筋肉のカーブ形状に沿ってスケールすることで、これは眼球のカーブと一致します。開いているブレンドシェイプと閉じているブレンドシェイプの間の同様の遷移は、(眼球の周りで曲がることなく)閉じてから開くまで直線的に移動するだけです。
Mayaでは、ブレンドシェイプをチェーンして、眼球の周りでカーブするまぶたをシミュレートすることができますが、これもブレンドシェイプの数を増やしてしまうことになります。

FACSソリューションは、フェイシャルリグの標準化を可能にしましたが、FACSは顔の表情の自発的で区別できるスナップショットをキャプチャするために心理学の観点から設計されており、コンピュータアニメーションに適用すると明らかに限界があります。
FACSのアクションユニット(AU)は、複数の表情筋の動作を組み合わせるAUや表情筋が全く関与しないAUのように、望ましい表情を得るために引き算で組み合わせる必要がある)、定位とアニメーション制御(冗長、動作が反対、強く関連、または相互に排他的なAUがあり得る)、AUはヒンジでつながれた顎と人間の唇の複雑な形状変形にしか近似しないなどです。

新システムの構築には、機械学習が用いられました。80の動的モーションクリップから6000〜8000のスキャン(フレーム)を使用しました。約60%がFACSの形状ポーズ、40%がスピーチモーションです。各俳優の演技は、検証されたグランドトゥルース表現から340のマーカーを基に解かれました。APFSパイプラインは時間情報をエンコードせず、これはパフォーマンスキャプチャの解答そのものから得られるものである。アニメーションは俳優の動きと表情を本質的に追跡します。

 

あご

新しいシステムでは顎と唇が特に注目されています。「システムを構築しているときに気づいたことのひとつに、顔の状態をコントロールする主要な手段が顎であるということがあります」とLetteri氏は語ります。

「特に対話の場合、顎は常に動いています。 さらに、人の顎は盾の軌跡の形でしか動かないので、顎が状態を動かす主役です」とLetteri氏は説明します。下顎骨は顎関節を介して頭蓋骨に固定され、靭帯と筋肉で支えられている。そのため、顎の可動域は、顎の想定される点の集合をトレースすることでマッピングすることができます。このような点の集合を人物のあらゆる台詞や表情に対応させると、盾のような形状になります。これを「ポッセルトの運動包絡線」または「ポッセルトシールド」と呼びます。

「このシールドは、ドライバー自身の制約システムに組み込まれています。"筋肉はその上で解かれます" というのも、チームがどの俳優を解析するときでも、デジタル頭蓋骨を俳優に適合させるフォレンジックフィットを行うからです。次に、顎の可動域を把握し、HMCのステレオカメラを使って深度情報を抽出します。そして、PCAを実行して、コヒーレントなメッシュが得られるように、最適なフィッティングを試みます。そして、そのメッシュに顎と頭蓋骨をフィットさせるのです」。
パフォーマンス・キャプチャーの場合、人間の動作にはすでに動きや可動域が含まれています。しかし、手作業でアニメーションを作成する場合は、Jawコントローラにシールドの制約が組み込まれます。アニメーションの検証は、その俳優の各カメラから取り込んだ画像に対して、歯並びを観察することで行いました。

同様に、俳優の目も非常に慎重に扱われています。システムの目のモデルは、アクターの強膜、角膜、虹彩にマッチしています。虹彩モデルが、各カメラから取り込まれた画像に見える辺縁リングと瞳孔に一致するように、眼球を回転させることによって、各フレームで視線方向を調整するのです。眼球はレンズ効果や屈折を示すため、追跡するのが非常に難しいのです。複数のカメラアングルを使用して、アライメントを確認し、角膜によって屈折する光を考慮します。 正面からの小さな目の膨らみも、それぞれの目の回転に適用して、キャラクターの目のリアリズムを高めています。

 

四面体(テト)フェイシャルボリューム

曲線筋は単なる線であるため、歪んだ筋肉とデジタルキャラクターの皮膚との間にリンクが必要です。曲線は筋肉の動作の線を捉えているのですが、実際の顔の中にも埋め込まれているのです。
ここでは、キャラクタの静止ポーズにおける顔の軟組織を離散化した四面体ボリュームを使用したボリューム表現によって、顔をシミュレートしています。テトのボリュームソリューションは、皮膚と、頭蓋骨と顎の骨の間に位置します。テトは概念的または数学的な「ゼリー」を形成しています。このテトボリュームに対して、皮膚の頂点と頭蓋骨を位置拘束として、スキャンシーケンス全体に対してパッシブな準静的シミュレーションを実行します。有限要素解析(FEA)を用いて,135,000 個のテト(複数の位置拘束,スライド拘束,衝突拘束を持つ)の「パッシブシミュレーション」をフレーム単位で行い,解剖学的にもっともらしい肉の挙動を生成しています。ここで生成される「肉付けマスク」は、学習段階での役割しか持ちません。

 

実際のマッスルリボンとマッスルカーブの比較

顔の筋肉はリボン状の筋肉であることが多いのですが、APFSのカーブには幅がありません。そのため、必要な部分にカーブを追加しています。筋肉カーブはアクティブマッスルシムではありません。「実際、アニメーターはそれを望んでいません。彼らはフレーム間の制御を望んでいます。彼らは運動学的な変形制御を望んでいるのです。シミュレーションの設定をした後、再生を押して、実際のアクティブなシミュレーションが引き継がれるのを見たくはないのです」そのため、チームは曲線表現を選択し、「曲線にこだわることにしたのです」と彼は付け加えます。「私たちは、できる限り最小限の、絶対的なパラメトリック表現を採用したのです」。

Karan Singh氏はCOVIDの直前、2020年にVictoria Universityに客員研究員として滞在していたため、チームに参加しました。彼は、自分が主席研究員ではないことを最初に言いますが、SIGGRAPH ASIA Submissionにプロセスを書き上げる上で大きな役割を果たし、ライブプレゼンテーションを行ったByungkuk Choi Haekwang EomとBenjamin Mouscadetと共に韓国でプレゼンテーションに参加したのです。
各エンジニアは、大規模なエンドツーエンドのソリューションの一部として、特定の焦点とモジュールを持っていました。この論文には、Joe LetteriとKaran Singhを含む12人の著者がいます。

Singh氏は、以前AutodeskのMayaでオリジナルのブレンドシェイプコードを書いた経験があり、FACSパペットで使用される詳細なコードに精通しています。Singh氏は新しいパイプラインの内部で機械学習(ML)オートエンコーダ(AE)を巧みに利用し、表現をオンモデルに保っていることを指摘します。
MLはWētāのようなパイプラインを変革しているが、多くの人がまだ十分に理解していない方法です。 VAEとそのディープフェイク・フェイススワップツールとしての使用については多く書かれていますが、APFSチームはここで、AEなどのMLツールが、最終的なピクセルに明示的に使用されない一方で、重要なタスクを支援するために複雑なパイプラインの内部で使用されていることを紹介しています。

このシステムは従来のFACSブレンドシェイプを使用して簡単にモデルから外れることができますが、ソリューション空間はAEによって制限されています。「初期テストや個々のキャラクターのトレーニングデータを定義するとき、そのキャラクターの範囲を設定しているのです」とSingh氏は説明します。「オートエンコーダーはそれを一種のエンコードとして扱うので、エンコードするのは一般的な設定だけではありません。つまり、一般的な設定をエンコードしているのではなく、非常に特殊なパフォーマンスをエンコードしているのです」。パイプラインの構築方法におけるAEは、ターゲットとモデル通りの顔を維持します。

 

ポーズライブラリの転送

アニメーターは当然ながらポーズライブラリを持つことに慣れています。しかし、ポーズは動きを強制したり、符号化したりするものではないので、組み合わせによって簡単にモデルから外れてしまうことがあります。そこで、アニメーターが使いやすいように、ひずみベースのモーションライブラリが作られました。

このアウトサイドインのアプローチは、カーブへのインバースマッピングを提供します。しかし、システムの構築方法とオートエンコーダの使用により、アニメーターが誤ってモデルから外れることはありません。筋肉の伸縮は直感的に理解できても、歪みベクトルで顔の表情を動かすのは一筋縄ではいきません。そこで、AE(オートエンコーダ)を導入し、ひずみベクトルが顔アニメーションの妥当な範囲に収まるように制約をかけることで、アーティストを支援します。

このモデル上の解空間を表情多様体と呼びます。ここで何が妥当かを定義するのはアニメーターであり,アニメーターは意図的にモデルから外れることを選択できますが,表情多様体は,複数の表情とそれに対応するひずみベクトルまたは設定の範囲から厳選されたサンプリングを用いて,アニメーターのために推定されます。

ディープシェイプ

アバター:ザ・ウェイ・オブ・ウォーターでは、多くの俳優が水中でパフォーマンスをキャプチャしていましたが、顔のアニメーションのほとんどは、乾いた土地での二次キャプチャに基づいており、それをメインのパフォーマンスキャプチャにブレンドしていました。顔のパフォーマンスキャプチャを行う際、アクターはステレオヘッドリグ(HMC)を装着しましたが、新しい技術のおかげで、アバター1のオリジナルHMCよりも重くありませんでした。

HMCカメラの固定ステレオ配置のおかげで、WētāのチームはDeep Shapeという強力な新しいビジュアライゼーションツールを開発しました。このステレオ画像を使って、俳優の実際の演技を3D点群風に再現し、どの角度からも見ることができるようにしました。画像はモノクロでポリゴン化されていませんが、実際の演技を高度に再現しています。
この新しいビジュアライゼーションにより、アニメーターは、実際のキャプチャーカメラの生の出力のような広角の歪みや奇妙な視野角なしに、顔からわずか数フィートの距離で撮影されたかのように、仮想の目撃者カメラを持つことができるようになるのです。

このような3D深度再構築ビューにより、唇や顎の伸展を観察し、後で完全に制御可能で再構築されたアニメーションが生ビューに忠実であるかどうかを判断する、より強力な方法を提供します。このように著しく便利な表示装置であるため、これまで誰も実装していなかったことが不思議なくらいですが、私たちの知る限り、Wētā FXはDeep Shape可視化オプションを正確に実現した最初のチームです。このツールは、APFSエミュレーションを比較・判断するための顔のグランドトゥルースの重要な参考ツールになります。 これは、新しいエンド・トゥ・エンドのAPFSベースのソリューションのもう一つの革新です。

 

エイジング

現在では一般的な手法として、俳優の顔の表情に合わせたデジタルダブルを非常に忠実にアニメーション化し、そのアニメーションをキャラクターモデルに転送しています。Wētāは、アニメーション転送時に俳優とキャラクターの顔の一致を最大化するために、対応する俳優の基本的な筋肉の挙動を共有するように、戦略的にキャラクターのトレーニングプロセスを設計しています。

3Dキャラクターの顔モデルは、最終的にそれぞれの俳優と同じ、共有された歪みオートエンコーダーを持つことになります。皮膚は正確にマッピングされ、目と顎の領域はユーザー定義のウェイトマップを使って別々に処理され、顔の重要なパーツをより正確に表現できるようになります。当然ながらナヴィのユニークな形状を考慮し、チームはアクターの顎のリグをキャラクターに慎重に適合させ、歯のトポグラフィーと頭蓋骨の解剖学の偏差を補償するためにそれを使用する必要があります。

 

カーブマッスルシステムは、首の部分までカーブが伸びており、ボディパフォーマンスキャプチャとの統合をより良くしています。耳については、まったく別のコントロールが用意されています。

「今回、わざわざキャプチャーしようとしなかったのは、耳は一種の二次的効果だからです」とLetteri氏は言います。「ナヴィの耳は表情豊かですが、人間には全くありません。ですから、あれはあくまで別のアニメーション制御システムなのです」

 

この映画では、当然ナヴィへの再ターゲットが多数ありますが、重要なのは、2つの重要な脱老化の再ターゲットがあることです。俳優のシガニー・ウィーバーとスティーブン・ラングは、ともに若いキャラクターに再ターゲットされています。キリと若いクオリッチです。

顔の筋肉の緩みや老化をシミュレートするために歪みの値を変えることを検討する人もいるかもしれませんが、Letteri氏は、リターゲティングがそれを完全に補うので、歪みの値を「緩和」したり伸ばしたりする必要がなかったと指摘しています。 「そうすることも考えましたが、それでは不確実性が増してしまいます」とLetteri氏。「そこで、まずはリターゲティングで試してみようと考えました。そして、それを実行したのです。そして、うまくいくようになりました。

参考資料

ChurCHILL - Slide

犬わいい。実写で滑り台を撮影してからCGおこしてるのが面白いですね。

参考資料

The Matrix is Unreal

先日公開された映画マトリックスを題材にしたUnreal Engine 5 のデモのインタビュー記事が公開されています。

車に人が反射してるなと思ってましたが、リアルタイムレイトレースだったんですね。ネオとトリニティが掛け合うシーンと、街のワイドショットがプリレンダーで他はリアルタイムらしいですが、車内の掛け合いがリアルタイムだったなら凄い。

https://www.fxguide.com/fxfeatured/the-matrix-is-unreal/

1999年、キム・リブレリはマトリックスのオリジナル映画でバレットタイムのスーパーバイザーを務めました。現在、彼はEpic GamesのCTOを務めており、彼とチームはマトリックスに帰ってきたところです。
UE5で示された技術的な進歩と新作「The Matrix Awakens」との驚くべき結びつきで、新しい技術デモAn Unreal Engine 5 Experienceが開始されました。この最先端のショーケースは、PlayStation5とXbox Series X/Sで無料でダウンロードできます。

この境界を越える技術デモは、WarnerBrosのThe Matrix Awakensの世界におけるオリジナルコンセプトピースです。ラナ・ウォシャウスキーが監督・脚本を手がけた、ウィットに富んだ巧妙なシネマティックです。キアヌ・リーブスとキャリー・アン・モスのデジタルバージョンが登場し、二人の俳優がスキャンされて複製され、1999年のネオとトリニティの役をそのまま再現しています。

編注:この体験は映画の一部ではなく、UE5 でできることを紹介するための技術デモです。

 

今週初め、チームにインタビューした際、シニアキャラクターアーティストのLana Lanは、「このプロジェクトは、UE5の進化、優れた芸術性と技術、そしてキャラクターに関する新しいスキャン技術の多くを表しています」とコメントしました。
Epicチームの目標は、新しく進化した技術をすべてテストして押し進め、UE5がクリエイターのために準備万端であることを本当に確認することでした。「学んだことの多くはツールに折り返されると思いますし、また来年にはこの多くをコンテンツサンプルとしてリリースする予定です」と付け加えています。

ゲーム機のダウンロードパッケージは約28ギガで、当初は国内のゲーム機で何ができるかをリアルタイムに見せるためのものです。その後、都市などのアセットパーツは、Epicのメインサイトからダウンロードできるようになり、デスクトップパソコンで探索できるようになる予定です。

 

このプロジェクトには、James McTeigue、Kym Barrett、John Gaeta、Jerome Platteaux、George Borshukov、Michael F Gayが参加し、SideFX、Evil Eye Pictures、The Coalition、WetaFX(旧称Weta Digital)などのパートナーやEpic Games全体のチームと共同しています。

ワコウスキー、リブレリ、ゲータの3人は、3部作の時代からの友人です。「私が Matrix の新作を作ることを彼らに告げると、Epic のサンドボックスで遊ぼうと提案されました」と Wachowski 氏は語ります。「そして、なんということでしょう、このサンドボックスは!」とWachowski氏は言います。

映像はプリレンダリングされた2つのショットを除き、すべてリアルタイムでレンダリングされています。ネオとトリニティが掛け合うシーンと、街のワイドショットの2つです。
これはデータが膨大なため、アセットの読み込みに時間がかかり、体験のテンポが崩れてしまうからです。これらのショット以外は、標準的なゲーム機でリアルタイムにレンダリングされます。

 

デジタルアクター

デモではキアヌ・リーブスとキャリー・アン・モスが、驚くほどリアルなデジタルヒューマンとして演技と肖像画を披露しています。これを実現するためにEpicの3Lateralチームは、Novi Sadのスタジオで俳優の顔の高忠実度3Dスキャンとパフォーマンスの4Dキャプチャを行いました。リーブズとモスはドイツにいたため、セルビアに飛び1日かけて顔と4Dスキャンを行いました。

「EpicのシニアテクニカルアーティストであるPete Sumanaseniは「このプロジェクトは本当にタフでした」CG のキアヌ・リーブスを、本物のキアヌと同じショットに登場させたのです。
ティーザー予告編が公開された直前の1週間、人々はデジタル キアヌを見ているのか、それとも実際の俳優を見ているのか混乱していましたが、ツイッターの驚くべき反応から判断すると、Epicチームは成功したのです。

今でも、人々は何度も映像を見て混乱しています。「初めて見る古いキアヌは、私たち(Epic)が撮影した彼のビデオ撮影でした」とPeteは説明します。「モーフィアスを追って戻ってきた後は、すべてCGバージョンです。同じに見えるように色調補正をしたんだ。
また、鏡に映った映像が見える箇所がありますが、これはUE5でコンプした本物のフィルム映像でした。モーフィアスの最初のショットもCGではなく、その後、若き日のトーマス・アンダーソン(ネオ)が登場するとCGになる。冒頭のアンダーソンが寝ている机のシーンも、オリジナル映画のシーンをリアルタイムに再現したものです。

 

Epicのチームは、さまざまな新しい技術をたくさん使いました。3Lateralチームは、さまざまなスキャンソリューションとシナリオを使用しました。彼らは7台のステレオペアのカメラを搭載したモバイル4Dスキャナーを使用し、このデータは特に価値のあるものであることが証明されました。
また、EpicのCubic Motonチームによって作られたHMC IIリグと、よりクラシックな交差偏光スキャンアレイも使用しました。特に、IO用にキャプチャされたダイアログに対してオフラインで実行されるポーズベースのソルバーを使用したそうです。

しかし、スキャンが進歩しても、CG素材やリグ、そして背景のキャラクターはすべて、現行のMetahumanの技術です。主な違いは、特定の衣装や髪が必要なことです。
例えば、IOは標準的なメタヒューマンの編み込みではない、複雑な髪の手入れをしています。ヘアについては、グルーミングを外部で行い、インポートしています。

オリジナルのミートマイクのプロジェクトに携わっていたアダムは、UEのヘアが時代とともにどのように変化してきたかを説明します。
「Digital Mikeの時はXgenを使用し、小さなジオメトリストリップをエンジンにインポートしました。それ以来、私たちはより良いワークフローとシステムを作るために多くの努力を払ってきました。今ではジオメトリストリップを持ち込むのではなく、スプラインを持ち込んで、そのガイドスパインヘアからヘアが作成されるようになっています。インポートされるとすべてのヘア ダイナミクスが Engine でリアルタイムに生成されます」

 

体験者の台詞はすべて、セルビア滞在時に録音された本人の声です。ほとんどの場合3Lateralのチームは、俳優が言ったセリフの一つひとつを4Dキャプチャーアレイで撮影しました。
メインの台本に加えて、俳優たちはROM(レンジ・オブ・モーション)を行いました。変更されたセリフもありましたが、その場合は機械学習プロセスで顔の動きを推測し、3Lateralのリグを駆動させました。

3Lateral Studioのリードテクニカルアニメーターのマルコ・ブルコヴィッチは「しかし、新しい4Dキャプチャ技術を使ってキャプチャされリファレンスされなかった、カメラの近くで配信されたセリフはありませんでした」と説明しています。

 

主役のキャラクターはルックデヴが多く行われましたが、通常の3Lateral Metahumansがベースになっています。「彼らは他のキャラクターと同じメタヒューマンのフレームワークに基づいており、すべてのLOD(詳細レベル)とすべてのフェイシャルコントロールを担当するシステムは、すべてのキャラクターで同じです」

例えばキャラクターの目は、角膜の膨らみと強膜への移行方法をより正確にモデル化するために、ベースモデルにいくつかの調整を加えた、すべてメタヒューマンの目です。
ベーススキャンはEpic GameのChris Evansの目をベースにしています。Lana Lan 氏は「眼球のさまざまな軸をすべて把握するために、眼科の論文のウサギの穴に入り込みました。チームは目のモデルを作り、それをクリスの目のスキャン画像と比較しました。そこから、キアヌとキャリー・アンの目を正確に表現できるように調整したのです」

 

キアヌのディージングの実現は、より困難なことのひとつでした。Epic Gamesのシニアキャラクターアーティスト、アダム・スカット氏。
キアヌがスキャンを受けるために3Lateralを訪れたとき、彼はメインユニットでの撮影を終えており、髭も剃っていました。しかし、57歳の俳優の若返りは、1999年当時の完璧なリファレンスがなかったため、複雑なものとなりました。「完璧なニュートラルポーズがなく、さらに1999年のユニバーサルキャプチャーを参考にしました」とアダムはコメントします。

オリジナルのマトリックスでは、主要な俳優たちはHDカメラをサイドマウント(9:16)して撮影されました。しかし、Sony F900sのISOの関係で、マルチカメラのパフォーマンスキャプチャーは非常に強い照明を使用していました。「彼は非常に暑く、明るい照明の下にいたので、目を細めていたと思うし、屋外のリファレンスもあったが、サングラスをかけていました」

衣装は実際にトリニティスーツを作ってもらい、モデルに着せました。その後、スキャンしてリファレンスしました。デジタル衣装は、アダム・スカットが担当しました。
「また、ワーナー・ブラザーズから大量のアーカイブを入手し、オリジナル映画のキャリー・アン・モスのリファレンスも用意しました。このリファレンスを使って、Marvelous Designerで彼女の服を作りました」

 

 

メタヒューマン クリエイター

オープンワールドの都市環境には、『MetaHuman Creator』の発売当初に2人いたローンチキャラクターのうちの1人である主人公のIOが登場します。

エクスペリエンスの制作にあたっては、CPU、グラフィックス、パフォーマンスの予算がありました。例えば、CGキャラクターが白地にいるときは背景がないため「レイトレースされたエリアライトをより多く使うことができました」とピートは振り返る。

「一方、車に乗り込むときは、複雑な背景のためにバッジェットを割かなければならなかったので、ライトの数を減らさなければならなかったのです。プロジェクト開始当初は15fpsで動作していましたが、最適化されるにつれてフレームレートが急速に上がりました。4Kテクスチャを多用し、ジオメトリを多用し、Lumenを使い、それ自体にコストがかかり、太陽光のための新しいシャドウマップ技術を使い、もともとすべての限界に挑戦していたのです」

ただし、最終的なエクスペリエンスは、PS5またはXBoxシリーズX / Sで実行されているゲームで何が可能かを示しており、ゲームデザイナーがゲームの通常のメカニズムを実行できるようにするCPUヘッドルームがまだたくさんあります。チームは新しいAAAゲームで実現できることに対して非現実的なデモを作成することを望んでいませんでした。

 

 

ワールドビルディング

サンプルプロジェクトのValleyof the Ancientが、UE5で利用可能な新しいテクノロジーのいくつかを垣間見せたところ、The Matrix Awakens:Unreal Engine5 Experienceは、インタラクティブなデモゲームであり、誰でもリアルタイムで実行できるエクスペリエンスであるため、さらに一歩進んでいます。

すぐにダウンロードしてください。 体験はカットシーン、最初のシューティングゲームのデモセクションで構成され、最後にユーザーは探索できる都市があります。

デモのアクションシーンの多くは、エキサイティングなショットをキャプチャするために街中を車で運転する乗組員から始まりました。 チームはシミュレートされた宇宙を使用して、実写映画製作者が都市を偵察してストーリーを伝えるのに最適な通りを見つけるなど、映画のコンテンツを作成することができました。

テクニカルデモでは、以前に紹介されたUE5の機能であるNaniteとLumenも展示されています。 インタラクティブな追跡シーケンスの後、ユーザーはUE5の仮想化されたマイクロポリゴンジオメトリシステムを使用して、密集したオープンワールドの都市環境を歩き回ることができます。

260 kmの道路、512 kmの歩道、1,248の交差点、27,848のランプポスト、12,422のマンホールが、実際のロサンゼルスのダウンタウンよりもわずかに大きい仮想世界にあります。
さらに、街をドライブしたり歩き回ったりすると、35,000人のメタヒューマンが日常業務を行っているところを通り過ぎることができます。

「確かに、私たちに最も近いものが実際のメタヒューマンであり、遠くにあるものは、メタヒューマンから生成された頂点アニメーションの静的メッシュであるという近接性があります」とLanaLan氏は説明します。

建物は法線マップではなく、Naniteの何十億ものトライアングルでできているため、非常に精細です。 建物にはすべてのディテールが組み込まれているため、ユーザーは任意の建物まで歩いて行き、完全にディテールになっていることを確認できます。

「ジオメトリに含まれるものはすべてモデル化されており、法線マップではありません。 高解像度モデルです」とラナは言います。 平均ポリゴン数は7000kで、建物は1000のアセットで構成されており、各アセットは最大で数百万のポリゴンになる可能性があるため、都市の建物だけを構成する数十億のポリゴンがあります。

街には、ナンバープレートから主要な開発者のショップまで、イースターエッグが用意されています。ラナは宝石店、ピートは何を売っているのか忘れてしまったのです!結局、この街は幅4,138km、長さ4.968kmもあるので、迷子になるのは簡単です。

 

ライティング

Unreal Engine 5 の完全ダイナミック グローバル イルミネーション システム Lumen は、リアルタイム レイトレーシングを活用して、デモのインタラクティブな部分全体でリアルな照明と反射を実現します。
リアルタイム レイトレーシングは、シネマティックな要素にも使用され、キャラクターの美しくリアルなソフトシャドウを生成しています。

ワールド全体の照明は、メッシュ上の太陽、空、放射性マテリアルのみで行われています。数万個ある街灯やヘッドライトの光源は配置していません。夜間モードでは、ほぼすべての照明が、数百万個の発光する建物の窓から照らされています。

このプロジェクトは1年以上前に始まり、60人から100人ほどのアーティストが参加し、多くはリモートで作業していた巨大なものでした。 マトリックスの覚醒 An Unreal Engine 5 Experience はゲームではありませんし、今後ゲームとしてリリースされることもありませんが、この技術デモは、インタラクティブ コンテンツの将来像を示すものであり、最先端のコンソール向けビジュアルの水準を示すものとなっています。

「キアヌ、キャリー、そして私は、このデモの制作をとても楽しみました。Epicのサンドボックスは、実験と大きな夢が大好きな彼らにとって、かなり特別なものです。シネマティック・ストーリーテリングの未来がどうであれ、Epicはその進化に少なからず貢献してくれるでしょう」

この新しい体験の舞台となるのは、広大で探索可能なオープンワールドの都市で、豊かで複雑な世界です。16キロメートル四方のフォトリアルで素早く移動できるこの街には、リアルな住民や交通機関が存在します。

参考資料

THE EMMY-WINNING SPECIAL VISUAL EFFECTS OF THE MANDALORIAN: SEASON 2

すごい。

視覚効果スーパーバイザーのリチャード・ブラフが、エミー賞7部門(特殊視覚効果、音響効果、撮影、補綴メイク、スタントコーディネーション、スタントパフォーマンス、作曲)を受賞した「マンダロリアン:シーズン2」の効果の舞台裏を語ります。

ルーカスフィルムのDisney+の大ヒットシリーズは、シーズン2では、シーズン1で達成した画期的な技術的・芸術的成果を基に、伝統的な方法論と常に進歩する新技術を組み合わせました。
ILM StageCraft LED Volumeのサイズも大きくなり、全シーンの半分以上で使用されるようになりました。また、このシーズンでは、ILMの最先端のリアルタイム・シネマ・レンダリング・エンジンである「Helios」がデビューしました。この高解像度、高忠実度のエンジンは、LEDスクリーンに表示されるすべての最終ピクセルレンダリングに使用され、今日のエピソード映画や長編映画の制作でよく見られる複雑なシーンに対して、比類のないパフォーマンスを発揮します。

実用的なクリーチャー・エフェクトは、1977年以来、「スター・ウォーズ」の世界の美学と魅力の重要な一部となっています。シーズン2では、エフェクトチームは100体以上の人形化されたクリーチャー、ドロイド、アニマトロニクスのマスクを実現しました。

実用的なミニチュアとモーション・コントロール・フォトグラフィーは、スケールモデルの船や、ILMのStageCraft LEDボリュームで使用するために作られたミニチュア・セット・エクステンションに再び使用されました。
また、Karthon Chop FieldsのScrap Walkerにはストップモーションアニメーションが使用された。タトゥイーンに生息するグレーター・クレイト・ドラゴンは、コンピュータグラフィックスを駆使して100メートルもの高さを実現し、砂が水のようになる液状化現象を利用して、砂の中をサメのように泳ぎ回るというものでした。

ILMのチームはもちろん、Legacy Effects、Hybride、Image Engine、Important Looking Pirates、Ghost VFX、Lola、Stereo D、Tippett Studios、Base FX、Raynault、Virtuous、Yannixなどのパートナー企業とともに、このショーのために心血を注いでくれたことを感謝します。

この「The Mandalorian: Season 2」の内側を楽しんでいただければ幸いです。