The Matrix is Unreal

先日公開された映画マトリックスを題材にしたUnreal Engine 5 のデモのインタビュー記事が公開されています。

車に人が反射してるなと思ってましたが、リアルタイムレイトレースだったんですね。ネオとトリニティが掛け合うシーンと、街のワイドショットがプリレンダーで他はリアルタイムらしいですが、車内の掛け合いがリアルタイムだったなら凄い。

https://www.fxguide.com/fxfeatured/the-matrix-is-unreal/

1999年、キム・リブレリはマトリックスのオリジナル映画でバレットタイムのスーパーバイザーを務めました。現在、彼はEpic GamesのCTOを務めており、彼とチームはマトリックスに帰ってきたところです。
UE5で示された技術的な進歩と新作「The Matrix Awakens」との驚くべき結びつきで、新しい技術デモAn Unreal Engine 5 Experienceが開始されました。この最先端のショーケースは、PlayStation5とXbox Series X/Sで無料でダウンロードできます。

この境界を越える技術デモは、WarnerBrosのThe Matrix Awakensの世界におけるオリジナルコンセプトピースです。ラナ・ウォシャウスキーが監督・脚本を手がけた、ウィットに富んだ巧妙なシネマティックです。キアヌ・リーブスとキャリー・アン・モスのデジタルバージョンが登場し、二人の俳優がスキャンされて複製され、1999年のネオとトリニティの役をそのまま再現しています。

編注：この体験は映画の一部ではなく、UE5 でできることを紹介するための技術デモです。

今週初め、チームにインタビューした際、シニアキャラクターアーティストのLana Lanは、「このプロジェクトは、UE5の進化、優れた芸術性と技術、そしてキャラクターに関する新しいスキャン技術の多くを表しています」とコメントしました。
Epicチームの目標は、新しく進化した技術をすべてテストして押し進め、UE5がクリエイターのために準備万端であることを本当に確認することでした。「学んだことの多くはツールに折り返されると思いますし、また来年にはこの多くをコンテンツサンプルとしてリリースする予定です」と付け加えています。

ゲーム機のダウンロードパッケージは約28ギガで、当初は国内のゲーム機で何ができるかをリアルタイムに見せるためのものです。その後、都市などのアセットパーツは、Epicのメインサイトからダウンロードできるようになり、デスクトップパソコンで探索できるようになる予定です。

このプロジェクトには、James McTeigue、Kym Barrett、John Gaeta、Jerome Platteaux、George Borshukov、Michael F Gayが参加し、SideFX、Evil Eye Pictures、The Coalition、WetaFX（旧称Weta Digital）などのパートナーやEpic Games全体のチームと共同しています。

ワコウスキー、リブレリ、ゲータの3人は、3部作の時代からの友人です。「私が Matrix の新作を作ることを彼らに告げると、Epic のサンドボックスで遊ぼうと提案されました」と Wachowski 氏は語ります。「そして、なんということでしょう、このサンドボックスは！」とWachowski氏は言います。

映像はプリレンダリングされた2つのショットを除き、すべてリアルタイムでレンダリングされています。ネオとトリニティが掛け合うシーンと、街のワイドショットの2つです。
これはデータが膨大なため、アセットの読み込みに時間がかかり、体験のテンポが崩れてしまうからです。これらのショット以外は、標準的なゲーム機でリアルタイムにレンダリングされます。

デジタルアクター

デモではキアヌ・リーブスとキャリー・アン・モスが、驚くほどリアルなデジタルヒューマンとして演技と肖像画を披露しています。これを実現するためにEpicの3Lateralチームは、Novi Sadのスタジオで俳優の顔の高忠実度3Dスキャンとパフォーマンスの4Dキャプチャを行いました。リーブズとモスはドイツにいたため、セルビアに飛び1日かけて顔と4Dスキャンを行いました。

「EpicのシニアテクニカルアーティストであるPete Sumanaseniは「このプロジェクトは本当にタフでした」CG のキアヌ・リーブスを、本物のキアヌと同じショットに登場させたのです。
ティーザー予告編が公開された直前の1週間、人々はデジタルキアヌを見ているのか、それとも実際の俳優を見ているのか混乱していましたが、ツイッターの驚くべき反応から判断すると、Epicチームは成功したのです。

今でも、人々は何度も映像を見て混乱しています。「初めて見る古いキアヌは、私たち（Epic）が撮影した彼のビデオ撮影でした」とPeteは説明します。「モーフィアスを追って戻ってきた後は、すべてCGバージョンです。同じに見えるように色調補正をしたんだ。
また、鏡に映った映像が見える箇所がありますが、これはUE5でコンプした本物のフィルム映像でした。モーフィアスの最初のショットもCGではなく、その後、若き日のトーマス・アンダーソン（ネオ）が登場するとCGになる。冒頭のアンダーソンが寝ている机のシーンも、オリジナル映画のシーンをリアルタイムに再現したものです。

Epicのチームは、さまざまな新しい技術をたくさん使いました。3Lateralチームは、さまざまなスキャンソリューションとシナリオを使用しました。彼らは7台のステレオペアのカメラを搭載したモバイル4Dスキャナーを使用し、このデータは特に価値のあるものであることが証明されました。
また、EpicのCubic Motonチームによって作られたHMC IIリグと、よりクラシックな交差偏光スキャンアレイも使用しました。特に、IO用にキャプチャされたダイアログに対してオフラインで実行されるポーズベースのソルバーを使用したそうです。

しかし、スキャンが進歩しても、CG素材やリグ、そして背景のキャラクターはすべて、現行のMetahumanの技術です。主な違いは、特定の衣装や髪が必要なことです。
例えば、IOは標準的なメタヒューマンの編み込みではない、複雑な髪の手入れをしています。ヘアについては、グルーミングを外部で行い、インポートしています。

オリジナルのミートマイクのプロジェクトに携わっていたアダムは、UEのヘアが時代とともにどのように変化してきたかを説明します。
「Digital Mikeの時はXgenを使用し、小さなジオメトリストリップをエンジンにインポートしました。それ以来、私たちはより良いワークフローとシステムを作るために多くの努力を払ってきました。今ではジオメトリストリップを持ち込むのではなく、スプラインを持ち込んで、そのガイドスパインヘアからヘアが作成されるようになっています。インポートされるとすべてのヘアダイナミクスが Engine でリアルタイムに生成されます」

体験者の台詞はすべて、セルビア滞在時に録音された本人の声です。ほとんどの場合3Lateralのチームは、俳優が言ったセリフの一つひとつを4Dキャプチャーアレイで撮影しました。
メインの台本に加えて、俳優たちはROM（レンジ・オブ・モーション）を行いました。変更されたセリフもありましたが、その場合は機械学習プロセスで顔の動きを推測し、3Lateralのリグを駆動させました。

3Lateral Studioのリードテクニカルアニメーターのマルコ・ブルコヴィッチは「しかし、新しい4Dキャプチャ技術を使ってキャプチャされリファレンスされなかった、カメラの近くで配信されたセリフはありませんでした」と説明しています。

主役のキャラクターはルックデヴが多く行われましたが、通常の3Lateral Metahumansがベースになっています。「彼らは他のキャラクターと同じメタヒューマンのフレームワークに基づいており、すべてのLOD（詳細レベル）とすべてのフェイシャルコントロールを担当するシステムは、すべてのキャラクターで同じです」

例えばキャラクターの目は、角膜の膨らみと強膜への移行方法をより正確にモデル化するために、ベースモデルにいくつかの調整を加えた、すべてメタヒューマンの目です。
ベーススキャンはEpic GameのChris Evansの目をベースにしています。Lana Lan 氏は「眼球のさまざまな軸をすべて把握するために、眼科の論文のウサギの穴に入り込みました。チームは目のモデルを作り、それをクリスの目のスキャン画像と比較しました。そこから、キアヌとキャリー・アンの目を正確に表現できるように調整したのです」

キアヌのディージングの実現は、より困難なことのひとつでした。Epic Gamesのシニアキャラクターアーティスト、アダム・スカット氏。
キアヌがスキャンを受けるために3Lateralを訪れたとき、彼はメインユニットでの撮影を終えており、髭も剃っていました。しかし、57歳の俳優の若返りは、1999年当時の完璧なリファレンスがなかったため、複雑なものとなりました。「完璧なニュートラルポーズがなく、さらに1999年のユニバーサルキャプチャーを参考にしました」とアダムはコメントします。

オリジナルのマトリックスでは、主要な俳優たちはHDカメラをサイドマウント（9：16）して撮影されました。しかし、Sony F900sのISOの関係で、マルチカメラのパフォーマンスキャプチャーは非常に強い照明を使用していました。「彼は非常に暑く、明るい照明の下にいたので、目を細めていたと思うし、屋外のリファレンスもあったが、サングラスをかけていました」

衣装は実際にトリニティスーツを作ってもらい、モデルに着せました。その後、スキャンしてリファレンスしました。デジタル衣装は、アダム・スカットが担当しました。
「また、ワーナー・ブラザーズから大量のアーカイブを入手し、オリジナル映画のキャリー・アン・モスのリファレンスも用意しました。このリファレンスを使って、Marvelous Designerで彼女の服を作りました」

メタヒューマンクリエイター

オープンワールドの都市環境には、『MetaHuman Creator』の発売当初に2人いたローンチキャラクターのうちの1人である主人公のIOが登場します。

エクスペリエンスの制作にあたっては、CPU、グラフィックス、パフォーマンスの予算がありました。例えば、CGキャラクターが白地にいるときは背景がないため「レイトレースされたエリアライトをより多く使うことができました」とピートは振り返る。

「一方、車に乗り込むときは、複雑な背景のためにバッジェットを割かなければならなかったので、ライトの数を減らさなければならなかったのです。プロジェクト開始当初は15fpsで動作していましたが、最適化されるにつれてフレームレートが急速に上がりました。4Kテクスチャを多用し、ジオメトリを多用し、Lumenを使い、それ自体にコストがかかり、太陽光のための新しいシャドウマップ技術を使い、もともとすべての限界に挑戦していたのです」

ただし、最終的なエクスペリエンスは、PS5またはXBoxシリーズX / Sで実行されているゲームで何が可能かを示しており、ゲームデザイナーがゲームの通常のメカニズムを実行できるようにするCPUヘッドルームがまだたくさんあります。チームは新しいAAAゲームで実現できることに対して非現実的なデモを作成することを望んでいませんでした。

ワールドビルディング

サンプルプロジェクトのValleyof the Ancientが、UE5で利用可能な新しいテクノロジーのいくつかを垣間見せたところ、The Matrix Awakens：Unreal Engine5 Experienceは、インタラクティブなデモゲームであり、誰でもリアルタイムで実行できるエクスペリエンスであるため、さらに一歩進んでいます。

すぐにダウンロードしてください。体験はカットシーン、最初のシューティングゲームのデモセクションで構成され、最後にユーザーは探索できる都市があります。

デモのアクションシーンの多くは、エキサイティングなショットをキャプチャするために街中を車で運転する乗組員から始まりました。チームはシミュレートされた宇宙を使用して、実写映画製作者が都市を偵察してストーリーを伝えるのに最適な通りを見つけるなど、映画のコンテンツを作成することができました。

テクニカルデモでは、以前に紹介されたUE5の機能であるNaniteとLumenも展示されています。インタラクティブな追跡シーケンスの後、ユーザーはUE5の仮想化されたマイクロポリゴンジオメトリシステムを使用して、密集したオープンワールドの都市環境を歩き回ることができます。

260 kmの道路、512 kmの歩道、1,248の交差点、27,848のランプポスト、12,422のマンホールが、実際のロサンゼルスのダウンタウンよりもわずかに大きい仮想世界にあります。
さらに、街をドライブしたり歩き回ったりすると、35,000人のメタヒューマンが日常業務を行っているところを通り過ぎることができます。

「確かに、私たちに最も近いものが実際のメタヒューマンであり、遠くにあるものは、メタヒューマンから生成された頂点アニメーションの静的メッシュであるという近接性があります」とLanaLan氏は説明します。

建物は法線マップではなく、Naniteの何十億ものトライアングルでできているため、非常に精細です。建物にはすべてのディテールが組み込まれているため、ユーザーは任意の建物まで歩いて行き、完全にディテールになっていることを確認できます。

「ジオメトリに含まれるものはすべてモデル化されており、法線マップではありません。高解像度モデルです」とラナは言います。平均ポリゴン数は7000kで、建物は1000のアセットで構成されており、各アセットは最大で数百万のポリゴンになる可能性があるため、都市の建物だけを構成する数十億のポリゴンがあります。

街には、ナンバープレートから主要な開発者のショップまで、イースターエッグが用意されています。ラナは宝石店、ピートは何を売っているのか忘れてしまったのです！結局、この街は幅4,138km、長さ4.968kmもあるので、迷子になるのは簡単です。

ライティング

Unreal Engine 5 の完全ダイナミックグローバルイルミネーションシステム Lumen は、リアルタイムレイトレーシングを活用して、デモのインタラクティブな部分全体でリアルな照明と反射を実現します。
リアルタイムレイトレーシングは、シネマティックな要素にも使用され、キャラクターの美しくリアルなソフトシャドウを生成しています。

ワールド全体の照明は、メッシュ上の太陽、空、放射性マテリアルのみで行われています。数万個ある街灯やヘッドライトの光源は配置していません。夜間モードでは、ほぼすべての照明が、数百万個の発光する建物の窓から照らされています。

このプロジェクトは1年以上前に始まり、60人から100人ほどのアーティストが参加し、多くはリモートで作業していた巨大なものでした。マトリックスの覚醒 An Unreal Engine 5 Experience はゲームではありませんし、今後ゲームとしてリリースされることもありませんが、この技術デモは、インタラクティブコンテンツの将来像を示すものであり、最先端のコンソール向けビジュアルの水準を示すものとなっています。

「キアヌ、キャリー、そして私は、このデモの制作をとても楽しみました。Epicのサンドボックスは、実験と大きな夢が大好きな彼らにとって、かなり特別なものです。シネマティック・ストーリーテリングの未来がどうであれ、Epicはその進化に少なからず貢献してくれるでしょう」