映画アリータのフェイシャルに関する記事が公開されています。一般向けなメイキング動画が公開されていましたが、より詳細な内容の記事です。
アリータは予告見たとき、実写を加工してるのかと思いましたがフルCGなんですね。国内の映像用途のディープラーニングは実験中な感じしますが、海外では普通にワークフローに組み込まれてるのが興味深いです。
https://www.fxguide.com/featured/weta-digitals-remarkable-face-pipeline-alita-battle-angel/
アリータがWeta Digital人間のようなCGキャラクターをやったのは初めてです。WetaはApesやGollumなどのデジタルキャラクターに関する豊富な経験を持っていますが、Furious 7での顔の置き換え作業を除くと作品のほとんどは人だった。
Weta Digitalのフェイスパイプライン
パフォーマンスキャプチャーのための新しいアプローチのうちの1つは、フルボディとハンドキャプチャースーツに加えて、女優Rosa Salazarのヘルメットカムユニット（HMC）で2台のカメラを使用することでした。カメラは標準のHDカメラでしたが、2カメラソリューションは深度情報を提供しました。チームはまた女優の顔にドットを使用することにしました。ディープラーニングツールでドットを使う。
HDカメラの赤外線ビューを表示するモニターフィード。
フォトグラメトリの再構成のため、独特の質感を得るために特別な化粧が適用される。
Weta Digitalは、アリータにLight StageやMedusaのリグを使用しませんでした。代わりにチームは独自のカメラキャプチャシステムを使用していました。Wetaは、極座標に基づく個別のSpecularとDiffuseのキャプチャアプローチを行いません。
Weta リグは、俳優や女優の周りを180度カバーする堅牢な自社製 60 カメラシステムです。システムは4Dデータをキャプチャするので、キーラインとシーケンスのためにチームはローズにWetaキャプチャリグに座っている彼女のラインを再配信させるでしょう、重要なことに、これはディープラーニング の参照と追加データの両方として使われるように設計されます。
HMCのヘッドカムのキャプチャデータが理想的ではない2つの理由があります。1つはHMC自体がアクションシーケンスで問題を引き起こしている場合、もう1つはアクションがRosaが実行できるものをはるかに超えている場合です。
モーターボールのローラースケートで建物から建物へジャンプしとき、正しい顔のダイナミクスを得るためにパフォーマンスの上にそのシミュレーションを加えることができます。 Wetaはマッスルシステムでフェイシャルを解決している。
目はそれを持っている
おそらく顔の最も重要な部分は目です。特にアリータの場合。興味深いことに、アリタの目は予告編と最終的な映画で変わりました。
予告編が発表されインターネットがアリータの目の議論で爆発した後、目自体を大きくするのではなく、瞳と虹彩の両方を拡大しました。とても微妙な調整です。トレーラーからのものよりもおそらくさらに10％。
静止フレームを見たとき大きな目は違いが無いように見えたが、動画で見たとき目の周りの白が見えなくなったら、それは大きな違いを生み出した。
アリータのアイモデルはWetaがこれまでに行ったことよりもはるかに細かなものでした。通常キャラクターは角膜と水晶体の下に、変位を伴う虹彩のための単一の平面を持ちます。しかしアリータの目は繊維状の虹彩でモデル化されました。ゴラムは目のために5万ポリゴンでしたが、アリータは1つの虹彩に850万ポリゴンあります。
虹彩の中の繊維状の下に丸みが見えるようにししたいので、チームは虹彩の中の繊維状血管性瞳孔（または瞳孔の外側と外側をつなぐ）をHoudiniでシミュレーションしました。
新しいディープラーニングツール
ディープラーニングは話題の言葉のように思えるかもしれません。 新しい「VR」または「ステレオTVセット」複数の展開は重要です。
ディープラーニングはWetaの複数のツールで行われており、1つの解決策や弾丸としては歓迎されていません。例えば上記はフェイストラッカーはディープラーニングを使用していると述べた。 「私たちは彼女の顔の動きのための情報（トレーニングデータとして）を差し込むことができます。
ドットは、異なるドットが異なる場所を動くときにコンピュータがどの筋肉が生存しているかを学ぶためのディープラーニングを使用している。ここではディープラーニングはトラッキングツールとして使用されているのではなく、もっともらしい表現空間に到達するために使用されています。
システムは顔の一部が隠れている場合や、別の俳優が彼女の顔に触れている場合、HMCから取り外す必要がある場合でも、実行可能なマーカーのセットを推定させることができます。
Rosaがベッドの上に横たわっていて、顔の一部が枕の中に入っていたとき、ディープラーニングはもっともらしい解決策で表示空間を推定します。
肌へのディープラーニングの実世界応用
Wetaはアリータの肌生成のために新しいスキンツールを使いました。Wetaは正しいサイズと向きの毛穴を作り出すために、肌の領域をペイントして幻覚を起こさせるための新しいディープラーニング方法論を開発してきました。
あるエリアから別のエリアにディテールを複製するのではなく、新しいディープラーニング手法を使用して、顔に適切に肌の毛穴が流れるように詳細にペイントしています。
サーフェース法線に基づいた手続き型モデルで毛穴をアルゴリズム的に描くことは可能ですが、ディープラーニングはそれが訓練データから学んだことに基づいて正確であると信じる毛穴を作り出します。
