Epic が Metahuman Animator 発表しました。 iPhone やヘルメットに取り付けられたカメラを使用して、MetaHuman キャラクターのフェイシャルパフォーマンスを再現できる機能のようです。
新しい MetaHuman 機能セットが間もなく登場することをお知らせできることを大変嬉しく思います。
MetaHuman Animator を使用すると、iPhone またはステレオ ヘルメット搭載カメラ (HMC) を使用して、顔のパフォーマンスを MetaHuman キャラクターの忠実度の高いアニメーションとして再現できます。これにより、アクタのパフォーマンスの個性、リアリズム、忠実度をキャプチャし、あらゆるディテールとニュアンスを MetaHuman に転送して、Unreal Engine で生き生きとさせることができます。
フォトリアルなデジタルヒューマンは、真に信頼できるパフォーマンスを提供するために高品質のアニメーションを必要としますが、これを作成するための専門知識と時間は、最も熟練したクリエイターにとってさえ困難です。
既存のパフォーマンスキャプチャソリューションでは、キャラクターに対する俳優のパフォーマンスのあらゆるニュアンスを忠実に再現することは非常に困難です。真にリアルなアニメーションを実現するには、熟練したアニメーターが、通常は骨の折れる時間のかかるプロセスで結果を丹念に微調整する必要があることがよくあります。
しかし、それは変わろうとしています!
今後数か月以内にリリースされる予定の MetaHuman Animator は、AAA ゲーム開発者やハリウッド映画製作者が必要とする高品質のフェイシャルアニメーションを制作すると同時に、インディーズスタジオや愛好家にもアクセスできるようにします。すでにポケットに入れている iPhone と標準の三脚を使用すると、MetaHuman 用に信頼できるアニメーションを作成して、自分がアニメーターではなくても、視聴者との感情的なつながりを構築できます。
また、MetaHuman Animator は、Technoprops 社製品など、より高品質の結果を実現できるプロフェッショナル レベルの垂直型ステレオ HMC キャプチャ ソリューションとも連動します。
さらに、ボディ キャプチャにモーキャップ システムをお使いの場合は、MetaHuman Animator のタイムコード サポートにより、フェイシャル パフォーマンス アニメーションとボディ モーション キャプチャおよびオーディオとを容易に揃えることが可能になり、フル キャラクター パフォーマンスを実現できます。このオーディオを使ってリアルな舌のアニメーションを作成することもできます。
では、この機能はどのような仕組みなのでしょうか？
重要なのは、システムがアクターの顔独特の生体構造を解析し、それをターゲット キャラクターにどのように関連付けるかを理解できるようにすることです。MetaHuman Animator では、最初にパフォーマーの MetaHuman Identity、つまり同様のトポロジを持ち、すべての MetaHuman と同じ標準リグを共有するメッシュを作成します。
Mesh to MetaHuman を使ったことのある方なら、そのプロセス中に 3D スキャンまたはスカルプトから MetaHuman Identity が作成されることをご存じでしょう。そのテクノロジーを基盤とする MetaHuman Animator では、キャプチャした少量のフッテージから MetaHuman Identity を構築します。このプロセスはほんの数分で完了し、それぞれのアクタに対して一度実行するだけで済みます。
このステップが完了すると、次は MetaHuman Identity を使って MetaHuman フェイシャル リグの各位置をトラックして解決することで、そのパフォーマンスが解析されます。
結果として、アクタと MetaHuman の特徴の違いにかかわらず、あらゆる細かな表現がターゲット MetaHuman キャラクター上で正確に再現されます。Unreal Engine ではこのパフォーマンス処理が可視化されて、フレームごとに、アニメート化された MetaHuman Identity をアクタのフッテージと比較することができます。
もう一つのメリットとして、クリーンなアニメーション データを得られることがあります。人間のアニメーターが行うのと同じように、コントロール カーブがフェイシャル リグ コントロール上の所定の位置に確実に配置されて、意味論的に正確になり、アート面のニーズに応じて調整することが容易になります。
MetaHuman Identity を最初から使用することで、将来的に MetaHuman に変更を加える場合や、他の MetaHuman で使用する場合も、今作成しているアニメーションが引き続き機能することが保証されます。
MetaHuman Animator の処理機能は、エンジンと同様に無料でダウンロード可能な Unreal Engine 向け MetaHuman プラグイン の一部となります。iPhone をお使いになる場合、MetaHuman Animator は iPhone 11 以降に対応しており、加えて無料の iOS 向けの Live Link Faceアプリ が必要になります。このアプリは、このワークフローをサポートするための追加のキャプチャ モードで更新されます。