参考資料

参考資料

AI生成したフリーフォント「異形明朝」

AI生成したフリーフォント「異形明朝」が公開されています。SIL Open Font License 1.1ライセンスで商用利用可能とのことです。

https://github.com/Mikanixonable/IgyouMincho

異形明朝は、源ノ明朝Boldをもとに、Diffusion画像生成モデルACertainThingに明朝体の漢字と平仮名、片仮名をファインチューニングして生成したフォントです。ノイズから生成したIgyouMinchoとimg2imgで元の字形を留めたIgyouMincho2があります。
ライセンスはSIL Open Font License 1.1であり、商用に使用できるほか、SIL Open Font License 1.1ライセンスを維持すれば改変、再配布も自由です。

デモページ:https://mikanixonable.github.io/57

 

参考資料

Coca-Cola Lunar New Year - Rabbit

コカコーラの旧正月用CMのようです。タオルのようなウサギの毛が面白い、レンダリングも綺麗。

参考資料

Hi-Fi RUSH | Official Launch Trailer

アメコミ風のシェーディング、アニメーションがいい感じです。イベントシーンだけコマ数少なめな感じですね。

参考資料

aBiogenesis

細胞をイメージしたような形状と質感が綺麗です。

参考資料

NEOWIZ Oh my Anne

キャラクターデザインがカワイイですね。背景の色使いも好き。

参考資料

Auto-Photoshop-StableDiffusion-Plugin

Photoshop で Automatic1111 Stable Diffusion の機能を直接使用できるプラグインが公開されています。

https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin

 

Auto-Photoshop-StableDiffusion-Plugin

Auto-Photoshop-StableDiffusion-Plugin を使用すると、プログラムを切り替えることなく、Automatic1111 Stable Diffusion の機能を Photoshop で直接使用することができます。これにより、使い慣れた環境でStable Diffusion AIを簡単に使用することができます。お気に入りのツールでStable Diffusion画像を編集し、Photoshopでそのまま保存することができます。

 

インストール方法

  1. 初めてプラグインを実行する場合
    プラグインをダウンロード。
    git clone https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin.git
  2. Auto-Photoshop-StableDiffusion-Plugin" ディレクトリ内の "start_server.bat" を実行します。
  3. automatic1111 がインストールされている場所に移動してください。automatic1111 の "webui-user.bat" を編集し以下の行を変更します。
    set COMMANDLINE_ARGS= set COMMANDLINE_ARGS= --api に変更します。これにより、プラグインが automatic1111 プロジェクトと通信できるようになります。保存後、「webui-user.bat」ファイルを閉じて、普通に実行します。
  4. フォトショップを起動し、編集→プリファレンス→プラグインを選択します。
    Enable Developer Mode "チェックボックスをチェックしてください。
  5. Adobe UXP Developer Tool "をここからインストールします 。このツールはプラグインをフォトショップに追加します。
  6. Adobe UXP Developer Toolを起動し、右上の「プラグインを追加する」ボタンをクリックします。Auto-Photoshop-StableDiffusion-Plugin" フォルダに移動し、"manifest.json" を開きます。
  7. プラグインを選択しActions -> Load Selected をクリックすれば完了です。

 

2回目以降のプラグインを実行する手順

  1. start "webui-user.bat" を実行します。
  2. start_server.bat "を起動します。
  3. Photoshop "を起動する。
  4. Adobe UXP Developer Tool "を起動し、プラグインをロードします。

 

プラグインの使用方法

クイックテスト

  1. フォトショップで、新しいプロジェクトを開始します。
  2. プラグインをロードした後、何も選択したり変更したりしないでください。ちょうど "生成 "ボタンをクリックしてください。
  3. 猫の画像がキャンバスに読み込まれるのを確認したら、すべてが正しく設定されています。
  4. 以下のセクションを読んでも問題がある場合。新しい問題を作成するか、私たちのディスコードに参加してリアルタイムのフィードバックを得てください。

txt2Img

  1. 矩形マーキーツールを使用して、正方形 (1x1 比) を選択します
    1. 選択ツールで比率を 512x512 または 512x768 のように設定できます。
    2. 選択範囲の比率が、生成する画像のサイズと同じであることを確認してください。
  2. プロンプトを書き込んで、「生成」をクリックします。
  3. 結果は、選択した領域に合わせてリサイズされます。しかし、心配しないでください、画像はスマートオブジェクトとしてフォトショップに読み込まれます。そのため、品質を落とすことなくサイズを変更することができます。

img2img

  1. 独自のレイヤーにある画像を選択します。
  2. オプション:レイヤーのサムネイルを「Ctrl + クリック」してください。
    生成された画像を初期画像にぴったりと配置したい場合。
  3. プラグインUIで、モードを "img2img "に変更する。
    Set Init Image "ボタンをクリックする。選択したレイヤーに画像が切り替わらない場合。複数回クリックする。(この問題は修正中です)
  4. generateをクリックする。

inpaint

  1. プラグインモードをインペイントに変更する
  2. インペイントしたい画像の上に正方形の選択範囲を作成します
    1. 長方形のマーキーツール
    2. または、レイヤーのサムネイルを "ctrl+click" する。
  3. 新規レイヤーを作成し、選択範囲内を白色で塗ります。白色はすべて安定した拡散によって再生されることに注意してください。
  4. Init Inpaint Mask" ボタンをクリックします。
    1. クリックする前に、まだ白いレイヤーであることを確認します。
    2. クリックすると、プラグインは適切な白黒マスクを生成し、それをStable Diffusionで使用するマスクとして設定します。
    3. また、選択領域の下にキャンバスのスナップショットを作成し、このスナップショットを開始画像として使用します。
  5. Generate "ボタンをクリックします。

アウトペイント

  1. プラグインモードをインペイントに変更します。アウトペインティングはインペインティングの特殊なケースに過ぎないことを覚えておいてください。
  2. 拡張したい画像と交差する "矩形領域 "を作成します。
  3. Init Outpaint Mask" をクリックすると
    1. 選択範囲の下にキャンバスのスナップショットを作成し、Stable Diffusion の「初期画像」として使用します。
    2. 白黒のマスクを作成し、それを "init mask "として使用します。
    3. プラグインUIで、"init image" と "init mask" の両方が更新されます。

ルールオブサムズ

  • インペインティングとアウトペインティングで最良の結果を得るには、"安定拡散インペインティングモデル "を選択する必要があります。
  • img2imgの "init image "には透明度を持たせてはいけません。
  • プラグインUIで "init image "と "init mask "を確認し、キャンバス上のレイヤーと一致することを常に確認する。不一致を修正するには、次のようにします。
  • レイヤーパネルで "group_mask "を選択し、"set init mask "ボタンをクリックします。
  • レイヤーパネルで "group_init_image "を選択し、"set init image "ボタンをクリックします。
  • モデルを選択後、Stable Diffusionに読み込まれるのを待ってから、Generateを押す必要があるかもしれません。
  • プログレスバーが0%や1%で止まっている場合は、プログレスバーを確認してください。時間がかかりすぎていると思われる場合は、いつでもキャンセル/中断して、もう一度再生成することができます。
  • 複数のフォトショップ・ドキュメントを開かないでください。今のところ、これはプラグインを壊してしまいます。一度に1つのプロジェクトにのみ取り組んでください。
参考資料

Rigging help me ! セミナームービー

2018年2月24日(土曜)に開催された「Rigging help me !」セミナームービーが誰でも視聴可能になったそうです。Maya界隈でよく使われるローカルセットアップについての映像です。

https://support.borndigital.co.jp/hc/ja/articles/360002870994

 

BACKBONE福本氏セッション

 

カナバングラフィックス宮田氏セッション

 

ダンデライオンアニメーションスタジオLLC西谷氏セッション

 

参考資料

アバター 2 の新しいフェイシャル パイプライン

アバター 2 で使用された新しいフェイシャル パイプラインの記事が公開されています。

https://www.fxguide.com/fxfeatured/exclusive-joe-letteri-discusses-weta-fxs-new-facial-pipeline-on-avatar-2/

 

Wētā FXは、まったく新しいフェイス・パイプラインを開発しました。この画期的な新アプローチを最初に開発したのは2019年だが、同社は『Avatar: The Way of Water』の公開に合わせて、韓国で開催されたSIGGRAPH ASIAで新しいアプローチを公開したばかりです。この徹底討論ではWētā FX Snr.に直接話を聞いている。VFXスーパーバイザーのJoe Letteri氏と、テクニカルペーパーの他の著者の一人であるKaran Singh氏に、新しいアプローチを開発する決断をした理由について、直接話を聞きました。

 

背景

フェイシャルアニメーションの新しいシステムは、FACSパペットから解剖学的ベースとしての筋繊維曲線に移行することに基づいています。この新しいアプローチは、Anatomically Plausible Facial SystemまたはAPFSと呼ばれ、アニメーター中心で、解剖学的な発想から生まれた、顔のモデリング、アニメーション、再ターゲッティング転送のためのシステムです。

 

新システムは、Wētā FXが『ゴラム』以来一貫して使用してきた、受賞歴のあるFACSパイプラインに代わるものです。映画『アリータ:バトル・エンジェル』(2019年)のためにR&D FACSアプローチを極めて強く押し出したLetteri氏は、FACSベースのパペットシステムには、顔の筋肉の分離、カバー、線形組み合わせ使用、広域冗長性などの大きな問題が多すぎるだけだと判断しました。

例えばFACSは筋肉主導の表情を表す顔のポーズのセットをマッピングしますが、適切なフェイシャルアニメーションを得るために、FACSパペットリグは、アニメーターが信じられるパフォーマンスを達成できるように、900ものFACS形状をリグに追加することになってしまうかもしれません。FACSが「間違っている」のではなく、タイムベースのフェイシャルアニメーションのために設計されたシステムではないのです。FACSは音声を中心に構築されたものではなく、むしろ孤立した感情表現を中心に構築されたものです。

「私たちは、アーティストが顔の動きを直接コントロールできるシステムが必要だったのです」とLetteri氏は語る。「FACSはあくまで感情ベースのシステムであり、表情をコード化するものです。FACSには対話はありませんし、私たちがやっていることはほとんど対話です。FACSは正確な孤立した表情を表すかもしれませんが、ポーズ間の移行方法に関する情報はありません。結局、一種の推測をしなければなりません。移行を直感するようなもので、それは素晴らしいことですが、維持するのは困難です」とLetteri氏は説明しています。FACSシステムは、状態から状態へ移行するときに、基本的に顔全体に直線的に状態変化が起こるので、非常に "rubbery "なのです。

 

 

Letteri氏と彼のチームは、フェイスパイプライン全体をゼロからやり直すことにしました。「私はこの問題を見て、こう思いました。これはもうやりたくない。これは難しすぎる。もっといい方法があるはずだと。顔の筋肉がどのように配置され、どのようにつながっているのか、もう一度見直してみました。そして、その結合をマップ化すれば、顔を表現する高次元空間の基礎ができることに気づいたのです」。

チームは、表情が作られ、筋肉が活性化すると、他の筋肉が連動して活性化したり、筋肉が受動的に引っ張られたりすることに着目しました。"筋肉が神経ネットワークによく似た一種のネットワークで相互接続しているため "と、Letteri氏は推論しています。
「そこで私は、筋肉を直接ベースとする神経回路網を作ればいいのではないかと考えたのです。つまり、多くのディープラーニングは、問題に数字を投げかけて、たくさんのデータを与えれば、相関関係を割り出してくれようとするものなのです。でも、私たちはすでに相関関係を知っているのだから、それを基礎としてコード化すればいいのでは?数学の世界に入り込めば、それは大きな微分積分の連鎖になります。基本的な微積分です」。

そしてチームは、アニメーターが顎、目、筋肉のどのような組み合わせでも表現できるようなシステムを構築することを目指しました。「ベースとして、例えばシガニー・ウィーバーの顔を見て、"筋肉 "が何をしているかを解くようにシステムを訓練し、それを別のネットワークでキャラクターに転送できるのは素晴らしいことです」。
さらに、筋肉カーブにより、アニメーターは顔の筋肉ごとに直接コントロールできるようになりました。ただし、筋肉曲線は、皮膚の下にある実際の筋肉と1対1で一致するように設計されているわけではないことを指摘する必要があります。筋肉曲線は、アニメーターがコントロールできる方法で、かつ、非常に高い忠実度でキャプチャされたパフォーマンスである顔の動きと一致するように、顔を解決するように設計されています。

 

APFS

新しいAPFSは、178本の筋繊維の曲線、つまり「歪み」の曲線に基づいています。これらの筋繊維曲線が収縮・弛緩することで、きめ細かく忠実な人間の顔の表情が得られます。エンドツーエンドのシステムは、インワードアウト(顔が筋繊維曲線によって駆動される)とアウトサイドイン(アニメーターが顔の表面から顔を「正しく」ドラッグして動かすことができる)の両方が可能です。

このシステムは、人間の筋肉を1対1でマッピングしているわけではありません。上唇の湾曲など、顔のいくつかの側面は、実際には顎や下顔面の筋肉によって駆動されている結果だからです。むしろ、このシステムは178の曲線からなる配列であり、解剖学的なインスピレーションに基づく一連の制御を可能にしますが、肉/筋肉の直接的なエミュレーションやシミュレーションではありません。

さらに、FACSの人形はFACSの表情の直線的な組み合わせで作られており、回転は含まれていません。眼球を中心とした回転成分を自然に含む正しいまぶたのアニメーションを得るには、一連の中間的なFACS形状を追加する必要があります。

 

まぶたの例

各筋肉または歪み曲線には、関連する歪み値があります。筋肉のカーブは実際にはねじれませんが、ひずみ値はカーブに沿って、その局所空間における収縮または拡張を提供します。ある意味これは長さの変化率です。実際の曲線のひずみ数値は単位がなく、これは異なる文字に転送する際に役立ちます。ひずみ値は単独で機能するというより、セットの一部として機能します。

例えば、まぶたの瞬きには、まつ毛のラインに沿った筋カーブ(水平方向)と、直交方向(目の周りの上下方向)の両方が存在する。この場合、水平方向の曲線は眼球の上を回転しているため、実際のひずみ値はあまり変化しませんが、垂直方向の曲線はひずみ値が劇的に変化しています。
しかし、最も重要なのは、垂直カーブが筋肉のカーブ形状に沿ってスケールすることで、これは眼球のカーブと一致します。開いているブレンドシェイプと閉じているブレンドシェイプの間の同様の遷移は、(眼球の周りで曲がることなく)閉じてから開くまで直線的に移動するだけです。
Mayaでは、ブレンドシェイプをチェーンして、眼球の周りでカーブするまぶたをシミュレートすることができますが、これもブレンドシェイプの数を増やしてしまうことになります。

FACSソリューションは、フェイシャルリグの標準化を可能にしましたが、FACSは顔の表情の自発的で区別できるスナップショットをキャプチャするために心理学の観点から設計されており、コンピュータアニメーションに適用すると明らかに限界があります。
FACSのアクションユニット(AU)は、複数の表情筋の動作を組み合わせるAUや表情筋が全く関与しないAUのように、望ましい表情を得るために引き算で組み合わせる必要がある)、定位とアニメーション制御(冗長、動作が反対、強く関連、または相互に排他的なAUがあり得る)、AUはヒンジでつながれた顎と人間の唇の複雑な形状変形にしか近似しないなどです。

新システムの構築には、機械学習が用いられました。80の動的モーションクリップから6000〜8000のスキャン(フレーム)を使用しました。約60%がFACSの形状ポーズ、40%がスピーチモーションです。各俳優の演技は、検証されたグランドトゥルース表現から340のマーカーを基に解かれました。APFSパイプラインは時間情報をエンコードせず、これはパフォーマンスキャプチャの解答そのものから得られるものである。アニメーションは俳優の動きと表情を本質的に追跡します。

 

あご

新しいシステムでは顎と唇が特に注目されています。「システムを構築しているときに気づいたことのひとつに、顔の状態をコントロールする主要な手段が顎であるということがあります」とLetteri氏は語ります。

「特に対話の場合、顎は常に動いています。 さらに、人の顎は盾の軌跡の形でしか動かないので、顎が状態を動かす主役です」とLetteri氏は説明します。下顎骨は顎関節を介して頭蓋骨に固定され、靭帯と筋肉で支えられている。そのため、顎の可動域は、顎の想定される点の集合をトレースすることでマッピングすることができます。このような点の集合を人物のあらゆる台詞や表情に対応させると、盾のような形状になります。これを「ポッセルトの運動包絡線」または「ポッセルトシールド」と呼びます。

「このシールドは、ドライバー自身の制約システムに組み込まれています。"筋肉はその上で解かれます" というのも、チームがどの俳優を解析するときでも、デジタル頭蓋骨を俳優に適合させるフォレンジックフィットを行うからです。次に、顎の可動域を把握し、HMCのステレオカメラを使って深度情報を抽出します。そして、PCAを実行して、コヒーレントなメッシュが得られるように、最適なフィッティングを試みます。そして、そのメッシュに顎と頭蓋骨をフィットさせるのです」。
パフォーマンス・キャプチャーの場合、人間の動作にはすでに動きや可動域が含まれています。しかし、手作業でアニメーションを作成する場合は、Jawコントローラにシールドの制約が組み込まれます。アニメーションの検証は、その俳優の各カメラから取り込んだ画像に対して、歯並びを観察することで行いました。

同様に、俳優の目も非常に慎重に扱われています。システムの目のモデルは、アクターの強膜、角膜、虹彩にマッチしています。虹彩モデルが、各カメラから取り込まれた画像に見える辺縁リングと瞳孔に一致するように、眼球を回転させることによって、各フレームで視線方向を調整するのです。眼球はレンズ効果や屈折を示すため、追跡するのが非常に難しいのです。複数のカメラアングルを使用して、アライメントを確認し、角膜によって屈折する光を考慮します。 正面からの小さな目の膨らみも、それぞれの目の回転に適用して、キャラクターの目のリアリズムを高めています。

 

四面体(テト)フェイシャルボリューム

曲線筋は単なる線であるため、歪んだ筋肉とデジタルキャラクターの皮膚との間にリンクが必要です。曲線は筋肉の動作の線を捉えているのですが、実際の顔の中にも埋め込まれているのです。
ここでは、キャラクタの静止ポーズにおける顔の軟組織を離散化した四面体ボリュームを使用したボリューム表現によって、顔をシミュレートしています。テトのボリュームソリューションは、皮膚と、頭蓋骨と顎の骨の間に位置します。テトは概念的または数学的な「ゼリー」を形成しています。このテトボリュームに対して、皮膚の頂点と頭蓋骨を位置拘束として、スキャンシーケンス全体に対してパッシブな準静的シミュレーションを実行します。有限要素解析(FEA)を用いて,135,000 個のテト(複数の位置拘束,スライド拘束,衝突拘束を持つ)の「パッシブシミュレーション」をフレーム単位で行い,解剖学的にもっともらしい肉の挙動を生成しています。ここで生成される「肉付けマスク」は、学習段階での役割しか持ちません。

 

実際のマッスルリボンとマッスルカーブの比較

顔の筋肉はリボン状の筋肉であることが多いのですが、APFSのカーブには幅がありません。そのため、必要な部分にカーブを追加しています。筋肉カーブはアクティブマッスルシムではありません。「実際、アニメーターはそれを望んでいません。彼らはフレーム間の制御を望んでいます。彼らは運動学的な変形制御を望んでいるのです。シミュレーションの設定をした後、再生を押して、実際のアクティブなシミュレーションが引き継がれるのを見たくはないのです」そのため、チームは曲線表現を選択し、「曲線にこだわることにしたのです」と彼は付け加えます。「私たちは、できる限り最小限の、絶対的なパラメトリック表現を採用したのです」。

Karan Singh氏はCOVIDの直前、2020年にVictoria Universityに客員研究員として滞在していたため、チームに参加しました。彼は、自分が主席研究員ではないことを最初に言いますが、SIGGRAPH ASIA Submissionにプロセスを書き上げる上で大きな役割を果たし、ライブプレゼンテーションを行ったByungkuk Choi Haekwang EomとBenjamin Mouscadetと共に韓国でプレゼンテーションに参加したのです。
各エンジニアは、大規模なエンドツーエンドのソリューションの一部として、特定の焦点とモジュールを持っていました。この論文には、Joe LetteriとKaran Singhを含む12人の著者がいます。

Singh氏は、以前AutodeskのMayaでオリジナルのブレンドシェイプコードを書いた経験があり、FACSパペットで使用される詳細なコードに精通しています。Singh氏は新しいパイプラインの内部で機械学習(ML)オートエンコーダ(AE)を巧みに利用し、表現をオンモデルに保っていることを指摘します。
MLはWētāのようなパイプラインを変革しているが、多くの人がまだ十分に理解していない方法です。 VAEとそのディープフェイク・フェイススワップツールとしての使用については多く書かれていますが、APFSチームはここで、AEなどのMLツールが、最終的なピクセルに明示的に使用されない一方で、重要なタスクを支援するために複雑なパイプラインの内部で使用されていることを紹介しています。

このシステムは従来のFACSブレンドシェイプを使用して簡単にモデルから外れることができますが、ソリューション空間はAEによって制限されています。「初期テストや個々のキャラクターのトレーニングデータを定義するとき、そのキャラクターの範囲を設定しているのです」とSingh氏は説明します。「オートエンコーダーはそれを一種のエンコードとして扱うので、エンコードするのは一般的な設定だけではありません。つまり、一般的な設定をエンコードしているのではなく、非常に特殊なパフォーマンスをエンコードしているのです」。パイプラインの構築方法におけるAEは、ターゲットとモデル通りの顔を維持します。

 

ポーズライブラリの転送

アニメーターは当然ながらポーズライブラリを持つことに慣れています。しかし、ポーズは動きを強制したり、符号化したりするものではないので、組み合わせによって簡単にモデルから外れてしまうことがあります。そこで、アニメーターが使いやすいように、ひずみベースのモーションライブラリが作られました。

このアウトサイドインのアプローチは、カーブへのインバースマッピングを提供します。しかし、システムの構築方法とオートエンコーダの使用により、アニメーターが誤ってモデルから外れることはありません。筋肉の伸縮は直感的に理解できても、歪みベクトルで顔の表情を動かすのは一筋縄ではいきません。そこで、AE(オートエンコーダ)を導入し、ひずみベクトルが顔アニメーションの妥当な範囲に収まるように制約をかけることで、アーティストを支援します。

このモデル上の解空間を表情多様体と呼びます。ここで何が妥当かを定義するのはアニメーターであり,アニメーターは意図的にモデルから外れることを選択できますが,表情多様体は,複数の表情とそれに対応するひずみベクトルまたは設定の範囲から厳選されたサンプリングを用いて,アニメーターのために推定されます。

ディープシェイプ

アバター:ザ・ウェイ・オブ・ウォーターでは、多くの俳優が水中でパフォーマンスをキャプチャしていましたが、顔のアニメーションのほとんどは、乾いた土地での二次キャプチャに基づいており、それをメインのパフォーマンスキャプチャにブレンドしていました。顔のパフォーマンスキャプチャを行う際、アクターはステレオヘッドリグ(HMC)を装着しましたが、新しい技術のおかげで、アバター1のオリジナルHMCよりも重くありませんでした。

HMCカメラの固定ステレオ配置のおかげで、WētāのチームはDeep Shapeという強力な新しいビジュアライゼーションツールを開発しました。このステレオ画像を使って、俳優の実際の演技を3D点群風に再現し、どの角度からも見ることができるようにしました。画像はモノクロでポリゴン化されていませんが、実際の演技を高度に再現しています。
この新しいビジュアライゼーションにより、アニメーターは、実際のキャプチャーカメラの生の出力のような広角の歪みや奇妙な視野角なしに、顔からわずか数フィートの距離で撮影されたかのように、仮想の目撃者カメラを持つことができるようになるのです。

このような3D深度再構築ビューにより、唇や顎の伸展を観察し、後で完全に制御可能で再構築されたアニメーションが生ビューに忠実であるかどうかを判断する、より強力な方法を提供します。このように著しく便利な表示装置であるため、これまで誰も実装していなかったことが不思議なくらいですが、私たちの知る限り、Wētā FXはDeep Shape可視化オプションを正確に実現した最初のチームです。このツールは、APFSエミュレーションを比較・判断するための顔のグランドトゥルースの重要な参考ツールになります。 これは、新しいエンド・トゥ・エンドのAPFSベースのソリューションのもう一つの革新です。

 

エイジング

現在では一般的な手法として、俳優の顔の表情に合わせたデジタルダブルを非常に忠実にアニメーション化し、そのアニメーションをキャラクターモデルに転送しています。Wētāは、アニメーション転送時に俳優とキャラクターの顔の一致を最大化するために、対応する俳優の基本的な筋肉の挙動を共有するように、戦略的にキャラクターのトレーニングプロセスを設計しています。

3Dキャラクターの顔モデルは、最終的にそれぞれの俳優と同じ、共有された歪みオートエンコーダーを持つことになります。皮膚は正確にマッピングされ、目と顎の領域はユーザー定義のウェイトマップを使って別々に処理され、顔の重要なパーツをより正確に表現できるようになります。当然ながらナヴィのユニークな形状を考慮し、チームはアクターの顎のリグをキャラクターに慎重に適合させ、歯のトポグラフィーと頭蓋骨の解剖学の偏差を補償するためにそれを使用する必要があります。

 

カーブマッスルシステムは、首の部分までカーブが伸びており、ボディパフォーマンスキャプチャとの統合をより良くしています。耳については、まったく別のコントロールが用意されています。

「今回、わざわざキャプチャーしようとしなかったのは、耳は一種の二次的効果だからです」とLetteri氏は言います。「ナヴィの耳は表情豊かですが、人間には全くありません。ですから、あれはあくまで別のアニメーション制御システムなのです」

 

この映画では、当然ナヴィへの再ターゲットが多数ありますが、重要なのは、2つの重要な脱老化の再ターゲットがあることです。俳優のシガニー・ウィーバーとスティーブン・ラングは、ともに若いキャラクターに再ターゲットされています。キリと若いクオリッチです。

顔の筋肉の緩みや老化をシミュレートするために歪みの値を変えることを検討する人もいるかもしれませんが、Letteri氏は、リターゲティングがそれを完全に補うので、歪みの値を「緩和」したり伸ばしたりする必要がなかったと指摘しています。 「そうすることも考えましたが、それでは不確実性が増してしまいます」とLetteri氏。「そこで、まずはリターゲティングで試してみようと考えました。そして、それを実行したのです。そして、うまくいくようになりました。

参考資料

PhysDiff: 物理的に誘導された人体運動拡散モデル

浮遊、足すべり、地面貫通などを、物理的にありそうな動作に投影する論文だそうです。Cascadeurのように物理シミュレーションを使用したりAIを使用して、不自然なアニメーションを補う技術が発展しそうですね。

https://nvlabs.github.io/PhysDiff/

 

概要

デノイジング拡散モデルは、多様でリアルな人物モーションを生成するために大きな期待が寄せられている。しかし、既存の運動拡散モデルは、拡散過程における物理法則をほとんど無視しており、浮遊、足すべり、地面貫通などの顕著なアーチファクトを伴う物理的にありえない運動を生成することが多い。このため、生成されたモーションの品質に大きな影響を与え、実環境での適用に限界がある。

本論文では、物理的な制約を拡散過程に組み込んだ物理誘導型動作拡散モデル(PhysDiff)を提案する。具体的には、物理シミュレータにおける動作模倣を利用して、拡散ステップのノイズ除去された動作を物理的にありそうな動作に投影する、物理ベースの動作投影モジュールを提案する。投影された運動はさらに次の拡散ステップで使用され、ノイズ除去の拡散プロセスをガイドする。このように、本モデルでは物理を用いることで、物理的にありそうな空間へ繰り返し運動を誘導することができる。大規模な人体運動データセットを用いた実験により、我々のアプローチが最先端の運動品質を達成し、物理的妥当性を劇的に向上させることが示された(全てのデータセットで78%以上)。

 

動画

 

最先端技術との比較

 

その他のビジュアライゼーション

参考資料

LW GPR v1.0

Nvidia ツールキット SDK を介してLightWaveのパス トレーサーを高速化してる映像が公開されてました。シーンの複雑さやGPUによる制限があるらしいですが、レンダリングが高速に見えます。今のところプラグインなのかハックなのか不明です。

参考資料

ZibraAI が Zibra VDB 圧縮を発表

ゲーム ツールを発しているZibraAIが、 OpenVDB形式のボリューム データを「最大 20 倍」圧縮する AI ベースのテクノロジ「 Zibra VDB Compression」を発表しました。GPUによる圧縮によって映画品質のVFXをゲームで使用できるようになるとのことです。

ZibraAI はUnityやUnreal Engineプラグインを介して来年利用可能になるようです。またHoudiniのプラグインもリリース予定とのこと。

https://zibra.ai/blog/zibra-vdb-compression-a-new-solution-bringing-openvdb-format-to-game-development/

 

Zibra VDB Compression - 画期的なOpenVDB形式をゲーム開発に導入する新しいソリューション

ボリュームデータは、コンピュータグラフィックスやVFX制作において、数多くの重要な用途を持っています。ボリュームレンダリング、流体シミュレーション、フラクチャシミュレーション、陰解面を使ったモデリングなどに使用されています。しかし、このデータの扱いはそれほど簡単ではありません。多くの場合、ボリュームデータは空間的に均一な規則正しい3次元グリッドで表現されます。しかし、高密度の規則正しいグリッドは、いくつかの理由で便利ですが、1つの大きな欠点があります。それは、グリッドの解像度に対して、メモリフットプリントが3乗的に増加することです。

DreamWorksAnimation社が開発したOpenVDBフォーマットは、ボクセルデータをツリー状のデータ構造に格納し、まばらなボリュームを作成することでこの問題を部分的に解決しています。このシステムの優れた点は、空のセルを完全に無視することで、メモリとディスクの使用量を劇的に減らし、同時にボリュームのレンダリングをより高速化することです。

2012年に発表されたOpenVDBは、現在ではHoudini、EmberGen、Blenderなどのシミュレーションツールで一般的に使用されており、長編映画の制作ではリアルなボリューム画像を作成するために使用されています。しかし、このフォーマットはGPUに対応しておらず、3Dボリュームのレンダリングにはかなりのファイルサイズ(平均数ギガバイト以上)と計算量が必要なため、ゲームに適用することはできません。

ゲーム開発で高品質なVFXを実現するためには、通常、別のアプローチが適用されます。アーティストは、Houdini、Blender、または他のツールでボリューム効果をシミュレートし、それを3D効果の外観を模倣するフリップブック、シンプルな2Dテクスチャにエクスポートします。

これらのテクスチャの重さは約16Mb~30Mbで、ゲームエンジンでリアルタイムにレンダリングすることが可能です。しかし、リアルさや視覚的なクオリティに欠けるいくつかの特徴があります。

まず、フリップブックは1つのカメラビューからベイクされるため、ゲーム内で何度も再利用したり、移動する視点からリアルに見える効果を長時間持続させることは困難です。第二に、これらのテクスチャはゲームにベイクされているため、ゲーム環境と非連動であることです。

そのため、高品質なVDBエフェクトのような臨場感を得ることは難しい。

この問題を解決するために、いくつかの試みがなされてきました。そのうちの1つ、NanoVDBはOpenVDBライブラリのNVIDIAバージョンです。

このソリューションはOpenVDBに対して1つの大きな利点、すなわちGPUサポートを提供します。フィルタリング、ボリュームレンダリング、コリジョンディテクション、レイトレーシングなどの処理を高速化し、複雑な特殊効果の生成と読み込みを、すべてリアルタイムで行うことができます。

とはいえ、NanoVDB構造はボリュームサイズを大幅に圧縮するものではありません。そのため、ゲーム開発ではあまり一般的に適用されていません。

強力なコンシューマ GPU がゲーム開発者の既存の制限を取り払った今日、ゲーマーはよりリアルで魅力的なゲームを期待しています。

Zibra VDB Compressionは、ZibraAIの最新ソリューションであり、GPUによる圧縮VDB効果で映画品質のVFXをゲームに導入するために開発されています。

AIベースのカスタム技術から生まれたこのソリューションは、以下のことを可能にします。

  • 異なるツールで作成され、OpenVDBフォーマットで保存された巨大なVFXを最大20倍まで圧縮し、より高品質のボリューメトリックVFXをゲームに追加し、リアルなビジュアルで埋め尽くすことができます。
  • ゲームエンジンでボリューメトリック・エフェクトをリアルタイムにレンダリング。
  • 複数のユースケースでボリューメトリック・エフェクトを再利用し、メモリ消費を最適化。
  • シェーダーを使って、プロジェクトのさまざまな部分でエフェクトの見え方を変更し、色、密度、再生速度を調整することが可能です。
    また、VDB圧縮ソリューションは、リアルなシーン照明の新しい可能性を開きます。VFXの光データを使ってシーンを照らし、反射を加えるなど、よりリアルで没入感のあるゲーム制作が可能になります。

Zibra VDB Compressionは、レンダリングに必要なチャンネル、特に密度、熱、温度を扱うことを目的としています。これは非可逆圧縮で、視覚効果の品質とサイズの間に常にトレードオフが存在することを意味します。

しかし、私たちの技術は、最高の圧縮率を提供し、圧縮と解凍されたVFXの目に見える違いを最小限にすることを保証するために取り組んでいます。現在、どのように動作しているかは、こちらをご覧ください。

この例ではJangaFXソフトウェアで作成された同じビジュアルエフェクトのオリジナルと圧縮バージョンを見ることができ、空中爆発が描かれていることがわかります。4.84倍に圧縮されたこの映像は、ピーク時のS/N比が40.2になっています。VFXの1フレームを解凍するのにかかる時間 - わずか316ミリ秒です。

当社のソリューションは、Unity、Unreal Engine、または任意のカスタムゲームエンジンに統合することができます。Zibra VDB Compressionを使えば、どんなに重いビジュアルエフェクトも、品質やパフォーマンスを大幅に犠牲にすることなく、プロジェクトで使用できるように圧縮し、ゲームを全く新しいレベルに引き上げることができます。

やるべきことはただ一つ。

  • Houdini、EmberGen、またはその他のソリューションでVFXをシミュレートします
  • ボリューメトリック効果をOpenVDBフォーマットで書き出す
  • ZibraAIプラグインを適用し、ゲームエンジン内で直接視覚効果の圧縮を実現します
  • VFXをシーンに配置し、シェーダーでその外観を磨く
  • ZibraAIプラグインを使用し、プロジェクト内でボリュームエフェクトのリアルタイム解凍とレンダリングを行います

Zibra VDB Compressionは、現在改良中です。圧縮率と品質の比率を改善し、業界の要件に完全に対応できるようにアプローチを最適化しているところですが、できるだけ早く最新ツールをリリースできるよう準備を進めています。

既存のZibraAIソリューションはすべて、ゲーム用コンテンツの作成プロセスを簡素化し、その品質も向上させるように設計されています。リアルタイムシミュレーションツール「Zibra Liquids」と「Zibra Smoke & Fire」により、ゲーム開発者はプロジェクトにインタラクティブでダイナミックなビジュアルを追加し、モバイルゲームであってもゲームメカニズムを構築することができます。Zibra VDB Compressionは、ベイクドエフェクトを使用する開発者のために、ゲーム内で軽量のOpenVDBを使用することを可能にします。 ZibraAIの全製品についてはこちらをご覧ください。

参考資料

アバター2はなぜ48コマなのか。HFR映画がもたらす視覚効果とリアリティ

『アバター:ウェイ・オブ・ウォーター』で使用されるハイフレームレート(HFR)+HDR+4K+3D上映に関連して、映画のフレームレートはどうやって決められたのか、という歴史が書かれた記事が公開されています。

映画は通常24FPS(1秒間に24枚の絵が表示される)ですが、『アバター: ウェイ・オブ・ウォーター』では普通のドラマ場面は24FPSで上映し、アクションシーンや水中シーンは48FPSになるとのことです。手描きアニメのような可変フレームレートは、どんな印象になるのか楽しみですね。

https://av.watch.impress.co.jp/docs/topic/1461878.html

 

映画のフレームレートの話は定期的に見かけますが、今回の記事は詳細に書かれてて面白かったです。

 

ハイフレームレート上映する映画館の情報はこちら。

  • イオンシネマ : 94劇場全館
  • TOHOシネマズ : 9館
  • MOVIX : 10館
  • シネマサンシャイン
  • コロナワールド : 10館

https://av.watch.impress.co.jp/docs/news/1463723.html