Diary

参考資料

アバター 2 の新しいフェイシャル パイプライン

アバター 2 で使用された新しいフェイシャル パイプラインの記事が公開されています。

https://www.fxguide.com/fxfeatured/exclusive-joe-letteri-discusses-weta-fxs-new-facial-pipeline-on-avatar-2/

 

Wētā FXは、まったく新しいフェイス・パイプラインを開発しました。この画期的な新アプローチを最初に開発したのは2019年だが、同社は『Avatar: The Way of Water』の公開に合わせて、韓国で開催されたSIGGRAPH ASIAで新しいアプローチを公開したばかりです。この徹底討論ではWētā FX Snr.に直接話を聞いている。VFXスーパーバイザーのJoe Letteri氏と、テクニカルペーパーの他の著者の一人であるKaran Singh氏に、新しいアプローチを開発する決断をした理由について、直接話を聞きました。

 

背景

フェイシャルアニメーションの新しいシステムは、FACSパペットから解剖学的ベースとしての筋繊維曲線に移行することに基づいています。この新しいアプローチは、Anatomically Plausible Facial SystemまたはAPFSと呼ばれ、アニメーター中心で、解剖学的な発想から生まれた、顔のモデリング、アニメーション、再ターゲッティング転送のためのシステムです。

 

新システムは、Wētā FXが『ゴラム』以来一貫して使用してきた、受賞歴のあるFACSパイプラインに代わるものです。映画『アリータ:バトル・エンジェル』(2019年)のためにR&D FACSアプローチを極めて強く押し出したLetteri氏は、FACSベースのパペットシステムには、顔の筋肉の分離、カバー、線形組み合わせ使用、広域冗長性などの大きな問題が多すぎるだけだと判断しました。

例えばFACSは筋肉主導の表情を表す顔のポーズのセットをマッピングしますが、適切なフェイシャルアニメーションを得るために、FACSパペットリグは、アニメーターが信じられるパフォーマンスを達成できるように、900ものFACS形状をリグに追加することになってしまうかもしれません。FACSが「間違っている」のではなく、タイムベースのフェイシャルアニメーションのために設計されたシステムではないのです。FACSは音声を中心に構築されたものではなく、むしろ孤立した感情表現を中心に構築されたものです。

「私たちは、アーティストが顔の動きを直接コントロールできるシステムが必要だったのです」とLetteri氏は語る。「FACSはあくまで感情ベースのシステムであり、表情をコード化するものです。FACSには対話はありませんし、私たちがやっていることはほとんど対話です。FACSは正確な孤立した表情を表すかもしれませんが、ポーズ間の移行方法に関する情報はありません。結局、一種の推測をしなければなりません。移行を直感するようなもので、それは素晴らしいことですが、維持するのは困難です」とLetteri氏は説明しています。FACSシステムは、状態から状態へ移行するときに、基本的に顔全体に直線的に状態変化が起こるので、非常に "rubbery "なのです。

 

 

Letteri氏と彼のチームは、フェイスパイプライン全体をゼロからやり直すことにしました。「私はこの問題を見て、こう思いました。これはもうやりたくない。これは難しすぎる。もっといい方法があるはずだと。顔の筋肉がどのように配置され、どのようにつながっているのか、もう一度見直してみました。そして、その結合をマップ化すれば、顔を表現する高次元空間の基礎ができることに気づいたのです」。

チームは、表情が作られ、筋肉が活性化すると、他の筋肉が連動して活性化したり、筋肉が受動的に引っ張られたりすることに着目しました。"筋肉が神経ネットワークによく似た一種のネットワークで相互接続しているため "と、Letteri氏は推論しています。
「そこで私は、筋肉を直接ベースとする神経回路網を作ればいいのではないかと考えたのです。つまり、多くのディープラーニングは、問題に数字を投げかけて、たくさんのデータを与えれば、相関関係を割り出してくれようとするものなのです。でも、私たちはすでに相関関係を知っているのだから、それを基礎としてコード化すればいいのでは?数学の世界に入り込めば、それは大きな微分積分の連鎖になります。基本的な微積分です」。

そしてチームは、アニメーターが顎、目、筋肉のどのような組み合わせでも表現できるようなシステムを構築することを目指しました。「ベースとして、例えばシガニー・ウィーバーの顔を見て、"筋肉 "が何をしているかを解くようにシステムを訓練し、それを別のネットワークでキャラクターに転送できるのは素晴らしいことです」。
さらに、筋肉カーブにより、アニメーターは顔の筋肉ごとに直接コントロールできるようになりました。ただし、筋肉曲線は、皮膚の下にある実際の筋肉と1対1で一致するように設計されているわけではないことを指摘する必要があります。筋肉曲線は、アニメーターがコントロールできる方法で、かつ、非常に高い忠実度でキャプチャされたパフォーマンスである顔の動きと一致するように、顔を解決するように設計されています。

 

APFS

新しいAPFSは、178本の筋繊維の曲線、つまり「歪み」の曲線に基づいています。これらの筋繊維曲線が収縮・弛緩することで、きめ細かく忠実な人間の顔の表情が得られます。エンドツーエンドのシステムは、インワードアウト(顔が筋繊維曲線によって駆動される)とアウトサイドイン(アニメーターが顔の表面から顔を「正しく」ドラッグして動かすことができる)の両方が可能です。

このシステムは、人間の筋肉を1対1でマッピングしているわけではありません。上唇の湾曲など、顔のいくつかの側面は、実際には顎や下顔面の筋肉によって駆動されている結果だからです。むしろ、このシステムは178の曲線からなる配列であり、解剖学的なインスピレーションに基づく一連の制御を可能にしますが、肉/筋肉の直接的なエミュレーションやシミュレーションではありません。

さらに、FACSの人形はFACSの表情の直線的な組み合わせで作られており、回転は含まれていません。眼球を中心とした回転成分を自然に含む正しいまぶたのアニメーションを得るには、一連の中間的なFACS形状を追加する必要があります。

 

まぶたの例

各筋肉または歪み曲線には、関連する歪み値があります。筋肉のカーブは実際にはねじれませんが、ひずみ値はカーブに沿って、その局所空間における収縮または拡張を提供します。ある意味これは長さの変化率です。実際の曲線のひずみ数値は単位がなく、これは異なる文字に転送する際に役立ちます。ひずみ値は単独で機能するというより、セットの一部として機能します。

例えば、まぶたの瞬きには、まつ毛のラインに沿った筋カーブ(水平方向)と、直交方向(目の周りの上下方向)の両方が存在する。この場合、水平方向の曲線は眼球の上を回転しているため、実際のひずみ値はあまり変化しませんが、垂直方向の曲線はひずみ値が劇的に変化しています。
しかし、最も重要なのは、垂直カーブが筋肉のカーブ形状に沿ってスケールすることで、これは眼球のカーブと一致します。開いているブレンドシェイプと閉じているブレンドシェイプの間の同様の遷移は、(眼球の周りで曲がることなく)閉じてから開くまで直線的に移動するだけです。
Mayaでは、ブレンドシェイプをチェーンして、眼球の周りでカーブするまぶたをシミュレートすることができますが、これもブレンドシェイプの数を増やしてしまうことになります。

FACSソリューションは、フェイシャルリグの標準化を可能にしましたが、FACSは顔の表情の自発的で区別できるスナップショットをキャプチャするために心理学の観点から設計されており、コンピュータアニメーションに適用すると明らかに限界があります。
FACSのアクションユニット(AU)は、複数の表情筋の動作を組み合わせるAUや表情筋が全く関与しないAUのように、望ましい表情を得るために引き算で組み合わせる必要がある)、定位とアニメーション制御(冗長、動作が反対、強く関連、または相互に排他的なAUがあり得る)、AUはヒンジでつながれた顎と人間の唇の複雑な形状変形にしか近似しないなどです。

新システムの構築には、機械学習が用いられました。80の動的モーションクリップから6000〜8000のスキャン(フレーム)を使用しました。約60%がFACSの形状ポーズ、40%がスピーチモーションです。各俳優の演技は、検証されたグランドトゥルース表現から340のマーカーを基に解かれました。APFSパイプラインは時間情報をエンコードせず、これはパフォーマンスキャプチャの解答そのものから得られるものである。アニメーションは俳優の動きと表情を本質的に追跡します。

 

あご

新しいシステムでは顎と唇が特に注目されています。「システムを構築しているときに気づいたことのひとつに、顔の状態をコントロールする主要な手段が顎であるということがあります」とLetteri氏は語ります。

「特に対話の場合、顎は常に動いています。 さらに、人の顎は盾の軌跡の形でしか動かないので、顎が状態を動かす主役です」とLetteri氏は説明します。下顎骨は顎関節を介して頭蓋骨に固定され、靭帯と筋肉で支えられている。そのため、顎の可動域は、顎の想定される点の集合をトレースすることでマッピングすることができます。このような点の集合を人物のあらゆる台詞や表情に対応させると、盾のような形状になります。これを「ポッセルトの運動包絡線」または「ポッセルトシールド」と呼びます。

「このシールドは、ドライバー自身の制約システムに組み込まれています。"筋肉はその上で解かれます" というのも、チームがどの俳優を解析するときでも、デジタル頭蓋骨を俳優に適合させるフォレンジックフィットを行うからです。次に、顎の可動域を把握し、HMCのステレオカメラを使って深度情報を抽出します。そして、PCAを実行して、コヒーレントなメッシュが得られるように、最適なフィッティングを試みます。そして、そのメッシュに顎と頭蓋骨をフィットさせるのです」。
パフォーマンス・キャプチャーの場合、人間の動作にはすでに動きや可動域が含まれています。しかし、手作業でアニメーションを作成する場合は、Jawコントローラにシールドの制約が組み込まれます。アニメーションの検証は、その俳優の各カメラから取り込んだ画像に対して、歯並びを観察することで行いました。

同様に、俳優の目も非常に慎重に扱われています。システムの目のモデルは、アクターの強膜、角膜、虹彩にマッチしています。虹彩モデルが、各カメラから取り込まれた画像に見える辺縁リングと瞳孔に一致するように、眼球を回転させることによって、各フレームで視線方向を調整するのです。眼球はレンズ効果や屈折を示すため、追跡するのが非常に難しいのです。複数のカメラアングルを使用して、アライメントを確認し、角膜によって屈折する光を考慮します。 正面からの小さな目の膨らみも、それぞれの目の回転に適用して、キャラクターの目のリアリズムを高めています。

 

四面体(テト)フェイシャルボリューム

曲線筋は単なる線であるため、歪んだ筋肉とデジタルキャラクターの皮膚との間にリンクが必要です。曲線は筋肉の動作の線を捉えているのですが、実際の顔の中にも埋め込まれているのです。
ここでは、キャラクタの静止ポーズにおける顔の軟組織を離散化した四面体ボリュームを使用したボリューム表現によって、顔をシミュレートしています。テトのボリュームソリューションは、皮膚と、頭蓋骨と顎の骨の間に位置します。テトは概念的または数学的な「ゼリー」を形成しています。このテトボリュームに対して、皮膚の頂点と頭蓋骨を位置拘束として、スキャンシーケンス全体に対してパッシブな準静的シミュレーションを実行します。有限要素解析(FEA)を用いて,135,000 個のテト(複数の位置拘束,スライド拘束,衝突拘束を持つ)の「パッシブシミュレーション」をフレーム単位で行い,解剖学的にもっともらしい肉の挙動を生成しています。ここで生成される「肉付けマスク」は、学習段階での役割しか持ちません。

 

実際のマッスルリボンとマッスルカーブの比較

顔の筋肉はリボン状の筋肉であることが多いのですが、APFSのカーブには幅がありません。そのため、必要な部分にカーブを追加しています。筋肉カーブはアクティブマッスルシムではありません。「実際、アニメーターはそれを望んでいません。彼らはフレーム間の制御を望んでいます。彼らは運動学的な変形制御を望んでいるのです。シミュレーションの設定をした後、再生を押して、実際のアクティブなシミュレーションが引き継がれるのを見たくはないのです」そのため、チームは曲線表現を選択し、「曲線にこだわることにしたのです」と彼は付け加えます。「私たちは、できる限り最小限の、絶対的なパラメトリック表現を採用したのです」。

Karan Singh氏はCOVIDの直前、2020年にVictoria Universityに客員研究員として滞在していたため、チームに参加しました。彼は、自分が主席研究員ではないことを最初に言いますが、SIGGRAPH ASIA Submissionにプロセスを書き上げる上で大きな役割を果たし、ライブプレゼンテーションを行ったByungkuk Choi Haekwang EomとBenjamin Mouscadetと共に韓国でプレゼンテーションに参加したのです。
各エンジニアは、大規模なエンドツーエンドのソリューションの一部として、特定の焦点とモジュールを持っていました。この論文には、Joe LetteriとKaran Singhを含む12人の著者がいます。

Singh氏は、以前AutodeskのMayaでオリジナルのブレンドシェイプコードを書いた経験があり、FACSパペットで使用される詳細なコードに精通しています。Singh氏は新しいパイプラインの内部で機械学習(ML)オートエンコーダ(AE)を巧みに利用し、表現をオンモデルに保っていることを指摘します。
MLはWētāのようなパイプラインを変革しているが、多くの人がまだ十分に理解していない方法です。 VAEとそのディープフェイク・フェイススワップツールとしての使用については多く書かれていますが、APFSチームはここで、AEなどのMLツールが、最終的なピクセルに明示的に使用されない一方で、重要なタスクを支援するために複雑なパイプラインの内部で使用されていることを紹介しています。

このシステムは従来のFACSブレンドシェイプを使用して簡単にモデルから外れることができますが、ソリューション空間はAEによって制限されています。「初期テストや個々のキャラクターのトレーニングデータを定義するとき、そのキャラクターの範囲を設定しているのです」とSingh氏は説明します。「オートエンコーダーはそれを一種のエンコードとして扱うので、エンコードするのは一般的な設定だけではありません。つまり、一般的な設定をエンコードしているのではなく、非常に特殊なパフォーマンスをエンコードしているのです」。パイプラインの構築方法におけるAEは、ターゲットとモデル通りの顔を維持します。

 

ポーズライブラリの転送

アニメーターは当然ながらポーズライブラリを持つことに慣れています。しかし、ポーズは動きを強制したり、符号化したりするものではないので、組み合わせによって簡単にモデルから外れてしまうことがあります。そこで、アニメーターが使いやすいように、ひずみベースのモーションライブラリが作られました。

このアウトサイドインのアプローチは、カーブへのインバースマッピングを提供します。しかし、システムの構築方法とオートエンコーダの使用により、アニメーターが誤ってモデルから外れることはありません。筋肉の伸縮は直感的に理解できても、歪みベクトルで顔の表情を動かすのは一筋縄ではいきません。そこで、AE(オートエンコーダ)を導入し、ひずみベクトルが顔アニメーションの妥当な範囲に収まるように制約をかけることで、アーティストを支援します。

このモデル上の解空間を表情多様体と呼びます。ここで何が妥当かを定義するのはアニメーターであり,アニメーターは意図的にモデルから外れることを選択できますが,表情多様体は,複数の表情とそれに対応するひずみベクトルまたは設定の範囲から厳選されたサンプリングを用いて,アニメーターのために推定されます。

ディープシェイプ

アバター:ザ・ウェイ・オブ・ウォーターでは、多くの俳優が水中でパフォーマンスをキャプチャしていましたが、顔のアニメーションのほとんどは、乾いた土地での二次キャプチャに基づいており、それをメインのパフォーマンスキャプチャにブレンドしていました。顔のパフォーマンスキャプチャを行う際、アクターはステレオヘッドリグ(HMC)を装着しましたが、新しい技術のおかげで、アバター1のオリジナルHMCよりも重くありませんでした。

HMCカメラの固定ステレオ配置のおかげで、WētāのチームはDeep Shapeという強力な新しいビジュアライゼーションツールを開発しました。このステレオ画像を使って、俳優の実際の演技を3D点群風に再現し、どの角度からも見ることができるようにしました。画像はモノクロでポリゴン化されていませんが、実際の演技を高度に再現しています。
この新しいビジュアライゼーションにより、アニメーターは、実際のキャプチャーカメラの生の出力のような広角の歪みや奇妙な視野角なしに、顔からわずか数フィートの距離で撮影されたかのように、仮想の目撃者カメラを持つことができるようになるのです。

このような3D深度再構築ビューにより、唇や顎の伸展を観察し、後で完全に制御可能で再構築されたアニメーションが生ビューに忠実であるかどうかを判断する、より強力な方法を提供します。このように著しく便利な表示装置であるため、これまで誰も実装していなかったことが不思議なくらいですが、私たちの知る限り、Wētā FXはDeep Shape可視化オプションを正確に実現した最初のチームです。このツールは、APFSエミュレーションを比較・判断するための顔のグランドトゥルースの重要な参考ツールになります。 これは、新しいエンド・トゥ・エンドのAPFSベースのソリューションのもう一つの革新です。

 

エイジング

現在では一般的な手法として、俳優の顔の表情に合わせたデジタルダブルを非常に忠実にアニメーション化し、そのアニメーションをキャラクターモデルに転送しています。Wētāは、アニメーション転送時に俳優とキャラクターの顔の一致を最大化するために、対応する俳優の基本的な筋肉の挙動を共有するように、戦略的にキャラクターのトレーニングプロセスを設計しています。

3Dキャラクターの顔モデルは、最終的にそれぞれの俳優と同じ、共有された歪みオートエンコーダーを持つことになります。皮膚は正確にマッピングされ、目と顎の領域はユーザー定義のウェイトマップを使って別々に処理され、顔の重要なパーツをより正確に表現できるようになります。当然ながらナヴィのユニークな形状を考慮し、チームはアクターの顎のリグをキャラクターに慎重に適合させ、歯のトポグラフィーと頭蓋骨の解剖学の偏差を補償するためにそれを使用する必要があります。

 

カーブマッスルシステムは、首の部分までカーブが伸びており、ボディパフォーマンスキャプチャとの統合をより良くしています。耳については、まったく別のコントロールが用意されています。

「今回、わざわざキャプチャーしようとしなかったのは、耳は一種の二次的効果だからです」とLetteri氏は言います。「ナヴィの耳は表情豊かですが、人間には全くありません。ですから、あれはあくまで別のアニメーション制御システムなのです」

 

この映画では、当然ナヴィへの再ターゲットが多数ありますが、重要なのは、2つの重要な脱老化の再ターゲットがあることです。俳優のシガニー・ウィーバーとスティーブン・ラングは、ともに若いキャラクターに再ターゲットされています。キリと若いクオリッチです。

顔の筋肉の緩みや老化をシミュレートするために歪みの値を変えることを検討する人もいるかもしれませんが、Letteri氏は、リターゲティングがそれを完全に補うので、歪みの値を「緩和」したり伸ばしたりする必要がなかったと指摘しています。 「そうすることも考えましたが、それでは不確実性が増してしまいます」とLetteri氏。「そこで、まずはリターゲティングで試してみようと考えました。そして、それを実行したのです。そして、うまくいくようになりました。

参考資料

PhysDiff: 物理的に誘導された人体運動拡散モデル

浮遊、足すべり、地面貫通などを、物理的にありそうな動作に投影する論文だそうです。Cascadeurのように物理シミュレーションを使用したりAIを使用して、不自然なアニメーションを補う技術が発展しそうですね。

https://nvlabs.github.io/PhysDiff/

 

概要

デノイジング拡散モデルは、多様でリアルな人物モーションを生成するために大きな期待が寄せられている。しかし、既存の運動拡散モデルは、拡散過程における物理法則をほとんど無視しており、浮遊、足すべり、地面貫通などの顕著なアーチファクトを伴う物理的にありえない運動を生成することが多い。このため、生成されたモーションの品質に大きな影響を与え、実環境での適用に限界がある。

本論文では、物理的な制約を拡散過程に組み込んだ物理誘導型動作拡散モデル(PhysDiff)を提案する。具体的には、物理シミュレータにおける動作模倣を利用して、拡散ステップのノイズ除去された動作を物理的にありそうな動作に投影する、物理ベースの動作投影モジュールを提案する。投影された運動はさらに次の拡散ステップで使用され、ノイズ除去の拡散プロセスをガイドする。このように、本モデルでは物理を用いることで、物理的にありそうな空間へ繰り返し運動を誘導することができる。大規模な人体運動データセットを用いた実験により、我々のアプローチが最先端の運動品質を達成し、物理的妥当性を劇的に向上させることが示された(全てのデータセットで78%以上)。

 

動画

 

最先端技術との比較

 

その他のビジュアライゼーション

参考資料

LW GPR v1.0

Nvidia ツールキット SDK を介してLightWaveのパス トレーサーを高速化してる映像が公開されてました。シーンの複雑さやGPUによる制限があるらしいですが、レンダリングが高速に見えます。今のところプラグインなのかハックなのか不明です。

Tips

Mayaのアウトライナで検索結果をフラット表示する方法

Mayaのアウトライナで、検索結果をフラット表示する方法について書いてみます。

 

Mayaのアウトライナでオブジェクトを検索して、検索したオブジェクトをまとめて選択したい場合があります。しかし、アウトライナの検索は親など階層構造を表示するので、検索したオブジェクトだけ選択するのがやや面倒です。

 

displayMode を使用すると、検索結果に階層を表示しないフラットな表示ができます。

displayMode='List'

 

使用手順

以下のスクリプトを実行してアウトライナを作成します。

import maya.cmds as cmds
cmds.window()
cmds.frameLayout( labelVisible=False )
panel = cmds.outlinerPanel()
outliner = cmds.outlinerPanel(panel, query=True,outlinerEditor=True)
cmds.outlinerEditor( outliner, edit=True, mainListConnection='worldList', selectionConnection='modelList', showShapes=False, showReferenceNodes=False, showReferenceMembers=False, showAttributes=False, showConnected=False, showAnimCurvesOnly=False, autoExpand=False, showDagOnly=True, ignoreDagHierarchy=False, expandConnections=False, showNamespace=True, showCompounds=True, showNumericAttrsOnly=False, highlightActive=True, autoSelectNewObjects=False, doNotSelectNewObjects=False, transmitFilters=False, showSetMembers=True, setFilter='defaultSetFilter', ignoreHiddenAttribute=False, ignoreOutlinerColor=False, displayMode='List' )
cmds.showWindow()

 

MayaはUIからアクセスできないオプションが多くて、何するにもスクリプト使えというのが面倒ですね。恐らく displayMode もUIから変更できないような気がします。
modoみたいにフィルタ用のボタン置いて、簡単に切り替えられるようにしてくれていいのよ。

参考

https://help.autodesk.com/cloudhelp/2022/JPN/Maya-Tech-Docs/CommandsPython/outlinerEditor.html#flagdisplayMode

参考資料

ZibraAI が Zibra VDB 圧縮を発表

ゲーム ツールを発しているZibraAIが、 OpenVDB形式のボリューム データを「最大 20 倍」圧縮する AI ベースのテクノロジ「 Zibra VDB Compression」を発表しました。GPUによる圧縮によって映画品質のVFXをゲームで使用できるようになるとのことです。

ZibraAI はUnityやUnreal Engineプラグインを介して来年利用可能になるようです。またHoudiniのプラグインもリリース予定とのこと。

https://zibra.ai/blog/zibra-vdb-compression-a-new-solution-bringing-openvdb-format-to-game-development/

 

Zibra VDB Compression - 画期的なOpenVDB形式をゲーム開発に導入する新しいソリューション

ボリュームデータは、コンピュータグラフィックスやVFX制作において、数多くの重要な用途を持っています。ボリュームレンダリング、流体シミュレーション、フラクチャシミュレーション、陰解面を使ったモデリングなどに使用されています。しかし、このデータの扱いはそれほど簡単ではありません。多くの場合、ボリュームデータは空間的に均一な規則正しい3次元グリッドで表現されます。しかし、高密度の規則正しいグリッドは、いくつかの理由で便利ですが、1つの大きな欠点があります。それは、グリッドの解像度に対して、メモリフットプリントが3乗的に増加することです。

DreamWorksAnimation社が開発したOpenVDBフォーマットは、ボクセルデータをツリー状のデータ構造に格納し、まばらなボリュームを作成することでこの問題を部分的に解決しています。このシステムの優れた点は、空のセルを完全に無視することで、メモリとディスクの使用量を劇的に減らし、同時にボリュームのレンダリングをより高速化することです。

2012年に発表されたOpenVDBは、現在ではHoudini、EmberGen、Blenderなどのシミュレーションツールで一般的に使用されており、長編映画の制作ではリアルなボリューム画像を作成するために使用されています。しかし、このフォーマットはGPUに対応しておらず、3Dボリュームのレンダリングにはかなりのファイルサイズ(平均数ギガバイト以上)と計算量が必要なため、ゲームに適用することはできません。

ゲーム開発で高品質なVFXを実現するためには、通常、別のアプローチが適用されます。アーティストは、Houdini、Blender、または他のツールでボリューム効果をシミュレートし、それを3D効果の外観を模倣するフリップブック、シンプルな2Dテクスチャにエクスポートします。

これらのテクスチャの重さは約16Mb~30Mbで、ゲームエンジンでリアルタイムにレンダリングすることが可能です。しかし、リアルさや視覚的なクオリティに欠けるいくつかの特徴があります。

まず、フリップブックは1つのカメラビューからベイクされるため、ゲーム内で何度も再利用したり、移動する視点からリアルに見える効果を長時間持続させることは困難です。第二に、これらのテクスチャはゲームにベイクされているため、ゲーム環境と非連動であることです。

そのため、高品質なVDBエフェクトのような臨場感を得ることは難しい。

この問題を解決するために、いくつかの試みがなされてきました。そのうちの1つ、NanoVDBはOpenVDBライブラリのNVIDIAバージョンです。

このソリューションはOpenVDBに対して1つの大きな利点、すなわちGPUサポートを提供します。フィルタリング、ボリュームレンダリング、コリジョンディテクション、レイトレーシングなどの処理を高速化し、複雑な特殊効果の生成と読み込みを、すべてリアルタイムで行うことができます。

とはいえ、NanoVDB構造はボリュームサイズを大幅に圧縮するものではありません。そのため、ゲーム開発ではあまり一般的に適用されていません。

強力なコンシューマ GPU がゲーム開発者の既存の制限を取り払った今日、ゲーマーはよりリアルで魅力的なゲームを期待しています。

Zibra VDB Compressionは、ZibraAIの最新ソリューションであり、GPUによる圧縮VDB効果で映画品質のVFXをゲームに導入するために開発されています。

AIベースのカスタム技術から生まれたこのソリューションは、以下のことを可能にします。

  • 異なるツールで作成され、OpenVDBフォーマットで保存された巨大なVFXを最大20倍まで圧縮し、より高品質のボリューメトリックVFXをゲームに追加し、リアルなビジュアルで埋め尽くすことができます。
  • ゲームエンジンでボリューメトリック・エフェクトをリアルタイムにレンダリング。
  • 複数のユースケースでボリューメトリック・エフェクトを再利用し、メモリ消費を最適化。
  • シェーダーを使って、プロジェクトのさまざまな部分でエフェクトの見え方を変更し、色、密度、再生速度を調整することが可能です。
    また、VDB圧縮ソリューションは、リアルなシーン照明の新しい可能性を開きます。VFXの光データを使ってシーンを照らし、反射を加えるなど、よりリアルで没入感のあるゲーム制作が可能になります。

Zibra VDB Compressionは、レンダリングに必要なチャンネル、特に密度、熱、温度を扱うことを目的としています。これは非可逆圧縮で、視覚効果の品質とサイズの間に常にトレードオフが存在することを意味します。

しかし、私たちの技術は、最高の圧縮率を提供し、圧縮と解凍されたVFXの目に見える違いを最小限にすることを保証するために取り組んでいます。現在、どのように動作しているかは、こちらをご覧ください。

この例ではJangaFXソフトウェアで作成された同じビジュアルエフェクトのオリジナルと圧縮バージョンを見ることができ、空中爆発が描かれていることがわかります。4.84倍に圧縮されたこの映像は、ピーク時のS/N比が40.2になっています。VFXの1フレームを解凍するのにかかる時間 - わずか316ミリ秒です。

当社のソリューションは、Unity、Unreal Engine、または任意のカスタムゲームエンジンに統合することができます。Zibra VDB Compressionを使えば、どんなに重いビジュアルエフェクトも、品質やパフォーマンスを大幅に犠牲にすることなく、プロジェクトで使用できるように圧縮し、ゲームを全く新しいレベルに引き上げることができます。

やるべきことはただ一つ。

  • Houdini、EmberGen、またはその他のソリューションでVFXをシミュレートします
  • ボリューメトリック効果をOpenVDBフォーマットで書き出す
  • ZibraAIプラグインを適用し、ゲームエンジン内で直接視覚効果の圧縮を実現します
  • VFXをシーンに配置し、シェーダーでその外観を磨く
  • ZibraAIプラグインを使用し、プロジェクト内でボリュームエフェクトのリアルタイム解凍とレンダリングを行います

Zibra VDB Compressionは、現在改良中です。圧縮率と品質の比率を改善し、業界の要件に完全に対応できるようにアプローチを最適化しているところですが、できるだけ早く最新ツールをリリースできるよう準備を進めています。

既存のZibraAIソリューションはすべて、ゲーム用コンテンツの作成プロセスを簡素化し、その品質も向上させるように設計されています。リアルタイムシミュレーションツール「Zibra Liquids」と「Zibra Smoke & Fire」により、ゲーム開発者はプロジェクトにインタラクティブでダイナミックなビジュアルを追加し、モバイルゲームであってもゲームメカニズムを構築することができます。Zibra VDB Compressionは、ベイクドエフェクトを使用する開発者のために、ゲーム内で軽量のOpenVDBを使用することを可能にします。 ZibraAIの全製品についてはこちらをご覧ください。

CG News

Cascadeur 正式リリース

AI を利用した物理ベースのキャラクター アニメーション ソフトウェア「Cascadeur」が正式リリースされました。Cascadeurは2019 年にアーリーアクセスとして発売開始されましたが、Cascadeur 2022.3を正式バージョンとしたようです。

https://cascadeur.com/

 

なぜCascadeurなのか?

Cascadeurは、ヒューマノイドやその他のキャラクターの3Dキーフレームアニメーションのためのスタンドアローンソフトウェアです。ゼロからアニメーションを作ったり、アニメーションを編集したりすることが、これほど簡単で楽しいことはかつてありませんでした。AI支援ツールにより、キーポーズを素早く作成し、瞬時に物理的な結果を確認し、二次的なモーションを調整することができます。しかも、どの時点でも完全なコントロールを維持したままです。

 

簡単なリギング

クイックリギングツールにキャラクタのジョイントをドラッグ&ドロップすると、リグが自動的に生成されます。Daz3d、Character Creator、Mixamo、Unreal Engine、Metahuman、Player.meの標準スケルトンをワンクリックでリグ化できます。自動生成されたリグをカスタマイズしたり、ヒューマノイド以外のキャラクタ用に独自のリグを作成することも可能です。

 

AIで簡単ポーズ

ニューラルネットワークを搭載した独自のインテリジェント・リグにより、より簡単かつ迅速にポーズを作成することができます。主要なコントロールポイントを動かすだけで、AIが自動的に体の残りの部分を配置します。どのポイントも自由に動かせるので、仕上がりを完全にコントロールすることができます。

 

簡単な物理演算

AutoPhysics Toolを使えば、アニメーションをできるだけ変更せずに、リアルで自然なモーションを実現できます。提案されたアニメーションは、あなたのキャラクターの緑色のインスタンス上に表示されます。結果に満足したら、それを簡単にキャラクタにスナップすることができます。

 

セカンダリモーションで生命を吹き込む

専用ツールで簡単に二次モーションを追加できます。ボディパーツごとに、好きな間隔でエフェクトをカスタマイズできます。シェイク、バウンス、オーバーラップで、あなたのアニメーションを生き生きとしたものにしましょう。

 

豊富なアニメーションツール

カスケードには、軌跡、ゴースト、コピーツール、トゥイーンマシン、IK/FK補間、グラフエディタ、ビデオリファレンスインポート、カメラなど、様々なアニメーションツールが搭載されています。私たちは、すべてのツールを使いやすくするために、常に新しいものをソフトウェアに追加しています。

 

Cascadeurで学ぶ

カスケードゥールで3Dアニメーションのテクニックを学ぶためのオンラインチュートリアルシリーズをご用意しました。

 

価格

2022 年 12 月 31 日まで 25% OFFです。

CG News

Maya 2023.3 リリース

Maya 2023.3がリリースされました。

https://help.autodesk.com/view/MAYAUL/2023/JPN/?guid=GUID-A8136D11-EC5F-47B3-8DF9-9BF577EF2CCD
https://makeanything.autodesk.com/maya/2023-3-384UM-6534H6.html

 

近接ラップ(Proximity Wrap)デフォーマのグローバル スケーリング(Global Scaling)設定

近接ラップ(Proximity Wrap)ドライバを使用して、proximityWrap が inputGeometry のデフォメーションに影響を与える方法をコントロールする新しい方法があります。ドライバ頂点は、ドライバのデフォメーションやトランスフォームによって移動できます。

この新しい機能は、ドライバの頂点の位置を使用して inputGeometry を変形するメソッドを扱います。

 

グラフ エディタ機能が復元されました

アニメーション(設定)プリファレンスに、左ドラッグで選択したキーを移動という新しい設定が追加されました。これにより、左クリックでキー選択を変更できます。

さらに重要なことは、左クリックでキーのみを選択できるように、このオプションを無効にできることです。これは、マーキー選択がキーまたは接線に近すぎる場合にキーが移動しないように、キーが密集した領域を操作する場合に便利です。

 

タイム エディタのオーディオの新しい基本設定

以前は、タイム エディタからプレイブラストされたオーディオのピッチが変わるか、切り取られるという問題が発生していました。アニメーション(設定)プリファレンスのタイム エディタ領域にある新しいオーディオ入力レートメニューでオーディオ ファイルの周波数を選択することで、この現象を回避できるようになりました。

 

新しいハイパーシェードのプリファレンス

プリファレンス(Preferences)ウィンドウに、ノード エディタ(Node Editor)プリファレンスと同様のコントロールを提供するハイパーシェード(Hypershade)プリファレンスセクションが追加されました。ハイパーシェード(Hypershade)プリファレンスでは、ハイパーシェード(Hypershade)作業領域の既定のグリッド表示、グリッド スナップ、表示モード、スウォッチのサイズ変更を設定することができます。

 

UVツールキット(UV Toolkit)の選択オプションを折り畳む

UV ツールキット(UV Toolkit)で選択(Selection)オプションを折り畳むことができ、ツールキットのセクションにアクセスしやすくなりました。

 

Substance 2.3.1 プラグイン

Maya 2023.3 には Substance バージョン 2.3.1 が含まれています。このバージョンでは、新しい Substance Engine 8.6.2 が使用され、さまざまなバグ修正が行われています。詳細については、http://www.autodesk.com/maya-substance-docsを参照してください。

 

ATF 読み込み

Maya の Autodesk Translation Framework (ATF) 読み込みは、Catia V5-6R2022 および Alias 2023 モデルをサポートするようになりました。

 

USD と Arnold の改善

最新バージョンの Maya for USD プラグインと統合された Arnold バージョンをお楽しみください。これらの更新により、全体的な安定性が向上し、よりスムーズな体験が得られます。

  • Arnoldについては「Arnold for Maya リリース ノート」を参照してください。
  • USD for Maya v0.20.0 には、重要なバグ修正、安定性の更新、および Maya としての編集ワークフローとディスプレイ レイヤに関連するワークフローの新しい機能リリースが含まれています。このバージョンに関する最新のハイライト情報については、「USD リリース ノート」を参照してください。

CG News

3ds Max 2023.3 リリース

3ds Max 2023.3がリリースされました。このところOSLに力入れてますね。

https://help.autodesk.com/view/3DSMAX/2023/JPN/?guid=GUID-15FBEC9F-B168-4733-84D9-7626F28AC2E3

 

ポリゴンから三角形へのメッシュ変換の改善

アーティストとアニメータは、シーンの背後で実行できるポリゴンから三角形へのメッシュ変換を処理するときに、3ds Max 2023.3 が改善されたことに気付くでしょう。

ポリゴンからメッシュに(またはその逆に)データを変換する必要があるモディファイヤでは、最大で 40% 高速化され、ビューポートのパフォーマンスは最大で 35% 向上します。また、シーン データを Arnold などのオフライン レンダラに送信するときに、パフォーマンスが若干向上します。

 

有機ノイズ

新しい有機ノイズ OSL マップを使用すると、OSL ノイズを調節およびフィルタリングして、有機的なノイズ パターンを作成できます。
有機ノイズ マップには、各種のコースティクス ノイズ、芸術的ノイズ、抽象的ノイズをすばやく設定するための多数のプリセットが用意されています。「インストール済みの OSL シェーダ(マップ)」を参照してください。

 

UVW ランダマイザ 2D および UVW ランダマイザ 3D OSL

2D および 3D UVW ランダマイザ OSL マップは、UVW 座標のセットを使用し、ランダムなスケールオフセット、および回転を適用します。これらは、各エフェクトのオブジェクトごとのランダム度に対するシードによって制御されます。

 

ATF 読み込み

3ds Max の Autodesk Translation Framework (ATF) 読み込みは、Catia V5-6R2022 および Alias 2023 モデルをサポートするようになりました。

 

Substance 2.4.9

3ds Max 2023.3 には Substance 2.4.9 が付属しており、Corona レンダラのバージョン 8 と 9 がサポートされています。

 

Arnold for 3ds Max 5.4.3.10

3ds Max には Arnold 7.1.3.2 用の MAXtoA 5.4.3.10 が付属しており、フィジカル マテリアルやボリューム マテリアルのワークフローの改善など、さまざまなバグ修正が行われています。

 

更新されたアタッチメント コンストレイントの自動キー動作

以前はオート キー モードを使用すると、アタッチメント コンストレイントのキーは常に現在およびフレーム 0 に設定され、オート キーの[既定のフレーム]基本設定で設定された内容、およびアニメータが現在のアクティブ タイム レンジに設定した内容は無視されていました。

この問題は Update 3 で解決され、自動キー モードがアクティブのときに作成された初期キーフレームが期待どおりに作成されるようになりました。

参考資料

アバター2はなぜ48コマなのか。HFR映画がもたらす視覚効果とリアリティ

『アバター:ウェイ・オブ・ウォーター』で使用されるハイフレームレート(HFR)+HDR+4K+3D上映に関連して、映画のフレームレートはどうやって決められたのか、という歴史が書かれた記事が公開されています。

映画は通常24FPS(1秒間に24枚の絵が表示される)ですが、『アバター: ウェイ・オブ・ウォーター』では普通のドラマ場面は24FPSで上映し、アクションシーンや水中シーンは48FPSになるとのことです。手描きアニメのような可変フレームレートは、どんな印象になるのか楽しみですね。

https://av.watch.impress.co.jp/docs/topic/1461878.html

 

映画のフレームレートの話は定期的に見かけますが、今回の記事は詳細に書かれてて面白かったです。

 

ハイフレームレート上映する映画館の情報はこちら。

  • イオンシネマ : 94劇場全館
  • TOHOシネマズ : 9館
  • MOVIX : 10館
  • シネマサンシャイン
  • コロナワールド : 10館

https://av.watch.impress.co.jp/docs/news/1463723.html

 

CG News

ハリコミ専用ソフト「IwaWarper」リリース

アニメで使用されるハリコミ専用ソフト「IwaWarper」リリースされました。修正BSDライセンスで公開されています。
ジブリで貼り込み作業に使われてる貼り込み特化ソフトらしいです。

https://opentoonz.github.io/download/iwawarper.html
https://github.com/opentoonz/iwawarper

 

概要

アニメーション制作工程の中で、美術や特効で描かれた模様、汚れ、質感を作画の輪郭に合わせてゆがめ、動かす技法を「ハリコミ」と呼びます。
(ハリコミ以外にも、ハメコミ、オッカケ、2D変形などと呼ばれることもあるようです)

IwaWarperは、ハリコミのための専用ソフトウェアです。

CG News

FoundryがBokeh for Nukeを買収

FoundryがNuke用の被写界深度プラグイン「Bokeh」を買収しました。将来的にNuke 13.2とNuke 14.0 に統合する予定とのことです。
Bokehは年間$ 99で販売されていたプラグインで、Animal Logic のレゴ ムービーなど映画で使用されていました。

Bokehはディープ データをサポートするデフォーカス ツールです。ブルーミング、絞り羽根、球面収差、色収差など、実際のカメラ レンズのプロパティを再現し、複数のマット チャンネルを使用してパラメーターを制御するオプションも備えています。

https://peregrinelabs.com/products/bokeh
https://peregrinelabs.com/blogs/news/bokeh-has-a-new-home

 

Bokehが新しいホームに

12年にわたるBokehの開発とサポートの後、私たちは、この製品がFoundry社によって新しいホームを見つけたことを発表できることに興奮しています。

Foundryは、今後リリースするNukeの全製品にBokehを統合し、Nuke IndieおよびNuke Non-Commericalのユーザーに初めてアクセスできるようにします。

Bokehを長年にわたって使用してきたすべての顧客とアーティストに非常に感謝しており、Foundryの世界的なチームとともに製品の寿命を延ばすことができたことをうれしく思っています。

両社は、移行がスムーズで中断されることがないようにしたいと考えています。

今後、Foundry社はNuke 13.2v6およびNuke 14.0v2からBokehを統合してサポートし、Peregrine社は2023年12月31日までNuke 13.2以前のリリースのサポートを継続します。

有効なライセンスをお持ちのお客様、または2022年11月1日以降に有効期限が切れたお客様は、2023年12月31日まで無償で延長することができますので、Bokehのウェブページからお申し込みください。

2023年12月31日まで有効なブリッジングサイトライセンスは、レガシーリリースへのアクセスがまだ必要な方のために、ペレグリンから購入することが可能です。

Colin、Kirsten、Peregrineチーム一同、ありがとうございました。

CG News

Modoトレーニングビデオ 無償公開

Modo Japan Group が販売していた、総額40,000円以上のトレーニングビデオが無償公開になっています。ビデオを見ると新しい発見がありそうです。

http://modogroup.jp/modo/training_materials

 

 

参考

適当に検索して出てきた税込価格。

  • MODO ゲームキャラクター制作コンプリートガイド: 4,180円
  • MODO チュートリアルビデオ Architectural Modeling : 3,024 円
  • modo実践チュートリアルビデオ 建築パース編
    modo実践チュートリアルビデオ 家具編
    modo実践チュートリアルビデオ インテリア編
    modo実践チュートリアルビデオ デザイナーズハウス編
    セット価格: 10,780円
  • MODOプロダクトチュートリアル スニーカー編 : 1,980円
  • MODO トレーニングビデオシリーズ/マテリアル編 : 4,180円
  • MODO トレーニングビデオシリーズ/ケトルモデリング編 : 3,080円
  • MODO トレーニングビデオシリーズ/プロシージャルモデリング編 : 3,080円
  • MODO トレーニングビデオシリーズ/パンプスモデリング編 : 3,080円
  • MODOキャラクタアニメーション初級編/中級編 : 6,534円
  • MODOトレーニングビデオ(CORDELIA) Part1&2 : 5,280円
参考資料

RealityScan 無料リリース

Epicが無料の3Dスキャンアプリ「RealityScan」をリリースされました。RealityScanはQuixelとRealityCaptureの共同で開発しており、今年4月に人数を限定したベータ版を公開していました。

https://apps.apple.com/us/app/realityscan/id1584832280
https://www.unrealengine.com/ja/blog/realityscan-is-now-free-to-download-on-ios

 

RealityScan が iOS で無料で ダウンロードできるようになりました

RealityScanは、写真を高忠実度の3Dモデルに変換できるモバイルデバイス用の3Dスキャンアプリです。このアプリは誰もがごく簡単に使えるように設計されているため、スキャンの経験がなくても使い始めることができます。

スマートフォンやタブレットを使って3Dで再現したい対象物の写真を撮るだけで、アプリがそれらを3Dモデルに組み立ててくれます。満足のいく仕上がりになったら、Sketchfabにエクスポートして、あなたの作品を世界中に公開することができます。

 

わずか数回のスナップで超リアルな3Dモデルが実現

RealityScanは、Epic Games ファミリーの一員であるフォトグラメトリソリューション開発会社、Capturing Realityによって開発されました。彼らのミッションは、すべてのクリエイターが3Dスキャンにアクセスできるようにすることです。Capturing Reality は、世界最大のスキャンライブラリ、Megascans のキュレーターである Quixel— と協力し、3DスキャンからCGモデルを作成するプロセスを簡素化する新しいツールを提供します。

RealityScan を使えば誰でも現実世界に存在するオブジェクトから3Dモデルを作成し、使用することで、ビジュアライゼーション プロジェクトのリアリズムを向上させることができます。

Quixel Megascans ライブラリにある高忠実度スキャンは、このアプリケーションのデスクトップ版である RealityCapture を使用して作成されています。RealityScan は、この強力な技術を誰もが使えるようにしたものです。つまり、すべてのクリエイターが、高精度な3Dモデルを作成できるようになったことを意味します。

 

クラウド処理の自動化

対象物を撮影したら、あとは RealityScan がクラウド処理でモデルを組み立てます。

その後、モデルを Sketchfab にアップロードし、3D、VR、ARコンテンツを公開、共有、販売することができます。そこからモデルをダウンロードして、Unreal Engine、Twinmotion、MetaHuman、またはその他の3Dアプリケーションで使用することも可能です。

 

さらに、Sketchfab に初めてアップロードすると、自動的に 1 年間、 Sketchfab Pro アカウントにアップグレードされます!

今後、RealityScan はさらに多くの機能と改善を予定しており、2023年にはAndroid 版も登場する予定です。
アプリをダウンロードしてスキャンを楽しんでください。スキャンしたものをソーシャルに投稿する際は、#RealityScan のタグ付けするのを忘れないでください。