VAST/TripoがAIを使用して3Dリギングを自動化する「UniRig」を発表し、オープンソースとして公開しました。
メッシュに自動的にボーンを作成する研究は昔からありましたが、どの程度実用的になっているのか気になります。
https://www.tripo3d.ai/blog/unrig-automated-3d-rigging
https://github.com/VAST-AI-Research/UniRig
1つのモデルですべてをリギング： VAST/Tripo、多様な3Dリギングを自動化するUniRigを発表
自己回帰モデルと新しいトークン化スキームを活用したUniRigは、多様なキャラクタやオブジェクトに対して最先端のパフォーマンスを提供し、3Dアニメーションのボトルネックを解消します。
3Dコンテンツ制作の環境は爆発的に変化しています。洗練された従来のワークフローと、（私たちTripoのような）AIを搭載した生成ツールの急速な台頭により、高品質な3Dアセットへの需要が急増しています。しかし、リギングという重要なボトルネックが存在します。静的な3Dメッシュを、スケルトンとスキニングウェイトを持つアニメーション可能なキャラクターに変換するのは、複雑で時間がかかり、多くの場合、かなりの専門知識を必要とする手作業です。
既存の自動化されたソリューションは、部分的な救済を提供しますが、多くの場合、不十分です。テンプレートベースの手法は、（標準的な二足歩行のような）定義済みの構造内では優れていますが、今日作成されているモデルの多様性に対しては柔軟性に欠けています。テンプレートフリーのアプローチは、適応性は高いものの、トポロジー的に妥当なスケルトンの生成に苦労したり、複雑な後処理を必要とすることが多く、実用的な採用の妨げとなっています。
本日Tripoは、これらの制限を克服するために設計された、自動スケルタルリギング用の斬新で統一されたフレームワークであるUniRigを発表します。最新の研究論文「1つのモデルですべてをリギング： UniRigによる多様なスケルトンリギング」、UniRigは、人間や動物から複雑な架空のキャラクター、さらには無機的な構造物に至るまで、これまでにない多様な3Dモデルに対して高品質なスケルタル・リグを生成できる強力なモデルを紹介します。
UniRigのアプローチ： 自己回帰予測と新しいトークン化
UniRigの核心は、言語や画像生成の進歩の原動力となっているような、大規模な自己回帰モデルの力を活用することです。ピクセルや単語を予測する代わりに、UniRigは3D骨格の構造を関節ごとに予測します。この逐次的な予測プロセスは、トポロジー的に妥当な骨格を確実に生成するための鍵となります。
これを可能にする重要な設計が、スケルトン・ツリーのトークン化手法です。複雑な関節の相互依存性を持つ階層的なスケルトン構造を、トランスフォーマーに適した線形シーケンスとして表現することは、自明なことではありません。私たちのトークン化スキームは効率的に符号化します。
- 関節座標： 骨の関節の離散化された空間位置
- 階層構造： 明示的な親子関係、有効なツリー構造の確保
- 骨の意味： 特別なトークンがボーンタイプを識別します（例えば、Mixamoのような標準テンプレートボーン、髪/布シミュレーション用のダイナミックスプリングボーン）
この最適化されたトークン化（素朴なアプローチと比較してシーケンス長を約30%短縮）により、自己回帰モデル（OPTアーキテクチャに基づく）は、形状エンコーダで処理された入力メッシュ形状を条件として、骨格構造の基礎となるパターンを効果的に学習することができます。
スケルトンを超えて 正確なスキニングと属性
有効なスケルトンが予測されると、UniRigはボーン・ポイント・クロス・アテンション（Bone-Point Cross Attention）メカニズムを採用し、頂点ごとのスキニングの重みを予測します。このモジュールは、メッシュとスケルトンの幾何学的特徴を取り入れ、空間認識を向上させるために測地線距離情報によって決定的に補強され、各骨が周囲のメッシュ表面に与える複雑な影響を効果的に捉えます。
さらに、UniRigは、骨固有の属性（バネ骨の剛性や重力の影響など）を予測し、学習したパラメータから直接、より物理的に確からしいセカンダリーモーションを可能にします。
Rig-XL： データで汎化を促進する
モデルはデータと同じだけ優れています。UniRigの幅広い応用を可能にするために、私たちは14,000以上の多様なリギングされた3Dモデルを含む新しい大規模データセット、Rig-XLを作成しました。Rig-XLは、Objaverse-XLのようなリソースから派生し、綿密にクリーニングされたもので、複数のカテゴリー（二足歩行、四足歩行、鳥、昆虫、静的オブジェクトなど）にまたがり、真に一般化可能なリギングモデルをトレーニングするのに必要なスケールと多様性を備えています。私たちはこれをVRoidデータセットで補完し、スプリングボーンを持つ詳細なアニメスタイルのキャラクターのパフォーマンスを改善しました。
最先端のパフォーマンス
UniRigは、自動リギングにおける最先端技術を大幅に進化させました。
- 精度： 難易度の高いデータセットにおいて、リギング精度（関節予測）は215%、モーション精度（アニメーション中のメッシュ変形）は194%向上しています
- 汎用性： 詳細なキャラクター、動物、複雑な有機物や無機物の形状など、従来の手法では失敗することが多かった幅広いカテゴリーにおいて、ロバストなパフォーマンスを実証
- 堅牢性： トポロジー的に健全なスケルトンと妥当なスキニングウェイトを生成し、従来の学術的手法や一般的な商用ツールと比較して優れたアニメーション品質を実現します
- 効率性： 最適化されたトークン化とモデルアーキテクチャにより、実用的な推論時間（1～5秒）を実現
UniRigが重要な理由
UniRigは、最新の3Dパイプラインにおけるリギングのボトルネックを解決するための重要なステップです。高速で、正確で、汎用性の高い自動化ソリューションを提供することで、次のような可能性があります。
- 生産の高速化： リギングに必要な時間と専門知識を削減し、アーティストをクリエイティブな作業に解放します。
- 新しいワークフローの実現： AI駆動型3Dモデル生成の出力とシームレスに統合し、生成されたコンテンツの膨大なライブラリを容易にアニメーション化できるようにします。
- インタラクティブ性の強化： 予測されたスケルトンの編集（ボーンの追加/削除、トポロジーの調整など）やリグの再生成が可能で、自動化とアーティスティックなコントロールが融合します。
- アニメーションの民主化： アニメーション3Dコンテンツ作成への参入障壁を下げます。
先を見据えて オープンソースリリース
UniRigは、Tripoのコミットメントに基づき、オープンソースとして公開されます。この技術は、クリエイターコミュニティに大きな利益をもたらし、さらなるイノベーションを促進すると信じています。
ぜひ、より深く掘り下げてみてください。
UniRigは単なるアルゴリズムではありません。次世代の3Dコンテンツ制作の基盤となるものであり、アニメーションをこれまで以上にアクセスしやすく、効率的で汎用性の高いものにします。