PhysDiff: 物理的に誘導された人体運動拡散モデル

浮遊、足すべり、地面貫通などを、物理的にありそうな動作に投影する論文だそうです。Cascadeurのように物理シミュレーションを使用したりAIを使用して、不自然なアニメーションを補う技術が発展しそうですね。

https://nvlabs.github.io/PhysDiff/

概要

デノイジング拡散モデルは、多様でリアルな人物モーションを生成するために大きな期待が寄せられている。しかし、既存の運動拡散モデルは、拡散過程における物理法則をほとんど無視しており、浮遊、足すべり、地面貫通などの顕著なアーチファクトを伴う物理的にありえない運動を生成することが多い。このため、生成されたモーションの品質に大きな影響を与え、実環境での適用に限界がある。

本論文では、物理的な制約を拡散過程に組み込んだ物理誘導型動作拡散モデル（PhysDiff）を提案する。具体的には、物理シミュレータにおける動作模倣を利用して、拡散ステップのノイズ除去された動作を物理的にありそうな動作に投影する、物理ベースの動作投影モジュールを提案する。投影された運動はさらに次の拡散ステップで使用され、ノイズ除去の拡散プロセスをガイドする。このように、本モデルでは物理を用いることで、物理的にありそうな空間へ繰り返し運動を誘導することができる。大規模な人体運動データセットを用いた実験により、我々のアプローチが最先端の運動品質を達成し、物理的妥当性を劇的に向上させることが示された（全てのデータセットで78%以上）。