Googleが頭部モデル「GNM Head」をオープンソース化

Googleが頭部モデル「GNM Head」をオープンソース化しました。皮膚、目、歯、舌用と、頭のポーズや表情を生成するためのパラメータセットが含まれています。頭部メッシュの基本的な形状を制御する「アイデンティティ」パラメータは253個あり、更に383個の表情パラメータが用意されているらしいです。

https://github.com/google/GNM/tree/main
https://nathandickson365.gumroad.com/l/GNMImporter

GNM：Generative aNthropometric Model and Ecosystem（生成的人体計測モデルおよびエコシステム）

GNM Ecosystem リポジトリへようこそ。GNM は、人間のゲノム（genome、/ˈdʒiː.noʊm/）にちなんで「ジーノーム」と発音され、最も正確かつ完全な 3D パラメトリック人体モデルを目指しています。

3D Morphable Models（3DMM）は、人間の形状や外観を表現するために、コンピュータビジョン、コンピュータグラフィックス、生成 AI の分野で広く利用されています。GNM は、最先端のパラメトリック統計的人体モデル群と、それに対応する認識（Perception）スタックを提供します。

私たちのロードマップには、認識・解析技術と組み合わせた包括的な統計モデル群の公開が含まれています。コミュニティによる早期の研究とオープンな開発を促進するため、オープンソース公開の第一弾として、高精細な統計的 3D 人体頭部モデルである GNM Headを提供します。

このエコシステムは、非商用・商用の両方の用途に適した、寛容なライセンスの下で公開されています。

機能

詳細な3D顔ジオメトリ: 皮膚、目、歯、舌で構成された高密度な3D顔メッシュを生成します。
分離された制御: 以下を個別のパラメータで制御できます。
- Identity: 被写体固有の顔の特徴を制御します。
- Expression: 豊富な表情ブレンドシェイプを使用して顔をアニメーション化します。
- Head Pose: 首および眼球の回転を制御します。
- Translation: グローバルな位置を制御します。
セマンティックパラメータサンプリング: セマンティックラベルからIdentityおよびExpressionパラメータを生成する事前学習済みモデルを含みます。
- ExpressionSampler: 「happy（喜び）」「surprise（驚き）」などの表情を生成したり、それらをブレンドしたりできます。
- IdentitySampler: 性別や民族などの属性に基づいてIdentityを生成します。
マルチフレームワーク対応: NumPy、JAX、PyTorch、TensorFlowをネイティブにサポートしています。
寛容なライセンス: Apache 2.0。

GNM Ecosystem パッケージ

ここでは、現在利用可能なすべての GNM パッケージを一覧で紹介します。

GNM Head アイデンティティ、表情、頭部姿勢を細かく、かつ互いに独立して制御できる、パラメトリックな3D統計的人体頭部・顔形状モデルです。このモデルには、眼球、歯、舌を含む制御可能な内部解剖構造が含まれています。また、NumPy、JAX、PyTorch、TensorFlow向けのマルチフレームワーク対応バックエンドに加え、セマンティックなパラメータサンプリングも備えています。