Stable Point Aware 3Dが公開されました。1枚の入力画像から、1オブジェクト0.7秒で詳細な3Dメッシュを生成できるとの事です。背面など見えない部分を予測できるのが特長のようです。
https://stability.ai/news/stable-point-aware-3d
https://github.com/Stability-AI/stable-point-aware-3d
Stable Point Aware 3D の導入： リアルタイム編集と完全なオブジェクト構造生成
キーポイント
- Stable Point Aware 3D (SPAR3D)は、1枚の画像から3Dオブジェクトのリアルタイム編集と完全な構造生成を1秒以内に実現します。
- 世界初のアーキテクチャを採用したSPAR3Dは、正確な点群サンプリングと高度なメッシュ生成を組み合わせることで、3Dアセット作成においてこれまでにない制御を実現します。基礎となる技術の詳細については、こちらの研究論文をご覧ください。
- このモデルは、Stability AI Community Licenseに基づき、商用・非商用を問わず無料で使用できます。
- Hugging FaceのウェイトとGitHubのコードをダウンロードするか、Stability AI Developer Platform APIからモデルにアクセスできます。
CESでNVIDIAとのパートナーシップにより発表されたように、我々は3D生成の新たな標準を設定するStable Point Aware 3D (SPAR3D)を導入することに興奮しています。NVIDIA RTX AI PC上での実行に理想的なSPAR3Dは、1秒以内に1つの画像から3Dオブジェクトのリアルタイム編集と完全な構造生成を可能にします。
Hugging Face上のウェイトとGitHub上のコードをダウンロードするか、Stability AI Developer Platform APIを通じてモデルにアクセスすることができます。
このモデルの優れた点
SPAR3Dは、以下の高度な機能により、ゲーム開発者、製品デザイナー、環境構築者の3Dプロトタイピングを変革します。
- 前例のないコントロール： ポイントの削除、複製、ストレッチ、フィーチャの追加、再カラーリングなど、点群の直接編集が可能です。
- 完全な構造予測： 正確なジオメトリを提供し、オブジェクトの背面など通常は隠されている領域を含む、360度全方向のビューの詳細な予測を行うことで、3D構築を強化します。
- 高速生成： 編集した点群をわずか0.3秒で最終メッシュに変換し、シームレスなリアルタイム編集を可能にします。1枚の入力画像から、1オブジェクトあたりわずか0.7秒で非常に詳細な3Dメッシュを生成します。
世界初のアーキテクチャ
SPAR3Dのアーキテクチャは、正確な点群サンプリングと高度なメッシュ生成を組み合わせることで、3Dアセット作成においてかつてない制御を実現します。このプロセスは、2つのステージで動作します。
- 第一段階： 第一段階：特殊な点拡散モデルにより、オブジェクトの基本構造を捉えた詳細な点群を生成します。
- 第二段階： トライプレーン・トランスフォーマーが、この点群を元の画像の特徴とともに処理し、高解像度のトライプレーン・データを生成します。このデータが最終的な再構成の原動力となり、元画像の形状、テクスチャ、照明を正確にキャプチャします。
この二段階アプローチは、回帰ベースのモデリングの精度とジェネレーティブ技術の柔軟性をユニークに組み合わせ、正確な再構築とクリエイティブなコントロールの両方を可能にします。この高度なアーキテクチャは、正確なジオメトリと正確な360度予測を保証し、3Dモデリング・ワークフローを合理化します。
基礎となる技術の詳細については、こちらの研究論文全文をご覧ください。
始める
SPAR3Dは、Stability AI Community Licenseに基づき、商用・非商用を問わず無料でご利用いただけます。年間収益が100万ドル以上の組織については、こちらからエンタープライズライセンスについてお問い合わせください。
Hugging FaceからSPAR3Dをダウンロードし、GitHubでコードにアクセスし、Stability AI Developer Platform APIを通じて統合することができます。