2D動画から 3Dシーンを再構築する「NVIDIA Neuralangelo」の映像が公開されています。
現在よく見かけるマルチビュー ステレオ アプローチ(複数の写真から3D形状を復元するやつ)に代わるAI ベースの研究成果らしいです。
NVIDIA Researchが開発したニューラルネットワークを用いた3D再構成のための新しいAIモデル「Neuralangelo」は、2Dのビデオクリップを詳細な3D構造に変換し、建物、彫刻、その他の現実世界のオブジェクトのリアルなバーチャルレプリカを生成します。
ミケランジェロが大理石の塊から驚くほどリアルなビジョンを彫るように、Neuralangeloは複雑なディテールやテクスチャを持つ3D構造を生成します。クリエイターは、これらの3Dオブジェクトをデザインアプリケーションに取り込み、さらに編集して、アート、ビデオゲーム開発、ロボット工学、産業用デジタルツインに使用することができます。
屋根板、ガラス板、滑らかな大理石など、複雑な素材の質感を2D動画から3D資産に変換するNeuralangeloの能力は、従来の方法を大きく上回ります。この高い忠実度により、開発者やクリエイターがスマートフォンで撮影した映像を使って、プロジェクトで使用可能な仮想オブジェクトを迅速に作成することが容易になりました。
「Neuralangeloが提供する3D再構成機能は、クリエイターにとって大きなメリットとなり、デジタル世界で現実世界を再現するのに役立ちます」と、研究部門のシニアディレクターで論文の共著者であるMing-Yu Liuは述べています。「このツールによって、開発者は最終的に、小さな像であれ巨大な建物であれ、詳細なオブジェクトをビデオゲームや産業用デジタルツインの仮想環境に取り込むことができるようになるでしょう」
NVIDIAの研究者はデモで、このモデルがミケランジェロのダビデ像のような象徴的なものからフラットベッドトラックのようなありふれたものまで再現できることを紹介しました。Neuralangeloは、建物の内部や外観を再現することもできます。NVIDIAのベイエリア・キャンパスにある公園の詳細な3Dモデルで実証されました。
ニューラルレンダリングで見る3Dモデル
3Dシーンを再構築する先行するAIモデルは、反復するテクスチャパターン、均質な色、強い色のバリエーションを正確に捉えることに苦労してきました。Neuralangeloは、NVIDIA Instant NeRFを支える技術であるインスタントニューラルグラフィックスプリミティブを採用し、これらの微細なディテールを捉えることができるようにしました。
オブジェクトやシーンをさまざまな角度から撮影した2D映像を使い、アーティストが被写体を複数の側面から見て奥行きやサイズ、形状の感覚を得るように、異なる視点を捉えた複数のフレームを選択します。
各フレームのカメラ位置を決定すると、彫刻家が被写体の形を彫り始めるように、NeuralangeloのAIはシーンのラフな3D表現を作成します。
彫刻家が石を削って布や人物の質感を再現するように、レンダリングを最適化し、細部を鮮明にします。
最終的には、バーチャルリアリティやデジタルツイン、ロボット開発などに利用できる3Dオブジェクトや大規模なシーンが完成します。