Video-to-PBRのAIモデル「SwitchLight 2.0」がリリースされました。興味深い。
https://beeble.ai/research/switchlight-2-0-is-here
SwitchLight 2.0が登場
Video-to-PBRとリライティングのための次世代モデル
SwitchLight 2.0とは？
SwitchLight 2.0は、あらゆるタイプの映像から、法線、ベースカラー、メタリック、ラフネス、スペキュラマップを含む、正確な物理ベースレンダリング（PBR）マップを生成するために設計された、最も先進的なVideo-to-PBRモデルです。
SwitchLight 1.0と比較して、精度が大幅に向上し、背景要素や一般的なオブジェクトを含むシーン全体を理解します。あらゆるレベルのクリエイターに、完全なリライティングと合成機能を提供します。
スイッチライト1.0と2.0の比較
SwitchLight 2.0は、あらゆる映像の忠実度の高いリライティングのために構築された、まったく新しいアーキテクチャを備えています。13倍のデータでトレーニングされ、より幅広いオブジェクトや環境に対応します。10倍大きくなったモデルサイズと組み合わせることで、SwitchLight 2.0はよりシャープなディテールを実現し、複雑な環境など、より過酷なシナリオにも対応します。
超詳細PBRマップ
SwitchLight 2.0は、肌の質感、布地、顔やシーンのディテールを驚くほど正確にキャプチャできます。強いシャドウやハイライトのある屋外など、現実世界の難しいシナリオでも、SwitchLight 1.0から大幅に改善された2.0モデルは、PBRマップを忠実に再現します。
SwitchLight 2.0は、急速な動きや鬱蒼とした葉のような複雑な環境を含む困難なシナリオでも、詳細なサーフェス法線を回復することができます。
SwitchLight 2.0は、強い日差しや交差する形状の下でも、車両やレールの表面の向きを忠実に復元します。
SwitchLight 2.0は、モーションブラーと薄明かりのあるダイナミックな森のシーンで、体型や衣服のディテールを正確に捉えます。
SwitchLight 2.0は、スナイパーライフルのような要素だけでなく、目から耳たぶまで、複雑な顔のディテールをキャプチャします。
SwitchLight 2.0は、厳しい影や反射の下で、車の内部を正確に捉えます。
人間を超えるフルシーンの理解
SwitchLight 1.0は、孤立した人間のPBRパスしか生成できないため、前景の被写体を指定するためにアルファマスクが必要でした。対照的に、SwitchLight 2.0はアルファ入力を必要とせず、シーン全体の正確なPBRマップを生成します。SwitchLight 2.0は、人物だけでなく多様なオブジェクトのデータセットでトレーニングされているため、どのような環境でも高品質なリライティングとシームレスな合成が可能です。
家具、壁、床をキャプチャし、1回の手持ち撮影でフルシーンのリライティングを可能にする。(時計回り：入力、ベースカラー、メタリック、ノーマル）
映画で最も一般的なショットの1つに最適な、車内のフルシーンPBRマップを生成します。(時計回り：Input、BaseColor、Normal、Specular、Roughness、Metallic）。
低照度、自然環境に強く、草、葉、陰影のある表面のディテールを捉えます。(時計回り：インプット、ベースカラー、メタリック、ノーマル）
実世界のシナリオにロバスト（時計回り：Input、BaseColor、Metallic、Normal）
実世界のシナリオにロバスト（時計回り：Input、BaseColor、Metallic、Normal）
AIが生成した映像も理解する。(時計回り：インプット、ベースカラー、メタリック、ノーマル）
レンダリングされたキャラクターやアニメーションも理解できる。(時計回り：インプット、ベースカラー、メタリック、ノーマル）
屋外シーンの地形と照明を正確にキャプチャします。(時計回り：インプット、ベースカラー、メタリック、ノーマル）
実映像でのイメージベースライティング
イメージベースド・ライティング（IBL）は、3Dレンダリングにおけるゴールドスタンダードであり、HDRIを使用して、正確な反射、シャドウ、アンビエントトーンを持つリアルな環境主導型ライティングを作成します。しかしこれまでは、実写映像には必要なPBRデータがないため、IBLはCGIに限られていました。
SwitchLight 2.0は、ビデオから高品質のPBRマップを直接生成することで、この機能を解放します。実写シーンにHDRIを適用し、BlenderやUnrealのように物理的に正確なリライティングを行うことができます。3D再構築は不要で、当社のリアルタイム・ウェブ・エディターやあらゆる3Dパイプラインで、即座に自然なライティングを実現できます。
被写体は右上のHDRIを使用して再点灯される。
多様なHDRI環境下で1ショットをリライトできる。
実世界での例
極端な照明コントラストを扱います。(ソース, ベースカラー, ノーマル)
どんなに暗い背景でも、驚くほど正確に再構成します。(ソース, ベースカラー, ノーマル)
複数の人物の法線マップとアルベドマップを正確に復元します。(ソース, ベースカラー, 法線)
Squid Gameの様々なシーンにおけるSwitchLight 2.0。(ソース, ベースカラー, ノーマル)
その他の例
左から右へ： ソース、ベースカラー、ノーマル
左から右へ： ソース、ベースカラー、ノーマル
左から右へ： ソース、ベースカラー、ノーマル
Blender、Unreal、Nukeへのエクスポート
Beeble Studioで生成されたPBRマップをエクスポートして、Blender、Unreal Engine、After Effects、Nukeなどのお気に入りのツールにインポートすることができます。特にBlenderとUnrealについては、専用のアドオンとプラグインを提供しており、フッテージを完全に再照明可能なアセットとしてインポートできるため、シームレスで強力な統合が可能になります。
Beeble StudioでSwitchLight 2.0を試す
SwitchLight 2.0を体験する最も簡単な方法は、Beeble Studioです。グリーンスクリーン映像をアップロードするだけで、クラウド上で動作するSwitchLight 2.0が自動的にすべてのPBRパスを抽出します。そこから、リアルタイム・ライティングと合成を試して、ショットに命を吹き込むことができます。