NVIDIA RTX Kit が発表されました。AIを使用して映画品質のアセットをゲーム並みのフレームレートでレンダリングできるRTX Neural Materials、AIを使用してパス・トレースの間接照明のパフォーマンスを向上する RTX Neural Radiance Cacheが面白そうです。
https://developer.nvidia.com/rtx-kit/
https://developer.nvidia.com/blog/nvidia-rtx-neural-rendering-introduces-next-era-of-ai-powered-graphics-innovation/
NVIDIA RTXニューラル・レンダリングがAIを活用したグラフィックス革新の新時代を導入
NVIDIAは本日、ゲーマー、クリエーター、開発者向けの次世代ハードウェア、GeForce RTX 50シリーズのデスクトップおよびラップトップGPUを発表しました。これらのGPUとともに、NVIDIAは、AIによるレイトレース、巨大なジオメトリによるシーンのレンダリング、リアルなビジュアルによるゲームキャラクターの作成を可能にするニューラル・レンダリング技術群であるNVIDIA RTX Kitを発表しました。RTX Kitは、ジオメトリ、テクスチャ、マテリアル、ライティングを強化し、アーティファクト、不安定性、VRAM使用量を削減しながら、複雑なオープンワールドに対してより忠実なビジュアルとパフォーマンスを提供します。開発者は、個別またはすべてのRTX Kit SDKをレンダリングパイプラインに直接統合できます。
RTXニューラル・シェーダがプログラマブル・シェーダにAIをもたらす
25年前、NVIDIAはGeForceとプログラマブル・シェーダを発表し、ピクセル・シェーディングからコンピュート・シェーディング、リアルタイム・レイトレーシングに至るまで、グラフィックス技術における20年にわたる革新の鍵を開けました。 NVIDIA Blackwellアーキテクチャを搭載した新しいGeForce RTX 50シリーズGPUとともに、NVIDIAは、RTX Neural Shadersを導入します。これは、小さなニューラルネットワークをプログラマブルシェーダに取り込み、グラフィックス革新の新時代を可能にするものです。ニューラル・シェーディングの用途は、ラディアンス・キャッシング、テクスチャ圧縮、マテリアル、ラディアンス・フィールドなど、多岐にわたります。
RTX Neural Shaders SDKは、開発者がRTX AI PC上でゲームデータとシェーダコードをトレーニングし、実行時にNVIDIA Tensor Coreでニューラル表現とモデルウェイトを高速化することを可能にします。トレーニング中、ニューラルゲームデータは従来のデータの出力と比較され、複数のサイクルにわたって改良されます。開発者は、大規模で複雑な関数を扱いやすい小さな断片に分割するシェーディング言語であるSlangを使用して、トレーニングプロセスを簡素化することができます。
この画期的な技術は3つのアプリケーションに使用されています： RTX Neural Texture Compression、RTX Neural Materials、Neural Radiance Cache (NRC)です。
- RTX Neural Texture Compressionは、AIを使って何千ものテクスチャを1分以内に圧縮します。そのニューラル表現は、リアルタイムで保存またはアクセスされ、さらに変更することなくメモリに直接ロードされます。ニューラル圧縮されたテクスチャは、同じビジュアル品質で、従来のブロック圧縮されたテクスチャよりも最大7倍多くのVRAMまたはシステムメモリを節約します。
- RTX Neural Materialsは、通常オフラインマテリアル用に予約され、磁器や絹のような複数の層で構築された複雑なシェーダーコードを圧縮するためにAIを使用しています。マテリアル処理は最大5倍高速化され、映画品質のアセットをゲーム並みのフレームレートでレンダリングすることが可能になります。
- RTX Neural Radiance Cacheは、AIを使用してマルチバウンス間接照明を学習し、パストレースされた光線からの最初の1～2バウンスの後に、無限のバウンスを推測します。これは、ラディアンス・キャッシュなしでパス・トレースされたライティングと比較して、より優れたパス・トレースされた間接ライティングとパフォーマンスを提供します。NRCは現在、RTX Global Illumination SDKを通じて利用可能で、RTX RemixとPortal with RTXを通じて近日中に利用可能になる予定です。
開発者は、NVIDIA RTX Kitを通じて、月末からRTX Neural ShadersとRTX Neural Texture Compression SDKを使い始めることができます。登録すると、利用可能になることが通知されます。DirectX開発者向けに、Microsoftは近い将来、DirectXにCooperative Vectorサポートを追加する予定です。これにより、ニューラルシェーダは、RTXテンソルコアで加速された性能を活用できるようになります。
マイクロソフトのシリコン、メディア、グラフィックス担当パートナーグループプログラムマネージャーであるブライアン・ラングレー氏は、「マイクロソフトは、NVIDIAと提携し、ニューラルシェーディング技術を業界全体でサポートすることで、次世代のグラフィックスプログラミングの触媒となることをうれしく思っています。DirectXは、NVIDIA GeForce RTXハードウェア上のテンソルコアのパワーを解き放ち、ゲーム開発者がWindows上でニューラルシェーダを完全に高速化できるようにする、Cooperative Vectorsをまもなくサポートします」
デジタル人物のレンダリングにおける不気味の谷を越える
人間の顔のレンダリングは、リアルタイムグラフィックスにおいて最も困難なタスクの1つです。RTX Neural Facesは、ジェネレーティブAIを用いて顔のクオリティを向上させる革新的で新しいアプローチを提供します。総当たりレンダリングの代わりに、Neural Facesはシンプルなラスタライズされた顔と3Dポーズデータを入力とし、リアルタイム生成AIモデルを使用してより自然な顔を推測します。生成された顔は、あらゆる角度、さまざまな照明、感情、オクルージョンの条件下で、その顔の何千ものオフライン生成画像から学習されます。
トレーニングパイプラインでは、実際の写真やAIが生成した画像を使用することができ、拡散モデルを使用してバリエーションを作成します。 学習されたモデルは、NVIDIA TensorRTによって最適化され、リアルタイムで顔を推定します。RTX Neural Facesは、ジェネレーティブAIによるリアルタイムグラフィックスを再定義する旅の第一歩です。
RTX Neural Facesは、ヘアとスキン用のRTX Character Rendering SDKによって補完されます。ゲームキャラクタの髪や肌を正確にシミュレートすることは困難です。最先端のストランドベースのヘアー技術では、ヘアー1本あたり最大30トライアングル、グルーミング全体では400万トライアングルが必要となり、レイトレーシングによるBVHビルドは高価になります。Linear-Swept Spheres (LSS)は、新しいGeForce RTX 50シリーズGPUアクセラレーションプリミティブで、髪の束をレンダリングするのに必要なジオメトリの量を減らし、トライアングルの代わりに球体を使用して、髪の形状をより正確にフィットさせます。LSSは、より優れたパフォーマンスと少ないメモリフットプリントでレイトレースされた髪を可能にします。
従来のレンダリング手法では、光が人間の肌とどのように相互作用するかを正確にシミュレートできないため、プラスチックのような見た目になってしまうことがありました。サブサーフェス・スキャッタリング（SSS）は、光が半透明のマテリアルの表面下でどのように透過し、内部で散乱するかをシミュレートし、よりソフトで自然な外観を作り出します。開発者は、今月末にリリースされるRTX Character Rendering SDKを通じて、RTX SkinとHairアルゴリズムの両方を使い始めることができます。RTX SkinはRTX Remixでも利用可能になる予定です。
無限に複雑なオープンワールドを作る
ゲーム制作に使用されるトライアングルの数は、過去 30 年間で飛躍的に増加しました。 Unreal Engine 5 のNanite ジオメトリ システムの導入により、開発者は何億ものトライアングルで埋め尽くされたオープンワールドを構築できるようになりました。しかし、レイトレースされたゲームシーンのジオメトリが爆発的に複雑になるにつれ、様々な詳細レベル (LOD) に対して各フレームでバウンディング ボリューム階層 (BVH) を構築するコストが指数関数的に増大し、リアルタイム フレーム レートを達成することが不可能になります。RTX Mega Geometryは、BVHの構築を高速化し、現在の標準よりも最大100倍のトライアングルをレイトレースできるようにします。
RTX Mega Geometryは、トライアングルのクラスターをGPU上でインテリジェントに一括更新するため、CPUのオーバーヘッドが削減され、レイトレースされたシーンのパフォーマンスと画質が向上します。RTX Mega Geometryは、Unreal EngineのNVIDIA RTXブランチ(NvRTX)に間もなく導入されるため、開発者はNaniteを使用して、プロジェクト内のすべてのトライアングルを完全にレイトレースすることができます。カスタムエンジンを使用している開発者向けに、RTX Mega GeometryはRTX KitへのSDKとして今月末に提供される予定です。ご登録いただくと、提供開始のお知らせを受け取ることができます。
次世代ワールドのパフォーマンスと応答性を最大化
NVIDIA DLSSは、AIを使用してFPSを向上させ、待ち時間を短縮し、画質を改善するニューラルレンダリング技術群です。最新のブレークスルーであるDLSS 4は、GeForce RTX 50シリーズGPUと第5世代テンソルコアによって加速された、新しいマルチフレームジェネレーションとトランスフォーマーによる超解像とレイ再構成をもたらします。
DLSS Multi Frame Generationは、レンダリングされる各フレームに対して最大3つの追加フレームを生成することで、FPSを向上させます。これらのフレームは、GeForce RTX 50シリーズで改良されたハードウェアベースのフリップメータリングを使用して、適切なペースで表示されます。DLSS 4はまた、DLSS Super Resolution、DLSS Ray Reconstruction、Deep Learning Anti-Aliasingのための新しいトランスフォーマーベースのアーキテクチャを導入しており、自己注意を使用し、従来の畳み込みニューラルネットワーク（CNN）よりも画質を向上させるために、より大きなピクセルウィンドウにわたってより長距離のパターンをより簡単に識別することができます。
DLSS 4 SDKは、NVIDIA Streamlineを通じて、月末にすべての開発者に提供されます。Streamlineは、アプリケーションやゲームへの最新のNVIDIA技術の統合を簡素化します。新しいトランスフォーマーモデルは、既存の超解像およびレイ再構成統合と後方互換性があります。Unreal Engine 5の開発者向けに、DLSS 4は今月末にNvRTXに登場します。
NVIDIA Reflexは、CPUとGPUを同期させて究極の応答性を実現するレイテンシ低減技術であり、レイテンシに敏感なゲームにおいて、より速いターゲット捕捉、より速い反応時間、および照準精度の向上を提供します。新しいReflex 2では、フレームワープが導入され、ディスプレイに送信される直前に、最新のマウス入力に基づいてレンダリングされたゲームフレームを更新することで、待ち時間をさらに短縮します。予測的インペインティング技術は、ワープによって残された穴を埋めるために、以前のフレームの色と深度データを使用します。その結果、Reflex Frame Warpは、ネイティブレンダリングと比較してレイテンシを最大75%削減します。Reflex 2 SDKは、GeForce RTX 50シリーズGPUにまもなく提供され、将来のアップデートで他のGeForce RTX GPUにもサポートが追加されます。
ACE自律型ゲームキャラクターによるゲームAIの再定義
AIという言葉は、何十年もの間ゲームで使われてきました。これらのノン・プレイアブル・キャラクター（NPC）は従来、知性を模倣し、誘導されたストーリーを遵守し、プレイヤーとの台本に沿ったインタラクションを提供するように設計された厳格なルールに従っていました。しかし、インテリジェントな言語モデルの台頭により、ゲームAIは真にインテリジェントなオーバーホールの時を迎えています。
NVIDIAは、NVIDIA ACE自律型ゲーム・キャラクターの導入により、ゲームAIを再定義しようとしています。 ジェネレーティブAIを搭載したNVIDIA ACEは、プレイヤーの目標を理解しサポートする仲間や、プレイヤーの戦術に動的に適応する敵など、生きたダイナミックなゲーム世界を実現します。
これらの自律的なキャラクターを可能にするのは、現実的な意思決定に必要な人間のような周波数でのプランニングが可能な新しいACE小型言語モデル(SLM)と、AIキャラクターが音声の合図を聞き、環境を認識することを可能にする視覚と音声用のマルチモーダルSLMです。
人間の意思決定を再現するには、ゲーム・キャラクターがプレイヤーと自然に対話し、環境を認識し、潜在的な選択肢を推論し、戦略的に次の行動を計画し、数百ミリ秒以内に実行する必要があります。革新的な蒸留技術とGeForce RTX 50シリーズGPUの進歩により、複数のAIモデルをGPU上で同時に実行することが可能になり、ゲームの画質と性能を最大限に高めながら、ゲームキャラクターに自律性を与えることができます。近々登場する新しいNVIDIA ACEモデルには、以下のようなものがあります。
知覚のためのモデル
- NemoAudio 4B Instructは、オーディオとテキストを取り込み、テキストを出力し、ゲーム環境におけるサウンドスケープを描写することができます。
- Cosmos Nemotron 4B 128K Instructは、画像とテキストを入力し、テキストを出力します。
- Parakeet CTC XXL 1.1B Multilingual 多言語音声をテキストに書き起こします。
- NV-OCRは、画面上の文字やテキストをすばやく認識し、プレーンテキストに書き起こします。
アクション用モデル
- A2 Flowは、複数の言語をサポートするゼロショット音声合成モデルです。
知覚、認知、および行動は、最適化された埋め込みモデルに保存され、ゲームキャラクターは次の決定を下すために継続的に呼び出します。これらのモデルをエージェントフレームワークに実装することで、リアルタイムのゲームプレイシナリオで人間のような意思決定を行うことができます。
KRAFTONのPUBG Allyは、リアルタイムのインタラクションに基づいて戦略的に巧みな戦術を立案・実行し、人間のプレイヤーと動的に連携して生存を確保するCPC（Co-Playable Character）を実証しています。KRAFTON社の「InZOI」は、近日発売予定のライフ・シミュレーション・ゲームで、1日の行動を通じて行動を調整するキャラクター「スマート・ゾイ」を実演しています。WemadeのMMORPG「MIR5」は、過去の戦闘から学習し、プレイヤーの行動に基づいて戦術を適応させるインテリジェントなレイドボスを提供し、実行するたびに魅力的な体験を生み出します。NetEaseの『NARAKA: BLADEPOINT MOBILE PC VERSION』では、プレイヤーからのコマンドに基づいて行動を実行するインテリジェントなAIコンパニオンが登場します。
音声主導のAIフェイシャル・アニメーションが間もなく大きなアップデートを受け、キャラクターがより表情豊かになります。NVIDIAは、より正確で詳細なリップシンク、改善されたダイナミックで生き生きとした感情、自然な非言語応答を実現する、新しいAudio2Faceリアルタイム拡散ベースのアーキテクチャを発表しました。
エージェントワークフローのための最新のNVIDIA ACEオンデバイスモデルは、早期アクセスで間もなく登場します。NVIDIA In-Game Inferencing (IGI) SDKは、PCに必要なAIモデル、エンジン、依存関係を事前に設定します。このSDKは、C++ゲームやアプリケーションのためのインプロセスAI推論をオーケストレーションし、異なるハードウェアアクセラレータのすべての主要な推論バックエンドをサポートします。
始める
GeForce RTX 50 シリーズは、レンダリングと AI の次の時代を導入します。より優れた圧縮と近似技術のために、シェーダー内で直接AIを訓練し、展開します。画期的な BVH 構築技術でより複雑なオープンワールドを構築。新しいデジタル・ヒューマン・レンダリング・テクノロジーをリアルタイム性能で活用。AIを活用した最新のレイトレーシング・アルゴリズムにより、正確な光輸送をシミュレート。従来のゲームキャラクターをAIを搭載した自律型キャラクターに変換し、新たなゲームプレイ体験を実現。ゲーム開発リソースハブを介して、RTXキット、DLSS 4、Reflex 2、NVIDIA ACEテクノロジーにアクセスしてください。