1. ホーム /
  2. Diary /
  3. 参考資料

参考資料

参考資料

アバター2はなぜ48コマなのか。HFR映画がもたらす視覚効果とリアリティ

  • 0

『アバター:ウェイ・オブ・ウォーター』で使用されるハイフレームレート(HFR)+HDR+4K+3D上映に関連して、映画のフレームレートはどうやって決められたのか、という歴史が書かれた記事が公開されています。

映画は通常24FPS(1秒間に24枚の絵が表示される)ですが、『アバター: ウェイ・オブ・ウォーター』では普通のドラマ場面は24FPSで上映し、アクションシーンや水中シーンは48FPSになるとのことです。手描きアニメのような可変フレームレートは、どんな印象になるのか楽しみですね。

https://av.watch.impress.co.jp/docs/topic/1461878.html

 

映画のフレームレートの話は定期的に見かけますが、今回の記事は詳細に書かれてて面白かったです。

 

ハイフレームレート上映する映画館の情報はこちら。

  • イオンシネマ : 94劇場全館
  • TOHOシネマズ : 9館
  • MOVIX : 10館
  • シネマサンシャイン
  • コロナワールド : 10館

https://av.watch.impress.co.jp/docs/news/1463723.html

 

参考資料

RealityScan 無料リリース

  • 0

Epicが無料の3Dスキャンアプリ「RealityScan」をリリースされました。RealityScanはQuixelとRealityCaptureの共同で開発しており、今年4月に人数を限定したベータ版を公開していました。

https://apps.apple.com/us/app/realityscan/id1584832280
https://www.unrealengine.com/ja/blog/realityscan-is-now-free-to-download-on-ios

 

RealityScan が iOS で無料で ダウンロードできるようになりました

RealityScanは、写真を高忠実度の3Dモデルに変換できるモバイルデバイス用の3Dスキャンアプリです。このアプリは誰もがごく簡単に使えるように設計されているため、スキャンの経験がなくても使い始めることができます。

スマートフォンやタブレットを使って3Dで再現したい対象物の写真を撮るだけで、アプリがそれらを3Dモデルに組み立ててくれます。満足のいく仕上がりになったら、Sketchfabにエクスポートして、あなたの作品を世界中に公開することができます。

 

わずか数回のスナップで超リアルな3Dモデルが実現

RealityScanは、Epic Games ファミリーの一員であるフォトグラメトリソリューション開発会社、Capturing Realityによって開発されました。彼らのミッションは、すべてのクリエイターが3Dスキャンにアクセスできるようにすることです。Capturing Reality は、世界最大のスキャンライブラリ、Megascans のキュレーターである Quixel— と協力し、3DスキャンからCGモデルを作成するプロセスを簡素化する新しいツールを提供します。

RealityScan を使えば誰でも現実世界に存在するオブジェクトから3Dモデルを作成し、使用することで、ビジュアライゼーション プロジェクトのリアリズムを向上させることができます。

Quixel Megascans ライブラリにある高忠実度スキャンは、このアプリケーションのデスクトップ版である RealityCapture を使用して作成されています。RealityScan は、この強力な技術を誰もが使えるようにしたものです。つまり、すべてのクリエイターが、高精度な3Dモデルを作成できるようになったことを意味します。

 

クラウド処理の自動化

対象物を撮影したら、あとは RealityScan がクラウド処理でモデルを組み立てます。

その後、モデルを Sketchfab にアップロードし、3D、VR、ARコンテンツを公開、共有、販売することができます。そこからモデルをダウンロードして、Unreal Engine、Twinmotion、MetaHuman、またはその他の3Dアプリケーションで使用することも可能です。

RS - Tall Stump by RealityScan on Sketchfab

 

さらに、Sketchfab に初めてアップロードすると、自動的に 1 年間、 Sketchfab Pro アカウントにアップグレードされます！

今後、RealityScan はさらに多くの機能と改善を予定しており、2023年にはAndroid 版も登場する予定です。
アプリをダウンロードしてスキャンを楽しんでください。スキャンしたものをソーシャルに投稿する際は、#RealityScan のタグ付けするのを忘れないでください。

参考資料

SONYのモバイルモーションキャプチャー「mocopi」

  • 0

SONYのモバイルモーションキャプチャー「mocopi」が発表されています。小型センサを使用してスマホでモーションキャプチャを行うことができます。2023年1月下旬発売要諦で、価格はおよそ5万円とのこと。

モーションデータをリアルタイムに外部ソフトウェア(VRChat、Unity、MotionBuilder、バーチャルモーションキャプチャー)に送信できるとのことで、本格的な運用を想定した製品なのでしょうか。

https://www.sony.jp/mocopi/?s_pid=jp_mocopi/main_20221129_mocjrny

 

mocopiは、6つの小型センサーを装着するだけで、どこでも手軽に、3Dでフルボディトラッキングできる、モーションキャプチャーシステムです。

 

フルボディトラッキングに挑戦したい人は勿論、場所を選ばないので、アバターを使った外ロケ等、あなたの活動の幅を広げてくれます。

 

特長

外でも屋内でもどこでもモーションキャプチャー

思い立ったときにいつものスマホとmocopiがあれば全身モーションの収録を開始できます。

 

広がる可能性

mocopiなら、自宅の室内は勿論、持ち運んで外ロケ動画をつくる等、可能性無限大。あなたの活動の幅を広げます。

 

場所を選ばないのにしっかり本格派

ソニー独自のアルゴリズムにより、スマホとセンサー6点のみで、3Dでのフルボディトラッキングが可能です。

 

軽量・小型のセンサーでかんたんにモーションキャプチャー

あなたの動きを読み取る6つのセンサーを頭と手足、腰に専用バンドで着けるだけ。

 

直径3.2㎝、8gのモーションセンサー

モーションの取得に大掛かりな設備は必要ありません、モーションセンサーのサイズは1つ辺り約8g、直径約3.2cmとコンパクト。

 

付属のバンドとグリップで簡単セットアップ

モーションキャプチャー用の専用スーツは不要です。センサーは付属のバンドやクリップで片手でも装着できます。完全ワイヤレスなので、煩わしさがありません。

 

スマホアプリから本格的にモーションキャプチャー

専用のスマホアプリだけで様々なファイル形式に対応。モーション入力デバイスとして様々なプラットフォームで利用できます。

 

データ取得・録画・保存・伝送まで完結

スマホアプリ内で好みのアバターデータの取得やモーションの収録、録画データの保存と主要なファイル形式での書き出しに対応しています。アバターと背景画像の合成もアプリ内で行えます。

 

より高度な3Dアニメーション制作も

ソニーが提供するmocopi Receiver Pluginを用いれば、リアルタイムにUnityやMotionBuilderなどの外部ソフトウェアに送信可能。

 

設定・使い方

mocopiの詳しい使い方

モーションキャプチャーセンサーのペアリングから始まり、装着方法、モーションデータの作成・保存。伝送までの使い方を分かりやすく説明します。

 

主な仕様

対応スマートフォン
モデル (Android) Xperia 5IV、Xperia 1IV、Xperia 5III、Xperia 1III、Xperia 5II、Xperia 1II
(iPhone)iPhone 14 Pro Max、iPhone 14 Pro、iPhone 14 Plus、iPhone14、iPhone 13 Pro Max、iPhone 13 Pro、iPhone 13、iPhone 12 Pro Max、iPhone 12 Pro、iPhone 12
対応OS Android 11以降 /iOS 15.7.1 以降
センサー
サイズ（直径×厚み） 32mm×11.6mm（センサー1個あたり）
質量 8g（センサー1個あたり）
測定方式 加速度センサー（3DoF）・角速度センサー（3DoF）
充電方式（※1） USB充電（充電ケース使用） ※USBType-C® ケーブル対応
電池持続時間 （連続モーションキャプチャー使用時間） 最大約10時間　※使用環境等により動作時間が変動します。
充電時間 約1.5時間
防水/防塵 防水（IPX5/IPX8）、防塵（IP6X）
Bluetooth
通信方式 Bluetooth LE Ver.5.2
最大通信距離 10m
使用周波数帯域 2.4GHz帯(2.4000GHz-2.4835GHz)
出力データ
モーションデータ ファイル形式 BVH
フレームレート 50fps
動画データ ファイル形式 MP4
動画形式 MPEG-4 AVC/H.264
音声形式 AAC Audio
解像度 1920x1080
フレームレート 30fps
同梱物
同梱物 センサー6個、ヘッドバンド、リストバンド2個、アンクルバンド2個、クリップ、充電ケース、取扱説明書
参考資料

Autodesk Aurora オープンソース化

  • 0

GPUハードウェア・レイトレーシングを活用したリアルタイム・パス・トレース・レンダラ「Aurora」がオープンソースとして公開されました。
Autodeskはオープンソースを推進してるとのことで、今年の8月にAuroraのオープンソース化が発表されてしました。

https://github.com/Autodesk/Aurora
https://forums.autodesk.com/t5/engineering-hub-blog/aurora-a-real-time-path-tracing-renderer-that-enables-fast/ba-p/11322421

 

Aurora

Auroraは、GPUのハードウェア・レイトレーシングを活用したリアルタイム・パス・トレース・レンダラです。リアルタイムレンダラーとして、Autodesk Arnoldのような「最終フレーム」プロダクションレンダラーとは異なる、リアルタイムビューポートでの迅速なデザインの反復をサポートすることを目的としています。
Aurora は、HdAurora という USD Hydra のレンダーデリゲートを持っており、USD Hydra のシーンデリゲートから使用することができます。また、Plasma と呼ばれるスタンドアロンのサンプルアプリケーションで紹介されている、独自の API を使って直接使用することもできます。

AuroraはAutodesk社によって開発・保守されています。ソフトウェアとこのドキュメントはワークインプログレスであり、活発に開発が行われています。このリポジトリの内容は、Apacheライセンスのもとで完全にオープンソース化されており、機能のリクエストやコードのコントリビューションを歓迎します。

以下では、機能、システム要件、Aurora のビルド方法、実行方法、追加ドキュメントへのアクセスについて説明します。

 

機能紹介

  • パストレーシングとそれに付随するグローバルエフェクト：ソフトシャドウ、反射、屈折、バウンスライトなど
  • 最新の GPU でハードウェア レイトレーシングを使用した、複雑なシーンのためのインタラクティブなパフォーマンス
  • MaterialX ドキュメントで定義された Autodesk Standard Surface マテリアルは、物理ベースのシェーディングで実世界のさまざまなマテリアルを表現することが可能です。また、マテリアルの独立したレイヤーをサポートしており、デカールの実装に使用できます
  • ラップアラウンド・ラットロングイメージを用いた環境照明
  • オブジェクトインスタンシングによる三角形ジオメトリ
  • USD Hydra レンダーデリゲート (HdAurora) とスタンドアロンサンプルアプリケーション (Plasma)

新機能や性能・品質の向上が予定されています。これには、NVIDIA Real-Time Denoisersによるノイズ除去、代替マテリアルモデル、ディスクリート光源などのサポートが含まれる予定です。

参考資料

Modo 16.1 ロードマップライブストリーム

  • 0

Modo 16.1 ロードマップライブストリームが行われました。16.1で搭載される機能と、17.0で予定している機能の紹介が行われています。

Modoは16から年2回のアップデートに変更になりました。本来であれば16.1は10月~11月にリリース予定でしたが、不完全な物を公開したくなかったのでリリース時期を遅らせたようです。12月の始めにベータ版をリリースし、1月末に正式リリースとなるようです。

Modo 16.1ではPolyHule、ベジェ操作、OpenVDBのアプデート、GPU シェーディングサポートがよさそうです。17では機能追加よりパフォーマンス、安定性、信頼性の向上に焦点をあてるというのが驚きですね。これでパフォーマンス改善されなかったら諦めがつきます。

 

 

Modo 16.1 ロードマップ

気になる所だけメモってみました。

 

デカールワークフロー

デカール用の平面をメッシュペイントツールで貼り付けるため、メッシュペイントツールの機能が拡張されてるとのことです。

シームデカール

メッシュの交差やカーブを使用したデカール機能

 

メッシュペイント強化

  • パーティクルを使用したリプリケータ配置
  • リプリケーター制御用の回転ツールハンドル追加
  • リプリケータ編集モード
  • バグ修正

 

シェーディング

 

Triplanner Projection

 

AVP Curvture Shading

 

AVP でカーブとエッジの幅を調整可能

AVPで透明度の再現性も上がってるらしい。

 

レンダリング

 

GPU シェーディングサポート

 

Mac Metal レイトレサポート

 

新しいレンダリングウィンドウ

17に見送り。mPath とプログレッシブレンダーのプレビューをサポートしたものにしたいらしい。

 

Substance プラグイン

16.1とは別にリリース予定、17でmodoにネイティブ統合予定。

 

モデリング

 

ベジェカーブ

背景コンストレイントを使用した場合に、ハンドルが背景メッシュに沿うようになる。また、ハンドルの左右を同期した状態で編集できるようになる。

 

PolyHule

トポロジーペンのように、1つのツールで他のツールを使用できるような機能らしい。

 

プリミティブスライス

遅延アップデート。

 

フォールオフ選択ツール

 

一般的な機能強化

 

平面投影のパフォーマンス改善

 

 

VFX 20022

modoが使用してるライブラリを他のFoundry製品に合わせてアップデートされた。VDBが3から9にアップデートされてる！
modo内の機能として使用されてたPerlスクリプトがなくなり、全てPythonに置き換えられた。

 

ネイティブ ARM 対応版のベータ

16.1と同時にリリース予定。iKinemaはARMで動作しない。

 

Modo 17

17ではパフォーマンスの強化に焦点をあてる。機能追加には焦点をあてない。
一般的なパフォーマンス、安定性、信頼性、プロシージャルモデリングのパフォーマンスを行う予定。これについて意見を聞かせて欲しい。

 

Mesh view Objects

Mesh view Objectsによってスカルプトのパフォーマンスが改善した。いくつか問題を修正する必要があるが、スカルプトにはダイナメッシュのような機能が必用。
頂点ウェイトペイントの改善が見られた。メッシュ変形も17.0で改善したいが、ゴールが伸びるかもしれない。

参考資料

TURBULENCE HDR

  • 0

メタリック ペイントとインクを使用して水槽で撮影した映像、キラキラして綺麗ですね。HDRディスプレイに対応したビデオのようです。

参考資料

Omniverse Machinima 2022.2 リリース

  • 0

Nvidia がOmniverse Machinima 2022.2をリリースしました。AIを使用したアニメーションの自動生成というのが興味深いですね。

https://www.nvidia.com/en-us/omniverse/apps/machinima/

 

Omniverse Machinima はゲーム シネマティクス向けのAIを使用したキャラクター アニメーション アプリです。Machinima には一般的なキャラクター アニメーション ツールを搭載していますが、アニメーションを生成するためにビデオからキャラクター モーションを生成するPose Trackerなど、AI でトレーニングされたツールが含まれています。

 

Omniverse Machinima 2022.2 では、音声ソースから人間のようなボディアニメーションを自動的に生成する新しい AI 機能で「Audio2Gesture」が追加されています。音声に合わせて会話や演説のジェスチャーを全身、または上半身のみに限定してアニメーション生成できるようです。

 

Audio2Gesture は顔のアニメーションは生成しませんが、別のアプリケーションOmniverse Audio2Faceを使用するとフェイシャルアニメーションを作成できるようです。

参考資料

Temporally Stable Real-Time Joint Neural Denoising and Supersampling

  • 0

Intelの新しいリアルタイム向けのデノイズとスーパーサンプリングを組み合わせた技術の品質がよさそう。

https://www.intel.com/content/www/us/en/developer/articles/technical/temporally-stable-denoising-and-supersampling.html

ノイズの多い低解像度の入力に対して、時空間フィルタリングを行い、2倍の解像度でノイズ除去およびアンチエイリアス処理を行った出力を生成します。従来のノイズ除去器と比較して、本手法はより多くのディテールとコントラストを保持し、同程度の計算コストでより高い解像度を生成することができます。

 

概要

近年のレイトレーシング・ハードウェアの進歩により、リアルタイムのパストレーシングが可能になり、レイトレーシングによるソフトシャドウ、光沢反射、拡散グローバルイルミネーションは、現在ゲームにおける一般的な機能となっています。しかしながら、レイバジェットにはまだ限界があります。その結果、アンダーサンプリングが発生し、エイリアシングやノイズとして表れます。
先行研究では、これらの問題に個別に対処しています。しかし、ニューラルネットワークに基づく時間的スーパーサンプリング法は、その優れたロバスト性により、現代のゲームにおいて広く使用されていますが、ニューラルネットワークによるノイズ除去は、その高い計算コストのため、依然として困難です。

本発表では、スーパーサンプリングとノイズ除去を組み合わせたリアルタイムレンダリング用の新しいニューラルネットワークアーキテクチャを紹介し、2つの別々のネットワークと比較してコストを削減することができます。これは、1つの低精度特徴抽出器と複数の高精度フィルタステージを共有することで実現されています。さらにコストを削減するために、本ネットワークは低解像度の入力を受け取り、高解像度のノイズ除去されたスーパーサンプリング出力を再構成します。この技術は時間的に安定した高忠実度の結果をもたらし、TAAやニューラルアップサンプリングと組み合わせた最新のリアルタイム統計的・分析的ノイズ除去器をターゲット解像度まで大幅に凌駕しています。

 

 

デノイズを検証したビデオを見ると、テクスチャを維持した状態でのデノイズが綺麗に見えます。

参考資料

The Spark

  • 0

通常のCGをコマ落としで動かしたり、レンダリングにハッチングを重ねたり、手描き風のエフェクト入れたり面白いです。