参考資料

参考資料

Pixel Fondue Live Stream | MODO in Japan

Pixel FondueのLive Streamで日本のMODOユーザーの作品が紹介されています。素敵な作品ばかりです、ぜひご覧ください。

参考資料

Project Titan

Houdini のプロシージャルワークフローをUnreal Engine 5でテストするインハウス技術デモで「Project Titan」のページが公開されています。

https://www.sidefx.com/ja/titan/

PRODUCTION TECH DEMO

Project TitanはHoudini のプロシージャルワークフローを実制作環境でテストするためのインハウス技術デモで、3D 環境の生成に Unreal Engine 5 の最新テクノロジを活用しています。このデモ用に作成されたツールとテクニックは、学習資料やダウンロード可能なコンテンツとしてコミュニティに共有されます。

プロシージャルツールのサポートのため、 Kitbash3D によるジオメトリが大きな役割を果たし、Houdini ツールで再構成するテクスチャモデルを提供しています。

 

UNREAL ENGINE 5 PLUGIN | ALPHA

Unreal Engine 5 用の Houdini Engine は、対応すべき公式の UE5 リリースが未だのため、Houdini にはまだ付属しておりません。
試用には、Githubで取得し、最新の UE5 コミットに対し、手動でビルドする必要があります。

https://github.com/sideeffects/HoudiniEngineForUnreal/tree/Houdini19.0-Unreal5.00

 

PROJECT TITAN | Process

プロジェクト・タイタンへようこそ。この紹介ビデオではこのインハウス技術デモの開発プロセスを探り、コンセプトアートからプロシージャルツールまで、プロジェクトの範囲を理解することができます。

 

PROJECT TITAN | Tools

Project Titan には、Houdini Engine プラグインにより Unreal エディタ内で動作する、さまざまなツールが用意されています。これらのツールをエディタ内で使用することにより、環境アーティストは、アーティスティックなコントロールと演出性を維持しながら、より迅速にレベルを構築することができます。

建物の生成、フェンスの作成、プロップの追加など、このプロシージャルなワークフローにより、小規模なチームでも印象的なレベルのディテールをすばやく実現することが可能になります。

 

 

 

参考資料

UnityがZivaDynamicsを買収

Unityが機械学習を使用したフェイシャル作成や、筋肉シミュレーションをおこなうMaya用プラグインを開発しているZivaDynamicsを買収しました。

Unityの技術買収が続いてますね、プリレンダーの技術を取り入れるならQuad Poly読み込みとOpenSubdivに標準対応して欲しい。

https://blog.unity.com/technology/welcome-ziva-dynamics
https://zivadynamics.com/

 

ユニティは高度なシミュレーションと変形、機械学習、リアルタイムキャラクタークリエーションのリーダーであるZiva Dynamicsを買収しました。
ユニティは、クリエイターのためのツールの民主化に力を注いでおり、業界で最も輝かしい逸品を、一部の人だけでなく、すべての人が利用できるようにしています。そして、アーティストが夢を実現するための支援に力を注ぎ続けています。

Weta Digital、SpeedTree、SyncSketch、Pixyz、RestARといった最近の買収企業の背後にある並外れた才能とツールに見られるものは、アーティストやすべてのクリエイターがビジョンをより簡単に、より速く、より安く実現するための中核技術なのです。私たちは、コンテンツクリエイターをスーパーヒーローにしたいと考え、それを実現するためのツールやサービスを提供するつもりです。

本日、Ziva Dynamicsの買収により、アーティストへのコミットメントが倍増したことを発表できることを誇りに思います。

私たち人間は、人の動きに反応するユニークな性質を持っています。私たちの脳の中には、顔や表情を高速で処理するための領域があります。私たちの心を満たすクオリティと自然なダイナミクスを備えたデジタルヒューマンを作るには、専門的な知識と根気強さが必要で、複雑で苦しい作業となります。

その問題を解決するのが、Ziva Dynamicsです。Zivaチームは、複雑な解剖学的シミュレーションとリアルタイムアーティストリーツールに関する深い専門知識と理解を持っています。彼らの素晴らしい技術は、リアルタイムのキャラクターと、スケーラブルでアクセスしやすいワークフローへの道を切り開いているのです。

 

Zivaは自らを語る...文字通り

Zivaのデジタルヒューマンであるエマが、今回の発表に協力してくれました。

 

Emmaは、最先端の機械学習を搭載し、Unityでリアルタイムに動作しています。彼女のモデルは、ZRT Trainerを使用して30テラバイト以上のユニークな4Dデータでトレーニングされ、72,000以上のトレーニングされたシェイプをエモーションし、全く新しい顔のポーズを実現することができます。
これは驚くほどリアルなアニメーションと、驚くほど感情的なパフォーマンスを実現するディープテックであり、要求の厳しいリアルタイム環境においても、キャラクターを輝かせることができます。そしてまもなく、あらゆるレベルのアーティストやクリエイターが、この技術にアクセスできるようになります。

このような忠実度をリアルタイムで実現することは、画期的なことです。機械学習、ディープラーニング、バイオメカニクスの先進的な技術を活用した高度な技術の成果です」とエマは語っています。キャラクターの作り方を根本的に変えるものです。Zivaの技術は、コンシューマー向けハードウェア上で、人間、クリーチャー、衣服、リアルなもの、様式化されたもの、高忠実度なものなど、あらゆるサイズの変形を、リアルタイムで実現できるように設計されているのです。

 

Zivaの魔法をUnityへ

Zivaはリアルタイムおよびゲーム向けの主要な変形およびシミュレーションアーティストツールとして、高品質のクリーチャー作品の新しい標準となり、Ninja TheoryのSenua's Saga: Hellblade IIなどのタイトル、Game of ThronesやGodzilla vs. Kongなどの映画やテレビで何百もの映画やゲームスタジオにアートとリアリティの境界をぼやかしています。

Zivaを買収することで、ユニティはZivaのクラス最高のツールをさらに民主化し、スキルレベルに関係なく、アーティストが簡単かつ迅速に、これまでにないデジタルキャラクターを作成できるようにすることを目指します。
さらに今回の買収により、ユニティは、機械学習の力を借りて、クラウドを通じてWetaツールをリアルタイム3Dにするプロセスを加速させることも可能になります。Zivaはすでに、複雑な映画品質のシミュレーションをRT3Dにもたらすという課題を解決しています。私たちは共に信憑性のあるデジタルキャラクターの作成を、幅広いプラットフォームやアーティストが、大規模に利用できるようにする予定です。

 

Zivaの技術の裏側

当社の主力ソフトウェアであるZiva VFXは、筋肉、脂肪、皮膚などの軟部組織の物理的・物質的特性をデジタルで再現・結合し、アーティストが最もリアルなCGIキャラクターを作成するために使用されています。この強力なテクノロジーは、エンジニアリングとバイオメカニクスの最先端技術を基に構築されており、Zivaはこれらの複雑なプロセスを、建物の複雑さを最小限に抑えるフレンドリーなアーティストツールに抽出することに成功しました。
使いやすさ、破壊されないワークフロー、そして派生アセットの作成に重点を置いています。完全な動的解剖学により、バーチャルな動物や人間は現実と同じように動き、伸び、曲がるので、キャラクターワークフローから何週間もの芸術的労力を取り除くことができます。Zivaのユーザーには、学生、インディーズ、小規模スタジオ、大規模なVFX施設などがあります。

Zivaのシミュレーションデータは、ZivaRTを使用して、あらゆる種類のクリーチャーやキャラクターをリアルタイム環境で動作させるためのトレーニングに使用することができます。ZivaRTはゲームエンジン内の非線形変形の挙動を正確に再現するために設計されました。ZivaRTの多層古典機械学習モデルは、学習入力の制約を尊重しながら、予測可能な実行時間と軽快なメモリ割り当てを一貫して達成しています。
ZivaRTは、民生用ハードウェア(GPUまたはCPU)であっても、リアルタイム変形で真に比類のない品質を提供します。ZivaRTはすでに、クラス最高のキャラクターで広く認知されているAAAゲームに搭載されています。

また、Zivaの強力な機械学習技術は、キャラクター制作を合理化し、アーティストの時間とコストを節約するクラウドベースの制作を可能にします。

 

アカデミー賞受賞チームをバックに

Zivaを買収したことで、ユニティはさらに多くの優秀な人材にアクセスできるようになりました。彼らの経営陣には、科学技術アカデミー賞の受賞者やVFX、物理、変形、機械学習などの専門家がずらりと並んでいます。このような素晴らしいリーダーたちとともに働き、彼らから学ぶことができることに、私たちはとてもわくわくしています。

Zivaはアカデミー賞受賞者でUSCビタビ工学部教授、MIT TR35受賞者のJames Jacobs(CEO)、Jernej Barbic(CTO)、カナダの実業家Chris Godsallによって共同設立されました。Zivaのチームには、クリエイティブ担当副社長のSimon Clutterbuckもいます。彼はWetaでクリーチャー部門の責任者を務め、Weta在籍中にJames JacobsとともにTissue(物理ベースのキャラクターシミュレーションフレームワーク)を開発し、アカデミー科学技術賞を受賞しています。Crawford Doran、Essex Edwards、Ravi Agrawalなどの業界のエキスパートが、彼らの深い専門知識をUnityにもたらし、すべてのアーティストにこれらのツールを普及させる手助けをしてくれるでしょう。

ユニティとジーバは、共に成長しながら、ユニティの技術を使用する多くの革新的なチーム、クリエイター、エンジンに貢献し続け、デジタルヒューマンやクリーチャーのためのユニティツールの進化に強く投資していきます。

参考資料

フォトリアリスティックな3Dポートレートを作成するための5つのステップ

フォトリアリスティックな3Dポートレートを作成のコツについて書かれた記事が公開されています。

http://www.cgchannel.com/2022/01/5-steps-to-creating-convincing-photorealistic-3d-portraits/

 

リアルな3Dキャラクターのモデリング、テクスチャ、ライティングの方法を、グノモンワークショップの2人の講師がワークフローで行っている手順と、リアルな似顔絵を描くためのコツを紹介します。

人間の顔は、筋肉、組織、骨の塊であり、毛穴、シワ、髪の束など、複雑なディテールに富んでいます。このディテールをCGでリアルに再現することは、業界最大の課題の一つであり、一歩間違えれば不気味の谷に転落してしまう。
しかし、今日のテクノロジーとそれを操る才能あるアーティストのおかげで、フォトリアリズムはかつてないほど簡単に実現できるようになりました。ただ、そのためには時間と労力と教育が必要です。

以下では、非常に優れたキャラクターアーティストであるŞefki IbrahimとAdam Springの2人が、人間のフォトリアリスティックな肖像画にどのようにアプローチしているかを明らかにします。彼らがどのようにイメージから始め、どのように彫刻し、テクスチャを貼り、光を当てるのか、そしてどのようにピクセルをポートレートに昇華させるための仕上げをするのかをご覧ください。

300以上のCGアートチュートリアルを提供するThe Gnomon Workshopに加入すれば、両氏の完全なチュートリアルを見ることができます。

 

ステップ1: 基礎を作る

まず最初に、人物の特徴を表すリファレンスを集めます。GoogleやGetty Imagesからできるだけ多くのリファレンスを入手し、PureRefのシーンにドラッグします。被写体をできるだけ多くの角度から撮影した写真を集めます。可能であれば、照明や焦点距離が同じで、被写体の年齢が同じである、同じ撮影現場から異なる写真を入手します。

ポートレートを作るときは、まずベースとなるメッシュを作ります。私のモデルは良いトポロジーを持ち、処理に十分なUVを持つ必要があります。その後、モデルをZBrushにインポートして、スカルプトに取り掛かります。

ベースメッシュは、画像の土台となるものです。この段階でも、全体のフォルムが人間らしく、プロポーションが正しく見える必要があります。トポロジーとUVがしっかりしていれば、後でディテールを追加するのも楽になります。

 

正面、横、縦など、あらゆる角度から撮影した顔の写真をたくさん集めてください。ローアングルで見上げると、鼻孔の形や鼻梁の幅、上顎の出っ張りがよくわかります。

また、さまざまな照明を参考にすることも重要です。ドラマチックなライティングは、フラットなライティングセットよりも、顔の構造に関する多くの情報を明らかにしてくれます。

肖像画の場合は、特定の年齢の被写体に焦点を当てたリファレンスを作成するようにしてください。顔は時間の経過とともに大きく変化しますし、被写体が長年にわたって顔に手を加えてきたかもしれません。

また、画家や写真家、他の3Dアーティストの作品を参考にするのもよいでしょう。雰囲気、構図、ポージング、ライティングなど、彼らの作品で気に入ったところをメモしておきましょう。

もしあなたがまだ始めたばかりなら、長いプロジェクトに巻き込まれないように、物事を緩やかに保つようにしてください。私は、最初から短いプロジェクトに取り組むことで、より多くのことを学びました。素早く練習用のスケッチをすることで、人間の頭の構造に慣れることができます。

すぐに素晴らしい作品にならなくても、心配しないでください。私のプロジェクトのほとんどは、最後にようやくまとまったものです。その苦労を楽しむことができれば、すべてのプロセスがより楽しくなるはずです。

解剖学に取り組み続けること。長年にわたり、皮膚の下で何が起こっているのか、顔の主要なランドマークや筋肉がどこにあるのかを理解することがいかに重要であるかを学びました。これを正しく理解することで、説得力のあるキャラクターモデルを実現することができます。

また、さまざまな表情を作るときに、顔の筋肉がどのように変形するかを理解しておくとよいでしょう。笑顔やしかめっ面を作るためにどの筋肉が使われるかを調べ、それが顔全体の形にどのように影響し、異なるボリュームやしわのパターンを作り出すかを確認します。シワは、筋肉の動きに対して常に直角に現れるます。

 

ステップ2:フォルムを彫る

最初のブロッキングの段階が一番楽しくて自由なことが多いですね。私は、ZBrushのClayBuildupブラシを使って、モデルにボリュームを追加したり削除したりして、参考写真で観察した顕著な顔のランドマークを定義するのが好きなんです。
被写体によっては、非常に目立つ特徴があり、スカルプトプロセスの初期に捉えるのが簡単な場合もあります。また、微妙な特徴を持つ被写体もあり、正しく表現するのに多くの時間を要する場合もあります。この時間を使って、観察力と解剖学の知識を鍛えましょう。

しかし、人間の脳は人間の顔の複雑さをすべて認識しているわけではなく、ほとんど象徴的に、全体として見ていることを忘れてはいけません。したがって、優れたキャラクターアーティストやポートレートアーティストになるためには、細部にこだわる癖をなくすことが重要です。その代わりに、より大きな要素がどのように組み合わされているかに焦点を当てる必要があります。

顔の造形を上達させる一つの方法は、ヘッドスキャンをダウンロードまたは購入することです。デッサンや絵画を学ぶ場合、2次元のリファレンスをコピーして練習することがありますが、スカルプティングの練習のためにスキャンをコピーしてみてはどうでしょうか。顔の奥行き、空洞、平面の変化など、3Dとしての顔についての知識を得るには最適です。

Şefkiが5週間かけて制作した3D人間。Maya、Wrap、Mudbox、ZBrush、Mari、Photoshopで作られています。このプロジェクトの詳細は、彼のArtStationプロファイルで見ることができます。

 

顎を下げて、目、鼻、口の3本の水平線をマークし、頬骨アーチの上下にある顔の側面に、頬と側頭骨の2つの平面を作成するんだ。

次に、主な形状をブロックアウトし、目、鼻、口の位置をマークします。頭蓋骨の形が整ったら、頬骨アーチ、鼻唇溝、上顎の湾曲など、顔の主要なランドマークを追加していきます。
顔のパーツ間の距離や角度を研究します。口角の高さ、顎の角度、眼窩の距離など。

行き詰まったときは、モデルのシルエットに着目して、違和感のある部分がないかを確認することもあります。また、そもそも、顔のさまざまな面を誇張するのも効果的だと思います。各平面が接する角度は、特に遠くから見たときに、視線を固定し、モデルをより読みやすくすることができます。

球体から3D頭部を開発する段階。まず基本的なプロポーションを確立し、次に主要な形状をブロック化し、徐々に細かいディテールを追加し、最後に表面のテクスチャを追加します。

 

モデルのベースが固まったら、目の周りや額のシワなど、二次的なフォルムを追加していきます。三次シワや毛穴などの細かいディテールに入る前に、一次と二次がある程度できていることが重要だと思います。もちろん、各レベルを行き来してもいいのですが、あまり急がず、大きなフォルムに挑戦したほうが、やり直しが少なくてすむと思います。

もうひとつの方法は、写真測量です。スキャンは、モデルの素晴らしいベースを提供してくれますし、プロダクションでは、早く結果を出すためによく使われます。しかし、個人的な仕事でそれを使いすぎると、キャラクターモデラーになるために必要な最も重要なスキルのいくつかを開発する、スケッチの段階を逃してしまうことになるのです。

Adamが暇つぶしに作ったFACSリグ。このプロジェクトの詳細は、彼のArtStationプロファイルで見ることができます。

 

リアルな結果を得るためには、モデルを非対称にすることが重要です。現実の世界では、顔は完全に対称ではないので、非対称であることがわかると、キャラクターに生命力と信憑性が加わります。この考え方は、キャラクターのポージングにも応用できます。肩をひねったり、頭を傾けたりすることで、一般的なAポーズよりもずっと自然に見えるようになります。

正しいカメラ設定でモデルを見るのも良いアイデアです。顔がフレームいっぱいに写るようなクローズアップの場合は、100〜200mmの焦点距離で撮影してください。全身を写すのであれば、50-85mmがよいでしょう。

 

ステップ3:キャラクターのテクスチャ

私はMariを使ってキャラクターのテクスチャを作るのが好きで、主にTexturing.xyzのリソースを使って、拡散マップとディスプレイスメントマップを作っています。

ディフューズマップの重要性は計り知れません。当たり前のことですが、ある3Dキャラクターから別の3Dキャラクターにディフューズマップを差し替えると、そのキャラクターが元にしている人物に見えなくなってしまうのです。Texturing.xyzを使ったとしても、再現しようとしている人物の似顔絵をエミュレートするための作業が残っています。

Texturing.xyzのデータをモデルに投影したら、Mariでそばかすやクマ、赤みなど、リファレンスで観察した特徴をハンドペイントで描きます。それをMayaやArnoldに取り込んで、何度もレンダリングテストを行い、納得のいくものに仕上げます。

テクスチャリングは、肌の毛穴や唇のシワ、うぶ毛などのディテールによって、画像に生命を吹き込むことができるのです。

 

テクスチャリングを行う際、モデルに手描きするか、スキャンデータを使用するかを選択することができます。

人間の肌の質感を再現するのは大変なので、ディフューズマップをハンドペイントする場合は、肌の色調にノイズやブレイクアップ、バリエーションを何層にも重ねる必要があります。顔全体の肉付きの良い部分と骨のある部分に注目してください。骨が表面に近いほど、その部分の血流は少なくなります。

スキャンを使えば手っ取り早くフォトリアリスティックな仕上がりになるので、制作現場ではスキャンを使うのが一般的です。3Dモデルのトポロジーをスキャンにラップし、そのサーフェスカラーを自分のUVに転送することがすぐにできます。その後、毛や、サブサーフェススキャッタリングやオクルージョンのような焼き込み照明効果を除去して、テクスチャマップをクリーンアップすることができます。

このプロセスをよりよく理解するために、スキャンなしでテクスチャを作成する方法を学ぶ価値は十分にあると思います。これは後でスキャンを使用するようになった場合、よりクリエイティブになることができます。スキャンが提供するマップの上で作業し、あなたのキャラクターのデザインに合うようにそれらを調整することができるからです。

ベースメッシュをスキャンにラッピングすることで、3Dポートレートに驚くべきディテールを与えつつ、きれいなトポロジーを維持することができます。

 

 

ステップ4:照明の設定

照明はポートレートに命を吹き込むものです。テストするときは、照明のセットを非常にシンプルにするのが好きです。時には、長方形や円盤状のライトを1つだけ使うこともあります。また、Arnold Skydomeを使って、Poly HavensIBL Archiveから入手したさまざまなHDRIに対して、モデルをテストすることもあります。

モデルに対してルックデヴを行う際には、ライトのサイズ、被写体との距離、画像の露出を考慮します。これらの要素はすべて、肌の見た目に影響します。
また、1つのライティングセットにこだわらないようにしましょう。フォトリアリズムを追求する場合は、お世辞にも美しいとは言えない照明条件でモデルをテストしてください。その結果を誰かに見せる必要はありませんが、モデルやテクスチャにもっと手を加えるべき点があることに気づくはずです。その後、再び適切な照明に戻して、自分の作品を披露することができます。

繰り返し行うことを忘れないでください。リファレンスを見ながら、モデルを作り直し、テクスチャを修正し、ルックデヴを調整し、ライトの設定を変更します。これは繰り返し行うことです。この繰り返しの中で、あなたの作品は明らかに向上していきます。

俳優エド・ハリスの素晴らしいポートレートは、MayaとArnoldを使用してライティングとレンダリングを行いました。このプロジェクトでは、ReallusionのキャラクタークリエイターソフトウェアのSkinGenを使用してベイクされたテクスチャが使用されています。

 

ライティングは最も重要なステップの1つです。これがうまくいくと、モデルを本当に売り込むことができます。様々なアーティストや写真家が、どのように照明を使って様々なムードを作り出しているかを研究してみてください。

アダムが描いたデビッド・アッテンボロー卿の肖像画。彼のArtStationのプロフィールで、舞台裏の画像をもっと見ることができます。

光は、被写体をどの程度照らすか、どの方向から照らすかによって、実にさまざまな効果を生み出すことができます。顔の形が変わったように見せることもできますし、被写体によっては、よりお洒落に見せることもできますし、その反対もできます。技術的な練習として、さまざまな照明の下でモデルをテストするのもよいでしょう。そうすることで、モデルがうまく機能しているかどうか、あるいは解剖学的に改善する必要があるかどうかを確認することができます。

 

 

ステップ5:最後の5%

5%とは?最終的なレンダリングに進む前に、いくつかのことを考えましょう。モデルのポーズを変えたり、カメラアングルを変えたりして、ポートレートにもっと興味を持たせることはできないでしょうか?焦点距離は、似顔絵に役立っているか?(私は50-70mmの焦点距離で、モデルをカメラに少し近づけるのが好きで、そうすることでキャラクターとの親密度が増すと感じます)

ライティングでどんなストーリーを語ろうとしているのか?スタジオライティングのセットであっても、ライティングを変えることでポートレートに深みと迫力を与えることは可能でしょうか?被写界深度、ノイズ、色収差を最終レンダリングに加えることで、より写真的なクオリティが得られるか?

私は、ポートレートを仕上げる際に、このような自問自答をするのが好きです。結局のところ、アーティストは自分の作品に対して意識的な決断をしているのです。そうやって、時間をかけて自分のスタイルを作り上げていくのです。

俳優でコメディアンのジム・キャリーのポートレートを制作。詳しくはArtStationのプロフィールをご覧ください。

 

モデルが完成し、ルックを微調整したら、レンダーパスの合成方法を試し、被写界深度やモーションブラー(アニメーションを使用する場合)を加え、結果をカラーグレーディングしてください。これらを行うことで、作品にさらなるリアルさが加わります。

キャラクターの背景は慎重に選んでください。私は、キャラクターとその周囲をある程度分離しながら、キャラクターのデザインを引き立てるような色やパターンを選ぶのがベストだと考えています。背景はシンプルなものが一番いい場合もあります。あまりに多くのものを入れすぎると、キャラクターからフォーカスが離れてしまいます。

3Dモデルを新しい文脈で使用することで、より多くのものを得ることができます。AdamのFACSリグは、51のブレンドシェイプ、9の補正シェイプ、そしてスキンシェーダのカラーと変位チャンネルに18のブレンドテクスチャを使用しています。

例えば、フェイシャルリギングのテストに使用したり、3Dプリントに再利用したりします。

私自身のキャラクター制作プロセスの詳細をご覧になりたい方は、私のInstagramページのハイライトで、各プロジェクトの最初から最後までを記録しています。

 

著者

ŞefkiIbrahim

CubicMotionの3Dキャラクターアーティストです。彼は以前、ILMでシニアルック開発者として働いており、ハイエンドのデジダブルを専門としています。彼の以前の仕事には、スキャンデータテクスチャのクリーンアップ、digi-doubleモデリング、テクスチャリング、グルーミング、および広告とデジタルヒューマンデモのルック開発が含まれます。

 

Adam Spring

視覚効果とアニメーションの分野で10年以上の経験を持つシニア3Dアーティストです。過去5年間、彼はBlur Studio、Activision、Ubisoftなどのクライアント向けのキャラクターパイプラインに取り組み、特に顔のモデリングとFACSパイプラインに焦点を当ててきました。

参考資料

NeROIC: Neural Object Capture and Rendering from Online Image Collections

カメラ、照明、背景が異なるオンライン画像から、3Dオブジェクトを作成する技術が発表されています。

https://formyfamily.github.io/NeROIC/

 概要

カメラ、照明、背景が異なる写真から任意の物体の高品質な形状と材料特性を取得し、オンライン画像コレクションから物体表現を取得する新しい方法を提案する。これにより、ノベルビュー合成、再照明、調和的な背景合成など、様々なオブジェクト中心のレンダリングアプリケーションを、困難な実環境の入力から実現することができる。

ニューラルラジアンスフィールドを拡張した多段アプローチにより、まず表面形状を推定し、粗く推定された初期カメラパラメータを改良し、粗い前景オブジェクトマスクを活用して学習効率と形状品質を向上させる。また、ロバストな法線推定技術を導入し、重要なディテールを保持しつつ、幾何学的ノイズの影響を排除する。最後に、表面の材料特性と環境照明を抽出し、球面調和で表現し、鋭い影などの過渡的な要素を処理する拡張を行う。これらのコンポーネントを組み合わせることで、高度にモジュール化された効率的なオブジェクト取得フレームワークが実現する。

広範な評価と比較により、レンダリングアプリケーションに有用な高品質のジオメトリと外観特性を取得する上で、我々のアプローチの優位性が実証されている。

 

オーバービュー

異なる条件の物体画像を入力とし、2段階のモデルを構築する。まず、他の手法で取得した画像のカメラポーズと物体の前景マスクを用いて、NeRFベースのネットワークを学習させることにより、スキャンした物体の形状を最適化し、カメラポーズを改良する。次に、法線抽出層を用いて、形状(密度関数で表現)から表面法線を計算し、最後に、第2段階のモデルにより、各画像について物体の材料特性を分解して照明条件について解決する。

 

新しいビューの合成

共通のオブジェクトのオンライン画像があれば、学習画像の照明条件を用いて、オブジェクトの新しいビューを合成することができます。

 

マテリアル分解

また、キャプチャしたオブジェクトの材料特性(アルベド、スペキュラリティ、ラフネスマップを含む)および表面法線を解くことができます。

リライティング

モデルから生成されたマテリアルプロパティとジオメトリを使用して、さらに新しい照明環境でオブジェクトをレンダリングすることができます。

参考資料

Deathadder

RazerのマウスDeathAdderの非公式広告ビデオ。レンダリングが綺麗。

昔DeathAdderを使ってましたが、FoundryのmodoフォーラムでRazerの方を見かけるのと、NewTekマウスがたぶんRazer CopperheadのOEMだったり、製品のイメージは悪くないです。

参考資料

The Liberator | Official Trailer

Netflixはアレックス・カーショウの著書「The Liberator」を基に、Trioscopeによるハイブリッドアニメーションで贈る4部作の第二次世界大戦物語「The Liberator」の予告編を公開しました。シチリアの浜辺からダッハウの門まで500日にわたる第二次世界大戦の兵士の旅を描いた作品です。

手描き風のフィルターとCGをミックスした独特の絵になってますね。「EbSynth」のような技術だったりするのかしら?

 

Trioscope enhanced hybrid animation

私たちは「トリオスコープ・エンハンスド・ハイブリッド・アニメーション」と言いましたが、その意味はわからないはずです。新しいタイプのアニメーション、あるいは、少なくともこれまで何となく見てきたタイプのアニメーションの新しい用語だ。予告編でご覧いただけます。

トリオスコープによるハイブリッドアニメーションは、ロトスコープとは大きく異なるのでしょうか?ロトスコーピングは、実写映像を撮影し、その上を手動またはデジタルでなぞることで実現するアニメーションスタイルです。

トリオスコープ・エンハンスド・ハイブリッド・アニメーションは、アニメーションスタジオSchool of Humansが考案したもので、『The Liberator』はその最初のショーケースとなる予定です。School of Humansによると、彼らのアニメーション技術は以下の通りです。

特許出願中の新技術と革新的なプラットフォームにより、鮮やかな3Dグラフィックノベルを実現する、進化したアニメーションイメージの反復です。TRIOSCOPE™ EHAは、人間の顔に写真のようにリアルな感情を与え、キャラクターの動きやアクションに前例のないディテールをもたらします。この独自技術は、TRIOSCOPE℠スタジオのみで発明・利用され、3D CGIペイント環境、実写映像、従来の2Dアニメーションを融合しています。

 

 

他にもインタビューが掲載されてるサイトがいくつかあるみたいです。

 

ザ・リベレーター」のメイキング

https://beforesandafters.com/2020/11/19/a-new-kind-of-animation/

 

Netflixで配信中のGrzegorz Jonkajtys監督による4部作の実写/CGIハイブリッドアニメーション「The Liberator」は、どこか異質な雰囲気を漂わせています。最初は、単にロトスコープアニメーションのプロセスを変えただけだと思うかもしれません。しかし、よく見ると、演技の細部や感情がとてもよくわかるのです。

befores & aftersは、米国Trisoscope Studiosと共同でこのシリーズを制作したポーランドのスタジオJuiceに、この表情と感情がどのように作られたのかを聞いてみることにした。実写からアニメーションへの具体的なワークフロー(「Trioscope Enhanced Hybrid Animation」と呼ばれる)は今のところ伏せられていますが、このシリーズの制作に何が関わっているのか、掘り下げてみました。

 

b&a 通常の実写映画やアニメーション映画と比較して、『リベレーター』ではどのような点が異なりましたか?

ミハエル・ミシンスキー(アートディレクター、セカンドユニットディレクター)。最初から、コミック・ブックのスタイルにリアルな感情を取り入れることを心がけています。撮影現場には実際に演じている人がいるんですよ。そのうえで、コミックのようなスタイルを加えることができたのです。これは、何か新しいものを生み出すものであり、ユニークなものです。というのも、感情を損なわないようにするために、顔をクロスハッチングで覆ったり、スタイライズしたりと、何度もテストを繰り返したからです。

マルコ・ザリッチ(視覚効果スーパーバイザー)。技術的な観点から言うと、実写で撮影した後、何らかのCGを組み込む場合、CGの部分は実写によって、照明条件や環境条件によって、すべてのニュアンスを一致させる必要があるのです。しかし、今回は舞台で撮影し、それを自分たちの好きなように演出し、さらに実写とCGをそのスタイルに合わせる必要があり、最終的にこのようなルック&フィールになりました。

マンガを見ると、手前にいる全員を意図的に強調することがありますが、映像が奥に行くにつれて、細部がどんどん見えなくなってきて目立ちますよね。そこで、技術的な観点から、通常のCGの世界から来た私たちは、このバランスを見つける必要がありました。ディテールをどこで止めるか。これは非常にリアルなものである、あるいは非常にリアルな建物や小道具である、といった細い線はどこにあるのでしょうか?同時に、グラフィカルで、まるでコミックを読んでいるような感覚を与える必要があります。しかし、同時に、リアルに見える必要があります。同じ世界の一部であるかのように見える必要があるのです。

 

b&a: 従来のロトスコープアニメーションとの違いは何ですか?

マルコ・ザリッチ 従来のロトスコープ・アニメーションでは、例えば『スキャナー・ダークリー』のように、フレームごとにペイントしたり、半自動的に顔を認識させたりしますよね。そうすると、最終的なルック&フィールは、ちょっと平板なものになってしまうんです。
Trioscopeが開発したのは、もう少しプロシージャルに近いものです。そのため、通常のロトスコープアニメーションでは見られないような、ニュアンスや演技、微妙なディテールをすべて得ることができます。非常に存在感があり、ステージでの演技が原動力になっています。私たちは実際に彼らの演技を使い、他のすべてがそれによって動かされているのです。ですから、最終的なルックは、撮影中に俳優がどのように振る舞うかに大きく依存します。

 

b&a: 撮影現場では、メイクアップ、衣装、小道具が様式化されていました。そのために何をしたのか、どこまでスタイライゼーションが必要だったのか、少し教えてください。

ミハエル・ミシンスキー:基本的に、すべてにラインアートを加える必要がありました。顔には線を入れました。ワードローブにも同じような線があります。この線は、コミックブックのようなスタイルからきています。セットは感情にあまり関係しないので、実はそれほど問題ではありません。だから、できる限りペイントを施しましたが、ここでの鍵は顔でした。

 

b&a: ブルースクリーンのセットをたくさん使っていますね。どのようにして、どの程度のセットを作る必要があるかを決定したのですか?
ブルースクリーンにするかグリーンスクリーンにするかは、どのように決定したのですか?

マルコ・ザリッチ: ブルー・スクリーン/グリーン・スクリーン、ここでの決定は厳密に実用的な理由によるものでした。私たちは第二次世界大戦のドラマを撮影しており、つまり90%のユニフォームはグリーンかグレーなのです。
ですから、ブルー・スクリーンは当然の選択でした。セットの小道具は、特定のテーブルや椅子、銃や武器など、俳優が扱う必要のあるものに限定するようにしました。それ以外はすべてCGで作り込んだので、私たちが望むように自由に解釈することができました。

外装に関しては、さまざまなプラットフォームやブルーボックス、セットを作りました。だから、下り坂を走るときは、実際に下り坂を走っていたんです。それから、セットには面白いものがありました。発泡スチロールで作った青い石がたくさんあって、役者がどう振舞うかわかるように、置き石のようなものでした。それが、倒れたり、とても軽い小道具なので、かなりのスピードであちこちに飛んでいったんです!(笑)。

このように、技術全体が新しいものだったのです。本物の小道具を使うことの限界と、CGを使うことの限界を理解するまで、私たちは何度も試行錯誤を繰り返しました。例えば、そのひとつが水です。水とのインタラクションは初日から頭痛の種でしたが、どうすればいいのかがわかりました。何をしたかを正確に明かすことはできませんが、撮影中のステージの中から1つ課題を挙げるとすれば、それは間違いなく水とのインタラクションです。

 

b&a:ブルースクリーンのステージで撮影し、多くの作業をポストプロダクションで行う必要がありましたが、このプロセスの中で、ライブコンプやバーチャルプロダクションのアプローチなど、撮影現場でリアルタイムにフィードバックを得られるような部分はありましたか?

ミハエル・ミシンスキー :それは可能ですが、発展させるには時間がかかります。4つのエピソードはすべてプリビズで撮影され、このプリビズによって、何カット撮影するか、どのようにカメラをセットアップするか、そういったことがわかります。
しかし、今後の制作では、バーチャルスタジオがフィードバックを得るための鍵になります。ブルースクリーンに大勢の兵士を登場させ、これが戦争であるかのように見せかけなければなりません。ブルースクリーンの中で走り、叫び、銃を撃つ姿は滑稽に見えます。ですから、将来的には、リアルタイムでのプレビューを実現したいと考えています。

参考資料

Mrs Claus

キャラクターがかわいい。生産が遅れてキャンセルされたプロジェクトらしい。

参考資料

V-Ray for Modo 開発終了

V-Ray for Modoと、V-Ray for Katana の開発終了がアナウンスされました。V-Rayは建築系で人気のあるレンダラーでした。ライティングソフトのKatanaも終了と言うことは、エンターテイメント系での導入がいまひとつだったのかも知れませんね、メジャーなプラグインが撤退するのは残念です。

https://forums.chaos.com/forum/v-ray-for-modo-announcements/1134583-v-ray-for-modo-discontinuation
https://oakcorp.net/archives/14897

 

V-Ray for Modo廃止のお知らせ

皆様へ

日頃より弊社製品にご関心をお寄せいただき、誠にありがとうございます。Chaosは、お客様にとっての価値、優れたユーザー体験、そして優れた最終結果を生み出す革新的な製品をお届けするために努力しています。このような製品開発に対応するため、いくつかの製品は最終的に自然な形で寿命を迎えることになります。

Chaosは、V-Ray for Modoをオンラインストアでの販売停止を皮切りに、徐々に廃止し、さらなる製品開発を進めています。この移行をできるだけスムーズに行うため、V-Ray for Modoのサポートは、2022年12月31日のサポート終了まで、さらに1年間(12ヶ月)継続します。

 

販売・保守終了のお知らせ

2021年12月20日、この日をもってV-Ray for Modoは弊社オンラインストアでの販売を終了させていただきます。Chaos リセラーからのライセンス購入は、2022年1月20日まで可能です。
販売終了は、メンテナンス終了と同時に行われます。ビルドのメンテナンスとアップデートの提供は終了となります。ただし、ビルドはサポート終了の2022年12月31日まで、Chaosのダウンロードセクションで入手可能です。また、サポート終了まで12ヶ月間、技術サポートを提供します。

 

サポート終了日

2022年12月31日、サポート終了日はV-Ray for Modoのテクニカルサポートが終了する日、およびビルドのダウンロードができなくなる日を指します。
サポート終了後も製品のご使用は可能ですが、報告された問題はカオスチームでは考慮されません。

 

メンテナンス終了後の製品ライセンスについて

既存のV-Ray for Modo製品は、ライセンスの有効期間中、通常通り動作し、永久ライセンスは永久に機能します。アクティブなV-Ray Collectionライセンスは、2022年12月31日までV-Ray for Modoを有効にし続けます。

私たちは、このプロセスをすべてのお客様とパートナーにできるだけ透明化し、進行中のプロジェクトの計画を立て、適切なサポートプロセスへと導くことができるようにしたいと考えています。ご質問やご不明な点がございましたら、弊社サポートまでご連絡ください。

ご挨拶
ウラジミール・ネデフ

参考資料

Rebelle 5 リリース

顔料をベースにした物理的な混色機能を追加したRebelle 5 がリリースされました。絵の具的な混色とNanoPixelが面白いですね。DropEngineも楽しそう。

価格はRebelle 5 $89.99、Rebelle 5Pro $149.99です。アップグレード価格は現在Rebelle 4の所有者はすべて50%OFF、通常のアップグレード価格は、標準で$44.99、Pro $74.99です。

https://www.escapemotions.com/products/rebelle/about
https://www.escapemotions.com/blog/rebelle-5-released-today-a-whole-new-level-of-painting-experience

主な新機能

顔料

Rebelle 5は、RGBフルカラーガモットで伝統的な顔料に基づくリアルフィジカルなカラーミキシングを備えた世界初のソフトウェアです。

伝統的な顔料で作られたように色を混ぜ、グレーから自然に曲がるより鮮やかな色を作り出し、二次的な色相を作り出します。顔料のカラーミキシング・モデルを開発したŠárka SochorováとOndřej Jamřiškaに特別な感謝を捧げます。彼らのソリューションのおかげで、これらの美しいリアルなカラーシフトを楽しむことができるようになります。この機能はRebelle 5 Proで利用可能です。

 

 

NanoPixel

機械学習に基づく新しいNanoPixelテクノロジーにより、リアルタイムでキャンバスにズームインして無限のディテールを確認し、シャープなディテールで16倍もの驚くべきサイズのアートワークをエクスポートしたり、絵画をA4からA0にリスケールして今までにないディテールでプリントすることができます。この機能はRebelle 5 Proで利用可能です。

 

水彩画の粒状化

水彩画のストロークに美しい実物そっくりの粒状化効果を追加して、絵画をこれまで以上に生き生きとしたものにすることができます。

 

改良された油絵とアクリル

Rebelle 5では、油絵とアクリル絵の具を使ったペイントが大幅に改良され、よりコントロールしやすいペイントが可能になりました。

 

タイムラプス録画

ペイントの最初から最後までを録画し、.mp4ファイルフォーマットでエクスポートできます。

 

Photoshopプラグイン

弊社ソフトウェアとPhotoshopの間で頻繁にレイヤーを交換する必要があるアーティストのために作成された特別なプラグインです。ボタン1つでレイヤーをPhotoshopに書き出したり、逆にPhotoshopからレイヤーを書き出したりすることができます。この機能はRebelle 5 Proで利用可能です。

カラーマネージメント

カラーマネージメントは、ピグメントカラーミキシングとシームレスに動作するように再設計されました。この機能はRebelle 5 Proで利用可能です。

 

  • マルチカラー&ダーティブラシ - 美しいマルチカラーのブラシストロークを作成したり、ダーティブラシを使用して最後に読み込んだ色でペイントすることができます。
  • エクスプレス・オイル - 素早いスケッチ、コンセプト・デザイン、下絵の準備、または広い面積を素早くカバーする必要がある場合に使用する、オイルをベースにした新しいペイント・ツールです。
  • ミキシング・パレット - 色を別のミキシング・パレット・パネルに置いてから、キャンバスに乗せる前に混ぜたりなじませたりすることができます。ペイントにカラーピグメントを使用した場合、選択したピグメント(カドミウムイエロー、カドミウムレッド、プルシアンブルーなど)に応じてパレット内の色が混合されます。「伝統的なアート出身で、デジタルアーティストとしてプロとして活動している私にとって、Rebelleはそのギャップを完璧に埋めるものであり、他のプログラムでは到底捉えられないようなニュアンスを与えてくれるものです。ブラシスタイル、顔料充填、「ペイントを押す」感触のコントロールは他に類を見ないもので、Rebelleは私のプロフェッショナルツールキットの一部として常に存在し続けるものです。~ ウェスリー・ガードナー、イラストレーター、フリーランス・アーティスト
  • フルカラーペーパー - ペイント中にさらに自然な感じを得るために使用できる新しいタイプのペーパーである、3つの新しいフルカラーペーパーセットをお楽しみください。これらのペーパーはフルカラーで作成されているため、より多様で豊かな、より詳細なペーパー構造を楽しむことができます。これらのペーパーは、アドオンとして別途購入することができます。
  • 複数の参照画像 - Rebelle 5から1枚だけでなく、複数の画像をそれぞれ別の画像パネルに読み込むことができます。
  • ボリューム・プリセット - サイズ、不透明度、水、油分、圧力など、最も頻繁に使用するボリューム・パラメータを新しいパネルに保存できます。
  • カーブ・エディタ - 不透明度、ブラシ・サイズ、チップ・ティルト、ペイント・モード、およびブラシ・クリエータのその他の設定にカスタム・カーブを設定します。さらに、ペンの筆圧感度のカーブを修正することもできます。
  • 反転マスキング - マスキング機能の使い勝手が一段と向上しました。Rebelle 5では、マスキング液レイヤーの不透明または透明ピクセルを選択してマスクすることができます。
参考資料

Unreal LiveLink for Maya

MayaとUnrealの間でアニメーションデータを交換するための新しいライブリンクプラグイン「Unreal LiveLink for Maya」が公開されています。

もともとEpicGamesによって開発されたLiveLinkを、オートデスクと提携してツールの機能を拡張して、アーティストやスタジオのニーズをより適切に満たすように更新した物のようです。

https://apps.autodesk.com/MAYA/en/Detail/Index?id=3726213941804942083&appLang=en&os=Win64

 

概要

Unreal Live Link プラグインを使用すると、Maya から Unreal へアニメーション データをリアルタイムでストリーミングすることができます。
バーチャルプロダクション環境で 2 つのツール間で作業を行っている場合でも、次のゲームを作成している場合でも、Maya でキャラクタ アセットを処理し、変更を加えるとすぐに Unreal に反映されるプレビューを確認することができます。

 

主な機能

  • 簡素化されたインストール環境により、数分で使用開始することができます
  • 新しい合理的なインターフェイスにより、Unreal にストリーミングする Maya アセットを簡単に定義および管理することができます
  • ジョイント階層トランスフォームを接続することで、キャラクタ間のアニメーション ストリーミングを可能にします
  • ブレンドシェイプがサポートされているため、顔の表情やリップシンクなどのキャラクタの変更を行い、Unreal でその変更をコンテクストで確認することができます
  • トランスフォーム、画角、焦点距離、フィルム ゲート、カメラ アパーチャ、フィルム アスペクト比、被写界深度、フォーカス距離、fStop などのカメラ属性がサポートされています
  • 色、強度、コーン角、ペナンブラ角などの照明調整もサポートされています
  • シーンのタイムコードは、メタデータとして Unreal にストリーミングされるため、Maya と Unreal 間でプレイヘッドの同期をとることができます
  • バックバージョン対応により、Maya 2018からMaya 2022までプラグインを使用することができます

Live Link を使用して Unreal Engine 4 を Maya に接続する
https://docs.unrealengine.com/4.27/en-US/AnimatingObjects/SkeletalMeshAnimation/LiveLinkPlugin/ConnectingUnrealEngine4toMayawithLiveLink/

Unreal Live Link for Autodesk  Maya プラグインを使用する方法 (リンクが機能していないっぽい)
https://www.autodesk.com/unreal-livelink-docs

Maya ラーニング チャンネル
https://www.youtube.com/playlist?list=PL8hZ6hQCGHMWtAxA5TQAjgeWmZ9MeVRtF