生成AIのアップスケールをレンダリングの品質向上に利用するのはどうか？という興味深い記事が公開されています。
CGだと草のモデルをスキャッターするとパターン感が出てしまったり、テクスチャのリピート感が出てしまうことが多いです。こういう機械的で不自然な部分の品質向上に、生成AIが使えるかもしれないという記事です。
全てのケースで上手く行くわけでありませんが、静止画用途ではよりリアルな仕上がりにできそう。
サイトには多くの比較画像が掲載されています。
https://bertrand-benoit.com/blog/ai-finishing/
AIフィニッシング
3DコミュニティにおけるAIに関する議論の多くは、これまでコンピュータが最終的にアーティストに取って代わるのではないかという懸念に焦点が当てられてきた。しかし、私が先週ベルリンで参加したイベントの論調は、アーティストがどのようにAIを活用すれば、より速く、より良い作品を作ることができるかを問うもので、まったく異なるものでした。
私は自分自身がそれに同意していることに気づきました。SOOIIのMarc Gruber-Lauxが次のように述べていました「私たちのほとんどは、どのように制作するかよりも、どのような画像を制作するかに関心があります。私たちが意図したとおりのものが出来上がれば、それが3Dであろうと、フォトショップであろうと、水彩画であろうと関係ありません」
その点で、ジェネレーティブAIはまだそこまで到達していません。その出力が質的に不十分だからではなく、それどころか、Midjourney やStable Diffusionはしばしば、私たちが望むよりもはるかに熟練しています。
この限られたコントロールは、いずれ解決される問題です。それまでの間、ジェネレーティブAIは、3Dアーティストのワークフローをスピードアップし、最終的な画像の品質を向上させるために多くのことを行うことができます。
Magnific AIのようなツールの出番です。Topaz LabsのGigapixelをご存知なら、これはウェブエディタで似たようなことができます。主な違いは、画像をアップスケールする際にMagnificが作成する追加ディテールの量です。3Dアーティストのために特別に設計されたわけではありませんが、このツールは、完成した3Dレンダリングにディテールの最終レイヤーを追加するために活用できます。 CommonpointのArturとBartoszは、次のように述べています。「通常は作業の 50% を要する画像の最後の 10% を 1 回のクリックで実行します」
以下は、私の古いレンダリングを使ったビフォーアフターの例です。ご覧のように、効果は微妙なものからかなり劇的なものまであります。Magnificはまた、かなりひどい失敗をする可能性があるので、制作で使用する場合は、画像の特定の部分、通常は有機的なディテールや歪んだ素材を示す部分のみに使用することになるでしょう。解像度を100%にした大きな画面では、その差の一部が見えるだけかもしれません。
下の例（ホワイトバランスの違いは無視してください、これは私のミスです）は、Magnificが植生や荒々しい建物をいかに得意としているかを示しています。2つの画像に根本的な違いはないが、葉や枝の非常に細かいディテールは、撮影後の画像の方がはるかに優れています。3DやPhotoshopのオーバーペインティングでこのレベルの洗練を得るには、何日もかかるでしょう。
このLAのゴールドスタイン・ハウスの画像では、Magnificは草木のディテールを鮮やかにする素晴らしい仕事をしてくれたが、インテリアを理解することはできませんでした。一般的に、Magnificは反射をうまく処理できないようで、ガラスの向こうにあるものを台無しにしてしまう可能性が高いです。プロジェクトでは、そのような部分をマスクすることをお勧めします。
Magnificは、インテリア、特に、より不潔なインテリアにおいて素晴らしい効果を発揮し、モデリングとテクスチャリングの作業を何日も節約できる可能性があります。革張りのソファのディテールをご覧ください。シワが増え、よりリアルになりました。ファブリックも、鉢や花瓶の一部も、全体的によくなっています。テーブルの上のキャンドルのひとつは奇妙なピントグラスになり、ペンダントライトの木枠は真鍮のような構造になっています。
