参考資料

ディープラーニングを使用した線画の自動陰影付け「ShadeSketch」

ディープラーニングを使用した線画とライト方向からシェーディングを生成するサービス「ShadeSketch」。3D的なライティングを考慮してるのが面白いですね。
https://shinya7y.github.io/playground/shadesketch/
https://cal.cs.umbc.edu/Papers/Zheng-2020-Shade/

 

概要

線画スケッチと照明方向の対から詳細で正確なアーティスティックな陰影を生成する全自動法を示した。また、照明方向でタグ付けされた線画と影の対の1000例の新しいデータセットを提供した。
驚くべきことに生成された影は、スケッチされたシーンの基礎となる3D構造をすばやく伝達します。したがって、このアプローチによって生成されたシャドウは、直接使用することもアーティストにとって優れた出発点として使用することもできます。
提案した深層学習ネットワークは手書きスケッチを用い、潜在空間に3Dモデルを構築し、結果として生じる影をレンダリングすることを示した。生成された影は、手描きの線とその下にある3Dスペースを考慮し、セルフシャドウ効果などの洗練された正確なディテールを含んでいます。
さらに、生成されたシャドウには従来の3Dレンダリング方法で実現可能な、リムライティングやバックライトから現れるハロなどの芸術的な効果が含まれています。

 

立方体は、26のライティング方向を示しています。

ユーザは3桁の文字列でライトの位置を指定します。最初の桁はライティングの方向(1から8)に対応し、2番目はデプスプレーン(1~3)に対応し、3番目は特殊な方向である001(真ん前に)と002(背後に)を除いて0です。この結果、照明の方向は8*3+2=26になります。

ネットワークアーキテクチャ

ギャラリー

結果の例。このシステムは、バイナリシャドウとソフトシャドウを生成できます。

アーティスティックな制御

私たちの影と色を組み合わせる。

(a) 入力スケッチ
(b) 照明方向710の影
(c) 照明方向001,730,210からの影を合成した複雑な照明条件での影
(d) 照明方向001,210,220からドットとソフトシャドウを合成してマンガ風に仕上げた私たちの影
(e) 市販のソフトで着色したスケッチ
(f) (e)と(b)を合成したもの
(g) (e)と(c)を合成したもの
(h) 原画家のイメージ
©nico-opendata

 

バーチャル照明

芸術的な線画にシャドウイングシステムを適用した例。

26の個別の照明方向からの結果。

コメントを残す