アニメのバケツ塗りにおけるインクルードマッチングの学習

アニメのセル彩色を行う学習モデルが公開されています。最初の1フレームをペイントすると、それ以降のフレームを自動的に彩色するようです。3Dデータを使用して学習してるようですね。

https://ykdai.github.io/projects/InclusionMatching
https://github.com/ykdai/BasicPBC

アニメーションのバケツ塗りにおけるインクルードマッチングの学習

私たちのプロジェクトは、ペインターに1フレームだけ着色させ、その後アルゴリズムが自律的に後続フレームに色を伝播させることで、アニメーションの着色プロセスを合理化します。©Nicca によって描かれたは、アーティストの許可を得て使用しています。

バケツ塗りによるカラー化

線画のカラー化は、手描きセルアニメーションの制作において極めて重要な作業である。デジタルペインターたちは、ペイントバケツツールを使って、カラーデザイナーがあらかじめ決めたRGB値に基づいて、線で囲まれた各セグメントを手作業で着色していく。ペイントバケツ・カラライゼーションと名付けられたこのフレームごとの作業は、大変な労力と時間を要する。

概要

現在の自動カラー化手法は、主にセグメントマッチングに焦点を当てている。この技法は、フレーム間の線で囲まれたセグメント内の特徴を整列させることで、参照フレームからターゲットフレームへ色を移行させる。しかし、アニメーションのオクルージョンやしわのような問題は、このような直接的な対応をしばしば乱し、ミスマッチを引き起こす。この研究では、学習ベースの新しい包含マッチングパイプラインを導入し、直接的な視覚的対応のみに頼るのではなく、セグメント間の包含関係を理解するようにネットワークを誘導する。本手法は、粗い色ワーピングモジュールと包含マッチングモジュールを統合した2段階の推定モジュールを特徴とし、よりニュアンスのある正確なカラー化を可能にする。

このネットワークの学習を容易にするために、PaintBucket-Characterと呼ばれる独自のデータセットを開発した。このデータセットには、レンダリングされた線画と、様々な3Dキャラクターを彩色したものが含まれている。広範な実験により、既存の手法に対する我々の手法の有効性と優位性が実証された。