アニメのセル彩色を行う学習モデルが公開されています。最初の1フレームをペイントすると、それ以降のフレームを自動的に彩色するようです。3Dデータを使用して学習してるようですね。
https://ykdai.github.io/projects/InclusionMatching
https://github.com/ykdai/BasicPBC
アニメーションのバケツ塗りにおけるインクルードマッチングの学習
私たちのプロジェクトは、ペインターに1フレームだけ着色させ、その後アルゴリズムが自律的に後続フレームに色を伝播させることで、アニメーションの着色プロセスを合理化します。©Nicca によって描かれたは、アーティストの許可を得て使用しています。
バケツ塗りによるカラー化
線画のカラー化は、手描きセルアニメーションの制作において極めて重要な作業である。デジタルペインターたちは、ペイントバケツツールを使って、カラーデザイナーがあらかじめ決めたRGB値に基づいて、線で囲まれた各セグメントを手作業で着色していく。ペイントバケツ・カラライゼーションと名付けられたこのフレームごとの作業は、大変な労力と時間を要する。
概要
現在の自動カラー化手法は、主にセグメントマッチングに焦点を当てている。この技法は、フレーム間の線で囲まれたセグメント内の特徴を整列させることで、参照フレームからターゲットフレームへ色を移行させる。しかし、アニメーションのオクルージョンやしわのような問題は、このような直接的な対応をしばしば乱し、ミスマッチを引き起こす。この研究では、学習ベースの新しい包含マッチングパイプラインを導入し、直接的な視覚的対応のみに頼るのではなく、セグメント間の包含関係を理解するようにネットワークを誘導する。本手法は、粗い色ワーピングモジュールと包含マッチングモジュールを統合した2段階の推定モジュールを特徴とし、よりニュアンスのある正確なカラー化を可能にする。
このネットワークの学習を容易にするために、PaintBucket-Characterと呼ばれる独自のデータセットを開発した。このデータセットには、レンダリングされた線画と、様々な3Dキャラクターを彩色したものが含まれている。広範な実験により、既存の手法に対する我々の手法の有効性と優位性が実証された。
データセット
視覚的比較
前フレームのグラウンドトゥルースに基づく結果
以前のCadmiumアプリケーションやAnimeRunと比較して、私たちの方法は、より堅牢なカラー化結果を達成することができます。© Nicca
最初のフレームに基づく色伝播結果
前のフレームから色を伝搬させることで、私たちのメソッドは、与えられた最初のフレームに基づいてフレームシーケンスをカラー化することができます。© Clip Studio Paint
故障例
大きな変形
私たちの手法は、ロボットハンドが拳を握る瞬間のような、誇張された動きや大きな変形にまだ苦戦しています。© Clip Studio Paint and Mecha-Ude
オクルージョン
私たちの手法では、参照フレームにターゲットフレームのセグメントがすべて存在する必要があるため、振り向くようなシーンで新しいセグメントを色付けすることが困難です。© Kyoto Animation