機械学習を使用してマット生成「Rotobot」

機械学習を使用してマットを作成するOpenFX プラグイン「Rotobot」の記事。品質はまだまだみたいだけど、こういう方向の機械学習の使い方は好き。

https://www.fxguide.com/quicktakes/rotobot-bringing-machine-learning-to-roto/

Rotobotは人や車などのオブジェクトの「セマンティック」クラスに属するピクセルのインスタンスを分離することができます。これは反復畳み込みニューラルネットワーク（CNN）を使用してイメージを分析することによって、81カテゴリを分離することができます。これらのカテゴリごとに最大100個のインスタンスを一度に分離することができます。これはVFXにとって便利です。素早く汚いホールドアウトマットを生成するための素早いツールがあることを意味します。

このプログラムは超高速で粗いものからより洗練されたものまで、さまざまな品質レベルで設計されています。Rotobotによって達成されるロトの品質は、フレーム間でちらつく傾向があるので時間的に安定していません。これはフレームごとのソリューションを生成するので、編集可能なスプラインがなくなるため修正や作業を続けることができません。Kognatは結果の忠実度をはるかに高い基準に高めるよう努めています。