AIを使用したビデオの変換ソフト「Topaz Video AI v3.0」がリリースされました。アップスケーリング、インターレース解除、モーション補間、手ぶれ補正が行えます。手ぶれ補正で存在しないフレーム外を埋めてくれるのは便利そうですね。
https://www.topazlabs.com/topaz-video-ai
https://www.topazlabs.com/learn/introducing-topaz-video-ai-v3
Topaz Video AI v3.0
Topaz Video AIはビデオアップスケーリング、インターレース解除、モーション補間、手ぶれ補正のための世界有数のプロダクショングレードのニューラルネットワークを、ローカルワークステーション用に最適化された状態で無制限に利用できるようにするものです。
Topaz Video AI v3.0は、ビデオの手ぶれ補正、エンハンス機能の改善、ユーザー体験の向上などの新機能を盛り込み、ゼロから構築されました。この新しいコードベースを使用することで、以下のような、お客様から最も要望の多い機能を提供することができます。
AIモデルのスタッキング
- タスクの並列実行とフィルターのサポート
- コマンドラインインターフェース
- パフォーマンスと安定性の重要な改善
価格
- 新規のお客様は$299（1年間のアプリアップデートを含む）
- 有効なライセンスをお持ちの既存のVideo Enhance Aのお客様は、Topaz Video AI v3.0を無償で入手できます。
- 有効なライセンスをお持ちでないお客様は、Topaz Video AI v.3.0を含む1年間のアプリケーションアップデートを$149.00でご購入いただけます。
Topaz Video AI v3.0を開発した理由
Video Enhance AIはインターレース解除、8K解像度までのインテリジェントなアップスケール、シームレスなフレームレート変換など、ビデオに影響を与える最も一般的な品質問題を改善するために開発されました。これは、ビデオを一連の一定レートの画像として扱うため、アプリのAIモデルが可変フレームレートの映像、フレームリピート、シーンの変更を処理しなければならないときに問題が発生しました。また、手ぶれ補正やシーン検出に対応した新しいモデルの開発には、映像に何度もパスをかける必要があるため、開発が複雑になっていました。
これらの新機能を開発し、革新を続けるために、私たちはこのアプリの次世代版を、全く新しいコードベースと、複数のAIモデルのスタック、並列タスクの実行、プロジェクトキューのフィルタリングなど、多数の機能改善を施した全く新しいユーザーインターフェイスの上に構築しました。
Topaz Video AI v3.0に含まれる新機能は、2つのカテゴリーに分けることができます。
- ユーザビリティの向上
- 新しいAIモデル
ユーザビリティの向上
AIモデルのスタッキング
1つのタスクで複数のAIモデルを有効にできるようになり、より柔軟なワークフローが可能になりました。例えば、スタビライズを有効にしながら4K解像度にアップスケールし、グレインを追加することができるようになりました。
フィルターサポートによるタスクの並列実行
ユーザーが複数のタスクを同時に実行できるようになり、より効率的なワークフローが可能になりました。複数の入力ビデオファイルから様々な設定で異なるプレビューを実行したり、複数のプロジェクトを同時に書き出したりすることができます。
また、新しいフィルタリングオプションを使用して、選択したビデオファイルまたはロードされたすべてのビデオファイルのプロセスジョブを表示し、出力プレビュータスク、エクスポートタスク、またはその両方でフィルタリングすることができます。
コマンドラインインターフェース
Topaz Video AI v3.0では、コマンドラインインターフェイスを使用したスクリプトの実行が可能になりました。これは、そのような環境での作業に慣れている上級ユーザー向けに設計されており、実行する様々なスクリプト処理を柔軟にカスタマイズすることが可能です。コマンドターミナルでの作業に不慣れな方は、アプリのユーザーインターフェイスを使用することを強くお勧めします。
例えば、上のスクリーンショットにあるスクリプトコマンドは、以下の指示を出します。
- FFmpegのスタートアップバナーを隠す
- ハードウェアアクセラレーションを有効にし、hevc_qsv エンコーダー (H.265) を使用
- エンコーダのプリセットをmediumにして、メインプロファイルを使用
- CRFを19に設定
- 出力ピクセル形式をyuv420pに設定
- 100%フラグメント出力を作成し、処理が中断されてもファイルを読み込めるように
- GPU 0でArtemis v13を使用して2倍にアップスケール
新しいコマンドラインインターフェイスの使用方法については、サポートセンターで詳細をご覧ください。
パフォーマンスと安定性の重要な改善
Topaz Video AI v3.0には、以下のような新しいパフォーマンスと安定性の改善も多数含まれています。
- H264、H265、AV1（利用可能な場合）、および ProRes 444 などの高ビット出力フォーマットのハードウェアエンコーディングをすべてのプラットフォームでサポート
- カラースペースのサポートと色精度の向上
- 最大16ビットの色深度をサポート
- 新しいクロップツール
- 新しいレターボックス/ピラーボックスの検出と削除ツール
- トリミングツールの改善
- デフォルトのプレビューと書き出しの環境設定が可能
- 縦長動画を含むすべてのアスペクト比に対応
- オフライン対応により、インターネットに接続されていない状態でもアプリを使用できるようになりました。新しいAIモデルのダウンロードには、インターネット接続が必要です。
- 外部プレーヤーアプリでプレビュー動画を再生できるようになりました。
新型AIモデル
手ぶれ補正モデル
手ぶれ補正モデルは、カメラが不安定になることで発生しがちな手ぶれやカクつきを軽減するためのモデルです。これは2つのステップで行われます。
- フレーム間のカメラの動きを推定し
- 各フレームを変換し、カメラの動きが滑らかに見えるようにする。
従来の方法では、フレーム間の個々の特徴点を見つけてマッチングさせることでカメラの動きを判断していました。それでも、フレームに低コントラスト領域、照明変化、モーションブラー、移動物体などの困難なシーンが含まれている場合、信頼性が低い可能性があります。
新しい安定化AIモデルは、個々の点ではなく、フレーム全体を考慮します。我々は従来の特徴マッチングアルゴリズムよりも良いパフォーマンスを発揮するために、挑戦的なビデオサンプルでモデルを訓練しました。
ほとんどの手ぶれ補正手法は、フレームを変換した後にできる欠落した領域を取り除くために構図を切り取る必要があり、映像の意図したフレーミングに影響を与える可能性があります。そこで、Topaz Video AIは、自動クロップオプションに加えて、隣接するフレームとAIモデルを使用して欠損領域を生成するフルフレームスタビライズを提供します。
また、Topaz Video AIは、ローリングシャッター効果の補正やジッターモーションの低減を行うオプションも用意しています。ジッターモーションを減らす」オプションは、別のAIモデルを使用して、隣接するフレーム間の空間的なジッターを減らし、3Dカメラの回転と視差効果を最小限に抑えます。
スローモーションモデル「Apollo」
新しいApolloモデルは、当社のオリジナルのスローモーションAIモデルであるChronosとChronos Fastと同様に、フレーム間を補間してスローモーション映像を作成し、フレームレートを変換します。しかし、Apolloモデルは、非線形な動きやモーションブラーを扱うように訓練されています。これは、隣接する4つのフレームを考慮し、それらのフレーム間のオブジェクトの動きを推定します。これにより、モデルは動きの非線形性を理解し、それに応じて中間点を補間することができます。
Apolloモデルは、非機械的な動き（例えば、人間や動物の動き、手持ちカメラの映像など）を含む映像の動きをスローダウンするのに最適なモデルです。映像にブレがある場合は、ChronosやChronos Fastの前にApolloモデルを試してみることをお勧めします。