機械学習ソリューションを作る前に、解決すべき問題と、MLアプローチが機能するために必要なことを理解することが不可欠です。特に、どのようなデータがすでに世の中に存在しているのか、そしてそのデータを使って問題を解決できるのか、ということです。一見すると、可能な限り大量の "ground truth "や完全な例が欲しいだけだと思われるかもしれないが、それは現代のMLを効率的に訓練する方法ではありません。
MLソリューションを作成し、特にキュレーションするには、解決しようとする問題、使用されるデータ、適用されるMLアルゴリズムを深く理解する必要があります。これは高度なスキルと要求の高い(人間の)役割となり得ます。構造化されたアプローチに従い、継続的に反復と改善を行うことで、MLソリューションは複雑な問題を解決し、イノベーションを推進するための強力なツールとなり得ます。MLが膨大なデータを持っているからといって、必ずしも精度が高いとは限りません。アカデミー賞受賞者のライアン・レイニーは、2021年にfxguideに対し、彼の長編ドキュメンタリー映画『Welcome to Chechnya』のためのトレーニングデータの撮影について、このように説明しています。
NVIDIAには、SimReadyアセットを作成するための開発者ツール一式があります。SimReady(シミュレーション対応)アセットとは、物理的に正確な3Dオブジェクトのことで、正確な物理特性、挙動、メタデータを持ち、シミュレーションされたデジタル世界(および/またはデジタルツイン)で現実世界を表現します。SimReadyアセットは、Universal Scene Description (USD)を使用して構築され、NVIDIAのオープンソース、スケーラブル、マルチプラットフォーム物理シミュレーションソリューションであるPhysXで最大限の精度を得るために、現実世界と同じように動作するように構築されています。
異形明朝は、源ノ明朝Boldをもとに、Diffusion画像生成モデルACertainThingに明朝体の漢字と平仮名、片仮名をファインチューニングして生成したフォントです。ノイズから生成したIgyouMinchoとimg2imgで元の字形を留めたIgyouMincho2があります。
ライセンスはSIL Open Font License 1.1であり、商用に使用できるほか、SIL Open Font License 1.1ライセンスを維持すれば改変、再配布も自由です。
Wētā FXは、まったく新しいフェイス・パイプラインを開発しました。この画期的な新アプローチを最初に開発したのは2019年だが、同社は『Avatar: The Way of Water』の公開に合わせて、韓国で開催されたSIGGRAPH ASIAで新しいアプローチを公開したばかりです。この徹底討論ではWētā FX Snr.に直接話を聞いている。VFXスーパーバイザーのJoe Letteri氏と、テクニカルペーパーの他の著者の一人であるKaran Singh氏に、新しいアプローチを開発する決断をした理由について、直接話を聞きました。
Topaz Video AIはビデオアップスケーリング、インターレース解除、モーション補間、手ぶれ補正のための世界有数のプロダクショングレードのニューラルネットワークを、ローカルワークステーション用に最適化された状態で無制限に利用できるようにするものです。
Topaz Video AI v3.0は、ビデオの手ぶれ補正、エンハンス機能の改善、ユーザー体験の向上などの新機能を盛り込み、ゼロから構築されました。この新しいコードベースを使用することで、以下のような、お客様から最も要望の多い機能を提供することができます。
AIモデルのスタッキング
タスクの並列実行とフィルターのサポート
コマンドラインインターフェース
パフォーマンスと安定性の重要な改善
価格
新規のお客様は$299(1年間のアプリアップデートを含む)
有効なライセンスをお持ちの既存のVideo Enhance Aのお客様は、Topaz Video AI v3.0を無償で入手できます。
有効なライセンスをお持ちでないお客様は、Topaz Video AI v.3.0を含む1年間のアプリケーションアップデートを$149.00でご購入いただけます。
Topaz Video AI v3.0を開発した理由
Video Enhance AIはインターレース解除、8K解像度までのインテリジェントなアップスケール、シームレスなフレームレート変換など、ビデオに影響を与える最も一般的な品質問題を改善するために開発されました。これは、ビデオを一連の一定レートの画像として扱うため、アプリのAIモデルが可変フレームレートの映像、フレームリピート、シーンの変更を処理しなければならないときに問題が発生しました。また、手ぶれ補正やシーン検出に対応した新しいモデルの開発には、映像に何度もパスをかける必要があるため、開発が複雑になっていました。
Topaz Video AI v3.0では、コマンドラインインターフェイスを使用したスクリプトの実行が可能になりました。これは、そのような環境での作業に慣れている上級ユーザー向けに設計されており、実行する様々なスクリプト処理を柔軟にカスタマイズすることが可能です。コマンドターミナルでの作業に不慣れな方は、アプリのユーザーインターフェイスを使用することを強くお勧めします。
ほとんどの手ぶれ補正手法は、フレームを変換した後にできる欠落した領域を取り除くために構図を切り取る必要があり、映像の意図したフレーミングに影響を与える可能性があります。そこで、Topaz Video AIは、自動クロップオプションに加えて、隣接するフレームとAIモデルを使用して欠損領域を生成するフルフレームスタビライズを提供します。
また、Topaz Video AIは、ローリングシャッター効果の補正やジッターモーションの低減を行うオプションも用意しています。ジッターモーションを減らす」オプションは、別のAIモデルを使用して、隣接するフレーム間の空間的なジッターを減らし、3Dカメラの回転と視差効果を最小限に抑えます。
Gigapixel AI は、DeNoise AI、Sharpen AI、Video Enhance AI に続いて、Apple M1 のネイティブ・サポートを獲得した 4 つ目のコア・アプリです。
Gigapixel AIをAppleの統合型「System on a Chip」アーキテクチャにネイティブに対応させることで、Apple M1、M1 Pro、M1 Max、およびM1 Ultraユーザーに、より高速なパフォーマンスを提供することが可能になりました。アプリのロード時間、1枚の画像の編集、バッチ処理など、すべてが明らかに高速化されます。
最初のベンチマークテストでは、コールドブートからGigapixel AI v6.0をロードするのにかかった時間を、ネイティブのM1バージョンとRosettaバージョンの両方で比較しました。ご覧の通り、Rosettaエミュレーション版と比較して、ネイティブM1ビルドでは、47%もロード時間が速くなっています。
現在では、Gigapixel AI v6.0を最初に起動すると、新しいダイアログボックスが表示され、お使いのコンピュータの構成に応じたすべてのモデルを一括でダウンロードするかどうかを確認します。この合理的なアプローチにより、モデルやアップスケールファクター間の切り替えがより速く、より邪魔にならなくなりました。
Gigapixel AI v6.0を起動し、少なくともいくつかのモデルをダウンロードするまでは、オフラインで画像を処理することはできませんので、ご注意ください。対応するすべてのモデルの一括ダウンロードを完了させることが最善の方法であり、特にオフラインの間、アプリをよりスムーズに使用できるようになるはずです。