参考資料

リアルタム“Deepfakes”

スイスの世界経済フォーラム(WEF)でリアルタイムのインタラクティブな顔置換を実演したさいのインタビュー記事が公開されています。
https://www.fxguide.com/fxfeatured/real-time-deepfakes/

Pinscreenの研究には、新しいディープラーニング、データ駆動型、幾何学処理アルゴリズムの開発が含まれる。ハオ・リー氏自身は、アバターの作成、顔のアニメーション、髪のデジタル化、動的な形の処理、悪意のある偽物の拡散を防ぐための最近の取り組みなどで有名になった。
Pinscreenはディープフェイクを検出してユーザーに誤解を知らせる研究グループのリーダーだ。FacebookとGoogleもこの分野で積極的に活動している。GoogleのプレジデントであるSundar Pichai氏は最近、「ディープフェイクの発見は、私たちの前に立ちはだかる最も重要な課題の1つである」と投稿しており、Googleは合成ビデオの検出を支援するため、オーディオとビデオの両方のデータセットをリリースしている。
Pinscreenの研究は94%という高い検出精度レベルに達しているが、これは知られている著名人(実際の映像の大量のサンプルを使って)だけのものだ。

デモに使用しているのはRGBのみの普通のLogitech Webcam。リアルタイムで難しい部分は次のこと。

  • 大量のデータを処理し、より深いネットワークでより良いモデルを訓練する能力
  • 高解像度フレームを生成する機能
  • タスクを並列化/スケジュールする機能

リアルタイムでない場合はより高い解像度とより自然な結果を生成できるそうです。頭の回転や照明を自然に処理できるとのこと。

コメントを残す