1. ホーム /
  2. Diary /
  3. 参考資料

参考資料

参考資料

キャラクターアニメーションのための一貫した制御可能な画像-映像合成

  • 0

静止画像からキャラクターの動画を安定して生成することを目的とした技術論文が公開されています。

https://humanaigc.github.io/animate-anyone/

 

概要

キャラクタアニメーションは、静止画像から駆動信号によってキャラクタ動画を生成することを目的としている。現在、映像生成の研究においては、そのロバストな生成能力から拡散モデルが主流となっている。しかし、画像から動画への変換、特にキャラクタアニメーションにおいては、キャラクタの詳細な情報との時間的な整合性を保つことが困難であるという課題が残されている。本論文では、拡散モデルの力を活用し、キャラクターアニメーションに合わせた新しいフレームワークを提案する。参照画像からの複雑な外観特徴の一貫性を維持するために、空間的な注意を介して詳細な特徴を統合するReferenceNetを設計する。制御性と連続性を確保するために、キャラクタの動きを指示する効率的なポーズガイダーを導入し、ビデオフレーム間のスムーズなフレーム間遷移を確保するための効果的な時間モデリングアプローチを採用する。学習データを拡張することで、本手法は任意のキャラクタをアニメーションさせることができ、他の画像からビデオへの手法と比較して、キャラクタアニメーションにおいて優れた結果をもたらす。さらに、ファッションビデオと人間のダンス合成のベンチマークで本手法を評価し、最先端の結果を得た。

 

 

メソッド

本手法の概要。ポーズシーケンスは最初にPose Guiderを用いてエンコードされ、マルチフレームノイズと融合される。デノイジングUNetの計算ブロックは、右の破線枠に示すように、空間的注意（Spatial-Attention）、交差的注意（Cross-Attention）、時間的注意（Temporal-Attention）から構成される。参照画像の統合には2つの側面がある。第一に、詳細な特徴がReferenceNetを通じて抽出され、Spatial-Attentionに利用される。次に、CLIP画像エンコーダを通して意味的特徴が抽出され、Cross-Attentionに利用される。Temporal-Attentionは時間次元で動作する。最後に、VAEデコーダが結果をビデオクリップにデコードする。

 

 

さまざまなキャラクターのアニメーション

 

比較

ファッションビデオ合成

ファッションビデオ合成は、ドライビングポーズシーケンスを用いて、ファッション写真をリアルなアニメーションビデオに変換することを目的としている。実験はUBCファッションビデオデータセットと同じトレーニングデータで行われる。

 

ヒューマン・ダンス・ジェネレーション

Human Dance Generationは、実世界のダンスシナリオにおける画像のアニメーションに焦点を当てている。TikTokデータセットと同じトレーニングデータで実験を行った。

 

 

参考資料

MANOR / CHRISTMAS

  • 0

スイスの デパートチェーンのCMらしい。クリスマスらしいCMですね。

参考資料

Modo 2024 Roadmap Livestream

  • 0

Modo 2024 Roadmap Livestream が配信されました。modo 17.0の機能紹介と17シリーズのロードマップが紹介されました。また、17.0 アルファ版が来週公開、正式リリースは2024年の前半のようです。久しぶりにブラックフライデーセールも行うようです。

modo 17シリーズはパフォーマンス向上に焦点があてられています。「ビューオブジェクト」という新しい機能はユーザー操作とデータのアップデートをわけることで、ユーザー操作のインタラクティビティーが向上するそうです。
しかし、この変更は大きな影響あり、本来毎年メジャーバージョンがリリースされるはずですが、今年はメジャーバージョンがリリースされませんでした。

ライブストリーム内でもリリース延期の理由は安定性の向上が目的とのこと。現在はクラッシュや表示の乱れなどの問題があると語られていて、アルファテストへの協力を呼びかけています。

 

ビュー オブジェクト

将来のmodoの基盤。柔軟性が高くパフォーマンス強化を繰り返すことができる。
元はmodoのオリジナルの開発者、スチュワートファーガソンによって考えられた。

modo17は大きな家から椅子やソファーを撤去した状態と例えており、床や壁を掃除して最終的には皆がうらやましがる美しい家を手に入れるつもりだと説明しています。

ツールアップデート

主にパフォーマンス向上。

インクリメンタル ファイル読み込み

ビュー オブジェクトによって、メッシュをバックグラウンドプロセスを使用して遅延読み込み出来るようになった。これまでは全てのデータが読み込まれるまで待つ必要があった。

 

メッシュトランスフォーム

ビュー オブジェクトによって、メッシュ描画を遅延してツール操作のインタラクティビティーを向上。

 

アニメーション再生

メッシュが遅れるが、ボーンが60FPSで再生できる。メッシュが遅れることの問題点は認識してるよう。

 

エッジスライスの高速化

 

ループスライスの高速化

 

リグの高速化

 

メッシュオペレーターの高速化

 

ファイル読み込みの高速化

 

プリミティブスライス

クローンとコーナー半径追加。

 

ポリーホール

フォールオフモード、セルフブーリアン、アイコンボタン追加

 

メッシュクリーンナップ

ギャップ固定オプション

 

放射整列

円弧状に整列。

 

平面デカール

リプリケーター対応。

 

プロシージャルモデリングワークフローの改善

ツールハンドルやショートカットなど。

 

メッシュオペレーターの複製改善

 

アドバンスドビューポート更新

 

新しいクラッシュレポート

デザインが統一され、どんな情報が送信されるか詳細にわかるようになる。

 

ファー ベクターグルーミング強化

 

ネイティブ ARM ベータ

 

modo 17.0 はいつ出るのか？

17.0 アルファ版が来週公開。正式リリースは2024年はじめ、1月という意味ではない。

 

modo 17.1、17.2 特長

 

modo 17.1

表のP5の優先度が高くP1は低い。

ダイナミック デフォーマー キャッシュ

キャッシュ機能を元に戻したい。ビューオブジェクトでバックグラウンドで計算してよりよい処理ができる。

UIのリフレッシュ

プロパティーとメニューを洗練させてUIをクリーンアップする。高DPI化は後になる。

 

modo 17.2

ダイナミック オブジェクト ビュータイプ

パフォーマンス低下に合わせてテクスチャ、サブディビジョンレベルを下げたり（ZBrushのような動作）、最初にバウンディングボックスを表示して、後からメッシュに置き換わる。

レンダリング

Hydra、サードパーティレンダラーの統合、何のレンダラーかはまだ言えない。

アドバンスドビューポート

デフォルトにしたい。将来的にレイトレースに対応したい。

 

Modo 2024 レンダリング

Hydra APIを使用したレンダラーのレンダリング結果。今の段階でレンダリング画像を公開できるとは思わなかった。

MaterialX

Hydraにとって重要。最初に迅速な実装、その後正式な実装になる。遠い将来、古いマテリアルタイプを削除することになる。

 

来週ブラックフライデーセール

メンテナンスに戻る場合20％ OFF、新規サブスクが30％OFF。

 

新しいmodoのはじまりです。やるべきことがたくさんあります。
アルファ、ベータへの協力よろしくお願いします。
2024年は曲がり角をむかえ、可能性を認識しはじめた年として記憶されるでしょう。

参考資料

Hublot | Murakami

  • 0

村上隆とスイスの高級腕時計ブランド「HUBLOT」のコラボモデルのビデオだそうです。白を基調とした背景に透明素材の組み合わせで、ライティングや質感が綺麗です。公式サイト見に行ったら￥43,670,000だった。

参考資料

LEGO “Holidays”

  • 0

LEGOのホリデーシーズン向けCMのようです。いろんな作品のキャラクターが登場するのがLEGOらしくていいですね。

 

参考資料

Bath & Body Works - Holiday Story

  • 0

飛び出す絵本がモチーフのホリデーシーズン向けのCM。商品の反射がピカピカしてて視線が誘導されます。

参考資料

DOVE Stick R&D

  • 0

砂っぽいパーティクルが綺麗。

参考資料

USD in 3dsMax

  • 0

3dsMaxのUSDに関する記事を見かけたのでメモ。

VFX アーティストでパイプラインの開発も手がけるChangsooさんのブログです。USDの解説はMayaを中心に書かれることが多いので、3dsMaxで書かれてるのは理解しやすくて助かります。3dsMaxのUSDは、現状エクスポートを中心に開発されていて、インポートはまだ発展途上のようですね。

 

エクスポート
https://cganimator.com/usd-in-3dsmax-1-export/

USD ステージ
https://cganimator.com/usd-in-3dsmax-2-usd-stage/

参考資料

HHKB Studio 発売

  • 0

省スペースキーボード「HHKB」で有名なPFUが、ポインティングスティックやジェスチャーパッドを搭載した「HHKB Studio」を発売しました。レイアウトは英語配列/日本語配列の2種類で価格は 44,000円（税込）です。

HHKBは静電容量無接点方式のキースイッチが特長でしが、「HHKB Studio」ではCherry互換のメカニカルスイッチを採用し、ホットスワップ対応という最近の自作キーボードの流れを組む仕様になっています。ジェスチャーパッドは面白そうですね。

https://happyhackingkb.com/jp/products/studio/
https://www.pfu.ricoh.com/news/2023/news231025.html

 

ポインティングスティック、ジェスチャーパッドを搭載した「HHKB Studio」新登場

HHKB配列の継承とカスタマイズ性を合わせ持つAll-in-Oneモデル

株式会社PFUが開発・販売する高性能コンパクトキーボードHappy Hacking Keyboard（以下HHKB）シリーズは、新たにAll-in-Oneのコンセプトを加えた「HHKB Studio」をPFUダイレクト（注1）にて本日2023年10月25日より販売開始します。

「HHKB Studio」はPFU の米国拠点であるPFU America, Inc.にて企画し、Huge Design LLC.（米国カリフォルニア州）にデザイン協力を得て開発した新しいラインナップのHHKBです。

「HHKB Studio」は、HHKBの合理的なキー配列を継承し、ポインティングスティックとジェスチャーパッドの機能を搭載。ホームポジションから手を離すことなく、思考を止めずにクリエイティブな活動へ没入できます。ジェスチャーパッドでは、画面スクロールやウィンドウ切り替えといった直感的操作が可能。また、ソフトウェア独自のショートカットをさまざまに割り当てることで、ユーザーのクリエイティブな活動をアシストします。

本商品はリニアタイプのメカニカルスイッチを採用。HHKBオリジナルのスムーズな静音リニアスイッチ（押下圧45g）の採用により、創造的なアウトプットをお手伝いします。さらに、キーマップ変更ツールを使うことで自分好みのカスタマイズを実現することができます。

 

背景

働き方の多様化が急速に進む現代では、スマートフォンやウェアラブルデバイスなど新たなコンピューティング環境や開発ツール・アプリケーションも多様化しており、「さまざまな入力操作」を快適に利用できるインタフェースの進化が求められています。「HHKB Studio」は「正確な高速タイピングを最小動作で奏でる」というHHKBの基本コンセプトを踏襲しつつ、「マウス機能」や「ジェスチャー機能」を1つのキーボードに統合しました。「HHKB Studio」のコンセプトは、「最小の動きで、無限大の創造を」。真のプロフェッショナルの道具として、ホームポジションを崩さずすべての入力操作を完結できる「All-in-Oneの新たな入力デバイス」としてご提供します。

 

 

特長

1．合理的なキー配列を継承したコンパクト設計

「HHKB Studio」は、東京大学名誉教授「和田英一」氏が発案したHHKBの基本コンセプトである合理的なキー配列とコンパクトサイズを継承。さらにシリンドリカルステップスカルプチャ構造も継承し、ホームポジションから手を移動させる必要がなくスピーディーなタイピングが可能です。
また、BluetoothとUSB Type-Cによるハイブリッド形式のマルチペアリング機能も搭載。バッテリーは乾電池を採用することにより一生モノとしての「馬の鞍」哲学を踏襲しました。さらに電池ボックスはキーボード筐体に完全収納のスタイリッシュなデザインを採用しています。

 

2．ポインティングスティック、マウスボタンを搭載

キーボード中央にポインティングスティック、スペースキーの下にマウスボタンを搭載。ホームポジションから手を移動させることなくカーソル操作が可能となりました。従来のマウスのようにキーボードと持ち替える手間も無くなり、思考を止めず作業に没入できます。
また、タッチパッドやマウスを置くスペースが不要になるため手狭なテーブルやカフェなど外出先でも快適に作業を行えます。

 

3．快適な入力環境を実現するジェスチャーパッドを搭載

装置側面左右、前面左右の合計4ヶ所にジェスチャーパッドを搭載。画面スクロールやウィンドウ切り替えといったアナログ操作も、ホームポジションを維持しながらスピーディーかつ直感的に操作可能です。さらにジェスチャーパッドにソフトウェア独自のキー操作を割り当てる（※）ことで、コーディング時のデスクトップ切り替えやオンラインミーティング時のボリューム調整、写真や動画編集時の調整などを直感的に行うことができ、クリエイティブな活動をアシストします。

（※）「キーマップ変更ツール」を用いることで割り当てることが可能です。

 

4．HHKBオリジナル押下圧45gリニアタイプの静音メカニカルスイッチを採用

キーを押していることすら感じない究極のスムーズさ。滑らかに指が動く躍動感で創造的な思考のアウトプットをお手伝いします。

 

「HHKB Studio」はホットスワップ方式を採用。通常プロファイルのMXスタイルの3ピンおよび5ピンメカニカルスイッチ（Cherry、Gateron、Kailh社製）と互換性があり、ユーザー自身でお好みのキースイッチへ変更も可能です。

  • 市販品と交換する場合は、事前に「HHKB Studio」との互換性があることをよくご確認ください。
  • ポインティングスティック周辺のキースイッチ（G/B/Hキー）を市販品と交換するときは、スイッチの突起部分がポインティングスティックと干渉する可能性があるため、スイッチの形状を事前によくご確認ください。

 

5．キー配列カスタマイズ機能でオンリーワンの“マイ・キーボード”に

「HHKB Studio」専用として今回新たに提供するキーマップ変更ツールでは、従来のキーマップ変更機能に加え、以下の4点の機能拡張を実施しました。

  1. ポインティングスティックとジェスチャーパッドの設定・変更が可能
  2. カスタマイズしたプロファイルは4つまで「HHKB Studio」本体に保存可能
  3. 複数キーを同時押しするショートカットを1キーに割当可能な機能を搭載
  4. ファンクションキーによるコンビネーション入力のレイヤーを拡張し、「標準」「Fn1」「Fn2」「Fn3」の4レイヤーが設定可能

今回の大幅な機能拡張により、仕事や趣味で慣れ親しんだ操作や好みの反映、使い勝手を追求したカスタマイズで、まさにオンリーワンの“マイ・キーボード”の構築が可能になります。

 
参考資料

FORD “Impossible”

  • 0

煙の質感がステキ。最後のビルが出てくるシーンと、空に街が見えるシーンの繋ぎが強引w

参考資料

Loop Reel 2023

  • 0

物理シミュレーションを使った映像がステキ。レンダリングも綺麗。

参考資料

“Lessons in Chemistry” Main Title

  • 0

Apple TV+で配信してるドラマのタイトル映像らしい。鉛筆の動きや映像の雰囲気がいいです。

参考資料

IRREGULAR

  • 0

点滅は目がやられそうですが、点群とシミュレーションの組み合わせは面白そう。