Vision 2

AIが見ているとおりにフッテージを表示します：ボックス、ラベル、スケルトン、アテンションマップ。

After Effects Premiere Pro DaVinci Resolve Nuke 製品ページ →

1. 概要

Vision 2は、フッテージに対してコンピュータービジョンのモデルを実行し、検出したものを描画します。監視カメラ風、SFのHUD風、ディストピア風のルックに使えます。モードは6つあります：通常のオブジェクト検出とオープンボキャブラリーのオブジェクト検出、姿勢推定、顔検出、サリエンシーマップ、シーンキャプション。

検出するオブジェクトを選び、ラベル名を変更し、ボックス、ラベル、フォント、色、検出どうしをつなぐネットワークラインのスタイルを設定できます。トラッキングを使うとボックスが安定し、各オブジェクトに一貫した色とIDが割り当てられます。

オーバーレイを黒または透明の背景にレンダリングすれば、マットとして使ったり、他のエフェクトと組み合わせたりできます。検出した部分をピクセル化して、顔を匿名化することもできます。

動作環境

Mac：利用可能な場合はMetal経由でGPUで動作し、それ以外の場合はCPUで動作します。
Windows 64-bit：利用可能な場合はNVIDIA GPU（CUDA）を使用し、それ以外の場合はCPUを使用します。

2. インストール

2a. Baskl installer（すべてのホストアプリ）

Basklのプラグインはすべて、Baskl installerでインストールします。Baskl installerは、プラグインを動かすローカルエンジンであるAI Machineをセットアップし、Vision 2をAfter Effects、Premiere Pro、OFXホスト（DaVinci Resolve、Nuke）、MacではFinal Cut Proの正しい場所に配置します。実行する前にホストアプリを終了してください。

macOS

baskl.aiでダウンロードをクリックし、Baskl.Installer.zipを解凍してMac/Baskl Installer.appを開きます。Apple Silicon搭載のMacが必要です。Intel Macではインストーラーが停止します。
macOSに確認された場合は、インターネットからダウンロードしたアプリを開くことを確認し、インストーラーがシステムのプラグインフォルダに書き込めるようにMacのパスワードを入力します。
Let's Get Startedをクリックし、プラグインの一覧でVision 2を選択してInstallをクリックします。初回のインストールではAI Machineもダウンロードするため、数分かかります。
Installation Completeと表示されたら、ホストアプリを再起動します。エフェクトはBasklカテゴリにあります。

Windows

baskl.aiでダウンロードをクリックし、Baskl.Installer.zipを解凍してWindows\Baskl Installer.exeを実行します。
アプリがデバイスに変更を加えることを許可するかWindowsに確認されたら、はいをクリックします。インストーラーには管理者権限が必要です。
Let's Get Startedをクリックし、プラグインの一覧でVision 2を選択してInstallをクリックします。NVIDIAのグラフィックカードでは、対応するCUDAビルドをインストーラーが自動で選びます。初回のインストールではAI Machineもダウンロードするため、数分かかります。
Installation Completeと表示されたら、ホストアプリを再起動します。エフェクトはBasklカテゴリにあります。

モードとモデルサイズごとに、初めて使うときに専用のAIモデルを読み込むため、切り替えた後の最初のフレームは時間がかかります。
ライセンスがない場合、Vision 2はウォーターマーク付きの体験版として動作します。

ライセンスの有効化

After Effects / Premiere Pro：After Effectsでは、エフェクトコントロールパネルでエフェクトの上部にあるRegister（リセットの隣）をクリックし、ライセンスキーを貼り付けてActivateをクリックします。Premiere Proでは、エフェクトコントロールパネルでエフェクトの右上にある小さなアイコンボタンをクリックすると、同じダイアログが開きます。ライセンスはコンピューター全体に保存されるため、どちらか一方のアプリで登録すれば、もう一方でも使えます。
Final Cut Pro（Mac）：ビューアでエフェクトを選択し、ビデオインスペクタでRegisterをクリックして、開いたウィンドウにライセンスキーを入力します。エフェクトはエフェクトブラウザのBasklにあります。Final Cut Proが初めて読み込むときは、起動まで数秒かかります。
Resolve / Nuke：エフェクトのコントロールの上部にあるRegisterをクリックし、ライセンスキーを貼り付けて確定します。アクティベート後は、ボタンの表示がLicense Infoに変わります。
ライセンスキーの確認方法：baskl.aiで購入した場合は、購入時のメールとアカウント → マイライセンスに記載されていて、コピーボタンでコピーできます。aescripts + aepluginsで購入した場合は、aescripts + aeplugins managerアプリでアクティベートするか、aescriptsのアカウントにあるキーを同じRegisterダイアログに貼り付けます。
ライセンスがない場合、Vision 2は体験版として動作します。すべての機能を使えますが、登録するまでレンダリング結果にウォーターマークが入ります。アクティベートにはインターネット接続が必要です。また、1つのキーを使えるコンピューターの台数には上限があります（マイライセンスに表示されます）。

3. プリセット

エフェクト上部のPresetメニューから選びます（After EffectsとPremiere Pro）。プリセットを選ぶと以下のコントロールが設定され、メニューはChoose Preset...に戻るので、そのまま編集を続けられます。

Default 色付きのボックスとラベルを表示するAny Object Detectionです。サリエンシーのコントロールもリセットします。
Faces Network 角の丸いボックス、信頼度スコア、顔どうしをつなぐ曲線のネットワークラインを表示する顔検出です。
Anonymizer すべての顔をピクセル化する顔検出です。ボックスやラベルは表示しません。
Anonymizer (FUI) ピクセル化した顔にボックスとネットワークラインを加えた、インターフェース風のルックです。
Terminator ぼかしたヒートマップをオーバーレイしたサリエンシーマップです。
Edges Attention 細かいグリッドで、エッジをなぞるサリエンシーマップです。
Floating Boxes 検出したオブジェクトを、ピクセル化した半透明のボックスとして透明の背景上に表示します。

4. ルック

デフォルト設定で、同じフレームを各Modeで表示しています。

Vision 2: Classic Object Detection — Classic Object Detection

Vision 2: Pose Estimation — Pose Estimation

Vision 2: Face Detection — Face Detection

Vision 2: Scene Captioning — Scene Captioning

5. パラメーター

Help and license

Help / Contact: プラグインのバージョンが入力された状態で、Basklのお問い合わせページを開きます。
Register: ResolveとNuke：ライセンスウィンドウを開きます。After EffectsとPremiere Proでは、代わりにエフェクト名の横にあるOptionsをクリックします。

Mode

After EffectsとPremiere Proでは、現在のモードで使用しないコントロールは非表示になります。

Preset: 上記のプリセットのいずれかを適用します。After EffectsとPremiere Proのみ。
Mode: AIが行う処理です。

Classic Object Detection 人物、車両、動物など、一般的なオブジェクトを検出します。

Any Object Detection はるかに多くの名前を含む語彙からオブジェクトを検出します（デフォルト）。

Pose Estimation 各人物にスケルトンを描画します。顔、腕、胴体、脚で色分けされます。

Saliency Map AIの注意が向いている場所をヒートマップで表示します。Saliency Mapのコントロールを使用します。

Face Detection 顔を検出します。

Scene Captioning フレームの内容を説明する短い文を生成します。

Detection

検出モードと姿勢推定モードで使用します。

Model Size: 速度と精度のバランスを選びます。

Fastest 最も小さく、最も高速なモデルです（デフォルト）。

Medium より高精度ですが、低速です。

Precise 最も高精度ですが、最も低速です。
Search for Objects: Editをクリックし、残すオブジェクトの名前をカンマ区切りで入力します。空のままにするとすべて表示されます。ウィンドウには現在のモデルが認識できる名前が一覧表示され、ダブルクリックで追加できます。ResolveとNukeでは、テキストフィールドにリストを入力します。
Confidence Threshold: AIの確信度が低い検出を非表示にします。0%〜100%（初期値 50%）。値を下げると、誤検出も含めてより多くの検出が表示されます。Pose Estimationでは、低い値の範囲で目盛りが細かくなります。
Image Size: AIが解析する解像度です。32〜4096（初期値 640）。値を上げると小さなオブジェクトも検出できますが、処理は遅くなります。フレームのサイズを超えることはありません。
Overlap Tolerance: 2つのボックスがどこまで重なると弱い方を削除するかを指定します。0〜1（初期値 0.6）。値を下げると、より多くの重複が削除されます。ほとんどの場合はそのままで構いません。
Max Detections: 1フレームに表示するオブジェクトの最大数です。0〜10000（初期値 300）。
Enable Tracking: フレーム間でオブジェクトを追跡します。ボックスが安定し、各オブジェクトの色が維持され、ラベルにID番号が付きます。前後のフレームも解析するため、処理は遅くなります。デフォルトはオフです。

Display

Render: グラフィックを描画する対象です。

On Image フッテージの上に描画します（デフォルト）。

On Black 黒の上に描画します。マットとして、または描画モードと組み合わせて使えます。

On Transparent 透明の背景上に描画します。
Text Position: Scene Captioning：キャプションを配置する位置です（キャプションの左上隅）。
Color Palette: ボックス、ラベル、スケルトンの色です：Random（デフォルト）、Poppy、Military、Pastel、Turbo、Red Alert、Neon、Sunset、Retro。オブジェクトの種類ごとに固有の色が割り当てられます。
Pixelate: 各ボックス内の画像をピクセル化します。0〜256（初期値 0、オフ）。値はブロックのサイズで、大きいほど粗くなります。
Show Boxes: 各検出の周囲にボックスを描画します（デフォルトはオン）。
Box Corner Radius: ボックスとラベル背景の角を丸めます。0〜40（初期値 5）。
Fill Opacity: 各ボックスをその色で塗りつぶします。0%〜100%（初期値 12%）。
Line Width: ボックスの輪郭、スケルトン、ネットワークラインの太さです。0〜20（初期値 2）。
Show Labels: 各ボックスの上部にオブジェクト名を表示します（デフォルトはオン）。
Show Confidence: 各検出に対するAIの確信度を追加表示します（デフォルトはオフ）。
Show as Percentage: 確信度を0〜1の値ではなく、パーセンテージで表示します（デフォルトはオン）。
Font: Selectをクリックし、プレビュー付きのリストからラベルとキャプションのフォントを選びます。
Font Size: ラベルとキャプションのサイズです。8〜72（初期値 24）。
Text Background Opacity: ラベルとキャプションの背後にあるパネルの不透明度です。0%〜100%（初期値 90%）。
Text Background Color: Scene Captioning：キャプションの背後にあるパネルの色です（初期値は黒）。
Font Color: Scene Captioning：キャプションのテキストの色です（初期値は白）。
Translations: Editをクリックしてオブジェクトのラベル名を変更します。たとえばcarをvoitureに、あるいは好きな名前に変更できます。名前ごとに1行追加します。ResolveとNukeでは、car=voiture, person=targetのようにペアで入力します。
Network Lines: 捜査ボードのように、検出どうしを線でつなぎます（デフォルトはオフ）。Pose Estimationでは使用できません。
Network Connections: 各検出を、最も近いいくつの検出とつなぐかを指定します。1〜5（初期値 3）。
Network Type: ネットワークラインの形状です。

Straight 直線です（デフォルト）。

Curved 曲線の弧です。

Saliency Map

ModeがSaliency Mapのときに使用します。

Model: マップを生成するAIです。

SimDINOv2 Vision Transformerのアテンションです。主な被写体を柔らかく示すマップになります（デフォルト）。

Vanilla Gradients (VGG16) 分類器の判定に最も影響するピクセルを示します。

Guided Backprop (VGG16) よりシャープな勾配マップで、エッジやディテールをなぞる傾向があります。
Output Mode: マップの表示方法です。

Heatmap Overlay カラーのヒートマップをフッテージに重ねて合成します（デフォルト）。

Heatmap Only カラーのヒートマップのみを表示します。

Grayscale Saliency 元のマップを白黒で表示します。マットとして便利です。

Masked Original AIが注目している部分だけ、フッテージを表示します。
Colormap: ヒートマップの色です：Jet（デフォルト）、Hot、Viridis、Plasma、Inferno、Magma、Turbo。
Overlay Opacity: Heatmap Overlay：ヒートマップがフッテージを覆う強さです。0〜1（初期値 0.5）。
Threshold: この値より弱いアテンションを除去します。0〜1（初期値 0）。
Blur Radius: マップをぼかして柔らかくします。0〜50（初期値 0）。
Grid Resolution: マップを正方形のブロックに変換します。値は短辺方向のブロック数です。0〜128（初期値 64）。0にすると滑らかなままになります。
Tile Count: フレームをタイルのグリッドに分割して個別に解析し（1〜8、初期値 1）、局所的なディテールを高めます。タイルが多いほど遅くなります。
Attention Head (-1 = avg): SimDINOv2：モデルの12個のアテンションヘッドのうち1つ（0〜11）、またはすべての平均（-1、デフォルト）を表示します。ヘッドごとに捉えるものが異なります。
Target Class (-1 = auto): Vanilla Gradients：根拠を表示するオブジェクトクラスです（0〜999）。-1のままにすると、モデルが最も強く認識しているクラスが使われます。