Blendify：コンピュータービジョン向けBlenderラッパー

コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。

Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せるbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュール。

Blendify

Blendifyは、Blenderでシーンを作成・レンダリングするための高レベルAPIを提供する軽量のPythonフレームワークです。3Dコンピュータービジョンの可視化に重点を置いて開発されたBlendifyなら、Blenderの関数やオブジェクトへのアクセスを簡略化できます。

Blendifyの主な特徴：

1. シンプルなインターフェイス：Blendify は、複雑なBlender APIを意識することなく、一般的な可視化タスクを実行できるユーザーフレンドリーなインターフェイスを提供します。
2. 組み合わせが容易：Blendifyは開発Scriptとシームレスに統合され、よく使用されるルーチンと関数を実装しています：
   • 点群、メッシュ、プリミティブをネイティブでサポート
   • 頂点カラーやテクスチャのサポート
   • シャドウキャッチャーオブジェクトを使用した高度な影
   • カメラがスムーズに移動するビデオのレンダリング
   • 一般的なカメラモデルのサポート
   • .blendファイルのインポート・エクスポートによるBlenderとの密な連携
3. クイックスタート：Blendifyは簡単に使い始めることができ、スタンドアロンのBlenderをインストールする必要はありません。pip install blendifyを実行するだけで導入できます。

Blendifyを使用すればBlenderとの対話を簡略化でき、アプリケーションの開発に集中できます。以下は、Blender APIネイティブとBlendifyによる可視化コードの単純さを比較した例です。

BlenderのPython APIはちょっととっつきにくいので、用途に合わせて抽象化の切り口を変えたラッパーが欲しくなるのも理解できる。
というか、IDEのコード補完が効かないのでそもそもCG用途でも割ととっつきにくい。疑似的にコード補完を実現するfake-bpy-moduleがあるにはあるけど。
https://github.com/nutti/fake-bpy-module

(2/4) Simple interface: Blendify provides a user-friendly interface for performing common visualization tasks. Many things are easier to render with Blendify – see the comparison below! pic.twitter.com/lfqKW1tsUb

— Vladimir Guzov (@guzov_vladimir) May 10, 2023

(3/4) Blendify supports:
– point clouds, meshes, and primitives;
– per-vertex colors and textures;
– advanced shadows with shadow catcher objects;
– import and export of .blend files

And more! Check out our examples at https://t.co/avPQdKMcrp pic.twitter.com/1mpByyNLGP

— Vladimir Guzov (@guzov_vladimir) May 10, 2023

Blenderはオープンソースであることと、もともとAPIがPythonで用意されてる辺りがML界隈でも利用される理由だろうか。

Kubric：機械学習用アノテーション付き動画生成パイプライン

久しぶりにコンピュータビジョン系の話題。Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓KubricKubricは、Instance SegmentationマスクやD...

blog.negativemind.com

2022.03.13

ML系の人達がやたらPythonばかり使いたがる理由がイマイチ分からない。動的型付け言語は読みづらくて、階層の深いコードや大きなアプリケーションを作りにくいと感じるのだが。
ML系ではそういうプログラムをそもそも書かないということなのか？よほどIDEの補助が手厚くないとオイラには使いこなせない。