BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

Geogram:C++の3D幾何アルゴリズムライブラリ

Managing Software Requirements...

Model View Controller

CEDEC 3日目

ラクガキの立体化 1年半ぶりの続き

ニンテンドー3DSのGPU PICA200

cvui:OpenCVのための軽量GUIライブラリ

第1回 3D勉強会@関東『SLAMチュートリアル大会』

OpenGVの用語

ZBrushと液晶ペンタブレットでドラゴンをモデリングするチ...

オープンソースのネットワーク可視化ソフトウェアプラットフォー...

TVML (TV program Making langua...

Kinect for Windows V2のプレオーダー開始

Cartographer:オープンソースのSLAMライブラリ

ZBrushで人型クリーチャー

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...

ラクガキの立体化

Pythonのソースコードに特化した検索エンジン『Nulle...

OpenCVでiPhone6sのカメラをキャリブレーションす...

Unityで学ぶC#

PythonでMayaのShapeノードプラグインを作る

ゴジラ(2014)のメイキング

Web経由でRaspberry PiのGPIOを操作したい

『スター・ウォーズ/スカイウォーカーの夜明け』のVFXブレイ...

SSII2014 チュートリアル講演会の資料

GoB:ZBrushとBlenderを連携させるアドオン

Unity ARKitプラグインサンプルのチュートリアルを読...

ZBrushトレーニング

写真に3Dオブジェクトを違和感無く合成する『3DPhotoM...

YOLO (You Only Look Once):ディープ...

OpenCV 3.3.0 contribのsfmモジュールの...

uvでWindows11のPython環境を管理する

SDカードサイズのコンピューター『Intel Edison』

ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエッ...

Runway ML:クリエイターのための機械学習ツール

CLO:服飾デザインツール

ZBrushで仮面ライダー3号を造る 仮面編 リファレンス画...

自前Shaderの件 解決しました

Blender 2.8がついに正式リリース!

AR (Augmented Reality)とDR (Dim...

2D→3D復元技術で使われる用語まとめ

Google Earth用の建物を簡単に作れるツール Goo...

コメント