BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...

Subsurface scatteringの動画

機械学習での「回帰」とは?

Point Cloud Consortiumのセミナー「3D...

DensePose:画像中の人物表面のUV座標を推定する

ZBrushでUndo Historyを動画に書き出す

OpenAR:OpenCVベースのマーカーARライブラリ

顔追跡による擬似3D表示『Dynamic Perspecti...

Maya API Reference

Iridescence:プロトタイピング向け軽量3D可視化ラ...

PyMC:Pythonのベイズ統計ライブラリ

Blender 2.8がついに正式リリース!

MPC社によるゴジラ(2014)のVFXブレイクダウン

Unity ARKitプラグインサンプルのドキュメントを読む

ブログが1日ダウンしてました

cvui:OpenCVのための軽量GUIライブラリ

python-twitterで自分のお気に入りを取得する

ヒーローに変身なりきりアーケードゲーム『ナレルンダー』

ZBrushのUV MasterでUV展開

PythonでBlenderのAdd-on開発

FacebookがDeep learningツールの一部をオ...

仮想関数

OANDAのfxTrade API

この本読むよ

Phongの表現力パネェ 材質別のPhong Shader用...

UnityのTransformクラスについて調べてみた

『パシフィック・リム: アップライジング』のVFXブレイクダ...

Pythonのソースコードに特化した検索エンジン『Nulle...

ブラウザ操作自動化ツール『Selenium』を試す

Pylearn2:ディープラーニングに対応したPythonの...

Live CV:インタラクティブにComputer Visi...

ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバ...

Structure from Motion (多視点画像から...

WordPressプラグインによるサイトマップの自動生成

Transformers ”Reference & Buli...

データサイエンティストって何だ?

UnityのMonoBehaviourクラスをシングルトン化...

1枚の画像からマテリアルを作成できる無料ツール『Materi...

Swark:コードからアーキテクチャ図を作成できるVSCod...

OpenCV 3.3.0-RCでsfmモジュールをビルド

ROMOハッカソンに行ってきた

『PIXARのひみつ展』に行ってきた

コメント