BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイク...

LuxCoreRender:オープンソースの物理ベースレンダ...

AmazonEC2のインスタンスをt1.microからt2....

タマムシっぽい質感

ZBrushのお勉強

ZBrushでゴジラ2001を作ってみる 姿勢の変更

ZBrushでアヴァン・ガメラを作ってみる パーツ分割

Houdiniのライセンスの種類

リアルタイム レイトレーシングAPI『DirectX Ray...

ラクガキの立体化 3Dプリント注文

SIGGRAPH ASIAのマスコット

Maya 2015から標準搭載されたMILA

ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身...

Deep Learningとその他の機械学習手法の性能比較

ポリゴンジオメトリ処理ライブラリ『pmp-library (...

ZBrushのZmodelerとDynamic Subdiv...

ROSでガンダムを動かす

チャットツール用bot開発フレームワーク『Hubot』

ROMOハッカソンに行ってきた

SculptrisとBlenderで作ったGodzilla ...

3D映画のポストプロダクション 2D-3D変換

UnityでTweenアニメーションを実装できる3種類の無料...

科学技術計算向けスクリプト言語『Julia』

Transformer Explainer:テキスト生成モデ...

Regard3D:オープンソースのStructure fro...

日本でMakersは普及するだろうか?

3D復元技術の情報リンク集

Mayaのシェーディングノードの区分

ZScript

OpenCV 3.1のsfmモジュールのビルド再び

ZBrushで仮面ライダー3号を造る 仮面編

Boost オープンソースライブラリ

VGGT:マルチビュー・フィードフォワード型3Dビジョン基盤...

TVML (TV program Making langua...

プロシージャル手法に特化した本が出てるみたい(まだ買わないけ...

UnityでOpenCVを使うには?

ManuelBastioniLAB:人体モデリングできるBl...

Dlib:C++の機械学習ライブラリ

OpenSfM:PythonのStructure from ...

Photogrammetry (写真測量法)

ポリゴン用各種イテレータと関数セット

Digital Emily Project:人間の顔をそっく...

コメント