BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

Python for Unity:UnityEditorでP...

Blender 4.2以降のWindowsPortable版...

SSII2014 チュートリアル講演会の資料

OpenMayaのPhongShaderクラス

Unity Scriptコーディング→Unreal Engi...

「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...

NVIDIA GeForce RTX 3080を購入

Cartographer:オープンソースのSLAMライブラリ

OpenCV 3.1のsfmモジュールを試す

OANDAのfxTrade API

MeshroomでPhotogrammetry

Webスクレイピングの勉強会に行ってきた

ラクガキの立体化

ZBrushの練習 手のモデリング

3Dグラフィックスの入門書

Faster R-CNN:ディープラーニングによる一般物体検...

Iterator

GoB:ZBrushとBlenderを連携させるアドオン

OpenCV3.3.0でsfmモジュールのビルドに成功!

PythonでMayaのShapeノードプラグインを作る

グローバルイルミネーションに手を出す前に、やり残したことがあ...

Digital Emily Project:人間の顔をそっく...

Raspberry Pi 2のGPIOピン配置

Mask R-CNN:ディープラーニングによる一般物体検出・...

ZBrushでアヴァン・ガメラを作ってみる 甲羅のバランス調...

Transformer Explainer:テキスト生成モデ...

機械学習で遊ぶ

ZBrushでゴジラ2001を作ってみる 姿勢の変更

UnityでPoint Cloudを表示する方法

Pythonの自然言語処理ライブラリ『NLTK(Natura...

このブログのデザインに飽きてきた

AfterEffectsプラグイン開発

Managing Software Requirements...

オープンソースの顔認識フレームワーク『OpenBR』

Adobe MAX 2015

OpenGVのライブラリ構成

mentalrayのSubsurface Scatterin...

布のモデリング

タダでRenderManを体験する方法

Google XML Sitemap Generatorプラ...

Autodesk Mementoでゴジラを3次元復元する

映画『ジュラシック・ワールド』のVFXメイキング

コメント