BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

PureRef:リファレンス画像専用ビューア

UnrealCLR:Unreal Engineで.NET Coreを利用できるプラグイン

SIGGRAPH ASIAのマスコット

Windows10でPyTorchをインストールしてVSCodeで使う

Adobe Photoshop CS5の新機能

Runway ML:クリエイターのための機械学習ツール

ZBrushトレーニング

OpenCV

PyTorch3D:3Dコンピュータービジョンライブラリ

MB-Lab:Blenderの人体モデリングアドオン

JavaScriptとかWebGLとかCanvasとか

SIGGRAPH ASIA 2009で学生ボランティア募集してるみたい

1枚の画像からマテリアルを作成できる無料ツール『Materialize』

CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』

参考書

Digital Emily Project:人間の顔をそっくりそのままCGで復元する

Blender 2.8がついに正式リリース!

ZBrushで仮面ライダー3号を造る 仮面編 ClipCurve

Qlone:スマホのカメラで3Dスキャンできるアプリ

Accord.NET Framework:C#で使える機械学習ライブラリ

NumSharp:C#で使えるNumPyライクな数値計算ライブラリ

チャットツール用bot開発フレームワーク『Hubot』

html5のcanvasの可能性

3DCG Meetup #4に行ってきた

AMIMOTO(PVM版)で作成したインスタンスをAMIMOTO (HVM版)へ移行する

Maya 2015から標準搭載されたMILA

Mayaのレンダリング アトリビュート

『ゴジラ キング・オブ・モンスターズ』のVFXブレイクダウン

AmazonEC2のインスタンスをt1.microからt2.microへ移行する

布のモデリング

ZBrushの練習 手のモデリング

ラクガキの立体化 反省

フルCGのウルトラマン!?

リアルタイム レイトレーシングAPI『DirectX Raytracing (DXR)』

ハリウッド版「GAIKING」パイロット映像

UnityでLight Shaftを表現する

BlenderでPhotogrammetryできるアドオン

Math Inspector:科学計算向けビジュアルプログラミングツール

ManimML:機械学習の概念を視覚的に説明するためのライブラリ

ZBrushでアヴァン・ガメラを作ってみる 甲羅のバランス調整

物理ベースレンダリングのためのマテリアル設定チートシート

ZBrushでゴジラ2001を作ってみる 目元だけ作り込んでバランスを見る

コメント