BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

映画『シン・仮面ライダー』 メイキング情報まとめ

ZBrushで仮面ライダー3号を造る 仮面編

ManimML:機械学習の概念を視覚的に説明するためのライブ...

ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身...

WordPressのサーバ引っ越し方法を考える

Kinect for Windows V2のプレオーダー開始

Qlone:スマホのカメラで3Dスキャンできるアプリ

UnityでPoint Cloudを表示する方法

OpenCVで平均顔を作るチュートリアル

OpenCV

SIGGRAPH ASIA 2009で学生ボランティア募集し...

UnityのAR FoundationでARKit 3

WordPressのテーマを自作する

libigl:軽量なジオメトリ処理ライブラリ

Raspberry Pi 2を買いました

UnityでARKit2.0

SIGGRAPH 2020はオンライン開催

bpy-renderer:レンダリング用Pythonパッケー...

Regard3D:オープンソースのStructure fro...

ZBrushでアヴァン・ガメラを作ってみる モールドの彫り込...

Photo Bash:複数の写真を組み合わせて1枚のイラスト...

UnityのTransformクラスについて調べてみた

Cartographer:オープンソースのSLAMライブラリ

Netron:機械学習モデルを可視化するツール

素敵なパーティクル

OpenCVで顔のランドマークを検出する『Facemark ...

html5のcanvasの可能性

Webスクレイピングの勉強会に行ってきた

Unityで360度ステレオVR動画を作る

第25回コンピュータビジョン勉強会@関東に行って来た

OpenCVのバージョン3が正式リリースされたぞ

GoogleのDeep Learning論文

ROSの薄い本

SVM (Support Vector Machine)

『スター・ウォーズ/スカイウォーカーの夜明け』のVFXブレイ...

ZBrushでアヴァン・ガメラを作ってみる 壊れたデータの救...

BlenderでPhotogrammetryできるアドオン

Maya LTのQuick Rigを試す

ZBrushのお勉強

Mayaのシェーディングノードの区分

OpenCV 3.3.0-RCでsfmモジュールをビルド

WordPress on Google App Engine...

コメント