BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

ZBrushでアヴァン・ガメラを作ってみる 頭頂部の作り込み・舌の追加

フォトンの放射から格納までを可視化した動画

Open3D:3Dデータ処理ライブラリ

生物の骨格

OpenMayaRender

OpenVDB:3Dボリュームデータ処理ライブラリ

機械学習での「回帰」とは?

天体写真の3D動画

ZBrushで仮面ライダー3号を造る 仮面編 失敗のリカバー

マジョーラ

ZBrushでアヴァン・ガメラを作ってみる

HD画質の無駄遣い その2

ZBrushでアヴァン・ガメラを作ってみる 脚のポーズ調整

OpenCVで動画の手ぶれ補正

Googleが画像解析旅行ガイドアプリのJetpac社を買収

ラクガキの立体化 3Dプリント注文

PGGAN:段階的に解像度を上げて学習を進めるGAN

Oculus Goを購入!

『ゴジラ キング・オブ・モンスターズ』のVFXブレイクダウン

日本でMakersは普及するだろうか?

Theia:オープンソースのStructure from Motionライブラリ

Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ

ZBrushでゴジラ2001を作ってみる 身体のアタリを作る

ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエットをリファレンスに合わせる

uGUI:Unityの新しいGUI作成システム

ZBrushでゴジラ2001を作ってみる 身体のシルエット出し

オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う

iOSデバイスと接続して連携するガジェットの開発方法

トランスフォーマー :リベンジのメイキング (デジタルドメイン)

映画『ミュータント・タートルズ』を観てきた

MRenderUtil::raytrace

定数

書籍『The Art of Mystical Beasts』を購入

Transformers ”Reference & Bulid” Siggraph 2007

ZBrushで仮面ライダー3号を造る 仮面編 PolyGroupを分割する

Deep Fluids:流体シミュレーションをディープラーニングで近似する

昔Mayaでモデリングしたモデルをリファインしてみようか

Windows10でPyTorchをインストールしてVSCodeで使う

書籍『ROSプログラミング』

Kornia:微分可能なコンピュータービジョンライブラリ

データサイエンティストって何だ?

WordPressのテーマを自作する

コメント