BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

KelpNet:C#で使える可読性重視のディープラーニングラ...

OpenFace:Deep Neural Networkによ...

Mitsuba 3:オープンソースの研究向けレンダラ

イタリアの自動車ブランドFiatとゴジラがコラボしたCMのメ...

UnityのGameObjectの向きをScriptで制御す...

マイケル・ベイの動画の感覚

Mayaのシェーディングノードの区分

ポリゴンジオメトリ処理ライブラリ『pmp-library (...

CEDEC 3日目

UnrealCV:コンピュータビジョン研究のためのUnrea...

天体写真の3D動画

CreativeCOW.net

FreeMoCap Project:オープンソースのマーカー...

ZBrushで仮面ライダー3号を造る 仮面編 Clay Po...

Point Cloud Consortiumのセミナー「3D...

SVM (Support Vector Machine)

ZBrushのZmodelerとDynamic Subdiv...

Google App Engine上のWordPressでA...

Rerun:マルチモーダルデータの可視化アプリとSDK

ZBrushでアヴァン・ガメラを作ってみる 下アゴの付け根を...

ZBrushでメカ物を作るチュートリアル動画

ZBrushのTranspose Masterでポーズを付け...

オープンソースのテクスチャマッピングシステム『Ptex』

mentalrayのSubsurface Scatterin...

ゴジラ(2014)のメイキング

Web経由でRaspberry PiのGPIOを操作したい

Blendify:コンピュータービジョン向けBlenderラ...

Managing Software Requirements...

ポイントクラウドコンソーシアム

実写と実写の合成時の色の馴染ませテクニック

ZBrushでアヴァン・ガメラを作ってみる モールドの彫り込...

ガメラ生誕50周年

iOSで使えるJetpac社の物体認識SDK『DeepBel...

ZBrush キャラクター&クリーチャー

SIGGRAPH Asia

ジュラシック・パークのメイキング

CGのためのディープラーニング

Mayaのレンダリング アトリビュート

iPhoneで3D写真が撮れるアプリ『seene』

機械学習に役立つPythonライブラリ一覧

映画から想像するVR・AR時代のGUIデザイン

まだ続くブログの不調

コメント