BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

自前Shaderの件 解決しました

デザインのリファイン再び

ZBrushでアヴァン・ガメラを作ってみる 下アゴと頭部を作...

TeleSculptor:空撮動画からPhotogramme...

ZBrushで人型クリーチャー

trimesh:PythonでポリゴンMeshを扱うライブラ...

WordPress on Windows Azure

ManimML:機械学習の概念を視覚的に説明するためのライブ...

『PIXARのひみつ展』に行ってきた

ZBrush 4R8 リリース!

ZBrushでアヴァン・ガメラを作ってみる パーツ分割

uvでWindows11のPython環境を管理する

ZBrushでアヴァン・ガメラを作ってみる 頬の突起を作り始...

3分の動画でプログラミングを学習できるサイト『ドットインスト...

UnityのMonoBehaviourクラスをシングルトン化...

Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...

プログラミングスキルとは何か?

WordPressプラグインの作り方

UnityのTransformクラスについて調べてみた

Unity ARKitプラグインサンプルのドキュメントを読む

科学技術計算向けスクリプト言語『Julia』

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...

ZBrushで仮面ライダー3号を造る 仮面編

ZBrushでアマビエを作る その2

iPhoneで3D写真が撮れるアプリ『seene』

『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン ...

OpenSfM:PythonのStructure from ...

機械学習手法『Random Forest』

ZBrushでゴジラ2001を作ってみる 頭の概形作り

Blender 2.8がついに正式リリース!

Oculus Goを購入!

ZBrushでアヴァン・ガメラを作ってみる 爪とトゲを追加

スクレイピング

画像認識による位置情報取得 - Semi-Direct Mo...

データサイエンティストって何だ?

Shader.jp:リアルタイム3DCG技術をあつかうサイト

ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...

Maya LTでFBIK(Full Body IK)

第1回 3D勉強会@関東『SLAMチュートリアル大会』

AndroidもopenGLも初心者さ (でもJavaは知っ...

ZBrushの練習 手のモデリング

Manim:Pythonで使える数学アニメーションライブラリ

コメント