BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

疑似3D写真が撮れるiPhoneアプリ『Seene』がアップデートでついにフル3Dモデルが撮影できる...

VCG Library:C++のポリゴン操作ライブラリ

リメイク版ロボコップスーツのメイキング

書籍『仕事ではじめる機械学習』を読みました

1枚の画像からマテリアルを作成できる無料ツール『Materialize』

DensePose:画像中の人物表面のUV座標を推定する

Cartographer:オープンソースのSLAMライブラリ

OpenGV:画像からカメラの3次元位置・姿勢を推定するライブラリ

イタリアの自動車ブランドFiatとゴジラがコラボしたCMのメイキング

libigl:軽量なジオメトリ処理ライブラリ

TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

Pythonのソースコードに特化した検索エンジン『Nullege』

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

PyTorch3D:3Dコンピュータービジョンライブラリ

ZBrushと液晶ペンタブレットでドラゴンをモデリングするチュートリアル動画

ZBrushで仮面ライダー3号を造る 仮面編 ZRemesher

SculptrisとBlenderで作ったGodzilla 2014 (Fan Made)

MPC社によるゴジラ(2014)のVFXブレイクダウン

BlenderでPhotogrammetryできるアドオン

MRenderUtil::raytrace

Unityの各コンポーネント間でのやり取り

ZBrushで仮面ライダー3号を造る 仮面編 PolyGroupを分割する

MB-Lab:Blenderの人体モデリングアドオン

マルコフ連鎖モンテカルロ法

3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』

iPhone・iPod touchで動作する知育ロボット『ROMO』

ラクガキの立体化 背中の作り込み・手首の移植

布地のシワの法則性

Math.NET Numerics:Unityで使える数値計算ライブラリ

WordPressのテーマを自作する

C++の抽象クラス

UnityでPoint Cloudを表示する方法

openMVG:複数視点画像から3次元形状を復元するライブラリ

hloc:SuperGlueで精度を向上させたSfM・Visual Localization

中学3年生が制作した短編映像作品『2045』

ZBrushでアヴァン・ガメラを作ってみる 下アゴの付け根を修正

C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』

Subsurface scatteringの動画

ポリ男からMetaHumanを作る

WordPressの表示を高速化する

Dlib:C++の機械学習ライブラリ

Accord.NET Framework:C#で使える機械学習ライブラリ

コメント