BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

中学3年生が制作した短編映像作品『2045』

Subsurface scatteringの動画

デザインのリファイン再び

書籍『ゼロから作るDeep Learning』で自分なりに学...

ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...

SONYの自律型エンタテインメントロボット『aibo』

Multi-View Environment:複数画像から3...

OpenCV バージョン4がリリースされた!

HD画質の無駄遣い

openMVGをWindows10 Visual Studi...

この連休でZBrushの スキルアップを…

このブログのデザインに飽きてきた

Google Chromecast

世界一下品なクマと世界一紳士なクマ

まだ続くブログの不調

Web経由でRaspberry PiのGPIOを操作したい

Russian3DScannerのトポロジー転送ツール『Wr...

Polyscope:3Dデータ操作用GUIライブラリ

ZBrushのUV MasterでUV展開

C++始めようと思うんだ

OpenCVでPhotoshopのプラグイン開発

DCGAN (Deep Convolutional GAN)...

リメイク版ロボコップスーツのメイキング

OpenCVの三角測量関数『cv::triangulatep...

BlenderでPhotogrammetryできるアドオン

網元AMIで作ったWordpressサイトのインスタンスをt...

MPFB2:Blenderの人体モデリングアドオン

Webサイトのワイヤーフレームが作成できるオンラインツール

3Dグラフィックスの入門書

参考になりそうなサイト

ラクガキの立体化 モールドの追加

フルCGのウルトラマン!?

ZBrushでアヴァン・ガメラを作ってみる 甲羅の修正・脚の...

ZBrushでアヴァン・ガメラを作ってみる 爪とトゲを追加

映画『ジュラシック・ワールド/炎の王国』のVFXブレイクダウ...

JavaScriptとかWebGLとかCanvasとか

OpenCVの顔検出過程を可視化した動画

ZBrushでアヴァン・ガメラを作ってみる モールドの彫り込...

Unite 2014の動画

Accord.NET Framework:C#で使える機械学...

3DCGのモデルを立体化するサービス

Blender 4.2以降のWindowsPortable版...

コメント