BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...

OpenMayaのPhongShaderクラス

WordPressのサーバ引っ越し方法を考える

Photoshopで作る怪獣特撮チュートリアル

Composition Rendering:Blenderに...

組み込み向けのWindows OS 『Windows Emb...

UnityでOpenCVを使うには?

Active Appearance Models(AAM)

ZBrushでアマビエを作る その2

TorchStudio:PyTorchのための統合開発環境と...

PythonのHTML・XMLパーサー『BeautifulS...

まだ続くブログの不調

ゴジラ(2014)のディティール制作の舞台裏

ZBrushでリメッシュとディティールの転送

PGGAN:段階的に解像度を上げて学習を進めるGAN

Quartus II

LLM Visualization:大規模言語モデルの可視化

ZBrushでUndo Historyを動画に書き出す

CGWORLD CHANNEL 第21回ニコ生配信は『シン・...

画像認識による位置情報取得 - Semi-Direct Mo...

「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...

OpenCV 3.1とopencv_contribモジュール...

SONYの自律型エンタテインメントロボット『aibo』

Deep Learningとその他の機械学習手法の性能比較

COLMAP:オープンソースのSfM・MVSツール

フォトンの放射から格納までを可視化した動画

ZBrushでアヴァン・ガメラを作ってみる 脚のトゲの作り直...

TeleSculptor:空撮動画からPhotogramme...

ZBrushで仮面ライダー3号を造る 仮面編 PolyGro...

OpenCV3.3.0でsfmモジュールのビルドに成功!

中学3年生が制作した短編映像作品『2045』

無料で使える人体3DCG作成ツール

法線マップを用意してCanvas上でShadingするサンプ...

Python.NET:Pythonと.NETを連携させるパッ...

UnityでLight Shaftを表現する

SIGGRAPH 2020はオンライン開催

Google App EngineでWordPress

Raspberry PiでIoTごっこ

Digital Emily Project:人間の顔をそっく...

BlenderでPhotogrammetryできるアドオン

SVM (Support Vector Machine)

Maya には3 種類のシェーダSDKがある?

コメント