BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911

対応するBlenderのバージョンは2.82。



設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓



2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せる...

関連記事

Dlib:C++の機械学習ライブラリ

Unityで強化学習できる『Unity ML-Agents』

機械学習について最近知った情報

Google Colaboratoryで遊ぶ準備

Phongの表現力パネェ 材質別のPhong Shader用...

法線マップを用意してCanvas上でShadingするサンプ...

3DCGのモデルを立体化するサービス

Windows10でPyTorchをインストールしてVSCo...

iPhone欲しいなぁ

U-Net:ディープラーニングによるSemantic Seg...

VCG Library:C++のポリゴン操作ライブラリ

ブログが1日ダウンしてました

Iterator

Google App Engine上のWordPressでA...

スクレイピング

SegNet:ディープラーニングによるSemantic Se...

ポイントクラウドコンソーシアム

Raspberry PiでIoTごっこ

オープンソースの取引プラットフォーム

UnityのGameObjectの向きをScriptで制御す...

Unity MonoBehaviourクラスのオーバーライド...

YOLO (You Only Look Once):ディープ...

Raspberry Piでセンサーの常時稼働を検討する

ZBrushで仮面ライダー3号を造る 仮面編 Dam Sta...

BGSLibrary:OpenCVベースの背景差分ライブラリ

Unityの各コンポーネント間でのやり取り

SSII 2014 デモンストレーションセッションのダイジェ...

Pythonのソースコードに特化した検索エンジン『Nulle...

Unityで360度ステレオVR動画を作る

無料で使える人体3DCG作成ツール

ZBrushで仮面ライダー3号を造る 仮面編 PolyGro...

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...

Mechanizeで要認証Webサイトをスクレイピング

WordPressのサーバ引っ越し方法を考える

Amazon Web ServicesでWordPress

iPhone x ロボットハッカソン~RomoのiPhone...

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...

ZBrushでアヴァン・ガメラを作ってみる

VGGT:マルチビュー・フィードフォワード型3Dビジョン基盤...

書籍『OpenCV 3 プログラミングブック』を購入

FreeMoCap Project:オープンソースのマーカー...

オープンソースのロボットアプリケーションフレームワーク『RO...

コメント