BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

機械学習用の画像データをCGで生成するのもData Augmentationの範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。

機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが



Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓

BlenderProc



ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911


スポンサーリンク

対応するBlenderのバージョンは2.82。


スポンサーリンク


設定をyaml形式で記述して、run.pyにyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。
yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。

要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.pyを読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。

2022年3月 追記:Google Researchからもツールが出ましたね↓
Kubric:機械学習用アノテーション付き動画生成パイプライン
久しぶりにコンピュータビジョン系の話題。 Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓ Kubric Kubricは、Instance Segmentationマス...


2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。 Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せ...


スポンサーリンク

関連記事

ゴジラ(2014)のディティール制作の舞台裏
Kinect for Windows v2の日本価格決定
為替レートの読み方 2WAYプライス表示
プログラムによる景観の自動生成
昔Mayaでモデリングしたモデルをリファインしてみようか
オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...
Mask R-CNN:ディープラーニングによる一般物体検出・Instance Segmentatio...
TensorFlowでCGを微分できる『TensorFlow Graphics』
Raspberry PiでIoTごっこ
ZBrushで仮面ライダー3号を造る 仮面編 ZRemesher
ヒーローに変身なりきりアーケードゲーム『ナレルンダー』
ブログの復旧が難航してた話
2012のメイキングまとめ(途中)
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
書籍『開田裕治 怪獣イラストテクニック』
ZBrushで仮面ライダー3号を造る 仮面編 リファレンス画像の表示
Googleが画像解析旅行ガイドアプリのJetpac社を買収
オープンソースの人体モデリングツール『MakeHuman』のAPI開発プロジェクトがスタート
BlenderでPhotogrammetryできるアドオン
UnityでOpenCVを使うには?
ZBrushで人型クリーチャー
TorchStudio:PyTorchのための統合開発環境とエコシステム
ZBrushのZmodelerとDynamic Subdivisionを学ぶ
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
cvui:OpenCVのための軽量GUIライブラリ
プロシージャル手法に特化した本が出てるみたい(まだ買わないけど)
Mayaのプラグイン開発
まだ続くブログの不調
レンダラ制作はOpenGL とか DirectX を使わなくてもできるんだぜ
ニューラルネットワークで画像分類
3分の動画でプログラミングを学習できるサイト『ドットインストール』
CLO:服飾デザインツール
C++ 標準テンプレートライブラリ (STL)
SIGGRAPH 2020はオンライン開催
Pythonの自然言語処理ライブラリ『NLTK(Natural Language Toolkit)』
機械学習で遊ぶ
OpenCVの超解像(SuperResolution)モジュールを試す
第20回 文化庁メディア芸術祭『3DCG表現と特撮の時代』
ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを作り込む
科学技術計算向けスクリプト言語『Julia』
オープンソースの取引プラットフォーム
トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ

コメント