機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。
機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが
UnrealCV:コンピュータビジョン研究のためのUnreal EngineプラグインROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。 このUnrealCVはUnrealEngi...
Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓
BlenderProc
ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911
スポンサーリンク
対応するBlenderのバージョンは2.82。
スポンサーリンク
設定をyaml形式で記述して、
run.py
にyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。
要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.py
を読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。2022年3月 追記:Google Researchからもツールが出ましたね↓
Kubric:機械学習用アノテーション付き動画生成パイプライン
久しぶりにコンピュータビジョン系の話題。 Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓ Kubric Kubricは、Instance Segmentationマス...
2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。 Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せ...
スポンサーリンク
関連記事
OpenMVSのサンプルを動かしてみる
OpenCV
YOLO (You Only Look Once):ディープラーニングによる一般物体検出手法
『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイクダウン まとめ
CreativeCOW.net
Transformers ”Reference & Bulid” Siggraph 2007
ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...
『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン まとめ
Google App Engine上のWordPressでFlickrの画像を貼る
OpenCVの三角測量関数『cv::triangulatepoints』
機械学習について最近知った情報
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法
PythonのHTML・XMLパーサー『BeautifulSoup』
Iridescence:プロトタイピング向け軽量3D可視化ライブラリ
ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身体のライン修正
Kaolin:3Dディープラーニング用のPyTorchライブラリ
Raspberry PiでIoTごっこ
ZBrushでカスタムUIを設定する
オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...
スターウォーズ エピソードVIIの予告編
オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う
デザインのリファイン再び
ZBrushのTranspose Masterでポーズを付ける
Webサイトのワイヤーフレームが作成できるオンラインツール
ブログのデザイン変えました
OpenCV 3.1のsfmモジュールを試す
ZBrushでゴジラ2001を作ってみる 身体のアタリを作る
CGAN (Conditional GAN):条件付き敵対的生成ネットワーク
WordPressのサーバ引っ越し方法を考える
UnityのTransformクラスについて調べてみた
ZBrushでアヴァン・ガメラを作ってみる 爪とトゲを追加
OpenCVでiPhone6sのカメラをキャリブレーションする
統計的な顔モデル
LLM Visualization:大規模言語モデルの可視化
ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ分割
iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~
ZBrushでゴジラ2001を作ってみる 身体のバランスを探る
ゴジラ(2014)のディティール制作の舞台裏
Google App EngineでWordPress
Raspberry Pi 2を買いました
動的なメモリの扱い
Unityで強化学習できる『Unity ML-Agents』
コメント