機械学習用の画像データをCGで生成するのもData Augmentationの範疇でしょうか。
物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した方が断然楽ですね。
機械学習用の画像を生成するUnreal Engine用のプラグインもありましたが
UnrealCV:コンピュータビジョン研究のためのUnreal EngineプラグインROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。 このUnrealCVはUnrealEngi...
Blenderで学習画像をバッチ生成できるPython製のコマンドツールが公開されている↓
BlenderProc
ディープラーニング用の学習画像を生成するためのプロシージャルBlenderパイプラインです。
詳細はarXivにある論文をご覧ください。(随時更新しています):https://arxiv.org/abs/1911.01911
スポンサーリンク
対応するBlenderのバージョンは2.82。
スポンサーリンク
設定をyaml形式で記述して、
run.py
にyamlファイルや3Dオブジェクト、カメラ位置情報のファイルを引数に渡して実行するだけでBlenderで画像をレンダリングできるらしい。yaml設定ファイルの書き方や、データの読み込み方はexamplesを真似すれば良さそう。
要するに、Blenderの細かい操作方法などを習得しなくても、各成分ごとに分解されたレンダリング画像をバッチで出力できるようにしたツールだな。
run.py
を読む限り、対応するOSはLinuxとMacだけで、Windowsには対応していないみたい。2022年3月 追記:Google Researchからもツールが出ましたね↓
Kubric:機械学習用アノテーション付き動画生成パイプライン
久しぶりにコンピュータビジョン系の話題。 Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓ Kubric Kubricは、Instance Segmentationマス...
2023年 追記:Blenderのbpyモジュールをコンピュータービジョン用途で扱いやすいようにラップしたモジュールも↓
Blendify:コンピュータービジョン向けBlenderラッパー
コンピュータービジョンで扱う対象が2Dの画像だけでなく3Dデータに広がってきて、コンピューターグラフィックスとの垣根がどんどん無くなってきているように感じる。 Blendifyは、Blenderの機能をPythonのモジュールとして呼び出せ...
スポンサーリンク
関連記事
SONYの自律型エンタテインメントロボット『aibo』
タダでRenderManを体験する方法
映画『ブレードランナー 2049』のVFX
Digital Emily Project:人間の顔をそっくりそのままCGで復元する
Dlib:C++の機械学習ライブラリ
ヘッドマウントディスプレイとビジュアリゼーションの未来
この本読むよ
ZBrushで仮面ライダー3号を造る 仮面編 PolyGroup作成に再挑戦
ZBrushで人型クリーチャー
ZBrushでアヴァン・ガメラを作ってみる 歯を配置
SSII2014 チュートリアル講演会の資料
ZBrushの練習 手のモデリング
Deep Fluids:流体シミュレーションをディープラーニングで近似する
GoogleのDeep Learning論文
OpenSfM:PythonのStructure from Motionライブラリ
3Dグラフィックスの入門書
Transformers ”Reference & Bulid” Siggraph 2007
ニューラルネットワークで画像分類
Windows Server 2008にAutodesk Maya 2009をインストール
ZBrushで仮面ライダーBLACK SUNを作る 頭部~バストの概形
UnityのGlobal Illumination
Python2とPython3
Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された
Boost オープンソースライブラリ
Mayaのシェーディングノードの区分
PCA (主成分分析)
Photogrammetry (写真測量法)
ヒーローに変身なりきりアーケードゲーム『ナレルンダー』
MB-Lab:Blenderの人体モデリングアドオン
OpenCVで顔のランドマークを検出する『Facemark API』
オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』
『ピクサー展』へ行ってきた
Mean Stack開発の最初の一歩
UnityでTweenアニメーションを実装できる3種類の無料Asset
OpenCVで動画の手ぶれ補正
映画『ミュータント・タートルズ』を観てきた
BlenderのGeometry Nodeで遊ぶ
スクレイピング
Blendify:コンピュータービジョン向けBlenderラッパー
なんかすごいサイト
iPhone 3GSがますます欲しくなる動画
オープンソースの人体モデリングツール『MakeHuman』のAPI開発プロジェクトがスタート
コメント