機械学習手法が進化して学習画像の要件が従来とは変わってきたのか、ここ最近は360度周回画像(動画)やCGレンダリングの各成分を学習データとして書き出すツールが増えてきましたね。
Composition RenderingはBlenderをラップしたPythonツール。
Composition Rendering (Blender Data Generator)
平面上に複数の3Dオブジェクトを配置し、BlenderのCyclesでレンダリングして合成画像データセットを生成します。このパイプラインは、オブジェクトのランダム配置、マテリアル、HDRI環境ライティング、数種類のカメラ/ライトのモーションモードをサポートしています。
RGB画像に加え、各成分(法線、深度、アルベド、粗さ、メタリック)とフレームごとのメタデータの出力に対応しています。
生成されたデータはDiffusion Renderer、UniRelight、LuxDiTなどの生成レンダリングモデルの学習に使用できます。
注: このリポジトリは、Diffusion Rendererで使用されるデータ生成パイプラインをBlenderベースで再実装したものです。一部のレンダリングバッファは元の実装と異なる場合があります。
主な機能
- アセットの組み合わせ：GLB/GLTF/OBJアセットに加え、オプションの基本シェイプを衝突無くグリッド状に地面上に配置できます。
- ライティング：HDRI環境マップ(EXR/HDR)をサンプリングし、オプションで反転、回転、露出のスケーリングが可能です。
- カメラ/モーション：周回カメラ、振動カメラ、周回環境ライト、オブジェクトの回転、オブジェクトの垂直移動、ドリー/ズームが可能です。
- 出力：RGB、法線、深度、アルベド、粗さ、メタリック、カメラと環境パラメータを含むmeta.json。オプションで(環境投影、配置グリッド、.blend)もデバッグ出力できます。
- 物理演算ベースのオブジェクト落下シミュレーション：Blenderの剛体シミュレーションを使用して、シーン内のオブジェクトを地面に落下させ、短いシーケンスをレンダリングできます。
Blenderの機能をPythonモジュールとして呼び出せるAPI bpyモジュールをラップした簡易ライブラリもいくつかありますが、
Blender自体をラップする方がデバッグ時にGUIを利用できて便利なのだろうか。(だいぶ強引な実装方法にも感じるけど)
BlenderはGUIアプリケーションだけど、コマンドラインからオプション引数を使ってヘッドレスに動作させることもできる。ファイルを渡したりScriptをBlender内部のPython環境で実行できるから、活用範囲は広い。
https://caretdashcaret.com/2015/05/19/how-to-run-blender-headless-from-the-command-line-without-the-gui/
https://docs.blender.org/manual/en/latest/advanced/command_line/arguments.html
そういえば以前BlenderのPython環境にPyTorchをインストールしてみたことがあったな。
関連記事
Math Inspector：科学計算向けビジュアルプログラ...
Autodesk Mementoでゴジラを3次元復元する
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
YOLO (You Only Look Once)：ディープ...
オープンソースのテクスチャマッピングシステム『Ptex』
Autodesk CompositeとAutodesk Ma...
MB-Lab：Blenderの人体モデリングアドオン
Active Appearance Models（AAM）
オープンソースの人体モデリングツール『MakeHuman』の...
Google App Engineのデプロイ失敗
Siggraph Asia 2009 カンファレンスの詳細
Windows10でPyTorchをインストールしてVSCo...
clearcoat Shader
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
続・ディープラーニングの資料
ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調...
MPFB2：Blenderの人体モデリングアドオン
SVM (Support Vector Machine)
Transformer Explainer：テキスト生成モデ...
Windows Server 2008にAutodesk M...
ZBrushのUV MasterでUV展開
Unreal Engine 5の情報が公開された！
『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン ...
ZBrushでアヴァン・ガメラを作ってみる 壊れたデータの救...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
アニゴジ関連情報
Mechanizeで要認証Webサイトをスクレイピング
Photo Bash：複数の写真を組み合わせて1枚のイラスト...
ZBrushでアヴァン・ガメラを作ってみる 脚のポーズ調整
ZBrush 2021.6のMesh from Mask機能...
『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイク...
3Dモデルを立体視で確認できるVRアプリを作っている
PolyPaint
素敵なパーティクル
Photogrammetry (写真測量法)
『スター・ウォーズ/スカイウォーカーの夜明け』のVFXブレイ...
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
Google App EngineでWordPress
オープンソースの物理ベースGIレンダラ『appleseed』
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
Point Cloud Consortiumのセミナー「3D...
ヒーローに変身なりきりアーケードゲーム『ナレルンダー』
コメント