機械学習手法が進化して学習画像の要件が従来とは変わってきたのか、ここ最近は360度周回画像(動画)やCGレンダリングの各成分を学習データとして書き出すツールが増えてきましたね。
Composition RenderingはBlenderをラップしたPythonツール。
Composition Rendering (Blender Data Generator)
平面上に複数の3Dオブジェクトを配置し、BlenderのCyclesでレンダリングして合成画像データセットを生成します。このパイプラインは、オブジェクトのランダム配置、マテリアル、HDRI環境ライティング、数種類のカメラ/ライトのモーションモードをサポートしています。
RGB画像に加え、各成分(法線、深度、アルベド、粗さ、メタリック)とフレームごとのメタデータの出力に対応しています。
生成されたデータはDiffusion Renderer、UniRelight、LuxDiTなどの生成レンダリングモデルの学習に使用できます。
注: このリポジトリは、Diffusion Rendererで使用されるデータ生成パイプラインをBlenderベースで再実装したものです。一部のレンダリングバッファは元の実装と異なる場合があります。
主な機能
- アセットの組み合わせ：GLB/GLTF/OBJアセットに加え、オプションの基本シェイプを衝突無くグリッド状に地面上に配置できます。
- ライティング：HDRI環境マップ(EXR/HDR)をサンプリングし、オプションで反転、回転、露出のスケーリングが可能です。
- カメラ/モーション：周回カメラ、振動カメラ、周回環境ライト、オブジェクトの回転、オブジェクトの垂直移動、ドリー/ズームが可能です。
- 出力：RGB、法線、深度、アルベド、粗さ、メタリック、カメラと環境パラメータを含むmeta.json。オプションで(環境投影、配置グリッド、.blend)もデバッグ出力できます。
- 物理演算ベースのオブジェクト落下シミュレーション：Blenderの剛体シミュレーションを使用して、シーン内のオブジェクトを地面に落下させ、短いシーケンスをレンダリングできます。
Blenderの機能をPythonモジュールとして呼び出せるAPI bpyモジュールをラップした簡易ライブラリもいくつかありますが、
Blender自体をラップする方がデバッグ時にGUIを利用できて便利なのだろうか。(だいぶ強引な実装方法にも感じるけど)
BlenderはGUIアプリケーションだけど、コマンドラインからオプション引数を使ってヘッドレスに動作させることもできて、ファイルを渡したりScriptをBlender内部のPython環境で実行できるから、活用範囲は広い。
https://caretdashcaret.com/2015/05/19/how-to-run-blender-headless-from-the-command-line-without-the-gui/
https://docs.blender.org/manual/en/latest/advanced/command_line/arguments.html
そういえば以前BlenderのPython環境にPyTorchをインストールしてみたことがあったな。
関連記事
OpenCV バージョン4がリリースされた！
Unite 2014の動画
写真に3Dオブジェクトを違和感無く合成する『3DPhotoM...
Unityの薄い本
MeshLab：3Dオブジェクトの確認・変換に便利なフリーウ...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
PythonでBlenderのAdd-on開発
ラクガキの立体化
書籍『仕事ではじめる機械学習』を読みました
自前Shaderの件 解決しました
PSPNet (Pyramid Scene Parsing ...
MRenderUtil::raytrace
OpenSfM：PythonのStructure from ...
iPadをハンディ3Dスキャナにするガジェット『iSense...
ZBrush 2021.6のMesh from Mask機能...
ハリウッド版「GAIKING」パイロット映像
FreeMoCap Project：オープンソースのマーカー...
C++始めようと思うんだ
UnityでARKit2.0
SONY製のニューラルネットワークライブラリ『NNabla』
Ambient Occlusionを解析的に求める
Managing Software Requirements...
ZBrushのお勉強
フルCGのウルトラマン！？
OpenMayaRender
WordPressプラグインによるサイトマップの自動生成
DUSt3R：3Dコンピュータービジョンの基盤モデル
ZBrushCoreのTransposeとGizmo 3D
ラクガキの立体化 胴体の追加
統計的な顔モデル
ZBrushでアヴァン・ガメラを作ってみる 歯を配置
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
ゴジラ(2014)のディティール制作の舞台裏
畳み込みニューラルネットワーク (CNN: Convolut...
MLDemos：機械学習について理解するための可視化ツール
Multi-View Environment：複数画像から3...
python-twitterで自分のお気に入りを取得する
アニゴジ関連情報
fSpy：1枚の写真からカメラパラメーターを割り出すツール
オープンソースのテクスチャマッピングシステム『Ptex』
布地のシワの法則性
ZBrushでアヴァン・ガメラを作ってみる
コメント