機械学習手法が進化して学習画像の要件が従来とは変わってきたのか、ここ最近は360度周回画像(動画)やCGレンダリングの各成分を学習データとして書き出すツールが増えてきましたね。
Composition RenderingはBlenderをラップしたPythonツール。
Composition Rendering (Blender Data Generator)
平面上に複数の3Dオブジェクトを配置し、BlenderのCyclesでレンダリングして合成画像データセットを生成します。このパイプラインは、オブジェクトのランダム配置、マテリアル、HDRI環境ライティング、数種類のカメラ/ライトのモーションモードをサポートしています。
RGB画像に加え、各成分(法線、深度、アルベド、粗さ、メタリック)とフレームごとのメタデータの出力に対応しています。
生成されたデータはDiffusion Renderer、UniRelight、LuxDiTなどの生成レンダリングモデルの学習に使用できます。
注: このリポジトリは、Diffusion Rendererで使用されるデータ生成パイプラインをBlenderベースで再実装したものです。一部のレンダリングバッファは元の実装と異なる場合があります。
主な機能
- アセットの組み合わせ：GLB/GLTF/OBJアセットに加え、オプションの基本シェイプを衝突無くグリッド状に地面上に配置できます。
- ライティング：HDRI環境マップ(EXR/HDR)をサンプリングし、オプションで反転、回転、露出のスケーリングが可能です。
- カメラ/モーション：周回カメラ、振動カメラ、周回環境ライト、オブジェクトの回転、オブジェクトの垂直移動、ドリー/ズームが可能です。
- 出力：RGB、法線、深度、アルベド、粗さ、メタリック、カメラと環境パラメータを含むmeta.json。オプションで(環境投影、配置グリッド、.blend)もデバッグ出力できます。
- 物理演算ベースのオブジェクト落下シミュレーション：Blenderの剛体シミュレーションを使用して、シーン内のオブジェクトを地面に落下させ、短いシーケンスをレンダリングできます。
Blenderの機能をPythonモジュールとして呼び出せるAPI bpyモジュールをラップした簡易ライブラリもいくつかありますが、
Blender自体をラップする方がデバッグ時にGUIを利用できて便利なのだろうか。(だいぶ強引な実装方法にも感じるけど)
BlenderはGUIアプリケーションだけど、コマンドラインからオプション引数を使ってヘッドレスに動作させることもできる。ファイルを渡したりScriptをBlender内部のPython環境で実行できるから、活用範囲は広い。
https://caretdashcaret.com/2015/05/19/how-to-run-blender-headless-from-the-command-line-without-the-gui/
https://docs.blender.org/manual/en/latest/advanced/command_line/arguments.html
そういえば以前BlenderのPython環境にPyTorchをインストールしてみたことがあったな。
関連記事
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
LuxCoreRender：オープンソースの物理ベースレンダ...
KelpNet：C#で使える可読性重視のディープラーニングラ...
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
PyTorch3D：3Dコンピュータービジョンライブラリ
RefineNet (Multi-Path Refineme...
マジョーラ
Unityで学ぶC#
Unreal Engine 5の情報が公開された！
Mitsuba 3：オープンソースの研究向けレンダラ
シン・ゴジラのファンアート
ZBrushでゴジラ2001を作ってみる 身体のシルエット出...
UnityのGameObjectの向きをScriptで制御す...
プログラムによる景観の自動生成
Unity Scriptコーディング→Unreal Engi...
データサイエンティストって何だ？
SIGGRAPH ASIA 2009で学生ボランティア募集し...
OpenCVのfindEssentialMat関数を使ったサ...
OpenMayaのPhongShaderクラス
ラクガキの立体化 分割ラインの変更・バランス調整
OpenCV3.3.0でsfmモジュールのビルドに成功！
チャットツール用bot開発フレームワーク『Hubot』
MFnMeshクラスのsplit関数
UnityでOpenCVを使うには？
ブラウザ操作自動化ツール『Selenium』を試す
Human Generator：Blenderの人体生成アド...
PCA (主成分分析)
ZBrush 2018での作業環境を整える
konashiのサンプルコードを動かしてみた
『ローグ・ワン/スター・ウォーズ・ストーリー』のVFXブレイ...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
Math Inspector：科学計算向けビジュアルプログラ...
スターウォーズ エピソードVIIの予告編
続・ディープラーニングの資料
AnacondaとTensorFlowをインストールしてVi...
ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ...
オープンソースの物理ベースGIレンダラ『appleseed』
ポリ男をリファイン
Digital Emily Project：人間の顔をそっく...
WordPressプラグインによるサイトマップの自動生成
SONY製のニューラルネットワークライブラリ『NNabla』
ポリゴン用各種イテレータと関数セット
コメント