機械学習手法が進化して学習画像の要件が従来とは変わってきたのか、ここ最近は360度周回画像(動画)やCGレンダリングの各成分を学習データとして書き出すツールが増えてきましたね。
Composition RenderingはBlenderをラップしたPythonツール。
Composition Rendering (Blender Data Generator)
平面上に複数の3Dオブジェクトを配置し、BlenderのCyclesでレンダリングして合成画像データセットを生成します。このパイプラインは、オブジェクトのランダム配置、マテリアル、HDRI環境ライティング、数種類のカメラ/ライトのモーションモードをサポートしています。
RGB画像に加え、各成分(法線、深度、アルベド、粗さ、メタリック)とフレームごとのメタデータの出力に対応しています。
生成されたデータはDiffusion Renderer、UniRelight、LuxDiTなどの生成レンダリングモデルの学習に使用できます。
注: このリポジトリは、Diffusion Rendererで使用されるデータ生成パイプラインをBlenderベースで再実装したものです。一部のレンダリングバッファは元の実装と異なる場合があります。
主な機能
- アセットの組み合わせ：GLB/GLTF/OBJアセットに加え、オプションの基本シェイプを衝突無くグリッド状に地面上に配置できます。
- ライティング：HDRI環境マップ(EXR/HDR)をサンプリングし、オプションで反転、回転、露出のスケーリングが可能です。
- カメラ/モーション：周回カメラ、振動カメラ、周回環境ライト、オブジェクトの回転、オブジェクトの垂直移動、ドリー/ズームが可能です。
- 出力：RGB、法線、深度、アルベド、粗さ、メタリック、カメラと環境パラメータを含むmeta.json。オプションで(環境投影、配置グリッド、.blend)もデバッグ出力できます。
- 物理演算ベースのオブジェクト落下シミュレーション：Blenderの剛体シミュレーションを使用して、シーン内のオブジェクトを地面に落下させ、短いシーケンスをレンダリングできます。
Blenderの機能をPythonモジュールとして呼び出せるAPI bpyモジュールをラップした簡易ライブラリもいくつかありますが、
Blender自体をラップする方がデバッグ時にGUIを利用できて便利なのだろうか。(だいぶ強引な実装方法にも感じるけど)
BlenderはGUIアプリケーションだけど、コマンドラインからオプション引数を使ってヘッドレスに動作させることもできて、ファイルを渡したりScriptをBlender内部のPython環境で実行できるから、活用範囲は広い。
https://caretdashcaret.com/2015/05/19/how-to-run-blender-headless-from-the-command-line-without-the-gui/
https://docs.blender.org/manual/en/latest/advanced/command_line/arguments.html
そういえば以前BlenderのPython環境にPyTorchをインストールしてみたことがあったな。
関連記事
スクラッチで既存のキャラクターを立体化したい
uGUI：Unityの新しいGUI作成システム
Kinect for Windows v2の日本価格決定
Unity Scriptコーディング→Unreal Engi...
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
ZBrushでアマビエを作る その2
OpenCVで顔のモーフィングを実装する
NeRF (Neural Radiance Fields)：...
色んな三面図があるサイト
Google Chromecast
OpenMesh：オープンソースの３Dメッシュデータライブラ...
Pix2Pix：CGANによる画像変換
Raspberry Pi 2のGPIOピン配置
Houdiniのライセンスの種類
WinSCP
Blenderでよく使うaddon
Faceshiftで表情をキャプチャしてBlender上でM...
1枚の画像からマテリアルを作成できる無料ツール『Materi...
Seleniumを使ったFXや株の自動取引
映画『シン・ウルトラマン』 メイキング記事まとめ
Maya LTのQuick Rigを試す
ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ...
Google App EngineでWordPress
UnityでOpenCVを使うには？
機械学習について最近知った情報
Blender 2.8がついに正式リリース！
物理ベースレンダリングのためのマテリアル設定チートシート
COLMAP：オープンソースのSfM・MVSツール
WordPressの表示を高速化する
書籍『The Art of Mystical Beasts』...
チャットツール用bot開発フレームワーク『Hubot』
『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイク...
オープンソースの取引プラットフォーム
Transformer Explainer：テキスト生成モデ...
ZBrushで仮面ライダー3号を造る 仮面編 失敗のリカバー
Iterator
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
フォトンの放射から格納までを可視化した動画
ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを...
OpenCVの超解像(SuperResolution)モジュ...
DCGAN (Deep Convolutional GAN)...
iPhoneアプリ開発 Xcode 5のお作法
コメント