機械学習手法が進化して学習画像の要件が従来とは変わってきたのか、ここ最近は360度周回画像(動画)やCGレンダリングの各成分を学習データとして書き出すツールが増えてきましたね。
Composition RenderingはBlenderをラップしたPythonツール。
Composition Rendering (Blender Data Generator)
平面上に複数の3Dオブジェクトを配置し、BlenderのCyclesでレンダリングして合成画像データセットを生成します。このパイプラインは、オブジェクトのランダム配置、マテリアル、HDRI環境ライティング、数種類のカメラ/ライトのモーションモードをサポートしています。
RGB画像に加え、各成分(法線、深度、アルベド、粗さ、メタリック)とフレームごとのメタデータの出力に対応しています。
生成されたデータはDiffusion Renderer、UniRelight、LuxDiTなどの生成レンダリングモデルの学習に使用できます。
注: このリポジトリは、Diffusion Rendererで使用されるデータ生成パイプラインをBlenderベースで再実装したものです。一部のレンダリングバッファは元の実装と異なる場合があります。
主な機能
- アセットの組み合わせ：GLB/GLTF/OBJアセットに加え、オプションの基本シェイプを衝突無くグリッド状に地面上に配置できます。
- ライティング：HDRI環境マップ(EXR/HDR)をサンプリングし、オプションで反転、回転、露出のスケーリングが可能です。
- カメラ/モーション：周回カメラ、振動カメラ、周回環境ライト、オブジェクトの回転、オブジェクトの垂直移動、ドリー/ズームが可能です。
- 出力：RGB、法線、深度、アルベド、粗さ、メタリック、カメラと環境パラメータを含むmeta.json。オプションで(環境投影、配置グリッド、.blend)もデバッグ出力できます。
- 物理演算ベースのオブジェクト落下シミュレーション：Blenderの剛体シミュレーションを使用して、シーン内のオブジェクトを地面に落下させ、短いシーケンスをレンダリングできます。
Blenderの機能をPythonモジュールとして呼び出せるAPI bpyモジュールをラップした簡易ライブラリもいくつかありますが、
Blender自体をラップする方がデバッグ時にGUIを利用できて便利なのだろうか。(だいぶ強引な実装方法にも感じるけど)
BlenderはGUIアプリケーションだけど、コマンドラインからオプション引数を使ってヘッドレスに動作させることもできる。ファイルを渡したりScriptをBlender内部のPython環境で実行できるから、活用範囲は広い。
https://caretdashcaret.com/2015/05/19/how-to-run-blender-headless-from-the-command-line-without-the-gui/
https://docs.blender.org/manual/en/latest/advanced/command_line/arguments.html
そういえば以前BlenderのPython環境にPyTorchをインストールしてみたことがあったな。
関連記事
UnityでTweenアニメーションを実装できる3種類の無料...
オープンソースのロボットアプリケーションフレームワーク『RO...
機械学習で遊ぶ
Pythonのソースコードに特化した検索エンジン『Nulle...
iPhoneで3D写真が撮れるアプリ『seene』
CEDEC 3日目
ZBrushでゴジラ2001を作ってみる 頭の概形作り
ブログの復旧が難航してた話
Kaolin：3Dディープラーニング用のPyTorchライブ...
adskShaderSDK
ラクガキの立体化
ZBrush 4R7
Multi-View Environment：複数画像から3...
Unityで学ぶC#
WordPressのテーマを自作する
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエッ...
OpenCV 3.3.0 contribのsfmモジュールの...
Unity ARKitプラグインサンプルのドキュメントを読む
ZBrushで仮面ライダー3号を造る 仮面編 PolyGro...
HD画質の無駄遣い
MeshroomでPhotogrammetry
オープンソースのネットワーク可視化ソフトウェアプラットフォー...
ZBrush 2018での作業環境を整える
AmazonEC2のインスタンスをt1.microからt2....
3D復元技術の情報リンク集
AfterEffectsプラグイン開発
WinSCP
海外ドラマのChromaKey
iOSで使えるJetpac社の物体認識SDK『DeepBel...
ZBrushでアヴァン・ガメラを作ってみる 壊れたデータの救...
世界一下品なクマと世界一紳士なクマ
『ローグ・ワン/スター・ウォーズ・ストーリー』のVFXブレイ...
UnityのGameObjectの向きをScriptで制御す...
TVML (TV program Making langua...
NVIDIA GeForce RTX 3080を購入
SONY製のニューラルネットワークライブラリ『NNabla』
ポリゴン用各種イテレータと関数セット
写真に3Dオブジェクトを違和感無く合成する『3DPhotoM...
Russian3DScannerのトポロジー転送ツール『Wr...
ROSの薄い本
コメント