Mitsuba 3:オープンソースの研究向けレンダラ

オープンソースの研究用レンダラMitsubaのバージョン2が発表されたのが3年ほど前。



次のバージョンのMistuba 3が発表されました↓

Mitsuba 3: A Retargetable Forward and Inverse Renderer



Mitsuba 3は研究指向のリターゲット可能なレンダリングシステムであり、Dr.Jit Just In TimeコンパイラによるポータブルなC++ 17で記述されています。Mitsuba 3は、EPFLのRealisticGraphicsLabによって開発されました。

Mitsuba 3は、微分トラッキング、LLVMまたはCUDAを介した動的コンパイル、様々なラディアンス表現(モノクロ、RGB、またはスペクトル光、場合によっては偏光)などのオプションを選択でき、様々な形態へコンパイルできます。

Mitsuba 3は小さなコアライブラリと、マテリアルや光源からレンダリングアルゴリズムに至るまでの全ての機能を実装したプラグインの集合で構成されています。Mitsuba 3は、旧バージョンのMitsuba 0.6とのシーン互換性の維持に努めています。

Dr.Jitととは何かというと、微分可能レンダリングのために開発された新しい実行時コンパイラ(Just In Timeコンパイラ)だそうで、SIGGRAPH 2022で発表されるらしい↓

Dr.Jit: A Just-In-Time Compiler for Differentiable Rendering





Mitsuba 3は既にソースコードがGitHubで公開されており、READMEにより詳しい概要説明がある↓

Mitsuba Renderer 3

Mitsuba 3は、スイスのEPFL(スイス連邦工科大学ローザンヌ校)で開発された順方向(forward)および逆方向(inverse)の光輸送シミュレーションのための研究指向のレンダリングシステムです。コアライブラリと、マテリアルや光源からレンダリングアルゴリズムに至るまでの全ての機能を実装したプラグインの集合として構成されています。

Mitsuba 3はリターゲット可能で、基盤となる実装とデータ構造を様々な異なるタスクへ変換して実行できます。例えば、同じコードでスカラーRGB輸送(1度に1つの光線を扱う古典的手法)とGPU上での微分可能スペクトル輸送の両方をシミュレートできます。これは全て、このプロジェクトのために特別に開発された専用のJIT(Just In Time)コンパイラ Dr.Jitでビルドされます。

主な機能

  • クロスプラットフォーム:Mitsuba 3はLinux (x86_64), macOS (aarch64, x86_64), Windows (x86_64)でテスト済みです。
  • ハイパフォーマンス:基盤となるDr.Jitコンパイラはレンダリングコードをカーネルに融合し、CPUをターゲットとするLLVMバックエンドと、レイトレーシングハードウェアアクセラレーションを備えたNVIDIA GPUをターゲットとするCUDA/OptiXバックエンドを使用して最先端のパフォーマンスを実現します。
  • Pythonファースト:Mitsuba3はPythonと深く統合されています。マテリアルやテクスチャだけでなく、全てのレンダリングアルゴリズムをPythonで開発でき、システムをすぐにJITコンパイル(さらにオプションで微分も)できます。これにより、コンピュータグラフィックスやその他分野の研究に必要な実験が可能です。
  • 微分:Mitsuba 3は微分可能レンダラです。つまり、カメラのポーズ、ジオメトリ、BSDF、テクスチャ、ボリュームなどの入力パラメータについて、シミュレーション全体の導関数を計算できます。Mitsuba 3には、EPFLで開発された最新の微分可能レンダリングのアルゴリズムを実装されています。
  • スペクトルと偏光:Mitsuba 3は、単色レンダラー、RGBベースのレンダラー、スペクトルレンダラーとして使用でき、各形態で必要に応じてオプションで偏光の影響を考慮できます。

Mitsuba 3は既にチュートリアル動画もとても充実している↓



ドキュメントはこちら。Mitsuba 3はpipですぐインストールできるのがイマドキな感じですね。

Blenderアドオンはこちら↓

Mitsuba Blender Add-on

関連記事

Unityで強化学習できる『Unity ML-Agents』

ZBrushで仮面ライダー3号を造る 仮面編 PolyGroupを分割する

Mayaでリアルな布の質感を作るチュートリアル

なんかすごいサイト

Raspberry PiのGPIOを操作するPythonライブラリ『RPi.GPIO』の使い方

iPhoneアプリ開発 Xcode 5のお作法

SONY製のニューラルネットワークライブラリ『NNabla』

ZBrushで基本となるブラシ

Maya LTでFBIK(Full Body IK)

機械学習で遊ぶ

『ローグ・ワン/スター・ウォーズ・ストーリー』のVFXブレイクダウン まとめ

ZBrushでアヴァン・ガメラを作ってみる

Cartographer:オープンソースのSLAMライブラリ

Web経由でRaspberry PiのGPIOを操作したい

Webスクレイピングの勉強会に行ってきた

ZBrushでUndo Historyを動画に書き出す

2D→3D復元技術で使われる用語まとめ

Mask R-CNN:ディープラーニングによる一般物体検出・Instance Segmentatio...

UnityでShaderの入力パラメータとして行列を渡す

『シン・ゴジラ』のコンセプトアニメーションのメイキング動画が公開された

書籍『メイキング・オブ・ピクサー 創造力をつくった人々』を読んだ

R-CNN (Regions with CNN features):ディープラーニングによる一般物体...

AR (Augmented Reality)とDR (Diminished Reality)

3DCGのモデルを立体化するサービス

Unityからkonashiをコントロールする

ZBrushでアヴァン・ガメラを作ってみる 頭頂部の作り込み・舌の追加

viser:Pythonで使える3D可視化ライブラリ

ZBrushでアヴァン・ガメラを作ってみる 甲羅の修正・脚の作り込み

Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『TouchScript』

OpenGVの用語

ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバランス調整

DensePose:画像中の人物表面のUV座標を推定する

生物の骨格

ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを作り込む

CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』

Pix2Pix:CGANによる画像変換

トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ

Mayaのポリゴン分割ツールの進化

自前のShaderがおかしい件

ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身体のライン修正

CycleGAN:ドメイン関係を学習した画像変換

PythonでBlenderのAdd-on開発

コメント