Kaolin:3Dディープラーニング用のPyTorchライブラリ

NVIDIAから3D系のディープラーニング研究のためのPyTorchライブラリが公開された。
まだベータ版だから、これからどんどん充実していくんでしょうね。読み方はカオリンで良いのかな?(なんかかわいい)

Kaolin



Kaolinは3Dディープラーニングの研究を加速させるためのPyTorchライブラリです。Kaolinは、ディープラーニングシステムで使用できる微分可能な3Dモジュールを効率的な実装で提供します。
Kaolinには一般的な公開3Dデータセットの読み込みと前処理を行ったり、メッシュ、点群、符号付き距離関数、ボクセルグリッドを操作するネイティブ関数があり、無駄な定型コードの記述を最小限に抑えています。Kaolinは、レンダリング、ライティング、シェーディング、view warpingなどの微分可能なグラフィックスモジュールをパッケージ化しています。また、Kaolinは一連の損失関数と評価指標をサポートすることでシームレスな評価を可能とし、3Dの結果をレンダリングする可視化機能も提供します。

最も重視しているのは、最先端の様々な3Dディープラーニングアーキテクチャを集めた包括的なModel Zooをキュレートし、将来の研究活動の出発点に立つ手助けとなることです。

ドキュメントのページがまだ作成されていないのか404だけど。

NVIDIAの公式ブログ↓
https://news.developer.nvidia.com/kaolin-library-research-3d/
https://blogs.nvidia.co.jp/2019/11/27/kaolin-library-research-3d/

Kaolinって名前は造形用粘土のKaolinite(カオリナイト)が由来なのね。



ベータ版の時点で何ができるのか。

機能



現在、(ベータ版)リリースには、メッシュ、ボクセル、符号付き距離関数、点群での3Dディープラーニングのための処理関数が含まれています。
一般的なデータセット(例:ShapeNet, ModelNet, SHRECなど)の読み込みもすぐにサポートされます。また、いくつかの3D変換および変換操作を実装します。

Kaolinは以下のような3Dタスクをサポートします:

  • Differentiable rendering (see Neural Mesh Renderer, its PyTorch port, Soft Rasterizer, Differentiable Interpolation-based Renderer, and a modular and extensible abstract DifferentiableRenderer specification).
  • Single-image based mesh reconstruction (Pixel2Mesh, GEOMetrics, OccupancyNets, and more…)
  • Pointcloud classification and segmentation (PointNet, PoinNet++, DGCNN, …)
  • Mesh classification and segmentation (MeshCNN, GCN)
  • 3D superresolution on voxel grids (ODM, VoxelUNet, and more…)
  • Basic graphics utilities (lighting, shading, etc.)

Model Zoo

Kaolinは、一般的な3Dディープラーニングアーキテクチャのリファレンス実装を含む大規模なModel Zooをキュレーションします。詳しくはこちらでご確認ください。

https://note.com/npaka/m/m85457421b99f

TensorFlowを使うならTensorFlow Graphicsがあるけど、PyTorch派ならKaolinだろうか。



あ、Siggraph 2019で発表されて話題になったMeshCNNのモデルもKaolinに含まれてるんですね。



MeshCNNのコードもPyTorchで実装されてるからまあ、すでに割と手軽ではあるんだけど。
https://github.com/ranahanocka/MeshCNN/

関連記事

オープンソースの物理ベースGIレンダラ『appleseed』

OpenVDB:3Dボリュームデータ処理ライブラリ

『ゴジラ キング・オブ・モンスターズ』のVFXブレイクダウン

Ambient Occlusionを解析的に求める

ZBrushでゴジラ2001を作ってみる 身体のSubToolを分割

Unityからkonashiをコントロールする

SDカードサイズのコンピューター『Intel Edison』

Seleniumを使ったFXや株の自動取引

『ローグ・ワン/スター・ウォーズ・ストーリー』"あのキャラクター"のメイキング

LLM Visualization:大規模言語モデルの可視化

Accord.NET Framework:C#で使える機械学習ライブラリ

データサイエンティストって何だ?

OpenCV 3.3.0-RCでsfmモジュールをビルド

スターウォーズ エピソードVIIの予告編

iPhone欲しいなぁ

トランスフォーマー :リベンジのメイキング (デジタルドメイン)

『PIXARのひみつ展』に行ってきた

ZBrushで仮面ライダー3号を造る 仮面編

CNN Explainer:畳み込みニューラルネットワーク可視化ツール

オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う

Vancouver Film Schoolのデモリール

網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した

ZBrush用トポロジー転送プラグイン『ZWrap Plugin for ZBrush』

Maya には3 種類のシェーダSDKがある?

OpenCVの超解像(SuperResolution)モジュールを試す

ZBrushで仮面ライダー3号を造る 仮面編 Dam Standardブラシでディティールを彫る

OpenAR:OpenCVベースのマーカーARライブラリ

ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る

Zibra Liquids:Unity向け流体シミュレーションプラグイン

今年もSSII

ガメラ生誕50周年

ManuelBastioniLAB:人体モデリングできるBlenderアドオン

FreeMoCap Project:オープンソースのマーカーレスモーションキャプチャ

ニューラルネットワークと深層学習

Google Colaboratoryで遊ぶ準備

Rerun:マルチモーダルデータの可視化アプリとSDK

Unite 2014の動画

ZBrushでリメッシュとディティールの転送

Phongの表現力パネェ 材質別のPhong Shader用パラメータ一覧

WinSCP

WordPress on Google App Engineを1週間運用してみて

ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ分割

コメント