Kaolin:3Dディープラーニング用のPyTorchライブラリ

NVIDIAから3D系のディープラーニング研究のためのPyTorchライブラリが公開された。
まだベータ版だから、これからどんどん充実していくんでしょうね。読み方はカオリンで良いのかな?(なんかかわいい)

Kaolin



Kaolinは3Dディープラーニングの研究を加速させるためのPyTorchライブラリです。Kaolinは、ディープラーニングシステムで使用できる微分可能な3Dモジュールを効率的な実装で提供します。
Kaolinには一般的な公開3Dデータセットの読み込みと前処理を行ったり、メッシュ、点群、符号付き距離関数、ボクセルグリッドを操作するネイティブ関数があり、無駄な定型コードの記述を最小限に抑えています。Kaolinは、レンダリング、ライティング、シェーディング、view warpingなどの微分可能なグラフィックスモジュールをパッケージ化しています。また、Kaolinは一連の損失関数と評価指標をサポートすることでシームレスな評価を可能とし、3Dの結果をレンダリングする可視化機能も提供します。

最も重視しているのは、最先端の様々な3Dディープラーニングアーキテクチャを集めた包括的なModel Zooをキュレートし、将来の研究活動の出発点に立つ手助けとなることです。

ドキュメントのページがまだ作成されていないのか404だけど。

NVIDIAの公式ブログ↓
https://news.developer.nvidia.com/kaolin-library-research-3d/
https://blogs.nvidia.co.jp/2019/11/27/kaolin-library-research-3d/

Kaolinって名前は造形用粘土のKaolinite(カオリナイト)が由来なのね。


スポンサーリンク


ベータ版の時点で何ができるのか。


スポンサーリンク

機能



現在、(ベータ版)リリースには、メッシュ、ボクセル、符号付き距離関数、点群での3Dディープラーニングのための処理関数が含まれています。
一般的なデータセット(例:ShapeNet, ModelNet, SHRECなど)の読み込みもすぐにサポートされます。また、いくつかの3D変換および変換操作を実装します。

Kaolinは以下のような3Dタスクをサポートします:

  • Differentiable rendering (see Neural Mesh Renderer, its PyTorch port, Soft Rasterizer, Differentiable Interpolation-based Renderer, and a modular and extensible abstract DifferentiableRenderer specification).
  • Single-image based mesh reconstruction (Pixel2Mesh, GEOMetrics, OccupancyNets, and more…)
  • Pointcloud classification and segmentation (PointNet, PoinNet++, DGCNN, …)
  • Mesh classification and segmentation (MeshCNN, GCN)
  • 3D superresolution on voxel grids (ODM, VoxelUNet, and more…)
  • Basic graphics utilities (lighting, shading, etc.)

Model Zoo

Kaolinは、一般的な3Dディープラーニングアーキテクチャのリファレンス実装を含む大規模なModel Zooをキュレーションします。詳しくはこちらでご確認ください。

https://note.com/npaka/m/m85457421b99f

TensorFlowを使うならTensorFlow Graphicsがあるけど、PyTorch派ならKaolinだろうか。



あ、Siggraph 2019で発表されて話題になったMeshCNNのモデルもKaolinに含まれてるんですね。



MeshCNNのコードもPyTorchで実装されてるからまあ、すでに割と手軽ではあるんだけど。
https://github.com/ranahanocka/MeshCNN/


スポンサーリンク

関連記事

第1回 3D勉強会@関東『SLAMチュートリアル大会』
Blender 2.81でIntel Open Image Denoiseを使う
Kubric:機械学習用アノテーション付き動画生成パイプライン
Math Inspector:科学計算向けビジュアルプログラミングツール
OpenCVの三角測量関数『cv::triangulatepoints』
Unity MonoBehaviourクラスのオーバーライド関数が呼び出される順番
シン・ゴジラのファンアート
OpenCVで顔のランドマークを検出する『Facemark API』
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
フィーリングに基づくタマムシの質感表現
Unityからkonashiをコントロールする
TVML (TV program Making language)
ZBrushトレーニング
白組による『シン・ゴジラ』CGメイキング映像が公開された!
映画『ジュラシック・ワールド』のVFXメイキング
Photogrammetry (写真測量法)
スターウォーズ エピソードVIIの予告編
ZBrushと液晶ペンタブレットでドラゴンをモデリングするチュートリアル動画
参考書
JavaScriptとかWebGLとかCanvasとか
After Effects全エフェクトの解説(6.5)
ZBrushで仮面ライダー3号を造る 仮面編 Clay Polish
BSDF: (Bidirectional scattering distribution funct...
ZBrushでアヴァン・ガメラを作ってみる 首回りの修正・脚の作り込み
Google Earth用の建物を簡単に作れるツール Google Building Maker 公...
仮想関数
ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調整 その2
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
ZBrushでUndo Historyを動画に書き出す
PureRef:リファレンス画像専用ビューア
ヒーローに変身なりきりアーケードゲーム『ナレルンダー』
Model View Controller
CEDEC 3日目
iPhone 3GSがますます欲しくなる動画
今年もSSII
Physically Based Rendering
ZBrushでリメッシュとディティールの転送
SDカードサイズのコンピューター『Intel Edison』
Windows10でPyTorchをインストールしてVSCodeで使う
Unity ARKitプラグインサンプルのチュートリアルを読む
SIGGRAPH ASIA 2009で学生ボランティア募集してるみたい
ZBrushでアヴァン・ガメラを作ってみる 脚のトゲの作り直し

コメント