Kaolin:3Dディープラーニング用のPyTorchライブラリ

NVIDIAから3D系のディープラーニング研究のためのPyTorchライブラリが公開された。
まだベータ版だから、これからどんどん充実していくんでしょうね。読み方はカオリンで良いのかな?(なんかかわいい)

Kaolin



Kaolinは3Dディープラーニングの研究を加速させるためのPyTorchライブラリです。Kaolinは、ディープラーニングシステムで使用できる微分可能な3Dモジュールを効率的な実装で提供します。
Kaolinには一般的な公開3Dデータセットの読み込みと前処理を行ったり、メッシュ、点群、符号付き距離関数、ボクセルグリッドを操作するネイティブ関数があり、無駄な定型コードの記述を最小限に抑えています。Kaolinは、レンダリング、ライティング、シェーディング、view warpingなどの微分可能なグラフィックスモジュールをパッケージ化しています。また、Kaolinは一連の損失関数と評価指標をサポートすることでシームレスな評価を可能とし、3Dの結果をレンダリングする可視化機能も提供します。

最も重視しているのは、最先端の様々な3Dディープラーニングアーキテクチャを集めた包括的なModel Zooをキュレートし、将来の研究活動の出発点に立つ手助けとなることです。

ドキュメントのページがまだ作成されていないのか404だけど。

NVIDIAの公式ブログ↓
https://news.developer.nvidia.com/kaolin-library-research-3d/
https://blogs.nvidia.co.jp/2019/11/27/kaolin-library-research-3d/

Kaolinって名前は造形用粘土のKaolinite(カオリナイト)が由来なのね。


スポンサーリンク


ベータ版の時点で何ができるのか。


スポンサーリンク

機能



現在、(ベータ版)リリースには、メッシュ、ボクセル、符号付き距離関数、点群での3Dディープラーニングのための処理関数が含まれています。
一般的なデータセット(例:ShapeNet, ModelNet, SHRECなど)の読み込みもすぐにサポートされます。また、いくつかの3D変換および変換操作を実装します。

Kaolinは以下のような3Dタスクをサポートします:

  • Differentiable rendering (see Neural Mesh Renderer, its PyTorch port, Soft Rasterizer, Differentiable Interpolation-based Renderer, and a modular and extensible abstract DifferentiableRenderer specification).
  • Single-image based mesh reconstruction (Pixel2Mesh, GEOMetrics, OccupancyNets, and more…)
  • Pointcloud classification and segmentation (PointNet, PoinNet++, DGCNN, …)
  • Mesh classification and segmentation (MeshCNN, GCN)
  • 3D superresolution on voxel grids (ODM, VoxelUNet, and more…)
  • Basic graphics utilities (lighting, shading, etc.)

Model Zoo

Kaolinは、一般的な3Dディープラーニングアーキテクチャのリファレンス実装を含む大規模なModel Zooをキュレーションします。詳しくはこちらでご確認ください。

https://note.com/npaka/m/m85457421b99f

TensorFlowを使うならTensorFlow Graphicsがあるけど、PyTorch派ならKaolinだろうか。



あ、Siggraph 2019で発表されて話題になったMeshCNNのモデルもKaolinに含まれてるんですね。



MeshCNNのコードもPyTorchで実装されてるからまあ、すでに割と手軽ではあるんだけど。
https://github.com/ranahanocka/MeshCNN/


スポンサーリンク

関連記事

RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』
Mitsuba 2:オープンソースの物理ベースレンダラ
トランスフォーマー/ロストエイジのメイキング
2012のメイキングまとめ(途中)
iPhoneアプリ開発 Xcode 5のお作法
Blender 2.81でIntel Open Image Denoiseを使う
オープンソースのStructure from Motionツール『Regard3D』
ブログのデザイン変えました
Unreal Engine 5の情報が公開された!
MPC社によるゴジラ(2014)のVFXブレイクダウン
OpenCVで平均顔を作るチュートリアル
Google Chromecast
ZBrushで仮面ライダー3号を造る 仮面編 ClipCurve
Google App Engine上のWordPressでAmazonJSを利用する
html5のcanvasの可能性
Unreal Engineの薄い本
Raspberry Piでセンサーの常時稼働を検討する
BlenderのPython環境にPyTorchをインストールする
ZBrush用トポロジー転送プラグイン『ZWrap Plugin for ZBrush』
BlenderのRigifyでリギング
PGGAN:段階的に解像度を上げて学習を進めるGAN
iPhone 3GSがますます欲しくなる動画
フィーリングに基づくタマムシの質感表現
ZBrushのお勉強
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
第20回 文化庁メディア芸術祭『3DCG表現と特撮の時代』
NICOGRAPHって有名?
マジョーラ
BlenderでPhotogrammetryできるアドオン
Alice Vision:オープンソースのPhotogrammetryフレームワーク
畳み込みニューラルネットワーク (CNN:Convolutional Neural Network)
映画『ミュータント・タートルズ』を観てきた
チャットツール用bot開発フレームワーク『Hubot』
HD画質の無駄遣い その2
GoogleのDeep Learning論文
MLDemos:機械学習について理解するための可視化ツール
GoB:ZBrushとBlenderを連携させるアドオン
Googleが画像解析旅行ガイドアプリのJetpac社を買収
OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
ポリゴン用各種イテレータと関数セット
mentalrayのSubsurface Scattering Shader『misss_fast_...
Deep Learningとその他の機械学習手法の性能比較

コメント