Kaolin:3Dディープラーニング用のPyTorchライブラリ

NVIDIAから3D系のディープラーニング研究のためのPyTorchライブラリが公開された。
まだベータ版だから、これからどんどん充実していくんでしょうね。読み方はカオリンで良いのかな?(なんかかわいい)

Kaolin



Kaolinは3Dディープラーニングの研究を加速させるためのPyTorchライブラリです。Kaolinは、ディープラーニングシステムで使用できる微分可能な3Dモジュールを効率的な実装で提供します。
Kaolinには一般的な公開3Dデータセットの読み込みと前処理を行ったり、メッシュ、点群、符号付き距離関数、ボクセルグリッドを操作するネイティブ関数があり、無駄な定型コードの記述を最小限に抑えています。Kaolinは、レンダリング、ライティング、シェーディング、view warpingなどの微分可能なグラフィックスモジュールをパッケージ化しています。また、Kaolinは一連の損失関数と評価指標をサポートすることでシームレスな評価を可能とし、3Dの結果をレンダリングする可視化機能も提供します。

最も重視しているのは、最先端の様々な3Dディープラーニングアーキテクチャを集めた包括的なModel Zooをキュレートし、将来の研究活動の出発点に立つ手助けとなることです。

ドキュメントのページがまだ作成されていないのか404だけど。

NVIDIAの公式ブログ↓
https://news.developer.nvidia.com/kaolin-library-research-3d/
https://blogs.nvidia.co.jp/2019/11/27/kaolin-library-research-3d/

Kaolinって名前は造形用粘土のKaolinite(カオリナイト)が由来なのね。


スポンサーリンク


ベータ版の時点で何ができるのか。


スポンサーリンク

機能



現在、(ベータ版)リリースには、メッシュ、ボクセル、符号付き距離関数、点群での3Dディープラーニングのための処理関数が含まれています。
一般的なデータセット(例:ShapeNet, ModelNet, SHRECなど)の読み込みもすぐにサポートされます。また、いくつかの3D変換および変換操作を実装します。

Kaolinは以下のような3Dタスクをサポートします:

  • Differentiable rendering (see Neural Mesh Renderer, its PyTorch port, Soft Rasterizer, Differentiable Interpolation-based Renderer, and a modular and extensible abstract DifferentiableRenderer specification).
  • Single-image based mesh reconstruction (Pixel2Mesh, GEOMetrics, OccupancyNets, and more…)
  • Pointcloud classification and segmentation (PointNet, PoinNet++, DGCNN, …)
  • Mesh classification and segmentation (MeshCNN, GCN)
  • 3D superresolution on voxel grids (ODM, VoxelUNet, and more…)
  • Basic graphics utilities (lighting, shading, etc.)

Model Zoo

Kaolinは、一般的な3Dディープラーニングアーキテクチャのリファレンス実装を含む大規模なModel Zooをキュレーションします。詳しくはこちらでご確認ください。

https://note.com/npaka/m/m85457421b99f

TensorFlowを使うならTensorFlow Graphicsがあるけど、PyTorch派ならKaolinだろうか。



あ、Siggraph 2019で発表されて話題になったMeshCNNのモデルもKaolinに含まれてるんですね。

MeshCNN: A Network with an Edge [SIGGRAPH 2019]

MeshCNNのコードもPyTorchで実装されてるからまあ、すでに割と手軽ではあるんだけど。
https://github.com/ranahanocka/MeshCNN/


スポンサーリンク

関連記事

組み込み向けのWindows OS 『Windows Embedded』
Open Shading Language (OSL)
BlenderのRigifyでリギング
Blenderの人体モデリングアドオン『MB-Lab』
ラクガキの立体化 1年半ぶりの続き
Google App Engine上のWordPressでAmazonJSを利用する
写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』
ZBrush 4R7
ZBrushのキャンバスにリファレンス画像を配置する
GeForce RTX 30シリーズ発表
ZBrush 4R8 リリース!
顔モデリングのチュートリアル
Blender 2.81でIntel Open Image Denoiseを使う
ZBrushで仮面ライダー3号を造る 仮面編 PolyGroup作成に再挑戦
OpenCV 3.3.0-RCでsfmモジュールをビルド
AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う
Texturing & Modeling A Procedural ApproachをGoo...
Raspberry Pi 2を買いました
Subsurface scatteringの動画
OANDAのfxTrade API
BlenderでPhotogrammetryできるアドオン
Mechanizeで要認証Webサイトをスクレイピング
定数
SONYの自律型エンタテインメントロボット『aibo』
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
ゴジラ(2014)のディティール制作の舞台裏
機械学習について理解するための可視化ツール『MLDemos』
UnityプロジェクトをGitHubで管理する
Raytracing Wiki
シン・ゴジラのファンアート
ZBrushのZScript入門
ZBrushのお勉強
Oculus Goを購入!
オープンソースの3Dメッシュデータライブラリ『OpenMesh』
JavaScriptとかWebGLとかCanvasとか
ZBrushでアヴァン・ガメラを作ってみる 頬の突起を作り始める
ラクガキの立体化 進捗
フィーリングに基づくタマムシの質感表現
Unityで学ぶC#
ZBrushからBlenderへモデルをインポート
スクラッチで既存のキャラクターを立体化したい
3D復元技術の情報リンク集

コメント