3Dディープラーニング用のPyTorchライブラリ『Kaolin』

NVIDIAから3D系のディープラーニング研究のためのPyTorchライブラリが公開された。
まだベータ版だから、これからどんどん充実していくんでしょうね。読み方はカオリンで良いのかな?(なんかかわいい)

Kaolin



Kaolinは3Dディープラーニングの研究を加速させるためのPyTorchライブラリです。Kaolinは、ディープラーニングシステムで使用できる微分可能な3Dモジュールを効率的な実装で提供します。
Kaolinには一般的な公開3Dデータセットの読み込みと前処理を行ったり、メッシュ、点群、符号付き距離関数、ボクセルグリッドを操作するネイティブ関数があり、無駄な定型コードの記述を最小限に抑えています。Kaolinは、レンダリング、ライティング、シェーディング、view warpingなどの微分可能なグラフィックスモジュールをパッケージ化しています。また、Kaolinは一連の損失関数と評価指標をサポートすることでシームレスな評価を可能とし、3Dの結果をレンダリングする可視化機能も提供します。

最も重視しているのは、最先端の様々な3Dディープラーニングアーキテクチャを集めた包括的なModel Zooをキュレートし、将来の研究活動の出発点に立つ手助けとなることです。

ドキュメントのページがまだ作成されていないのか404だけど。

NVIDIAの公式ブログ↓
https://news.developer.nvidia.com/kaolin-library-research-3d/
https://blogs.nvidia.co.jp/2019/11/27/kaolin-library-research-3d/

Kaolinって名前は造形用粘土のKaolinite(カオリナイト)が由来なのね。


スポンサーリンク


ベータ版の時点で何ができるのか。


スポンサーリンク

機能



現在、(ベータ版)リリースには、メッシュ、ボクセル、符号付き距離関数、点群での3Dディープラーニングのための処理関数が含まれています。
一般的なデータセット(例:ShapeNet, ModelNet, SHRECなど)の読み込みもすぐにサポートされます。また、いくつかの3D変換および変換操作を実装します。

Kaolinは以下のような3Dタスクをサポートします:

  • Differentiable rendering (see Neural Mesh Renderer, its PyTorch port, Soft Rasterizer, Differentiable Interpolation-based Renderer, and a modular and extensible abstract DifferentiableRenderer specification).
  • Single-image based mesh reconstruction (Pixel2Mesh, GEOMetrics, OccupancyNets, and more…)
  • Pointcloud classification and segmentation (PointNet, PoinNet++, DGCNN, …)
  • Mesh classification and segmentation (MeshCNN, GCN)
  • 3D superresolution on voxel grids (ODM, VoxelUNet, and more…)
  • Basic graphics utilities (lighting, shading, etc.)

Model Zoo

Kaolinは、一般的な3Dディープラーニングアーキテクチャのリファレンス実装を含む大規模なModel Zooをキュレーションします。詳しくはこちらでご確認ください。

あ、Siggraph 2019で発表されて話題になったMeshCNNのモデルも含まれてるんですね。

MeshCNN: A Network with an Edge [SIGGRAPH 2019]

MeshCNNのコードもPyTorchで実装されてるからまあ、すでに割と手軽ではあるんだけど。
https://github.com/ranahanocka/MeshCNN/


スポンサーリンク

関連記事

Raspberry PiのGPIOを操作するPythonライブラリ『RPi.GPIO』の使い方
Maya API Reference
PythonのHTML・XMLパーサー『BeautifulSoup』
白組による『シン・ゴジラ』CGメイキング映像が公開された!
オープンソースの汎用レンダラ『Mitsuba 2』
AfterEffectsプラグイン開発
Seleniumを使ったFXや株の自動取引
なんかすごいサイト
デザインのリファイン再び
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
OpenMayaRender
After Effects全エフェクトの解説(6.5)
Photogrammetry (写真測量法)
ブログのデザイン変えました
無料で使える人体3DCG作成ツール
SIGGRAPH ASIAのマスコット
チャットツール用bot開発フレームワーク『Hubot』
C++始めようと思うんだ
機械学習で遊ぶ
BSDF: (Bidirectional scattering distribution funct...
OpenCVの三角測量関数『cv::triangulatepoints』
RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』
オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』
オープンソースの人体モデリングツール『MakeHuman』のAPI開発プロジェクトがスタート
FCN (Fully Convolutional Network):ディープラーニングによるSema...
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
OpenCVの超解像処理モジュール『Super Resolution』
iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~
映画『ミュータント・タートルズ』を観てきた
プログラムによる景観の自動生成
スクラッチで既存のキャラクターを立体化したい
オープンソースのSfM・MVSツール『COLMAP』
DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
Unityで強化学習できる『Unity ML-Agents』
UnityのGameObjectの向きをScriptで制御する
ZBrushで仮面ライダー3号を造る 仮面編 ClipCurve
GoogleのDeep Learning論文
ZBrushで仮面ライダー3号を造る 仮面編 ZRemesher
CEDEC 3日目
1枚の画像からマテリアルを作成できる無料ツール『Materialize』
『ピクサー展』へ行ってきた
OpenCVベースのマーカーARライブラリ『OpenAR』

コメント