Kaolin:3Dディープラーニング用のPyTorchライブラリ

NVIDIAから3D系のディープラーニング研究のためのPyTorchライブラリが公開された。
まだベータ版だから、これからどんどん充実していくんでしょうね。読み方はカオリンで良いのかな?(なんかかわいい)

Kaolin



Kaolinは3Dディープラーニングの研究を加速させるためのPyTorchライブラリです。Kaolinは、ディープラーニングシステムで使用できる微分可能な3Dモジュールを効率的な実装で提供します。
Kaolinには一般的な公開3Dデータセットの読み込みと前処理を行ったり、メッシュ、点群、符号付き距離関数、ボクセルグリッドを操作するネイティブ関数があり、無駄な定型コードの記述を最小限に抑えています。Kaolinは、レンダリング、ライティング、シェーディング、view warpingなどの微分可能なグラフィックスモジュールをパッケージ化しています。また、Kaolinは一連の損失関数と評価指標をサポートすることでシームレスな評価を可能とし、3Dの結果をレンダリングする可視化機能も提供します。

最も重視しているのは、最先端の様々な3Dディープラーニングアーキテクチャを集めた包括的なModel Zooをキュレートし、将来の研究活動の出発点に立つ手助けとなることです。

ドキュメントのページがまだ作成されていないのか404だけど。

NVIDIAの公式ブログ↓
https://news.developer.nvidia.com/kaolin-library-research-3d/
https://blogs.nvidia.co.jp/2019/11/27/kaolin-library-research-3d/

Kaolinって名前は造形用粘土のKaolinite(カオリナイト)が由来なのね。


スポンサーリンク


ベータ版の時点で何ができるのか。


スポンサーリンク

機能



現在、(ベータ版)リリースには、メッシュ、ボクセル、符号付き距離関数、点群での3Dディープラーニングのための処理関数が含まれています。
一般的なデータセット(例:ShapeNet, ModelNet, SHRECなど)の読み込みもすぐにサポートされます。また、いくつかの3D変換および変換操作を実装します。

Kaolinは以下のような3Dタスクをサポートします:

  • Differentiable rendering (see Neural Mesh Renderer, its PyTorch port, Soft Rasterizer, Differentiable Interpolation-based Renderer, and a modular and extensible abstract DifferentiableRenderer specification).
  • Single-image based mesh reconstruction (Pixel2Mesh, GEOMetrics, OccupancyNets, and more…)
  • Pointcloud classification and segmentation (PointNet, PoinNet++, DGCNN, …)
  • Mesh classification and segmentation (MeshCNN, GCN)
  • 3D superresolution on voxel grids (ODM, VoxelUNet, and more…)
  • Basic graphics utilities (lighting, shading, etc.)

Model Zoo

Kaolinは、一般的な3Dディープラーニングアーキテクチャのリファレンス実装を含む大規模なModel Zooをキュレーションします。詳しくはこちらでご確認ください。

https://note.com/npaka/m/m85457421b99f

TensorFlowを使うならTensorFlow Graphicsがあるけど、PyTorch派ならKaolinだろうか。



あ、Siggraph 2019で発表されて話題になったMeshCNNのモデルもKaolinに含まれてるんですね。

MeshCNN: A Network with an Edge [SIGGRAPH 2019]

MeshCNNのコードもPyTorchで実装されてるからまあ、すでに割と手軽ではあるんだけど。
https://github.com/ranahanocka/MeshCNN/


スポンサーリンク

関連記事

写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』
ヒーローに変身なりきりアーケードゲーム『ナレルンダー』
ニューラルネットワークと深層学習
ZBrushでUndo Historyを動画に書き出す
ZBrushで仮面ライダー3号を造る 仮面編 リファレンス画像の表示
イタリアの自動車ブランドFiatとゴジラがコラボしたCMのメイキング
インタラクティブにComputer Visionコーディングができるツール『Live CV』
UnityプロジェクトをGitHubで管理する
人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
ZBrushで仮面ライダー3号を造る ベース編
Point Cloud Libraryに動画フォーマットが追加されるらしい
このブログのデザインに飽きてきた
Facebookの顔認証技術『DeepFace』
Mean Stack開発の最初の一歩
CGのためのディープラーニング
手を動かしながら学ぶデータマイニング
Unityをレンダラとして活用する
Blender 2.81でIntel Open Image Denoiseを使う
COLMAP:オープンソースのSfM・MVSツール
Python2とPython3
MFnMeshクラスのsplit関数
組み込み向けのWindows OS 『Windows Embedded』
ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバランス調整
トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ
PythonでMayaのShapeノードプラグインを作る
ZBrushと液晶ペンタブレットでドラゴンをモデリングするチュートリアル動画
Paul Debevec
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた
ラクガキの立体化 進捗
フルCGのウルトラマン!?
OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...
なんかすごいサイト
デザインのリファイン再び
MFnDataとMFnAttribute
機械学習について最近知った情報
mentalrayのSubsurface Scattering Shader『misss_fast_...
RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』
Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ
書籍『The Art of Mystical Beasts』を購入
書籍『ROSプログラミング』
3DCGのモデルを立体化するサービス
OpenCV

コメント