NVIDIAから3D系のディープラーニング研究のためのPyTorchライブラリが公開された。
まだベータ版だから、これからどんどん充実していくんでしょうね。読み方はカオリンで良いのかな?(なんかかわいい)
Kaolin
Kaolinは3Dディープラーニングの研究を加速させるためのPyTorchライブラリです。Kaolinは、ディープラーニングシステムで使用できる微分可能な3Dモジュールを効率的な実装で提供します。
Kaolinには一般的な公開3Dデータセットの読み込みと前処理を行ったり、メッシュ、点群、符号付き距離関数、ボクセルグリッドを操作するネイティブ関数があり、無駄な定型コードの記述を最小限に抑えています。Kaolinは、レンダリング、ライティング、シェーディング、view warpingなどの微分可能なグラフィックスモジュールをパッケージ化しています。また、Kaolinは一連の損失関数と評価指標をサポートすることでシームレスな評価を可能とし、3Dの結果をレンダリングする可視化機能も提供します。
最も重視しているのは、最先端の様々な3Dディープラーニングアーキテクチャを集めた包括的なModel Zooをキュレートし、将来の研究活動の出発点に立つ手助けとなることです。
ドキュメントのページがまだ作成されていないのか404だけど。
NVIDIAの公式ブログ↓
https://news.developer.nvidia.com/kaolin-library-research-3d/
https://blogs.nvidia.co.jp/2019/11/27/kaolin-library-research-3d/
Kaolinって名前は造形用粘土のKaolinite(カオリナイト)が由来なのね。
ベータ版の時点で何ができるのか。
機能
現在、(ベータ版)リリースには、メッシュ、ボクセル、符号付き距離関数、点群での3Dディープラーニングのための処理関数が含まれています。
一般的なデータセット(例:ShapeNet, ModelNet, SHRECなど)の読み込みもすぐにサポートされます。また、いくつかの3D変換および変換操作を実装します。
Kaolinは以下のような3Dタスクをサポートします:
- Differentiable rendering (see Neural Mesh Renderer, its PyTorch port, Soft Rasterizer, Differentiable Interpolation-based Renderer, and a modular and extensible abstract DifferentiableRenderer specification).
- Single-image based mesh reconstruction (Pixel2Mesh, GEOMetrics, OccupancyNets, and more…)
- Pointcloud classification and segmentation (PointNet, PoinNet++, DGCNN, …)
- Mesh classification and segmentation (MeshCNN, GCN)
- 3D superresolution on voxel grids (ODM, VoxelUNet, and more…)
- Basic graphics utilities (lighting, shading, etc.)
Model Zoo
Kaolinは、一般的な3Dディープラーニングアーキテクチャのリファレンス実装を含む大規模なModel Zooをキュレーションします。詳しくはこちらでご確認ください。
https://note.com/npaka/m/m85457421b99f
TensorFlowを使うならTensorFlow Graphicsがあるけど、PyTorch派ならKaolinだろうか。
あ、Siggraph 2019で発表されて話題になったMeshCNNのモデルもKaolinに含まれてるんですね。
MeshCNNのコードもPyTorchで実装されてるからまあ、すでに割と手軽ではあるんだけど。
https://github.com/ranahanocka/MeshCNN/
関連記事
Open Shading Language (OSL)
続・ディープラーニングの資料
ZBrushで仮面ライダー3号を造る 仮面編 リファレンス画...
SONYの自律型エンタテインメントロボット『aibo』
映画『ミュータント・タートルズ』を観てきた
WordPressプラグインによるサイトマップの自動生成
CEDEC 3日目
書籍『仕事ではじめる機械学習』を読みました
Zibra Liquids:Unity向け流体シミュレーショ...
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
Stanford Bunny
U-Net:ディープラーニングによるSemantic Seg...
WordPress on Google App Engine...
SIGGRAPH Asia
Netron:機械学習モデルを可視化するツール
Regard3D:オープンソースのStructure fro...
ラクガキの立体化 3Dプリント注文
OpenCVで動画の手ぶれ補正
Pythonの自然言語処理ライブラリ『NLTK(Natura...
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
FreeMoCap Project:オープンソースのマーカー...
ZBrush用トポロジー転送プラグイン『ZWrap Plug...
WebGL開発に関する情報が充実してきている
OpenSfM:PythonのStructure from ...
GoogleのDeep Learning論文
Russian3DScannerのトポロジー転送ツール『Wr...
IronPythonを使ってUnity上でPythonのコー...
UnityのTransformクラスについて調べてみた
OpenCV 3.3.0 contribのsfmモジュールの...
Quartus II
動的なメモリの扱い
Google App Engineのデプロイ失敗
サンプルコードにも間違いはある?
ZBrushでゴジラ2001を作ってみる 目元だけ作り込んで...
BGSLibrary:OpenCVベースの背景差分ライブラリ
3Dモデルを立体視で確認できるVRアプリを作っている
AR (Augmented Reality)とDR (Dim...
libigl:軽量なジオメトリ処理ライブラリ
参考書
OpenMVS:Multi-View Stereoによる3次...
Maya には3 種類のシェーダSDKがある?
Mechanizeで要認証Webサイトをスクレイピング
コメント