久しぶりにコンピュータビジョン系の話題。
Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓
Kubric
Kubricは、Instance SegmentationマスクやDepthマップ、オプティカルフローなどのリッチなアノテーション付きのセミリアルな動画を作成するためのデータ生成パイプラインです。
※このプロジェクトはまだアルファ段階であり、大幅に変更される可能性があります。
モチベーションと設計
機械学習システムの訓練と評価、特にunsupervised multi-object video understandingにおいてはより良いデータが必要です。既存のシステムは、toy datasetsでは上手く行くものの、現実世界のデータでは失敗してしまいます。複雑さの異なる適切なデータセットをオンデマンドで作成できれば、進歩を大幅に加速できる可能性があります。
Kubricは、主にpybullet(物理シミュレーション用)とBlender(レンダリング用)をベースに構築されていますが、コードはモジュール式に保たれているため、様々なレンダリングバックエンドをサポートできる可能性があります。
Kubricは特に数千台のマシンを使って処理できるスケーラビリティに重点を置いて開発されているらしい。
詳しくはarXivで公開されているKubric: A scalable dataset generatorや、公式ドキュメントを参照。
レンダリングに使われているBlenderについてはもはや説明不要でしょう。
物理シミュレーションに使われているpybulletというのは、Bullet Physics SDKというC++の物理シミュレーションフレームワークのPythonバインディング。強化学習方面ではすでに結構利用されているらしい。
https://zenn.dev/ymd_h/articles/14397e6ae7ea3d
Kubricの公式ドキュメントを読むと、一式揃ったDockerイメージも用意されているようですね。
https://kubric.readthedocs.io/en/latest/source/0_installing.html
ここ数年、機械学習用の画像・動画データをCGで生成する需要に応えるツールが少しずつ増えてきたな。
最近はUnityが公式にUnity Computer Visionというデータセット生成サービスを始めていて、それに使用しているPerception Packageも公開している↓
Perception Package (Unity Computer Vision)
Perceptionパッケージは、コンピュータビジョンの訓練と検証のための大規模なデータセットを生成するためのツールキットを提供します。 現在は、カメラベースのユースケースに焦点を当てており、最終的には他の形式のセンサーや機械学習タスクに拡張される予定です。
ツールと製品の詳細についてはUnity Computer Visionページにアクセスしてください。
関連記事
OpenAR：OpenCVベースのマーカーARライブラリ
OpenCV 3.3.0-RCでsfmモジュールをビルド
『ピクサー展』へ行ってきた
Iridescence：プロトタイピング向け軽量3D可視化ラ...
『スター・ウォーズ フォースの覚醒』のVFXブレイクダウン ...
Subsurface scatteringの動画
Blenderでよく使うaddon
布のモデリング
このブログのデザインに飽きてきた
trimesh：PythonでポリゴンMeshを扱うライブラ...
MVStudio：オープンソースのPhotogrammetr...
UnityでARKit2.0
機械学習のオープンソースソフトウェアフォーラム『mloss(...
Polyscope：3Dデータ操作用GUIライブラリ
Google Earth用の建物を簡単に作れるツール Goo...
映画『ジュラシック・ワールド／炎の王国』のVFXブレイクダウ...
Dlib：C++の機械学習ライブラリ
ZBrushでアヴァン・ガメラを作ってみる 壊れたデータの救...
WordPress on Google App Engine...
Blender 2.81でIntel Open Image ...
OpenCV 3.3.0 contribのsfmモジュールの...
NeRF (Neural Radiance Fields)：...
Unity MonoBehaviourクラスのオーバーライド...
WebGL開発に関する情報が充実してきている
Texturing & Modeling A Pro...
Google Chromecast
Raspberry PiでIoTごっこ
ArUco：OpenCVベースのコンパクトなARライブラリ
オープンソースの顔の動作解析ツールキット『OpenFace』
2012 昨日のクローズアップ現代を見た
DCGAN (Deep Convolutional GAN)...
立体視を試してみた
Swark：コードからアーキテクチャ図を作成できるVSCod...
Human Generator：Blenderの人体生成アド...
Unityで学ぶC#
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
ZBrushでアヴァン・ガメラを作ってみる おでこ(？)のバ...
ZBrushで仮面ライダー3号を造る 仮面編 PolyGro...
ラクガキの立体化 進捗
ZBrushのZmodelerとDynamic Subdiv...
NVIDIA GeForce RTX 3080を購入
アニゴジ関連情報
コメント