Kubric:機械学習用アノテーション付き動画生成パイプライン

久しぶりにコンピュータビジョン系の話題。

Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓

Kubric



Kubricは、Instance SegmentationマスクやDepthマップ、オプティカルフローなどのリッチなアノテーション付きのセミリアルな動画を作成するためのデータ生成パイプラインです。

 ※このプロジェクトはまだアルファ段階であり、大幅に変更される可能性があります。

モチベーションと設計

機械学習システムの訓練と評価、特にunsupervised multi-object video understandingにおいてはより良いデータが必要です。既存のシステムは、toy datasetsでは上手く行くものの、現実世界のデータでは失敗してしまいます。複雑さの異なる適切なデータセットをオンデマンドで作成できれば、進歩を大幅に加速できる可能性があります。
Kubricは、主にpybullet(物理シミュレーション用)とBlender(レンダリング用)をベースに構築されていますが、コードはモジュール式に保たれているため、様々なレンダリングバックエンドをサポートできる可能性があります。

Kubricは特に数千台のマシンを使って処理できるスケーラビリティに重点を置いて開発されているらしい。
詳しくはarXivで公開されているKubric: A scalable dataset generatorや、公式ドキュメントを参照。



レンダリングに使われているBlenderについてはもはや説明不要でしょう。
物理シミュレーションに使われているpybulletというのは、Bullet Physics SDKというC++の物理シミュレーションフレームワークのPythonバインディング。強化学習方面ではすでに結構利用されているらしい。
https://zenn.dev/ymd_h/articles/14397e6ae7ea3d

Kubricの公式ドキュメントを読むと、一式揃ったDockerイメージも用意されているようですね。
https://kubric.readthedocs.io/en/latest/source/0_installing.html

ここ数年、機械学習用の画像・動画データをCGで生成する需要に応えるツールが少しずつ増えてきたな。


BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
機械学習用の画像データをCGで生成するのもData Augmentation(データ拡張)の範疇でしょうか。物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、C...


最近はUnityが公式にUnity Computer Visionというデータセット生成サービスを始めていて、それに使用しているPerception Packageも公開している↓

Perception Package (Unity Computer Vision)



Perceptionパッケージは、コンピュータビジョンの訓練と検証のための大規模なデータセットを生成するためのツールキットを提供します。 現在は、カメラベースのユースケースに焦点を当てており、最終的には他の形式のセンサーや機械学習タスクに拡張される予定です。

ツールと製品の詳細についてはUnity Computer Visionページにアクセスしてください。

https://blog.unity.com/ja/technology/supercharge-your-computer-vision-models-with-synthetic-datasets-built-by-unity

関連記事

RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』

SONYの自律型エンタテインメントロボット『aibo』

生物の骨格

CGWORLD CHANNEL 第21回ニコ生配信は『シン・ゴジラ』メイキングスペシャル!

Geogram:C++の3D幾何アルゴリズムライブラリ

手を動かしながら学ぶデータマイニング

pythonもかじってみようかと

Unityをレンダラとして活用する

Shader.jp:リアルタイム3DCG技術をあつかうサイト

オープンソースのテクスチャマッピングシステム『Ptex』

チャットツール用bot開発フレームワーク『Hubot』

Unreal Engine 5の情報が公開された!

ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ分割

Polyscope:3Dデータ操作用GUIライブラリ

ZBrushでアヴァン・ガメラを作ってみる 口のバランス調整

オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...

ZBrushで仮面ライダー3号を造る 仮面編 リファレンス画像の表示

AR (Augmented Reality)とDR (Diminished Reality)

HD画質の無駄遣い その2

ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...

PolyPaint

openMVGをWindows10 Visual Studio 2015環境でビルドする

IronPythonを使ってUnity上でPythonのコードを実行する

映画『ゴジラ-1.0』 メイキング情報まとめ

iOSで使えるJetpac社の物体認識SDK『DeepBelief』

MFnDataとMFnAttribute

デザインのリファイン再び

Python for Unity:UnityEditorでPythonを使えるパッケージ

『ゴジラ キング・オブ・モンスターズ』のVFXブレイクダウン

ZBrush キャラクター&クリーチャー

法線マップを用意してCanvas上でShadingするサンプル

ラクガキの立体化 背中の作り込み・手首の移植

SONY製のニューラルネットワークライブラリ『NNabla』

ZBrush4新機能ハイライト 3DCG CAMP 2010

トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ

MVStudio:オープンソースのPhotogrammetryツール

Unreal Engineの薄い本

OpenCVで顔のモーフィングを実装する

PSPNet (Pyramid Scene Parsing Network):ディープラーニングによ...

NVIDIA GeForce RTX 3080を購入

Python2とPython3

Mechanizeで要認証Webサイトをスクレイピング

コメント