Kubric:機械学習用アノテーション付き動画生成パイプライン

久しぶりにコンピュータビジョン系の話題。

Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓

Kubric



Kubricは、Instance SegmentationマスクやDepthマップ、オプティカルフローなどのリッチなアノテーション付きのセミリアルな動画を作成するためのデータ生成パイプラインです。

 ※このプロジェクトはまだアルファ段階であり、大幅に変更される可能性があります。

モチベーションと設計

機械学習システムの訓練と評価、特にunsupervised multi-object video understandingにおいてはより良いデータが必要です。既存のシステムは、toy datasetsでは上手く行くものの、現実世界のデータでは失敗してしまいます。複雑さの異なる適切なデータセットをオンデマンドで作成できれば、進歩を大幅に加速できる可能性があります。
Kubricは、主にpybullet(物理シミュレーション用)とBlender(レンダリング用)をベースに構築されていますが、コードはモジュール式に保たれているため、様々なレンダリングバックエンドをサポートできる可能性があります。


スポンサーリンク

Kubricは特に数千台のマシンを使って処理できるスケーラビリティに重点を置いて開発されているらしい。
詳しくはarXivで公開されているKubric: A scalable dataset generatorや、公式ドキュメントを参照。


スポンサーリンク


レンダリングに使われているBlenderについてはもはや説明不要でしょう。
物理シミュレーションに使われているpybulletというのは、Bullet Physics SDKというC++の物理シミュレーションフレームワークのPythonバインディング。強化学習方面ではすでに結構利用されているらしい。
https://zenn.dev/ymd_h/articles/14397e6ae7ea3d

Kubricの公式ドキュメントを読むと、一式揃ったDockerイメージも用意されているようですね。
https://kubric.readthedocs.io/en/latest/source/0_installing.html

ここ数年、機械学習用の画像・動画データをCGで生成する需要に応えるツールが少しずつ増えてきたな。
UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン
ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。このUnrealCVはUnrealEn...

BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
機械学習用の画像データをCGで生成するのもData Augmentationの範疇でしょうか。物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した...


最近はUnityが公式にUnity Computer Visionというデータセット生成サービスを始めていて、それに使用しているPerception Packageも公開している↓

Perception Package (Unity Computer Vision)



Perceptionパッケージは、コンピュータビジョンの訓練と検証のための大規模なデータセットを生成するためのツールキットを提供します。 現在は、カメラベースのユースケースに焦点を当てており、最終的には他の形式のセンサーや機械学習タスクに拡張される予定です。

ツールと製品の詳細についてはUnity Computer Visionページにアクセスしてください。

https://blog.unity.com/ja/technology/supercharge-your-computer-vision-models-with-synthetic-datasets-built-by-unity


スポンサーリンク

関連記事

ディープラーニング
ZBrush 4R8 リリース!
PolyPaint
SSII 2014 デモンストレーションセッションのダイジェスト動画
Mitsuba 3:オープンソースの研究向けレンダラ
Transformers ”Reference & Bulid” Siggraph 2007
Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された
OpenMVSのサンプルを動かしてみる
fSpy:1枚の写真からカメラパラメーターを割り出すツール
ZBrushで仮面ライダー3号を造る ベース編
デザインのリファイン再び
CreativeCOW.net
Unityで学ぶC#
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
ZBrush 4R7
Maya LTのQuick Rigを試す
オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』
AmazonEC2のインスタンスをt1.microからt2.microへ移行する
ZBrushの練習 手のモデリング
ZBrushで仮面ライダー3号を造る 仮面編 ZRemesher
UnityのTransformクラスについて調べてみた
Mechanizeで要認証Webサイトをスクレイピング
HerokuでMEAN stack
機械学習での「回帰」とは?
Unreal Engine Tokyo MeetUp!へ行ってきた
ZBrushでゴジラ2001を作ってみる 頭の概形作り
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
Deep Fluids:流体シミュレーションをディープラーニングで近似する
PythonでBlenderのAdd-on開発
Phongの表現力パネェ 材質別のPhong Shader用パラメータ一覧
世界一下品なクマと世界一紳士なクマ
OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる
Maya 2015から標準搭載されたMILA
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~
『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイクダウン まとめ
ファンの力
1枚の画像からマテリアルを作成できる無料ツール『Materialize』
NumSharp:C#で使えるNumPyライクな数値計算ライブラリ
フォトンの放射から格納までを可視化した動画
ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを作り込む
続・ディープラーニングの資料

コメント