Kubric:機械学習用アノテーション付き動画生成パイプライン

久しぶりにコンピュータビジョン系の話題。

Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓

Kubric



Kubricは、Instance SegmentationマスクやDepthマップ、オプティカルフローなどのリッチなアノテーション付きのセミリアルな動画を作成するためのデータ生成パイプラインです。

 ※このプロジェクトはまだアルファ段階であり、大幅に変更される可能性があります。

モチベーションと設計

機械学習システムの訓練と評価、特にunsupervised multi-object video understandingにおいてはより良いデータが必要です。既存のシステムは、toy datasetsでは上手く行くものの、現実世界のデータでは失敗してしまいます。複雑さの異なる適切なデータセットをオンデマンドで作成できれば、進歩を大幅に加速できる可能性があります。
Kubricは、主にpybullet(物理シミュレーション用)とBlender(レンダリング用)をベースに構築されていますが、コードはモジュール式に保たれているため、様々なレンダリングバックエンドをサポートできる可能性があります。


スポンサーリンク

Kubricは特に数千台のマシンを使って処理できるスケーラビリティに重点を置いて開発されているらしい。
詳しくはarXivで公開されているKubric: A scalable dataset generatorや、公式ドキュメントを参照。


スポンサーリンク


レンダリングに使われているBlenderについてはもはや説明不要でしょう。
物理シミュレーションに使われているpybulletというのは、Bullet Physics SDKというC++の物理シミュレーションフレームワークのPythonバインディング。強化学習方面ではすでに結構利用されているらしい。
https://zenn.dev/ymd_h/articles/14397e6ae7ea3d

Kubricの公式ドキュメントを読むと、一式揃ったDockerイメージも用意されているようですね。
https://kubric.readthedocs.io/en/latest/source/0_installing.html

ここ数年、機械学習用の画像・動画データをCGで生成する需要に応えるツールが少しずつ増えてきたな。
UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン
ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。 このUnrealCVはUnrealEngi...

BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
機械学習用の画像データをCGで生成するのもData Augmentationの範疇でしょうか。 物体や風景画像だけでなく、Depthや物体ラベル、Semantic Segmentation用のアノテーション画像も必要となると、CGで生成した...


最近はUnityが公式にUnity Computer Visionというデータセット生成サービスを始めていて、それに使用しているPerception Packageも公開している↓

Perception Package (Unity Computer Vision)



Perceptionパッケージは、コンピュータビジョンの訓練と検証のための大規模なデータセットを生成するためのツールキットを提供します。 現在は、カメラベースのユースケースに焦点を当てており、最終的には他の形式のセンサーや機械学習タスクに拡張される予定です。

ツールと製品の詳細についてはUnity Computer Visionページにアクセスしてください。

https://blog.unity.com/ja/technology/supercharge-your-computer-vision-models-with-synthetic-datasets-built-by-unity


スポンサーリンク

関連記事

Google Earth用の建物を簡単に作れるツール Google Building Maker 公...
Windows10でPyTorchをインストールしてVSCodeで使う
adskShaderSDK
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
ベイズ推定とグラフィカルモデル
2012のメイキングまとめ(途中)
オープンソースの顔認識フレームワーク『OpenBR』
Geogram:C++の3D幾何アルゴリズムライブラリ
ZBrushで基本となるブラシ
ZBrushでゴジラ2001を作ってみる 身体のバランスを探る
PyTorch3D:3Dコンピュータービジョンライブラリ
ラクガキの立体化 反省
UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン
ZBrushトレーニング
BlenderのPython環境にPyTorchをインストールする
GAN (Generative Adversarial Networks):敵対的生成ネットワーク
オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』
UnityユーザーがUnreal Engineの使い方を学ぶには?
第20回 文化庁メディア芸術祭『3DCG表現と特撮の時代』
手を動かしながら学ぶデータマイニング
Physics Forests:機械学習で流体シミュレーションを近似する
UnityのGameObjectの向きをScriptで制御する
動的なメモリの扱い
ラクガキの立体化 モールドの追加
3DCG Meetup #4に行ってきた
ZBrushで仮面ライダー3号を造る 仮面編 DynaMesh
BlenderでPhotogrammetryできるアドオン
ZBrushで仮面ライダー3号を造る 仮面編 ZRemesher
Unityで学ぶC#
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップデートでついにフル3Dモデルが撮影できる...
ZBrushでアヴァン・ガメラを作ってみる 下アゴと頭部を作り込む
『パシフィック・リム: アップライジング』のVFXブレイクダウン まとめ
ブラウザ操作自動化ツール『Selenium』を試す
ZBrushでアヴァン・ガメラを作ってみる
統計的な顔モデル
PureRef:リファレンス画像専用ビューア
ManuelBastioniLAB:人体モデリングできるBlenderアドオン
画像生成AI Stable Diffusionで遊ぶ
写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』
『ローグ・ワン/スター・ウォーズ・ストーリー』"あのキャラクター"のメイキング
WinSCP

コメント