久しぶりにコンピュータビジョン系の話題。
Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓
Kubric
Kubricは、Instance SegmentationマスクやDepthマップ、オプティカルフローなどのリッチなアノテーション付きのセミリアルな動画を作成するためのデータ生成パイプラインです。
※このプロジェクトはまだアルファ段階であり、大幅に変更される可能性があります。
モチベーションと設計
機械学習システムの訓練と評価、特にunsupervised multi-object video understandingにおいてはより良いデータが必要です。既存のシステムは、toy datasetsでは上手く行くものの、現実世界のデータでは失敗してしまいます。複雑さの異なる適切なデータセットをオンデマンドで作成できれば、進歩を大幅に加速できる可能性があります。
Kubricは、主にpybullet(物理シミュレーション用)とBlender(レンダリング用)をベースに構築されていますが、コードはモジュール式に保たれているため、様々なレンダリングバックエンドをサポートできる可能性があります。
Kubricは特に数千台のマシンを使って処理できるスケーラビリティに重点を置いて開発されているらしい。
詳しくはarXivで公開されているKubric: A scalable dataset generatorや、公式ドキュメントを参照。
レンダリングに使われているBlenderについてはもはや説明不要でしょう。
物理シミュレーションに使われているpybulletというのは、Bullet Physics SDKというC++の物理シミュレーションフレームワークのPythonバインディング。強化学習方面ではすでに結構利用されているらしい。
https://zenn.dev/ymd_h/articles/14397e6ae7ea3d
Kubricの公式ドキュメントを読むと、一式揃ったDockerイメージも用意されているようですね。
https://kubric.readthedocs.io/en/latest/source/0_installing.html
ここ数年、機械学習用の画像・動画データをCGで生成する需要に応えるツールが少しずつ増えてきたな。
最近はUnityが公式にUnity Computer Visionというデータセット生成サービスを始めていて、それに使用しているPerception Packageも公開している↓
Perception Package (Unity Computer Vision)
Perceptionパッケージは、コンピュータビジョンの訓練と検証のための大規模なデータセットを生成するためのツールキットを提供します。 現在は、カメラベースのユースケースに焦点を当てており、最終的には他の形式のセンサーや機械学習タスクに拡張される予定です。
ツールと製品の詳細についてはUnity Computer Visionページにアクセスしてください。
関連記事
Google XML Sitemap Generatorプラ...
UnityからROSを利用できる『ROS#』
iPhone 3GSがますます欲しくなる動画
MeshLab：3Dオブジェクトの確認・変換に便利なフリーウ...
Mayaのレンダリング アトリビュート
ZBrushでゴジラ2001を作ってみる 側頭部のボリューム...
ZBrushでアマビエを作る その2
LLM Visualization：大規模言語モデルの可視化
FreeMoCap Project：オープンソースのマーカー...
ポリ男からMetaHumanを作る
ラクガキの立体化 進捗
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
組み込み向けのWindows OS 『Windows Emb...
OpenMayaのPhongShaderクラス
ZBrushで仮面ライダー3号を造る 仮面編 Clay Po...
オープンソースのIT資産・ライセンス管理システム『Snipe...
3Dグラフィックスの入門書
Unityで360度ステレオVR動画を作る
トランスフォーマーロストエイジのメイキング
ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身...
Unreal Engine 5の情報が公開された！
白組による『シン・ゴジラ』CGメイキング映像が公開された！
After Effects全エフェクトの解説(6.5)
R-CNN (Regions with CNN featur...
Manim：Pythonで使える数学アニメーションライブラリ
ManuelBastioniLAB：人体モデリングできるBl...
SIGGRAPH ASIA 2009で学生ボランティア募集し...
Physically Based Rendering
VCG Library：C++のポリゴン操作ライブラリ
画像生成AI Stable Diffusionで遊ぶ
チャットツール用bot開発フレームワーク『Hubot』
2D→3D復元技術で使われる用語まとめ
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
3Dモデルを立体視で確認できるVRアプリを作っている
BSDF： (Bidirectional scatterin...
ZBrushCoreのTransposeとGizmo 3D
Ambient Occlusionを解析的に求める
WinSCP
GeoGebra：無料で使える数学アプリ
TVML (TV program Making langua...
Mayaのプラグイン開発
Unity ARKitプラグインサンプルのドキュメントを読む
コメント