久しぶりにコンピュータビジョン系の話題。
Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓
Kubric
Kubricは、Instance SegmentationマスクやDepthマップ、オプティカルフローなどのリッチなアノテーション付きのセミリアルな動画を作成するためのデータ生成パイプラインです。
※このプロジェクトはまだアルファ段階であり、大幅に変更される可能性があります。
モチベーションと設計
機械学習システムの訓練と評価、特にunsupervised multi-object video understandingにおいてはより良いデータが必要です。既存のシステムは、toy datasetsでは上手く行くものの、現実世界のデータでは失敗してしまいます。複雑さの異なる適切なデータセットをオンデマンドで作成できれば、進歩を大幅に加速できる可能性があります。
Kubricは、主にpybullet(物理シミュレーション用)とBlender(レンダリング用)をベースに構築されていますが、コードはモジュール式に保たれているため、様々なレンダリングバックエンドをサポートできる可能性があります。
Kubricは特に数千台のマシンを使って処理できるスケーラビリティに重点を置いて開発されているらしい。
詳しくはarXivで公開されているKubric: A scalable dataset generatorや、公式ドキュメントを参照。
レンダリングに使われているBlenderについてはもはや説明不要でしょう。
物理シミュレーションに使われているpybulletというのは、Bullet Physics SDKというC++の物理シミュレーションフレームワークのPythonバインディング。強化学習方面ではすでに結構利用されているらしい。
https://zenn.dev/ymd_h/articles/14397e6ae7ea3d
Kubricの公式ドキュメントを読むと、一式揃ったDockerイメージも用意されているようですね。
https://kubric.readthedocs.io/en/latest/source/0_installing.html
ここ数年、機械学習用の画像・動画データをCGで生成する需要に応えるツールが少しずつ増えてきたな。
最近はUnityが公式にUnity Computer Visionというデータセット生成サービスを始めていて、それに使用しているPerception Packageも公開している↓
Perception Package (Unity Computer Vision)
Perceptionパッケージは、コンピュータビジョンの訓練と検証のための大規模なデータセットを生成するためのツールキットを提供します。 現在は、カメラベースのユースケースに焦点を当てており、最終的には他の形式のセンサーや機械学習タスクに拡張される予定です。
ツールと製品の詳細についてはUnity Computer Visionページにアクセスしてください。
関連記事
NVIDIA GeForce RTX 3080を購入
Netron：機械学習モデルを可視化するツール
ニンテンドー3DSのGPU PICA200
OpenCVのfindEssentialMat関数を使ったサ...
Raspberry Piでセンサーの常時稼働を検討する
書籍『メイキング・オブ・ピクサー 創造力をつくった人々』を読...
映画『ゴジラ-1.0』 メイキング情報まとめ
BlenderでPhotogrammetryできるアドオン
ZBrushでアヴァン・ガメラを作ってみる モールドの彫り込...
『スター・ウォーズ フォースの覚醒』のVFXブレイクダウン ...
PeopleSansPeople：機械学習用の人物データをU...
アニゴジ関連情報
Kinect for Windows v2の日本価格決定
GAN (Generative Adversarial Ne...
WordPressのサーバ引っ越し方法を考える
Math Inspector：科学計算向けビジュアルプログラ...
Mayaのポリゴン分割ツールの進化
IronPythonを使ってUnity上でPythonのコー...
MythTV：Linuxでテレビの視聴・録画ができるオープン...
MPC社によるゴジラ(2014)のVFXブレイクダウン
タマムシっぽい質感
LLM Visualization：大規模言語モデルの可視化
YOLO (You Only Look Once)：ディープ...
BlenderProc：Blenderで機械学習用の画像デー...
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
Google製オープンソース機械学習ライブラリ『Tensor...
ゴジラ(2014)のディティール制作の舞台裏
SDカードサイズのコンピューター『Intel Edison』
ZBrushでアヴァン・ガメラを作ってみる 甲羅の修正・脚の...
参考になりそうなサイト
第20回 文化庁メディア芸術祭『3DCG表現と特撮の時代』
機械学習について最近知った情報
ZBrushのUndo Historyをカメラ固定で動画化す...
ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを...
UnityプロジェクトをGitHubで管理する
C++の抽象クラス
Alice Vision：オープンソースのPhotogram...
リアルタイム レイトレーシングAPI『DirectX Ray...
ブログのデザイン変えました
MB-Lab：Blenderの人体モデリングアドオン
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
pythonの機械学習ライブラリ『scikit-learn』
コメント