久しぶりにコンピュータビジョン系の話題。
Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓
Kubric
Kubricは、Instance SegmentationマスクやDepthマップ、オプティカルフローなどのリッチなアノテーション付きのセミリアルな動画を作成するためのデータ生成パイプラインです。
※このプロジェクトはまだアルファ段階であり、大幅に変更される可能性があります。
モチベーションと設計
機械学習システムの訓練と評価、特にunsupervised multi-object video understandingにおいてはより良いデータが必要です。既存のシステムは、toy datasetsでは上手く行くものの、現実世界のデータでは失敗してしまいます。複雑さの異なる適切なデータセットをオンデマンドで作成できれば、進歩を大幅に加速できる可能性があります。
Kubricは、主にpybullet(物理シミュレーション用)とBlender(レンダリング用)をベースに構築されていますが、コードはモジュール式に保たれているため、様々なレンダリングバックエンドをサポートできる可能性があります。
Kubricは特に数千台のマシンを使って処理できるスケーラビリティに重点を置いて開発されているらしい。
詳しくはarXivで公開されているKubric: A scalable dataset generatorや、公式ドキュメントを参照。
レンダリングに使われているBlenderについてはもはや説明不要でしょう。
物理シミュレーションに使われているpybulletというのは、Bullet Physics SDKというC++の物理シミュレーションフレームワークのPythonバインディング。強化学習方面ではすでに結構利用されているらしい。
https://zenn.dev/ymd_h/articles/14397e6ae7ea3d
Kubricの公式ドキュメントを読むと、一式揃ったDockerイメージも用意されているようですね。
https://kubric.readthedocs.io/en/latest/source/0_installing.html
ここ数年、機械学習用の画像・動画データをCGで生成する需要に応えるツールが少しずつ増えてきたな。
最近はUnityが公式にUnity Computer Visionというデータセット生成サービスを始めていて、それに使用しているPerception Packageも公開している↓
Perception Package (Unity Computer Vision)
Perceptionパッケージは、コンピュータビジョンの訓練と検証のための大規模なデータセットを生成するためのツールキットを提供します。 現在は、カメラベースのユースケースに焦点を当てており、最終的には他の形式のセンサーや機械学習タスクに拡張される予定です。
ツールと製品の詳細についてはUnity Computer Visionページにアクセスしてください。
関連記事
布地のシワの法則性
Qlone：スマホのカメラで3Dスキャンできるアプリ
OpenCV
UnityでOpenCVを使うには？
『シン・ゴジラ』のコンセプトアニメーションのメイキング動画が...
画像生成AI Stable Diffusionで遊ぶ
トランスフォーマーロストエイジのメイキング
MB-Lab：Blenderの人体モデリングアドオン
BlenderのGeometry Nodeで遊ぶ
書籍『開田裕治 怪獣イラストテクニック』
書籍『ゼロから作るDeep Learning』で自分なりに学...
Super Resolution：OpenCVの超解像処理モ...
Photogrammetry (写真測量法)
スクレイピング
ZBrush 4R8 リリース！
ZBrush 2018での作業環境を整える
OpenCVでiPhone6sのカメラをキャリブレーションす...
iPhone欲しいなぁ
なんかすごいサイト
無料で使える人体3DCG作成ツール
オープンソースの顔認識フレームワーク『OpenBR』
UnityでLight Shaftを表現する
第25回コンピュータビジョン勉強会＠関東に行って来た
ZBrushでアヴァン・ガメラを作ってみる 歯を配置
Blenderでよく使うaddon
ZBrush用トポロジー転送プラグイン『ZWrap Plug...
Point Cloud Libraryに動画フォーマットが追...
ラクガキの立体化 反省
Python for Unity：UnityEditorでP...
SONYの自律型エンタテインメントロボット『aibo』
Runway ML：クリエイターのための機械学習ツール
Mayaのプラグイン開発
ZBrushでアヴァン・ガメラを作ってみる モールドの彫り込...
OpenCVのfindEssentialMat関数を使ったサ...
Windows10でPyTorchをインストールしてVSCo...
科学技術計算向けスクリプト言語『Julia』
レンダラ制作はOpenGL とか DirectX を使わなく...
フリーで使えるスカルプト系モデリングツール『Sculptri...
Maya LTのQuick Rigを試す
Deep Learningとその他の機械学習手法の性能比較
mentalrayのSubsurface Scatterin...
チャットツール用bot開発フレームワーク『Hubot』
コメント