久しぶりにコンピュータビジョン系の話題。
Google Researchから機械学習用のアノテーション付き動画を生成するためのツールがオープンソースで公開された↓
Kubric
Kubricは、Instance SegmentationマスクやDepthマップ、オプティカルフローなどのリッチなアノテーション付きのセミリアルな動画を作成するためのデータ生成パイプラインです。
※このプロジェクトはまだアルファ段階であり、大幅に変更される可能性があります。
モチベーションと設計
機械学習システムの訓練と評価、特にunsupervised multi-object video understandingにおいてはより良いデータが必要です。既存のシステムは、toy datasetsでは上手く行くものの、現実世界のデータでは失敗してしまいます。複雑さの異なる適切なデータセットをオンデマンドで作成できれば、進歩を大幅に加速できる可能性があります。
Kubricは、主にpybullet(物理シミュレーション用)とBlender(レンダリング用)をベースに構築されていますが、コードはモジュール式に保たれているため、様々なレンダリングバックエンドをサポートできる可能性があります。
Kubricは特に数千台のマシンを使って処理できるスケーラビリティに重点を置いて開発されているらしい。
詳しくはarXivで公開されているKubric: A scalable dataset generatorや、公式ドキュメントを参照。
レンダリングに使われているBlenderについてはもはや説明不要でしょう。
物理シミュレーションに使われているpybulletというのは、Bullet Physics SDKというC++の物理シミュレーションフレームワークのPythonバインディング。強化学習方面ではすでに結構利用されているらしい。
https://zenn.dev/ymd_h/articles/14397e6ae7ea3d
Kubricの公式ドキュメントを読むと、一式揃ったDockerイメージも用意されているようですね。
https://kubric.readthedocs.io/en/latest/source/0_installing.html
ここ数年、機械学習用の画像・動画データをCGで生成する需要に応えるツールが少しずつ増えてきたな。
最近はUnityが公式にUnity Computer Visionというデータセット生成サービスを始めていて、それに使用しているPerception Packageも公開している↓
Perception Package (Unity Computer Vision)
Perceptionパッケージは、コンピュータビジョンの訓練と検証のための大規模なデータセットを生成するためのツールキットを提供します。 現在は、カメラベースのユースケースに焦点を当てており、最終的には他の形式のセンサーや機械学習タスクに拡張される予定です。
ツールと製品の詳細についてはUnity Computer Visionページにアクセスしてください。
関連記事
JavaScriptとかWebGLとかCanvasとか
ラクガキの立体化 目標設定
MeshLab：3Dオブジェクトの確認・変換に便利なフリーウ...
OpenCV 3.1のsfmモジュールを試す
ZBrushCoreのTransposeとGizmo 3D
ZBrushでアヴァン・ガメラを作ってみる 下アゴの付け根を...
マイケル・ベイの動画の感覚
網元AMIで作ったWordpressサイトのインスタンスをt...
ラクガキの立体化 1年半ぶりの続き
OpenCV 3.1とopencv_contribモジュール...
ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調...
実写と実写の合成時の色の馴染ませテクニック
Unity ARKitプラグインサンプルのドキュメントを読む
clearcoat Shader
iOSで使えるJetpac社の物体認識SDK『DeepBel...
ZBrushでアヴァン・ガメラを作ってみる 爪とトゲを追加
MPC社によるゴジラ(2014)のVFXブレイクダウン
書籍『OpenCV 3 プログラミングブック』を購入
オープンソースの人体モデリングツール『MakeHuman』の...
MetaHumanの頭部をBlenderで編集できるアドオン
PythonのHTML・XMLパーサー『BeautifulS...
ZBrushでアヴァン・ガメラを作ってみる 歯を配置
fSpy：1枚の写真からカメラパラメーターを割り出すツール
Leap MotionでMaya上のオブジェクトを操作できる...
Physics Forests：機械学習で流体シミュレーショ...
トランスフォーマーロストエイジのメイキング
BGSLibrary：OpenCVベースの背景差分ライブラリ
このブログのデザインに飽きてきた
科学技術計算向けスクリプト言語『Julia』
書籍『仕事ではじめる機械学習』を読みました
C++の抽象クラス
ドットインストールのWordPress入門レッスン
Maya には3 種類のシェーダSDKがある？
ZBrushでアヴァン・ガメラを作ってみる パーツ分割
Unreal Engine Tokyo MeetUp!へ行っ...
FreeMoCap Project：オープンソースのマーカー...
ポイントクラウドコンソーシアム
手を動かしながら学ぶデータマイニング
Maya API Reference
GAN (Generative Adversarial Ne...
注文してた本が届いた
顔モデリングのチュートリアル
コメント