FreeMoCap Project:オープンソースのマーカーレスモーションキャプチャ

2台以上のWebカメラを使ってマーカーレスの3Dモーションキャプチャを実現するオープンソースソフトウェアを開発するプロジェクト。

The FreeMoCap Project

Free Motion Capture (FreeMoCap)システムは、最先端のマーカーレスモーションキャプチャソフトウェア(OpenPoseDeepLabCutなど)を活用し、3Dキネマティック再構築をワンクリックで実現できる合理的なパイプラインを提供します。

このシステムは任意のカメラハードウェアで動作し、複数の(USB Webカメラなどの)有線カメラでの同期録画だけでなく、別途用意した(GoProなどの)カメラで撮影した後の同期方法も提供します。

FreeMoCap Projectは使いやすさを重視しており、技術的なトレーニングや外部の支援抜きに、14歳の子供でも100ドル未満の予算で研究レベルのモーションキャプチャシステムを再現できることを目標としています。

ソースコードはGitHubにある。

プロジェクト名に”Free”と付いていてライセンスはAGPL3となっているけど、OpenPoseに依存しているらしいので、商用利用する場合はOpenPoseのライセンス元に問い合わせる必要がありそう。(OpenPoseはアカデミックと非商用利用についてのみ無料)
それとも、今後はOpenPoseに依存しなくなるということでしょうか。



インストール方法を読む限り、複数カメラの空間合わせにはOpenCVのArUcoを使うみたいだな。



Blender用のプラグインも準備中とのことです↓



複数視点の動画から人間の3D姿勢を推定するアプローチは年々進化しているし、このプロジェクトの実装もまた変わっていくかもな。


関連記事

SIGGRAPH Asia

ガメラ生誕50周年

トランスフォーマーロストエイジのメイキング

C++ 標準テンプレートライブラリ (STL)

Mean Stack開発の最初の一歩

Unityで360度ステレオVR動画を作る

ZBrushでアヴァン・ガメラを作ってみる 脚のポーズ調整

Unity ARKitプラグインサンプルのドキュメントを読む

geometry3Sharp:Unity C#で使えるポリゴン操作ライブラリ

Kubric:機械学習用アノテーション付き動画生成パイプライン

ZBrush 2021.6のMesh from Mask機能を使ってみる

Structure from Motion (多視点画像からの3次元形状復元)

Unreal Engine 5の情報が公開された!

MFnDataとMFnAttribute

オープンソースのテクスチャマッピングシステム『Ptex』

SSII2014 チュートリアル講演会の資料

TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

映画『ミュータント・タートルズ』を観てきた

Windows10でPyTorchをインストールしてVSCodeで使う

機械学習に役立つPythonライブラリ一覧

2012のメイキングまとめ(途中)

ラクガキの立体化 進捗

WordPressのサーバ引っ越し方法を考える

ZBrushで仮面ライダー3号を造る 仮面編 リファレンス画像の表示

ZBrushで仮面ライダーBLACK SUNを作る 頭部~バストの概形

MRenderUtil::raytrace

PythonのHTML・XMLパーサー『BeautifulSoup』

iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』

ZBrushでゴジラ2001を作ってみる 頭の概形作り

Live CV:インタラクティブにComputer Visionコーディングができるツール

Photoshopで作る怪獣特撮チュートリアル

ZBrushで仮面ライダー3号を造る 仮面編 ClipCurve

PyTorch3D:3Dコンピュータービジョンライブラリ

iPhoneで3D写真が撮れるアプリ『seene』

書籍『仕事ではじめる機械学習』を読みました

Fast R-CNN:ディープラーニングによる一般物体検出手法

3DCG Meetup #4に行ってきた

UnityでTweenアニメーションを実装できる3種類の無料Asset

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

Javaで作られたオープンソースの3DCGレンダラ『Sunflow』

CEDEC 3日目

ZBrushの練習 手のモデリング

コメント