カーネギーメロン大学が公開している2D画像からの人体骨格推定ライブラリOpenPoseの元の研究である”Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields“が発表されて以降、2D画像・動画からの骨格推定の研究とソースコードの公開が活発な印象。
DensePoseは、骨格ではなく、動画中の人物領域の3DサーフェスのUV座標を推定するという、とても具体的なタスクの研究。面白そうなので論文がarXivに公開されてからすぐに読んだのでした。
ただ、CGに詳しくない人には課題設定がピンと来ないんじゃないかな。
DensePose: Dense Human Pose Estimation In The Wild
Dense human pose estimation(密な人体姿勢推定)は、画像中の人物のRGB画素全てを3Dの人体サーフェスへマッピングすることを目的としています。
- 5万枚のCOCOデータセットの画像に対して人力で2D画像と3Dサーフェスの対応関係をアノテーションした大規模なground-truthデータセット「DensePose-COCO」を提案します。
- Mask-RCNNを改良し、動画の毎秒複数フレームに写るそれぞれの人物領域の各人体パーツのUV座標を密に回帰推定する「DensePose-RCNN」を提案します。
DensePose-COCOデータセットも公開予定だそうです。
https://github.com/arXivTimes/arXivTimes/issues/638
ソースコードがGitHubで公開されましたね↓
https://github.com/facebookresearch/DensePose
Dockerfileもあるので試すのは楽か？
2018年12月 追記：試した方がいます↓
http://whoopsidaisies.hatenablog.com/entry/2018/12/03/193759
これって、顔画像で言うところのFace Alignmentに近い役割ができて、Body Alignmentって言っても良さそう。
画像中から人物表面のUV座標が推定できれば、身体の模様(つまり服装)を比べたり、入れ替えたり、描き替えたりできるんですよね。
著者にFacebook AI Researchの人が2人入ってるけど、やっぱり目指すのは画像からの個人識別なんですかね。
https://research.fb.com/facebook-open-sources-densepose/
https://shiropen.com/seamless/facebook-ai-densepose
論文では、データセットを作るためのアノテーションツールを設計と、アノテーションの質の評価についても載っている。
ちゃんと解きたいタスクに適したデータセットを用意して、タスクに適したネットワークを設計する、ってのが機械学習の良いアプローチなのだろうか。
機械学習でOverfitting(過学習)と呼ばれる現象は、データセットとタスクのギャップと言えるのかもしれない。
2019年追記：最近はRunway MLというツールで手軽にDensePoseを試すことができるぞ↓
関連記事
ラクガキの立体化 目標設定
ポイントクラウドコンソーシアム
組み込み向けのWindows OS 『Windows Emb...
ブログのデザイン変えました
スクラッチで既存のキャラクターを立体化したい
法線マップを用意してCanvas上でShadingするサンプ...
C++始めようと思うんだ
Iterator
BlenderのPython環境にPyTorchをインストー...
1枚の画像からマテリアルを作成できる無料ツール『Materi...
TensorSpace.js：ニューラルネットワークの構造を...
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
Google Earth用の建物を簡単に作れるツール Goo...
SONY製のニューラルネットワークライブラリ『NNabla』
『パシフィック・リム: アップライジング』のVFXブレイクダ...
網元AMIで作ったWordpressサイトのインスタンスをt...
ZBrushで仮面ライダー3号を造る 仮面編 Clay Po...
HTML5・WebGLベースのグラフィックスエンジン『Goo...
OpenCV 3.1のsfmモジュールのビルド再び
Shader.jp：リアルタイム3DCG技術をあつかうサイト
ZBrushでゴジラ2001を作ってみる 身体のSubToo...
『スター・ウォーズ/スカイウォーカーの夜明け』のVFXブレイ...
UnrealCLR：Unreal Engineで.NET C...
Windows10でPyTorchをインストールしてVSCo...
ZBrush 4R7
ドラマ『ファーストクラス』のモーショングラフィックス
DCGAN (Deep Convolutional GAN)...
MeshLab：3Dオブジェクトの確認・変換に便利なフリーウ...
ZBrushでアヴァン・ガメラを作ってみる 腕の作り込み
ZBrushでアヴァン・ガメラを作ってみる
Gource：バージョン管理の履歴を可視化するツール
3Dスキャンしたテクスチャから照明を除去するUnityツール...
MPFB2：Blenderの人体モデリングアドオン
実写と実写の合成時の色の馴染ませテクニック
iPhone・iPod touchで動作する知育ロボット『R...
ZBrushでアヴァン・ガメラを作ってみる 甲羅のバランス調...
3分の動画でプログラミングを学習できるサイト『ドットインスト...
SegNet：ディープラーニングによるSemantic Se...
ジュラシック・パークのメイキング
BlenderProc：Blenderで機械学習用の画像デー...
UnityでShaderの入力パラメータとして行列を渡す
Pythonの自然言語処理ライブラリ『NLTK(Natura...
コメント