DensePose:画像中の人物表面のUV座標を推定する

カーネギーメロン大学が公開している2D画像からの人体骨格推定ライブラリOpenPoseの元の研究である”Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields“が発表されて以降、2D画像・動画からの骨格推定の研究とソースコードの公開が活発な印象。

DensePoseは、骨格ではなく、動画中の人物領域の3DサーフェスのUV座標を推定するという、とても具体的なタスクの研究。面白そうなので論文がarXivに公開されてからすぐに読んだのでした。
ただ、CGに詳しくない人には課題設定がピンと来ないんじゃないかな。

DensePose: Dense Human Pose Estimation In The Wild


Dense human pose estimation(密な人体姿勢推定)は、画像中の人物のRGB画素全てを3Dの人体サーフェスへマッピングすることを目的としています。

  • 5万枚のCOCOデータセットの画像に対して人力で2D画像と3Dサーフェスの対応関係をアノテーションした大規模なground-truthデータセット「DensePose-COCO」を提案します。
  • Mask-RCNNを改良し、動画の毎秒複数フレームに写るそれぞれの人物領域の各人体パーツのUV座標を密に回帰推定する「DensePose-RCNN」を提案します。

DensePose-COCOデータセットも公開予定だそうです。
https://github.com/arXivTimes/arXivTimes/issues/638



ソースコードがGitHubで公開されましたね↓
https://github.com/facebookresearch/DensePose

Dockerfileもあるので試すのは楽か?
2018年12月 追記:試した方がいます↓
http://whoopsidaisies.hatenablog.com/entry/2018/12/03/193759

これって、顔画像で言うところのFace Alignmentに近い役割ができて、Body Alignmentって言っても良さそう。
画像中から人物表面のUV座標が推定できれば、身体の模様(つまり服装)を比べたり、入れ替えたり、描き替えたりできるんですよね。

著者にFacebook AI Researchの人が2人入ってるけど、やっぱり目指すのは画像からの個人識別なんですかね。
https://research.fb.com/facebook-open-sources-densepose/
https://shiropen.com/seamless/facebook-ai-densepose

論文では、データセットを作るためのアノテーションツールを設計と、アノテーションの質の評価についても載っている。



ちゃんと解きたいタスクに適したデータセットを用意して、タスクに適したネットワークを設計する、ってのが機械学習の良いアプローチなのだろうか。
機械学習でOverfitting(過学習)と呼ばれる現象は、データセットとタスクのギャップと言えるのかもしれない。

2019年追記:最近はRunway MLというツールで手軽にDensePoseを試すことができるぞ↓
Runway ML:クリエイターのための機械学習ツール
表現のための機械学習(というかディープラーニング)がじわじわと来ている、と勝手に思っている。実際、グラフィックス系のカンファレンスでもディープラーニングのセッションが大盛況だし。クリエイターが機械学習の恩恵を受けられるアプリケーションは、A...

関連記事

マルコフ連鎖モンテカルロ法

Pythonのソースコードに特化した検索エンジン『Nullege』

『PIXARのひみつ展』に行ってきた

PGGAN:段階的に解像度を上げて学習を進めるGAN

ラクガキの立体化 胴体の追加

AndroidもopenGLも初心者さ (でもJavaは知ってるよ)

フルCGのウルトラマン!?

OpenCVで平均顔を作るチュートリアル

Unreal Engine 5の情報が公開された!

libigl:軽量なジオメトリ処理ライブラリ

Multi-View Environment:複数画像から3次元形状を再構築するライブラリ

SIGGRAPH論文へのリンクサイト

Mayaのポリゴン分割ツールの進化

ツールの補助で効率的に研究論文を読む

オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う

データサイエンティストって何だ?

Deep Fluids:流体シミュレーションをディープラーニングで近似する

iPhone・iPod touchで動作する知育ロボット『ROMO』

Math.NET Numerics:Unityで使える数値計算ライブラリ

Connected Papers:関連研究をグラフで視覚的に探せるサービス

スターウォーズ エピソードVIIの予告編

OpenGVのライブラリ構成

Paul Debevec

Seleniumを使ったFXや株の自動取引

第20回 文化庁メディア芸術祭『3DCG表現と特撮の時代』

TVML (TV program Making language)

Open3D:3Dデータ処理ライブラリ

ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調整 その2

フォトンの放射から格納までを可視化した動画

ZBrushでメカ物を作るチュートリアル動画

映画『シン・ウルトラマン』 メイキング記事まとめ

After Effects全エフェクトの解説(6.5)

ブログをGoogle App EngineからAmazon EC2へ移行

Konashiを買った

株式会社ヘキサドライブの研究室ページ

UnityのGameObjectの向きをScriptで制御する

iPhone欲しいなぁ

Siggraph Asia 2009 カンファレンスの詳細

ZBrushでゴジラ2001を作ってみる 身体のアタリを作る

SSII 2014 デモンストレーションセッションのダイジェスト動画

ラクガキの立体化 分割ラインの変更・バランス調整

UnityでLight Shaftを表現する

コメント