画像中の人物表面のUV座標を推定する『DensePose』

カーネギーメロン大学が公開している2D画像からの人体骨格推定ライブラリOpenPoseの元の研究である”Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields“が発表されて以降、2D画像・動画からの骨格推定の研究とソースコードの公開が活発な印象。

DensePoseは、骨格ではなく、動画中の人物領域の3DサーフェスのUV座標を推定するという、とても具体的なタスクの研究。面白そうなので論文がarXivに公開されてからすぐに読んだのでした。
ただ、CGに詳しくない人には課題設定がピンと来ないんじゃないかな。

DensePose: Dense Human Pose Estimation In The Wild

DensePose: Dense Human Pose Estimation In The Wild (CVPR 2018 Oral)

Dense human pose estimation(密な人体姿勢推定)は、画像中の人物のRGB画素全てを3Dの人体サーフェスへマッピングすることを目的としています。


スポンサーリンク
  • 5万枚のCOCOデータセットの画像に対して人力で2D画像と3Dサーフェスの対応関係をアノテーションした大規模なground-truthデータセット「DensePose-COCO」を提案します。
  • Mask-RCNNを改良し、動画の毎秒複数フレームに写るそれぞれの人物領域の各人体パーツのUV座標を密に回帰推定する「DensePose-RCNN」を提案します。

DensePose-COCOデータセットも公開予定だそうです。
https://github.com/arXivTimes/arXivTimes/issues/638


スポンサーリンク


ソースコードがGitHubで公開されましたね↓
https://github.com/facebookresearch/DensePose

Dockerfileもあるので試すのは楽か?
2018年12月 追記:試した方がいます↓
http://whoopsidaisies.hatenablog.com/entry/2018/12/03/193759

これって、顔画像で言うところのFace Alignmentに近い役割ができて、Body Alignmentって言っても良さそう。
画像中から人物表面のUV座標が推定できれば、身体の模様(つまり服装)を比べたり、入れ替えたり、描き替えたりできるんですよね。

著者にFacebook AI Researchの人が2人入ってるけど、やっぱり目指すのは画像からの個人識別なんですかね。
https://research.fb.com/facebook-open-sources-densepose/
https://shiropen.com/seamless/facebook-ai-densepose

論文では、データセットを作るためのアノテーションツールを設計と、アノテーションの質の評価についても載っている。

AI Learns Human Pose Estimation From Videos | Two Minute Papers #237

ちゃんと解きたいタスクに適したデータセットを用意して、タスクに適したネットワークを設計する、ってのが機械学習の良いアプローチなのだろうか。
機械学習でOverfitting(過学習)と呼ばれる現象は、データセットとタスクのギャップと言えるのかもしれない。

2019年追記:Runway MLというツールで手軽にDensePoseを試すことができるぞ↓



スポンサーリンク

関連記事

ZBrush用トポロジー転送プラグイン『ZWrap Plugin for ZBrush』
複数視点画像から3次元形状を復元するライブラリ『openMVG』
軽量なジオメトリ処理ライブラリ『libigl』
ゴジラ(2014)のディティール制作の舞台裏
Stanford Bunny
トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ
オープンソースのPhotogrammetryフレームワーク『Alice Vision』
AfterEffectsプラグイン開発
タダでRenderManを体験する方法
clearcoat Shader
ラクガキの立体化 1年半ぶりの続き
ディープラーニング
畳み込みニューラルネットワーク (CNN:Convolutional Neural Network)
単純に遊びに行くのはだめなのか?
Houdiniのライセンスの種類
UnityからROSを利用できる『ROS#』
生物の骨格
WordPress on Google App Engineを1週間運用してみて
Siggraph Asia 2009 カンファレンスの詳細
オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...
『シン・ゴジラ』のコンセプトアニメーションのメイキング動画が公開された
なんかすごいサイト
ニンテンドー3DSのGPU PICA200
Windows10でPyTorchをインストールしてVSCodeで使う
OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...
オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う
書籍『イラストで学ぶ ディープラーニング』
ZBrushで仮面ライダー3号を造る 仮面編
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
映画『ジュラシック・ワールド/炎の王国』のVFXブレイクダウン まとめ
ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...
Autodesk Mementoでゴジラを3次元復元する
リアルタイム レイトレーシングAPI『DirectX Raytracing (DXR)』
iOSデバイスと接続して連携するガジェットの開発方法
トランスフォーマーロストエイジのメイキング
『パシフィック・リム: アップライジング』のVFXブレイクダウン まとめ
3D復元技術の情報リンク集
iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』
機械学習手法『SVM(Support Vector Machine)』
Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』
ZBrushのUV MasterでUV展開
3DCGのモデルを立体化するサービス

コメント