DensePose:画像中の人物表面のUV座標を推定する

カーネギーメロン大学が公開している2D画像からの人体骨格推定ライブラリOpenPoseの元の研究である”Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields“が発表されて以降、2D画像・動画からの骨格推定の研究とソースコードの公開が活発な印象。

DensePoseは、骨格ではなく、動画中の人物領域の3DサーフェスのUV座標を推定するという、とても具体的なタスクの研究。面白そうなので論文がarXivに公開されてからすぐに読んだのでした。
ただ、CGに詳しくない人には課題設定がピンと来ないんじゃないかな。

DensePose: Dense Human Pose Estimation In The Wild


Dense human pose estimation(密な人体姿勢推定)は、画像中の人物のRGB画素全てを3Dの人体サーフェスへマッピングすることを目的としています。


スポンサーリンク
  • 5万枚のCOCOデータセットの画像に対して人力で2D画像と3Dサーフェスの対応関係をアノテーションした大規模なground-truthデータセット「DensePose-COCO」を提案します。
  • Mask-RCNNを改良し、動画の毎秒複数フレームに写るそれぞれの人物領域の各人体パーツのUV座標を密に回帰推定する「DensePose-RCNN」を提案します。

DensePose-COCOデータセットも公開予定だそうです。
https://github.com/arXivTimes/arXivTimes/issues/638


スポンサーリンク


ソースコードがGitHubで公開されましたね↓
https://github.com/facebookresearch/DensePose

Dockerfileもあるので試すのは楽か?
2018年12月 追記:試した方がいます↓
http://whoopsidaisies.hatenablog.com/entry/2018/12/03/193759

これって、顔画像で言うところのFace Alignmentに近い役割ができて、Body Alignmentって言っても良さそう。
画像中から人物表面のUV座標が推定できれば、身体の模様(つまり服装)を比べたり、入れ替えたり、描き替えたりできるんですよね。

著者にFacebook AI Researchの人が2人入ってるけど、やっぱり目指すのは画像からの個人識別なんですかね。
https://research.fb.com/facebook-open-sources-densepose/
https://shiropen.com/seamless/facebook-ai-densepose

論文では、データセットを作るためのアノテーションツールを設計と、アノテーションの質の評価についても載っている。



ちゃんと解きたいタスクに適したデータセットを用意して、タスクに適したネットワークを設計する、ってのが機械学習の良いアプローチなのだろうか。
機械学習でOverfitting(過学習)と呼ばれる現象は、データセットとタスクのギャップと言えるのかもしれない。

2019年追記:最近はRunway MLというツールで手軽にDensePoseを試すことができるぞ↓
Runway ML:クリエイターのための機械学習ツール
表現のための機械学習(というかディープラーニング)がじわじわと来ている、と勝手に思っている。実際、グラフィックス系のカンファレンスでもディープラーニングのセッションが大盛況だし。クリエイターが機械学習の恩恵を受けられるアプリケーション...


スポンサーリンク

関連記事

CNN Explainer:畳み込みニューラルネットワーク可視化ツール
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
Qlone:スマホのカメラで3Dスキャンできるアプリ
ZBrushでアヴァン・ガメラを作ってみる モールドの彫り込み・身体の形出し
定数
画像生成AI Stable Diffusionで遊ぶ
Windows10でPyTorchをインストールしてVSCodeで使う
OpenMayaRender
MB-Lab:Blenderの人体モデリングアドオン
fSpy:1枚の写真からカメラパラメーターを割り出すツール
PCA (主成分分析)
UnityプロジェクトをGitHubで管理する
3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』
Autodesk Mementoでゴジラを3次元復元する
マジョーラ
Oculus Goを購入!
CGALDotNet:計算幾何学ライブラリ CGALのC#ラッパー
iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』
AMIMOTO(PVM版)で作成したインスタンスをAMIMOTO (HVM版)へ移行する
FCN (Fully Convolutional Network):ディープラーニングによるSema...
SDカードサイズのコンピューター『Intel Edison』
hloc:SuperGlueで精度を向上させたSfM実装
GoB:ZBrushとBlenderを連携させるアドオン
OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...
タマムシっぽい質感
iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~
機械学習のオープンソースソフトウェアフォーラム『mloss(machine learning ope...
手を動かしながら学ぶデータマイニング
Two Minute Papers:先端研究を短時間で紹介するYouTubeチャンネル
OpenCVで顔のランドマークを検出する『Facemark API』
頭蓋骨からの顔復元と進化過程の可視化
OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
Mean Stack開発の最初の一歩
今年もSSII
FacebookがDeep learningツールの一部をオープンソース化
ZBrushでアヴァン・ガメラを作ってみる 下アゴと頭部を作り込む
フォトンの放射から格納までを可視化した動画
ZBrushで仮面ライダー3号を造る 仮面編 ZRemesher
PythonでMayaのShapeノードプラグインを作る
CreativeCOW.net
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作ったのか
無料で使える人体3DCG作成ツール

コメント