カーネギーメロン大学が公開している2D画像からの人体骨格推定ライブラリOpenPoseの元の研究である”Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields“が発表されて以降、2D画像・動画からの骨格推定の研究とソースコードの公開が活発な印象。
DensePoseは、骨格ではなく、動画中の人物領域の3DサーフェスのUV座標を推定するという、とても具体的なタスクの研究。面白そうなので論文がarXivに公開されてからすぐに読んだのでした。
ただ、CGに詳しくない人には課題設定がピンと来ないんじゃないかな。
DensePose: Dense Human Pose Estimation In The Wild
Dense human pose estimation(密な人体姿勢推定)は、画像中の人物のRGB画素全てを3Dの人体サーフェスへマッピングすることを目的としています。
- 5万枚のCOCOデータセットの画像に対して人力で2D画像と3Dサーフェスの対応関係をアノテーションした大規模なground-truthデータセット「DensePose-COCO」を提案します。
- Mask-RCNNを改良し、動画の毎秒複数フレームに写るそれぞれの人物領域の各人体パーツのUV座標を密に回帰推定する「DensePose-RCNN」を提案します。
DensePose-COCOデータセットも公開予定だそうです。
https://github.com/arXivTimes/arXivTimes/issues/638
ソースコードがGitHubで公開されましたね↓
https://github.com/facebookresearch/DensePose
Dockerfileもあるので試すのは楽か？
2018年12月 追記：試した方がいます↓
http://whoopsidaisies.hatenablog.com/entry/2018/12/03/193759
これって、顔画像で言うところのFace Alignmentに近い役割ができて、Body Alignmentって言っても良さそう。
画像中から人物表面のUV座標が推定できれば、身体の模様(つまり服装)を比べたり、入れ替えたり、描き替えたりできるんですよね。
著者にFacebook AI Researchの人が2人入ってるけど、やっぱり目指すのは画像からの個人識別なんですかね。
https://research.fb.com/facebook-open-sources-densepose/
https://shiropen.com/seamless/facebook-ai-densepose
論文では、データセットを作るためのアノテーションツールを設計と、アノテーションの質の評価についても載っている。
ちゃんと解きたいタスクに適したデータセットを用意して、タスクに適したネットワークを設計する、ってのが機械学習の良いアプローチなのだろうか。
機械学習でOverfitting(過学習)と呼ばれる現象は、データセットとタスクのギャップと言えるのかもしれない。
2019年追記：最近はRunway MLというツールで手軽にDensePoseを試すことができるぞ↓
関連記事
ZBrushで仮面ライダー3号を造る 仮面編 Dam Sta...
Connected Papers：関連研究をグラフで視覚的に...
Zibra Liquids：Unity向け流体シミュレーショ...
Vancouver Film Schoolのデモリール
HD画質の無駄遣い
書籍『OpenCV 3 プログラミングブック』を購入
NumSharp：C#で使えるNumPyライクな数値計算ライ...
OpenCVの超解像(SuperResolution)モジュ...
ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Mechanizeで要認証Webサイトをスクレイピング
OpenCVで動画の手ぶれ補正
ZBrushで仮面ライダー3号を造る 仮面編 失敗のリカバー
OpenMayaRender
ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ...
書籍『仕事ではじめる機械学習』を読みました
CycleGAN：ドメイン関係を学習した画像変換
ZBrushでアヴァン・ガメラを作ってみる 首回りの修正・脚...
世界一下品なクマと世界一紳士なクマ
フリーで使えるスカルプト系モデリングツール『Sculptri...
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
シン・ゴジラのファンアート
ZBrushで仮面ライダー3号を造る 仮面編 ClipCur...
Windows Server 2008にAutodesk M...
bpy-renderer：レンダリング用Pythonパッケー...
統計的な顔モデル
OpenMesh：オープンソースの３Dメッシュデータライブラ...
UnityのGameObjectの向きをScriptで制御す...
組み込み向けのWindows OS 『Windows Emb...
iPhoneアプリ開発 Xcode 5のお作法
PGGAN：段階的に解像度を上げて学習を進めるGAN
CGのためのディープラーニング
布地のシワの法則性
UnityでShaderの入力パラメータとして行列を渡す
Qlone：スマホのカメラで3Dスキャンできるアプリ
html5のcanvasの可能性
Mask R-CNN：ディープラーニングによる一般物体検出・...
Digital Emily Project：人間の顔をそっく...
定数
R-CNN (Regions with CNN featur...
ZBrushでメカ物を作るチュートリアル動画
TensorSpace.js：ニューラルネットワークの構造を...
コメント