カーネギーメロン大学が公開している2D画像からの人体骨格推定ライブラリOpenPoseの元の研究である”Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields“が発表されて以降、2D画像・動画からの骨格推定の研究とソースコードの公開が活発な印象。
DensePoseは、骨格ではなく、動画中の人物領域の3DサーフェスのUV座標を推定するという、とても具体的なタスクの研究。面白そうなので論文がarXivに公開されてからすぐに読んだのでした。
ただ，CGに詳しくない人には課題設定がピンと来ないんじゃないかな。
DensePose: Dense Human Pose Estimation In The Wild
Dense human pose estimation(密な人体姿勢推定)は、画像中の人物のRGB画素全てを3Dの人体サーフェスへマッピングすることを目的としています。
スポンサーリンク
- 5万枚のCOCOデータセットの画像に対して人力で2D画像と3Dサーフェスの対応関係をアノテーションした大規模なground-truthデータセット「DensePose-COCO」を提案します。
- Mask-RCNNを改良し、動画の毎秒複数フレームに写るそれぞれの人物領域の各人体パーツのUV座標を密に回帰推定する「DensePose-RCNN」を提案します。
DensePose-COCOデータセットも公開予定だそうです。
一言でいうと 2次元画像上のピクセルを、人の3Dモデル上にマッピングする研究。Mask-RCNNをベースに候補領域を検出し、CNNを通じ3Dモデルのどこのパートか、またそのパート上の座標の2つを予測させる。また、アノテーションされていない点をinpaintのように埋めることで、精度をさらに高めることができたとのこと。 ...
スポンサーリンク
ソースコードがGitHubで公開されましたね↓
A real-time approach for mapping all human pixels of 2D RGB images to a 3D surface-based model of the body - facebookresearch/DensePose
Dockerfileもあるので試すのは楽か？
これって、顔画像で言うところのFace Alignmentに近い役割ができて、Body Alignmentって言っても良さそう。
画像中から人物表面のUV座標が推定できれば、身体の模様(つまり服装)を比べたり、入れ替えたり、描き替えたりできるんですよね。
著者にFacebook AI Researchの人が2人入ってるけど、やっぱり目指すのは画像からの個人識別なんですかね。
Today, Facebook AI Research (FAIR) open sourced DensePose, our real-time approach for mapping all human pixels of 2D RGB images to a 3D surface-based model of t...
Facebook AI Research（FAIR）とINRIAの研究者らは、人間の姿勢を2D画像から推定し、人体の表面にテクスチャをマッピングできる機械学習を用いたシステム「DensePose」のオープンソース化を発表しました。
論文では、データセットを作るためのアノテーションツールを設計と、アノテーションの質の評価についても載っている。
ちゃんと解きたいタスクに適したデータセットを用意して、タスクに適したネットワークを設計する、ってのが機械学習の良いアプローチなのだろうか。
機械学習でOverfitting(過学習)と呼ばれる現象は、データセットとタスクのギャップと言えるのかもしれない。
スポンサーリンク
関連記事
畳み込みニューラルネットワーク (CNN:Convolutional Neural Network)
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う
書籍『イラストで学ぶ ディープラーニング』
書籍『ゼロから作るDeep Learning』で自分なりに学ぶ
C#で使える機械学習ライブラリ『Accord.NET Framework』
C#で使える可読性重視のディープラーニングライブラリ『KelpNet』
.NETで使えるTensorFLowライクなライブラリ『NeuralNetwork.NET』
C++の機械学習ライブラリ『Dlib』
ディープラーニング
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された
SONY製のニューラルネットワークライブラリ『NNabla』
ニューラルネットワークで画像分類
PyDataTokyo主催のDeep Learning勉強会
ディープラーニングに対応したPythonの機械学習ライブラリ『Pylearn2』
Facebookの顔認証技術『DeepFace』
FacebookがDeep learningツールの一部をオープンソース化
GoogleのDeep Learning論文
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
オープンソースの顔認識フレームワーク『OpenBR』
機械学習手法『Random Forest』
3D復元技術の情報リンク集
機械学習に役立つPythonライブラリ一覧
pythonの機械学習ライブラリ『scikit-learn』
書籍『仕事ではじめる機械学習』を読みました
機械学習手法『SVM(Support Vector Machine)』
Unityで強化学習できる『Unity ML-Agents』
OpenCVで顔のランドマークを検出する『Facemark API』
OpenCVの顔検出過程を可視化した動画
続・ディープラーニングの資料
インタラクティブにComputer Visionコーディングができるツール『Live CV』
Also published on Medium.
