オープンソースの顔の動作解析ツールキット『OpenFace』

カーネギーメロン大学が開発している、顔画像から個人を識別するフレームワークOpenFaceと同じ名前で混乱しますが、



ケンブリッジ大学 Multicomp groupが開発しているOpenFaceという全く別のツールキットがあります。こちらは、顔検出、ランドマーク検出、頭の姿勢推定、表情変化の認識、視線推定などをリアルタイムに行うもの。
Copyright.txtによると、アカデミックまたは非商用に限り利用可能だそうです。商用利用は不可。

OpenFace: an open source facial behavior analysis toolkit

OpenFace


スポンサーリンク

OpenFaceは、コンピュータビジョン・機械学習の研究者、情緒的コンピューティングのコミュニティ、顔の動作・表情の変化を用いたインタラクティブなアプリケーションの開発者を対象としたツールです。

OpenFaceは、顔のランドマーク検出、頭の姿勢推定、顔のAction Unitの認識、視線推定が可能な最初のツールキットです。OpenFaceのコアとなるコンピュータビジョンアルゴリズムは、上記のタスクすべてでstate-of-the-artな結果を示しています。

さらに、OpenFaceはリアルタイムに動作し、普通のウェブカメラで実行できます。特別なハードウェアは必要ありません。


スポンサーリンク

Dockerfileもありますね。

公式Wikiはこちら↓
https://github.com/TadasBaltrusaitis/OpenFace/wiki

このツールキットの前身はCLM-framework(Cambridge face tracker)というフレームワークだったようです。↓
https://github.com/TadasBaltrusaitis/CLM-framework

YouTubeで公開されているデモ動画もCLM-framework時代のもの。

CLNF multiple face tracking

CLNF tracking on YouTube Celebrities dataset

顔のAction Unitって概念、そういえばKinect SDKの顔認識機能でもあったな。FACS(Facial Action Coding System)の考えがベースだろうか。


スポンサーリンク

関連記事

OpenGVのライブラリ構成
機械学習手法『Random Forest』
RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』
頭蓋骨からの顔復元と進化過程の可視化
PythonのStructure from Motionライブラリ『OpenSfM』
SSII2014 チュートリアル講演会の資料
Unity ARKitプラグインサンプルのチュートリアルを読む
Python2とPython3
Mask R-CNN:ディープラーニングによる一般物体検出・Instance Segmentatio...
SDカードサイズのコンピューター『Intel Edison』
OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる
3分の動画でプログラミングを学習できるサイト『ドットインストール』
ブログをGoogle App EngineからAmazon EC2へ移行
人間の顔をそっくりそのままCGで復元する『Digital Emily Project』
参考書
openMVGをWindows10 Visual Studio 2015環境でビルドする
書籍『OpenCV 3 プログラミングブック』を購入
シフトカーを改造してラジコン化する人達
SSII 2014 デモンストレーションセッションのダイジェスト動画
adskShaderSDK
WordPressのサーバ引っ越し方法を考える
Konashiを買った
自前Shaderの件 解決しました
html5のcanvasの可能性
動的なメモリの扱い
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
UnityでARKit2.0
MRenderUtil::raytrace
機械学習に役立つPythonライブラリ一覧
ブログが1日ダウンしてました
書籍『データビジュアライゼーションのデザインパターン20』読了
サンプルコードにも間違いはある?
まだ続くブログの不調
JavaScriptとかWebGLとかCanvasとか
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
WordPressプラグインの作り方
Mayaのプラグイン開発
複数画像から3次元形状を再構築するライブラリ『Multi-View Environment』
WordPressプラグインによるサイトマップの自動生成
マルコフ連鎖モンテカルロ法
第1回 3D勉強会@関東『SLAMチュートリアル大会』
UnityでPoint Cloudを表示する方法

コメント