オープンソースの顔の動作解析ツールキット『OpenFace』

カーネギーメロン大学が開発している、顔画像から個人を識別するフレームワークOpenFaceと同じ名前で混乱しますが、



ケンブリッジ大学 Multicomp groupが開発しているOpenFaceという全く別のツールキットがあります。こちらは、顔検出、ランドマーク検出、頭の姿勢推定、表情変化の認識、視線推定などをリアルタイムに行うもの。
Copyright.txtによると、アカデミックまたは非商用に限り利用可能だそうです。商用利用は不可。

OpenFace: an open source facial behavior analysis toolkit

OpenFace


スポンサーリンク

OpenFaceは、コンピュータビジョン・機械学習の研究者、情緒的コンピューティングのコミュニティ、顔の動作・表情の変化を用いたインタラクティブなアプリケーションの開発者を対象としたツールです。

OpenFaceは、顔のランドマーク検出、頭の姿勢推定、顔のAction Unitの認識、視線推定が可能な最初のツールキットです。OpenFaceのコアとなるコンピュータビジョンアルゴリズムは、上記のタスクすべてでstate-of-the-artな結果を示しています。

さらに、OpenFaceはリアルタイムに動作し、普通のウェブカメラで実行できます。特別なハードウェアは必要ありません。


スポンサーリンク

Dockerfileもありますね。

公式Wikiはこちら↓
https://github.com/TadasBaltrusaitis/OpenFace/wiki

このツールキットの前身はCLM-framework(Cambridge face tracker)というフレームワークだったようです。↓
https://github.com/TadasBaltrusaitis/CLM-framework

YouTubeで公開されているデモ動画もCLM-framework時代のもの。

CLNF multiple face tracking

CLNF tracking on YouTube Celebrities dataset

顔のAction Unitって概念、そういえばKinect SDKの顔認識機能でもあったな。FACS(Facial Action Coding System)の考えがベースだろうか。


スポンサーリンク

関連記事

Raspberry Piでセンサーの常時稼働を検討する
バージョン管理の履歴を可視化するツール『Gource』
写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』
Amazon Web ServicesでWordPress
OpenCV 3.1から追加されたSfMモジュール
Mayaのシェーディングノードの区分
OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる
UnityでPoint Cloudを表示する方法
ブラウザ操作自動化ツール『Selenium』を試す
自前のShaderがおかしい件
clearcoat Shader
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
Google App Engine上のWordPressでAmazonJSを利用する
TensorFlowでCGを微分できる『TensorFlow Graphics』
PCA (主成分分析)
Structure from Motion (多視点画像からの3次元形状復元)
Twitter APIのPythonラッパー『python-twitter』
顔画像処理技術の過去の研究
Fast R-CNN:ディープラーニングによる一般物体検出手法
MFnDataとMFnAttribute
Mechanizeで要認証Webサイトをスクレイピング
仮想関数
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
ブログのデザイン変えました
東京オリンピックと案内表示
Adobe MAX 2015
自前Shaderの件 解決しました
ミニ四駆で電子工作
Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された
軽量なジオメトリ処理ライブラリ『libigl』
UnityのuGUIチュートリアル
Googleが画像解析旅行ガイドアプリのJetpac社を買収
PyDataTokyo主催のDeep Learning勉強会
第25回コンピュータビジョン勉強会@関東に行って来た
3Dボリュームデータ処理ライブラリ『OpenVDB』
Paul Debevec
WordPressプラグインの作り方
3Dデータ処理ライブラリ『Open3D』
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
Raspberry Pi
html5のcanvasの可能性

コメント