オープンソースの顔の動作解析ツールキット『OpenFace』

カーネギーメロン大学が開発している、顔画像から個人を識別するフレームワークOpenFaceと同じ名前で混乱しますが、



ケンブリッジ大学 Multicomp groupが開発しているOpenFaceという全く別のツールキットがあります。こちらは、顔検出、ランドマーク検出、頭の姿勢推定、表情変化の認識、視線推定などをリアルタイムに行うもの。
Copyright.txtによると、アカデミックまたは非商用に限り利用可能だそうです。商用利用は不可。

OpenFace: an open source facial behavior analysis toolkit

OpenFace


スポンサーリンク

OpenFaceは、コンピュータビジョン・機械学習の研究者、情緒的コンピューティングのコミュニティ、顔の動作・表情の変化を用いたインタラクティブなアプリケーションの開発者を対象としたツールです。

OpenFaceは、顔のランドマーク検出、頭の姿勢推定、顔のAction Unitの認識、視線推定が可能な最初のツールキットです。OpenFaceのコアとなるコンピュータビジョンアルゴリズムは、上記のタスクすべてでstate-of-the-artな結果を示しています。

さらに、OpenFaceはリアルタイムに動作し、普通のウェブカメラで実行できます。特別なハードウェアは必要ありません。


スポンサーリンク

Dockerfileもありますね。

公式Wikiはこちら↓
https://github.com/TadasBaltrusaitis/OpenFace/wiki

このツールキットの前身はCLM-framework(Cambridge face tracker)というフレームワークだったようです。↓
https://github.com/TadasBaltrusaitis/CLM-framework

YouTubeで公開されているデモ動画もCLM-framework時代のもの。

CLNF multiple face tracking

CLNF tracking on YouTube Celebrities dataset

顔のAction Unitって概念、そういえばKinect SDKの顔認識機能でもあったな。FACS(Facial Action Coding System)の考えがベースだろうか。


スポンサーリンク

関連記事

Unityの新しいGUI作成システム『uGUI』
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
YOLO (You Only Look Once):ディープラーニングによる一般物体検出手法
UnityのGameObjectの向きをScriptで制御する
U-Net:ディープラーニングによるSemantic Segmentation手法
動的なメモリの扱い
ドットインストールのWordPress入門レッスン
オープンソースの3Dメッシュデータライブラリ『OpenMesh』
Mayaのプラグイン開発
クラスの基本
サンプルコードにも間違いはある?
Konashiを買った
HD画質の無駄遣い その2
Pythonのソースコードに特化した検索エンジン『Nullege』
3Dコンピュータービジョン用のライブラリ『PyTorch3D』
オープンソースのプリント基板設計ツール『KiCad』
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『TouchScript』
UnityからROSを利用できる『ROS#』
Quartus II
オープンソースのStructure from Motionライブラリ『Theia』
Model View Controller
機械学習手法『Random Forest』
Google App Engine上のWordPressでFlickrの画像を貼る
Fast R-CNN:ディープラーニングによる一般物体検出手法
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
スクレイピング
ZScript
BlenderのPython環境にPyTorchをインストールする
3Dデータ処理ライブラリ『Open3D』
OpenCV3.3.0でsfmモジュールのビルドに成功!
SSII 2014 デモンストレーションセッションのダイジェスト動画
画像処理を基礎から学べるキーエンスのサイト『画像道場』
写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』
OpenCV 3.1のsfmモジュールを試す
オープンソースの人体モデリングツール『MakeHuman』のAPI開発プロジェクトがスタート
自前のShaderがおかしい件
まだ続くブログの不調
Unity MonoBehaviourクラスのオーバーライド関数が呼び出される順番
Mayaのレンダリング アトリビュート
株式会社ヘキサドライブの研究室ページ
WordPressプラグインによるサイトマップの自動生成
Google App Engineのデプロイ失敗

コメント