オープンソースの顔の動作解析ツールキット『OpenFace』

カーネギーメロン大学が開発している、顔画像から個人を識別するフレームワークOpenFaceと同じ名前で混乱しますが、



ケンブリッジ大学 Multicomp groupが開発しているOpenFaceという全く別のツールキットがあります。こちらは、顔検出、ランドマーク検出、頭の姿勢推定、表情変化の認識、視線推定などをリアルタイムに行うもの。
Copyright.txtによると、アカデミックまたは非商用に限り利用可能だそうです。商用利用は不可。

OpenFace: an open source facial behavior analysis toolkit

OpenFace


OpenFaceは、コンピュータビジョン・機械学習の研究者、情緒的コンピューティングのコミュニティ、顔の動作・表情の変化を用いたインタラクティブなアプリケーションの開発者を対象としたツールです。

OpenFaceは、顔のランドマーク検出、頭の姿勢推定、顔のAction Unitの認識、視線推定が可能な最初のツールキットです。OpenFaceのコアとなるコンピュータビジョンアルゴリズムは、上記のタスクすべてでstate-of-the-artな結果を示しています。

さらに、OpenFaceはリアルタイムに動作し、普通のウェブカメラで実行できます。特別なハードウェアは必要ありません。

Dockerfileもありますね。

公式Wikiはこちら↓
https://github.com/TadasBaltrusaitis/OpenFace/wiki

このツールキットの前身はCLM-framework(Cambridge face tracker)というフレームワークだったようです。↓
https://github.com/TadasBaltrusaitis/CLM-framework

YouTubeで公開されているデモ動画もCLM-framework時代のもの。





顔のAction Unitって概念、そういえばKinect SDKの顔認識機能でもあったな。FACS(Facial Action Coding System)の考えがベースだろうか。

関連記事

CGのためのディープラーニング

Webスクレイピングの勉強会に行ってきた

IronPythonを使ってUnity上でPythonのコー...

Google App Engineのデプロイ失敗

OpenCVで動画の手ぶれ補正

書籍『OpenCV 3 プログラミングブック』を購入

Dlib:C++の機械学習ライブラリ

Pythonの自然言語処理ライブラリ『NLTK(Natura...

Seleniumを使ったFXや株の自動取引

MythTV:Linuxでテレビの視聴・録画ができるオープン...

Iterator

Rerun:マルチモーダルデータの可視化アプリとSDK

cvui:OpenCVのための軽量GUIライブラリ

Adobeの手振れ補正機能『ワープスタビライザー』の秘密

第25回コンピュータビジョン勉強会@関東に行って来た

WordPressプラグインの作り方

オープンソースの物理ベースGIレンダラ『appleseed』

AmazonEC2のインスタンスをt1.microからt2....

libigl:軽量なジオメトリ処理ライブラリ

Raspberry Pi

Kornia:微分可能なコンピュータービジョンライブラリ

網元AMIで作ったWordpressサイトのインスタンスをt...

UnityユーザーがUnreal Engineの使い方を学ぶ...

OpenMVSのサンプルを動かしてみる

Point Cloud Consortiumのセミナー「3D...

TorchStudio:PyTorchのための統合開発環境と...

顔追跡による擬似3D表示『Dynamic Perspecti...

MFnDataとMFnAttribute

1枚の画像からマテリアルを作成できる無料ツール『Materi...

Boost オープンソースライブラリ

画像認識による位置情報取得 - Semi-Direct Mo...

ブログの復旧が難航してた話

コンピュータビジョンの技術マップ

clearcoat Shader

ブラウザ操作自動化ツール『Selenium』を試す

trimesh:PythonでポリゴンMeshを扱うライブラ...

PGGAN:段階的に解像度を上げて学習を進めるGAN

Python.NET:Pythonと.NETを連携させるパッ...

プログラムによる景観の自動生成

UnityからROSを利用できる『ROS#』

GAN (Generative Adversarial Ne...

Runway ML:クリエイターのための機械学習ツール

コメント