オープンソースの顔の動作解析ツールキット『OpenFace』

カーネギーメロン大学が開発している、顔画像から個人を識別するフレームワークOpenFaceと同じ名前で混乱しますが、



ケンブリッジ大学 Multicomp groupが開発しているOpenFaceという全く別のツールキットがあります。こちらは、顔検出、ランドマーク検出、頭の姿勢推定、表情変化の認識、視線推定などをリアルタイムに行うもの。
Copyright.txtによると、アカデミックまたは非商用に限り利用可能だそうです。商用利用は不可。

OpenFace: an open source facial behavior analysis toolkit

OpenFace


スポンサーリンク

OpenFaceは、コンピュータビジョン・機械学習の研究者、情緒的コンピューティングのコミュニティ、顔の動作・表情の変化を用いたインタラクティブなアプリケーションの開発者を対象としたツールです。

OpenFaceは、顔のランドマーク検出、頭の姿勢推定、顔のAction Unitの認識、視線推定が可能な最初のツールキットです。OpenFaceのコアとなるコンピュータビジョンアルゴリズムは、上記のタスクすべてでstate-of-the-artな結果を示しています。

さらに、OpenFaceはリアルタイムに動作し、普通のウェブカメラで実行できます。特別なハードウェアは必要ありません。


スポンサーリンク

Dockerfileもありますね。

公式Wikiはこちら↓
https://github.com/TadasBaltrusaitis/OpenFace/wiki

このツールキットの前身はCLM-framework(Cambridge face tracker)というフレームワークだったようです。↓
https://github.com/TadasBaltrusaitis/CLM-framework

YouTubeで公開されているデモ動画もCLM-framework時代のもの。

CLNF multiple face tracking

CLNF tracking on YouTube Celebrities dataset

顔のAction Unitって概念、そういえばKinect SDKの顔認識機能でもあったな。FACS(Facial Action Coding System)の考えがベースだろうか。


スポンサーリンク

関連記事

GoogleのDeep Learning論文
TensorFlowでCGを微分できる『TensorFlow Graphics』
インタラクティブにComputer Visionコーディングができるツール『Live CV』
写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』
Mean Stack開発の最初の一歩
3D復元技術の情報リンク集
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
スクラッチで既存のキャラクターを立体化したい
人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
オープンソースの取引プラットフォーム
機械学習手法『SVM(Support Vector Machine)』
Raspberry Pi 2を買いました
pythonもかじってみようかと
Pix2Pix:CGANによる画像変換
Mechanizeで要認証Webサイトをスクレイピング
Unityからkonashiをコントロールする
OpenCV 3.3.0-RCでsfmモジュールをビルド
立体視を試してみた
統計的な顔モデル
ドットインストールのWordPress入門レッスン
MeshroomでPhotogrammetry
Unreal Engineの薄い本
OpenCVベースのマーカーARライブラリ『OpenAR』
ブログをGoogle App EngineからAmazon EC2へ移行
フォトンの放射から格納までを可視化した動画
Active Appearance Models(AAM)
ヒーローに変身なりきりアーケードゲーム『ナレルンダー』
Quartus II
C#で使える機械学習ライブラリ『Accord.NET Framework』
SSD (Single Shot Multibox Detector):ディープラーニングによる一般...
UnityのTransformクラスについて調べてみた
ブログのデザイン変えました
Konashiを買った
Kinect for Windows V2のプレオーダー開始
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
OpenMVSのサンプルを動かしてみる
書籍『データビジュアライゼーションのデザインパターン20』読了
iPhoneアプリ開発 Xcode 5のお作法
手を動かしながら学ぶデータマイニング
3DCG Meetup #4に行ってきた
3Dコンピュータービジョンライブラリ『PyTorch3D』
ROMOハッカソンに行ってきた

コメント