サイトアイコン NegativeMindException

オープンソースの顔の動作解析ツールキット『OpenFace』

カーネギーメロン大学が開発している、顔画像から個人を識別するフレームワークOpenFaceと同じ名前で混乱しますが、



ケンブリッジ大学 Multicomp groupが開発しているOpenFaceという全く別のツールキットがあります。こちらは、顔検出、ランドマーク検出、頭の姿勢推定、表情変化の認識、視線推定などをリアルタイムに行うもの。
Copyright.txtによると、アカデミックまたは非商用に限り利用可能だそうです。商用利用は不可。

OpenFace: an open source facial behavior analysis toolkit




OpenFaceは、コンピュータビジョン・機械学習の研究者、情緒的コンピューティングのコミュニティ、顔の動作・表情の変化を用いたインタラクティブなアプリケーションの開発者を対象としたツールです。

OpenFaceは、顔のランドマーク検出、頭の姿勢推定、顔のAction Unitの認識、視線推定が可能な最初のツールキットです。OpenFaceのコアとなるコンピュータビジョンアルゴリズムは、上記のタスクすべてでstate-of-the-artな結果を示しています。

さらに、OpenFaceはリアルタイムに動作し、普通のウェブカメラで実行できます。特別なハードウェアは必要ありません。


スポンサーリンク

Dockerfileもありますね。

公式Wikiはこちら↓
https://github.com/TadasBaltrusaitis/OpenFace/wiki

このツールキットの前身はCLM-framework(Cambridge face tracker)というフレームワークだったようです。↓
https://github.com/TadasBaltrusaitis/CLM-framework

YouTubeで公開されているデモ動画もCLM-framework時代のもの。





顔のAction Unitって概念、そういえばKinect SDKの顔認識機能でもあったな。FACS(Facial Action Coding System)の考えがベースだろうか。


スポンサーリンク

関連記事

  • FCN (Fully Convolutional Network):ディープラーニングによるSema...
  • UnityでOpenCVを使うには?
  • 顔画像処理技術の過去の研究
  • WordPress on Windows Azure
  • WebGL開発に関する情報が充実してきている
  • Arduinoで人感センサーを使う
  • HD画質の無駄遣い
  • ミニ四駆で電子工作
  • konashiのサンプルコードを動かしてみた
  • Arduinoで作るダンボーみたいなロボット『ピッコロボ』
  • ブログが1日ダウンしてました
  • BlenderでPhotogrammetryできるアドオン
  • hloc:SuperGlueで精度を向上させたSfM実装
  • フィーリングに基づくタマムシの質感表現
  • Raspberry Pi
  • ミニ四駆を改造してBluetoothラジコン化する
  • UnityからROSを利用できる『ROS#』
  • Super Resolution:OpenCVの超解像処理モジュール
  • Geogram:C++の3D幾何アルゴリズムライブラリ
  • ManuelBastioniLAB:人体モデリングできるBlenderアドオン
  • UnityでLight Shaftを表現する
  • Faster R-CNN:ディープラーニングによる一般物体検出手法
  • CLO:服飾デザインツール
  • 今年もSSII
  • Unreal Engineの薄い本
  • BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
  • Point Cloud Utils:Pythonで3D点群・Meshを扱うライブラリ
  • 参考書
  • Rerun:マルチモーダルデータの可視化アプリとSDK
  • Windows10でPyTorchをインストールしてVSCodeで使う
  • 3DCG Meetup #4に行ってきた
  • PCA (主成分分析)
  • Mayaのレンダリング アトリビュート
  • ROMOハッカソンに行ってきた
  • 3Dスキャンに基づくプロシージャルフェイシャルアニメーション
  • NumSharp:C#で使えるNumPyライクな数値計算ライブラリ
  • ドットインストールのWordPress入門レッスン
  • 機械学習手法『Random Forest』
  • CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
  • 科学技術計算向けスクリプト言語『Julia』
  • Seleniumを使ったFXや株の自動取引
  • Active Appearance Models(AAM)
  • モバイルバージョンを終了