オープンソースの顔の動作解析ツールキット『OpenFace』

カーネギーメロン大学が開発している、顔画像から個人を識別するフレームワークOpenFaceと同じ名前で混乱しますが、



ケンブリッジ大学 Multicomp groupが開発しているOpenFaceという全く別のツールキットがあります。こちらは、顔検出、ランドマーク検出、頭の姿勢推定、表情変化の認識、視線推定などをリアルタイムに行うもの。
Copyright.txtによると、アカデミックまたは非商用に限り利用可能だそうです。商用利用は不可。

OpenFace: an open source facial behavior analysis toolkit

OpenFace


スポンサーリンク

OpenFaceは、コンピュータビジョン・機械学習の研究者、情緒的コンピューティングのコミュニティ、顔の動作・表情の変化を用いたインタラクティブなアプリケーションの開発者を対象としたツールです。

OpenFaceは、顔のランドマーク検出、頭の姿勢推定、顔のAction Unitの認識、視線推定が可能な最初のツールキットです。OpenFaceのコアとなるコンピュータビジョンアルゴリズムは、上記のタスクすべてでstate-of-the-artな結果を示しています。

さらに、OpenFaceはリアルタイムに動作し、普通のウェブカメラで実行できます。特別なハードウェアは必要ありません。


スポンサーリンク

Dockerfileもありますね。

公式Wikiはこちら↓
https://github.com/TadasBaltrusaitis/OpenFace/wiki

このツールキットの前身はCLM-framework(Cambridge face tracker)というフレームワークだったようです。↓
https://github.com/TadasBaltrusaitis/CLM-framework

YouTubeで公開されているデモ動画もCLM-framework時代のもの。





顔のAction Unitって概念、そういえばKinect SDKの顔認識機能でもあったな。FACS(Facial Action Coding System)の考えがベースだろうか。


スポンサーリンク

関連記事

OANDAのfxTrade API
OpenMayaのPhongShaderクラス
フィクションに登場するUIデザインのまとめサイト
Google App Engine上のWordPressでAmazonJSを利用する
書籍『ROSプログラミング』
MeshLab:3Dオブジェクトの確認・変換に便利なフリーウェア
Kaolin:3Dディープラーニング用のPyTorchライブラリ
WordPressプラグインによるサイトマップの自動生成
ブログが1日ダウンしてました
オープンソースのIT資産・ライセンス管理システム『Snipe-IT』
機械学習で遊ぶ
Raspberry Pi 2のGPIOピン配置
hloc:SuperGlueで精度を向上させたSfM実装
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
Deep Fluids:流体シミュレーションをディープラーニングで近似する
Twitter APIのPythonラッパー『python-twitter』
MB-Lab:Blenderの人体モデリングアドオン
MeshroomでPhotogrammetry
Mayaのシェーディングノードの区分
科学技術計算向けスクリプト言語『Julia』
ブラウザ操作自動化ツール『Selenium』を試す
インターフェイスは世界を規定する
HerokuでMEAN stack
Web経由でRaspberry PiのGPIOを操作したい
プログラミングスキルとは何か?
Unity ARKitプラグインサンプルのドキュメントを読む
TorchStudio:PyTorchのための統合開発環境とエコシステム
CLO:服飾デザインツール
続・ディープラーニングの資料
adskShaderSDK
オープンソースの顔認識フレームワーク『OpenBR』
Point Cloud Libraryに動画フォーマットが追加されるらしい
オープンソースのプリント基板設計ツール『KiCad』
2D→3D復元技術で使われる用語まとめ
FCN (Fully Convolutional Network):ディープラーニングによるSema...
書籍『仕事ではじめる機械学習』を読みました
AmazonEC2のインスタンスをt1.microからt2.microへ移行する
Raspberry Piでセンサーの常時稼働を検討する
iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』
BGSLibrary:OpenCVベースの背景差分ライブラリ
PyTorch3D:3Dコンピュータービジョンライブラリ
OpenSfM:PythonのStructure from Motionライブラリ

コメント