オープンソースの顔の動作解析ツールキット『OpenFace』

カーネギーメロン大学が開発している、顔画像から個人を識別するフレームワークOpenFaceと同じ名前で混乱しますが、



ケンブリッジ大学 Multicomp groupが開発しているOpenFaceという全く別のツールキットがあります。こちらは、顔検出、ランドマーク検出、頭の姿勢推定、表情変化の認識、視線推定などをリアルタイムに行うもの。
Copyright.txtによると、アカデミックまたは非商用に限り利用可能だそうです。商用利用は不可。

OpenFace: an open source facial behavior analysis toolkit

OpenFace


スポンサーリンク

OpenFaceは、コンピュータビジョン・機械学習の研究者、情緒的コンピューティングのコミュニティ、顔の動作・表情の変化を用いたインタラクティブなアプリケーションの開発者を対象としたツールです。

OpenFaceは、顔のランドマーク検出、頭の姿勢推定、顔のAction Unitの認識、視線推定が可能な最初のツールキットです。OpenFaceのコアとなるコンピュータビジョンアルゴリズムは、上記のタスクすべてでstate-of-the-artな結果を示しています。

さらに、OpenFaceはリアルタイムに動作し、普通のウェブカメラで実行できます。特別なハードウェアは必要ありません。


スポンサーリンク

Dockerfileもありますね。

公式Wikiはこちら↓
https://github.com/TadasBaltrusaitis/OpenFace/wiki

このツールキットの前身はCLM-framework(Cambridge face tracker)というフレームワークだったようです。↓
https://github.com/TadasBaltrusaitis/CLM-framework

YouTubeで公開されているデモ動画もCLM-framework時代のもの。

CLNF multiple face tracking

CLNF tracking on YouTube Celebrities dataset

顔のAction Unitって概念、そういえばKinect SDKの顔認識機能でもあったな。FACS(Facial Action Coding System)の考えがベースだろうか。


スポンサーリンク

関連記事

「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作ったのか
Paul Debevec
スクレイピング
ROSの薄い本
UnityでPoint Cloudを表示する方法
Seleniumを使ったFXや株の自動取引
UnityのAR FoundationでARKit 3
C++ 標準テンプレートライブラリ (STL)
iPhone・iPod touchで動作する知育ロボット『ROMO』
UnrealCLR:Unreal Engineで.NET Coreを利用できるプラグイン
機械学習手法『Random Forest』
Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ
Open3D:3Dデータ処理ライブラリ
オープンソースのStructure from Motionライブラリ『Theia』
クリエイターのための機械学習ツール『Runway ML』
OpenMVSのサンプルを動かしてみる
OpenCVの超解像処理モジュール『Super Resolution』
OpenCVベースの背景差分ライブラリ『BGSLibrary』
書籍『イラストで学ぶ ディープラーニング』
シフトカーを改造してラジコン化する人達
オープンソースの3Dメッシュデータライブラリ『OpenMesh』
UnityのuGUIチュートリアル
東京オリンピックと案内表示
Raspberry Pi
RefineNet (Multi-Path Refinement Network):ディープラーニン...
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『TouchScript』
ニューラルネットワークの構造を可視化するフレームワーク『TensorSpace.js』
Pythonのソースコードに特化した検索エンジン『Nullege』
ROMOハッカソンに行ってきた
Mayaのプラグイン開発
機械学習で遊ぶ
Pix2Pix:CGANによる画像変換
Arduinoで人感センサーを使う
PGGAN:段階的に解像度を上げて学習を進めるGAN
OpenCVのバージョン3が正式リリースされたぞ
OpenCVの三角測量関数『cv::triangulatepoints』
オープンソースハードウェア Arduino (アルドゥイーノ)
画像からカメラの3次元位置・姿勢を推定するライブラリ『OpenGV』
Google Chromecast
3Dボリュームデータ処理ライブラリ『OpenVDB』
ヒーローに変身なりきりアーケードゲーム『ナレルンダー』
書籍『ROSプログラミング』

コメント