サイトアイコン NegativeMindException

オープンソースの顔の動作解析ツールキット『OpenFace』

カーネギーメロン大学が開発している、顔画像から個人を識別するフレームワークOpenFaceと同じ名前で混乱しますが、



ケンブリッジ大学 Multicomp groupが開発しているOpenFaceという全く別のツールキットがあります。こちらは、顔検出、ランドマーク検出、頭の姿勢推定、表情変化の認識、視線推定などをリアルタイムに行うもの。
Copyright.txtによると、アカデミックまたは非商用に限り利用可能だそうです。商用利用は不可。

OpenFace: an open source facial behavior analysis toolkit




OpenFaceは、コンピュータビジョン・機械学習の研究者、情緒的コンピューティングのコミュニティ、顔の動作・表情の変化を用いたインタラクティブなアプリケーションの開発者を対象としたツールです。

OpenFaceは、顔のランドマーク検出、頭の姿勢推定、顔のAction Unitの認識、視線推定が可能な最初のツールキットです。OpenFaceのコアとなるコンピュータビジョンアルゴリズムは、上記のタスクすべてでstate-of-the-artな結果を示しています。

さらに、OpenFaceはリアルタイムに動作し、普通のウェブカメラで実行できます。特別なハードウェアは必要ありません。


スポンサーリンク

Dockerfileもありますね。

公式Wikiはこちら↓
https://github.com/TadasBaltrusaitis/OpenFace/wiki

このツールキットの前身はCLM-framework(Cambridge face tracker)というフレームワークだったようです。↓
https://github.com/TadasBaltrusaitis/CLM-framework

YouTubeで公開されているデモ動画もCLM-framework時代のもの。





顔のAction Unitって概念、そういえばKinect SDKの顔認識機能でもあったな。FACS(Facial Action Coding System)の考えがベースだろうか。


スポンサーリンク

関連記事

  • Raspberry PiのGPIOを操作するPythonライブラリ『RPi.GPIO』の使い方
  • Konashiを買った
  • CGALDotNet:計算幾何学ライブラリ CGALのC#ラッパー
  • OpenCV
  • openMVGをWindows10 Visual Studio 2015環境でビルドする
  • 自前Shaderの件 解決しました
  • 法線マップを用意してCanvas上でShadingするサンプル
  • Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法
  • 立体視を試してみた
  • Windows10でPyTorchをインストールしてVSCodeで使う
  • SONY製のニューラルネットワークライブラリ『NNabla』
  • viser:Pythonで使える3D可視化ライブラリ
  • BGSLibrary:OpenCVベースの背景差分ライブラリ
  • OpenMayaのPhongShaderクラス
  • Pythonのソースコードに特化した検索エンジン『Nullege』
  • ミニ四駆を改造してBluetoothラジコン化する
  • OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
  • SSII2014 チュートリアル講演会の資料
  • 書籍『ROSプログラミング』
  • iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』
  • SDカードサイズのコンピューター『Intel Edison』
  • Google App EngineでWordPress
  • DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
  • iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~
  • SONYの自律型エンタテインメントロボット『aibo』
  • 科学技術計算向けスクリプト言語『Julia』
  • WordPressプラグインによるサイトマップの自動生成
  • OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
  • Seleniumを使ったFXや株の自動取引
  • hloc:SuperGlueで精度を向上させたSfM実装
  • trimesh:PythonでポリゴンMeshを扱うライブラリ
  • 機械学習について最近知った情報
  • 3Dスキャンに基づくプロシージャルフェイシャルアニメーション
  • Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
  • AR (Augmented Reality)とDR (Diminished Reality)
  • PythonでBlenderのAdd-on開発
  • ROSでガンダムを動かす
  • Deep Fluids:流体シミュレーションをディープラーニングで近似する
  • 書籍『イラストで学ぶ ディープラーニング』
  • Raspberry PiでIoTごっこ
  • 粘土をこねるようなスカルプトモデリング
  • 画像生成AI Stable Diffusionで遊ぶ
  • モバイルバージョンを終了