Dlib:C++の機械学習ライブラリ

画像認識系の人達の間では、高性能な顔の器官検出(Face Alignment)が手軽に利用できることで知られているC++のライブラリ Dlib。(表記は大文字、小文字どっちなんでしょう?)
英語のWikipediaによると、2002年から開発されているかなり歴史のあるライブラリみたい。

公式ブログによると、最新バージョンのdlib 19.0からDeep Learning APIが備わったようです。

Dlib C++ Library

dlib

Dlibは、現実世界の問題を扱う高度なソフトウェアを実装するための機械学習アルゴリズムやツールを備えたモダンなC++ツールキットです。Dlibはロボット工学、組み込みデバイス、携帯電話、巨大なハイパフォーマンスコンピューティング環境など、産業・アカデミック分野を問わず幅広い分野で利用されています。Dlibのオープンソースライセンシングにより、任意のアプリケーションに無料で利用できます。

Dlibの開発ソースコードのフォロー、または開発への参加はdlib on githubから。また、プロジェクトにコードを提出する予定であればHow to Contributeのページをお読みください。

dlibのライセンスはBoost Software License 1.0(BSL 1.0)なので、ソースコードも丸ごと配布する場合を除き、著作権表示なしでも商用利用可。(とても緩いライセンスですね)

C++で使えることを強調してるけど、Pythonバインドもある。機械学習以外の様々なツールも盛り込まれていて、一見すると何がメインのライブラリなのか良くわからないですが、オイラは機械学習のライブラリと捉えています。



ということで、GitHub上のリポジトリはこちら↓
https://github.com/davisking/dlib

Face Alignment

Face Alignmentに関する公式ブログの記事はこちら↓
http://blog.dlib.net/2014/08/real-time-face-pose-estimation.html
Real-Time Face Pose Estimation

データをOpenCV形式に変換する関数も用意されているし、公式にWebカメラの画像からリアルタイムにFace Alignmentを実行するサンプルコードが公開されているので、本当に簡単なんですよね↓
http://dlib.net/webcam_face_pose_ex.cpp.html

こちらがDlibのFace Alignment↓



ちなみに、顔の検出処理もOpenCVと異なっているらしく、OpenCVの顔検出との性能比較動画が公開されている。
青い丸がOpenCV、赤い矩形がdlibによる顔検出。↓



4月に第33回 コンピュータビジョン勉強会@関東でも紹介されてた。↓

2018年5月 追記:現在は同じ検出アルゴリズムがOpenCVのFacemark APIにも実装されています↓


Deep Learning API

Dlibバージョン19.0で新しく入ったDeep Learning APIについて公式ブログで説明されている↓

A Clean C++11 Deep Learning API

A Clean C++11 Deep Learning API

ざっと要約すると、

C++11規格に則ったDeep Learning APIで、CPU, GPUでの演算に対応。NVIDIAのDeep LearningライブラリcuDNNにバインドされていて、複数GPUを利用した学習が可能。
ImageNetを34層 Deep Residual Learningに基づいて訓練したモデル(?)が付属し、それを利用した実装サンプルはこちら

追記:バージョン19.3からDeep Learningによる顔認識(認証とか照合?)ツールが加わったらしい。
http://blog.dlib.net/2017/02/high-quality-face-recognition-with-deep.html

本リリースで多くの新機能が追加されましたが、最も注目すべきはdlibのdeep learning APIを使った最先端の顔認識サンプルを含むdeep learningツールです。
詳しくは http://dlib.net/dnn_face_recognition_ex.cpp.html をご覧ください。

Deep Face Recognitionのサンプルコードはこちら↓

http://dlib.net/dnn_face_recognition_ex.cpp.html

関連記事

openMVGをWindows10 Visual Studio 2015環境でビルドする

Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ

TensorFlowでCGを微分できる『TensorFlow Graphics』

Human Generator:Blenderの人体生成アドオン

Google Colaboratoryで遊ぶ準備

bpy-renderer:レンダリング用Pythonパッケージ

SDカードサイズのコンピューター『Intel Edison』

Google XML Sitemap Generatorプラグインを3.4.1へダウングレード

Kaolin:3Dディープラーニング用のPyTorchライブラリ

PeopleSansPeople:機械学習用の人物データをUnityで生成する

Mechanizeで要認証Webサイトをスクレイピング

UnityのAR FoundationでARKit 3

AndroidもopenGLも初心者さ (でもJavaは知ってるよ)

iOSデバイスと接続して連携するガジェットの開発方法

ブログの復旧が難航してた話

FreeMoCap Project:オープンソースのマーカーレスモーションキャプチャ

MB-Lab:Blenderの人体モデリングアドオン

pythonもかじってみようかと

CycleGAN:ドメイン関係を学習した画像変換

リアルタイム レイトレーシングAPI『DirectX Raytracing (DXR)』

SSD (Single Shot Multibox Detector):ディープラーニングによる一般...

COLMAP:オープンソースのSfM・MVSツール

疑似3D写真が撮れるiPhoneアプリ『Seene』がアップデートでついにフル3Dモデルが撮影できる...

Python.NET:Pythonと.NETを連携させるパッケージ

C++ 標準テンプレートライブラリ (STL)

第1回 3D勉強会@関東『SLAMチュートリアル大会』

Raspberry Piでセンサーの常時稼働を検討する

Transformer Explainer:テキスト生成モデルの可視化ツール

Deep Learningとその他の機械学習手法の性能比較

Model View Controller

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた

iPhoneで3D写真が撮れるアプリ『seene』

Google App Engine上のWordPressでFlickrの画像を貼る

1枚の画像からマテリアルを作成できる無料ツール『Materialize』

OpenVDB:3Dボリュームデータ処理ライブラリ

NVIDIA Quadro OpenGL DriverのDeep Color不具合の対処方法

Netron:機械学習モデルを可視化するツール

オープンソースの人体モデリングツール『MakeHuman』のAPI開発プロジェクトがスタート

Structure from Motion (多視点画像からの3次元形状復元)

Pythonの自然言語処理ライブラリ『NLTK(Natural Language Toolkit)』

geometry3Sharp:Unity C#で使えるポリゴン操作ライブラリ

Twitter APIのPythonラッパー『python-twitter』

コメント