機械学習手法『SVM(Support Vector Machine)』

久しぶりの機械学習ネタ。

Deep Learningが何かと話題の昨今ですが、実用方面ではSVMやRandom Forestなどの古典的な手法が活躍しているらしい。
それなら、古典を学べば身近なところですぐに応用ができるのではないかと思い始めた。リッチな処理じゃなくて、すごく質素な単純作業か何かが自動化できたら面白いなぁ、と。(機械学習の古典的手法というとむしろニューラルネットワークの方らしいけど)

Random Forestについては前に勉強したからそれなりに理解しているので、今回はSVMについて理解を深めておこうと思う。

この記事に触発されたというのもあります。↓

C++によるSMOを用いたSVMの実装

機械学習の手法にはいろいろありますが、その中でもサポートベクトルマシン(SVM; support vector machine)は高い精度で知られる有名な手法です。
以前C++で多層パーセプトロンを実装したので、今度はSVMをC++で実装してみました。

スポンサーリンク

というか、この記事で非常にわかりやすく解説されているので、もうあんまりやることがない(笑)

SVMのような古典的な手法なら、以前見つけたMLDemosというツールに実装されているので、これをいじって試してみる。
https://blog.negativemind.com/2015/01/09/%e6%a9%9f%e6%a2%b0%e5%ad%a6%e7%bf%92%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e7%90%86%e8%a7%a3%e3%81%99%e3%82%8b%e3%81%9f%e3%82%81%e3%81%ae%e5%8f%af%e8%a6%96%e5%8c%96%e3%83%84%e3%83%bc%e3%83%ab%e3%80%8eml/

少し調べてみたら、SVMを実装したLIBSVMっていうメジャーなライブラリがあるみたい。↓

LIBSVM — A Library for Support Vector Machines

LIBSVMは、サポートベクトルの分類(C-SVC、NU-SVC)、回帰(イプシロン – SVR、NU-SVR)と分布推定(1クラスSVM)のための統合ソフトウェアで、マルチクラス分類をサポートしています。

ソースコードはGitHubにもある。色々な言語へのインターフェイスを用意しているみたいだけど、コアは読めなくもない量だ。
これ、javascriptでも動くのか。Wikipediaによると、Pythonの機械画集ライブラリscikit-learnもこのLIBSVMを利用しているらしい。