Deep Learningとその他の機械学習手法の性能比較

Rでディープラーニングとそれ以外の機械学習手法を比較した記事を見つけた。H2Oっていうディープラーニングに対応したR言語用のパッケージがあるのね。
使用するデータはサンプルデータでおなじみの「Iris flower data set」。アヤメの花びらの幅、長さ、がくの幅、長さ、種類の統計情報で、Rや、Pythonの機械学習ライブラリだと標準で入っていたりするデータ。scikit-learnにも入ってたな。


スポンサーリンク

この記事では、このデータを使ってアヤメの種類を予測を行い、精度を比較している。↓
Deep Learningの性能を見てみよう ~Iris編~

Deep Learningの性能比較対象として以下の機械学習の手法を用いました。

  • 決定木
  • ランダムフォレスト
  • Extremely Randomized Trees (ERT)
  • サポートベクターマシーン
  • ニューラルネットワーク
  • ブースティング(adaboost/弱学習器は決定木)
  • バギング(弱学習器は決定木)

Deep Learningを含め、それぞれの手法はハイパーパラメータによって性能が変わりますが、今回は単純にRのパッケージのデフォルト値を用いています。
(中略)
Deep Learningが他の手法を抑えてエラー率が一番小さい結果となりました。学習器がランダム性を含んでいるものもあるので、乱数を変えて行うと多少違う結果を得ることになりますが、今回のケースでは乱数を変えて行ってもDeep Learningのエラー率が一番小さくなることが多い結果となりました。


スポンサーリンク

元記事ではRのサンプルコードと、エラー率をプロットした図が載ってる。機械学習手法は、パラメータ調整でパフォーマンスが結構変動するので、デフォルトパラメータでの比較だけでは語れないわけだけど、なんとなくディープラーニングだけ他とは桁外れな感じではある。

そして、こっちでもH2Oを使って別のデータを試している。データセットが少ないと結果にかなり変動があるらしい。↓
H2OのRパッケージ{h2o}でお手軽にDeep Learningを実践してみる(1):まずは決定境界を描く

元々H2Oはin-memoryプラットフォームとしてHadoop上や最近だとSpark上で動かすのを前提として配布されているデータ分析&機械学習フレームワークなんですが、何故かRパッケージも配布してるんですね。
(中略)
で、3000×7および100×2という2つのデータセットに対してやってみた結果なんですが、h2o.deeplearningの挙動を見た感じだとめちゃくちゃ不安定なんですよね。というか、チューニング次第でいかようにも決定境界が好き放題変わってしまうというイメージ。。。これは正直ちょっと意外でした。けれどもよくよく考えたらそれでも当然なのかなぁと。

理由はいくつか考えられて、まずそもそもそんな小さなサンプルサイズのデータセットに使うものじゃないんじゃないか?ということ。むしろ3000×7とか100×2みたいなスモールデータにDeep Learningを使うのが間違ってるだろ!ということなんでしょうが、言い換えると「とてもじゃないが精度と汎化性能の両立が従来の分類器では達成しようがないような巨大データに対してDeep Learningを用いるべき」ということなのかなぁと。


スポンサーリンク

関連記事

人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
ドラマ『ファースト・クラス』のパラレルショートド­ラマ『ファースト・クラス・ガールズ』
WordPressプラグインによるサイトマップの自動生成
大幸薬品の『クレベリン』のプロモーション『除菌戦士ジョキンジャー』
Python拡張モジュールのWindows用インストーラー配布サイト
書籍『OpenCV 3 プログラミングブック』を購入
ちょっと凝り過ぎなWebキャンペーン:全日本バーベイタム選手権 (MITSUBISHI KAGAKU...
Houdiniのライセンスの種類
サンライズの勇者シリーズ30周年
インターフェイスは世界を規定する
iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』
スクレイピング
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法
機械学習のオープンソースソフトウェアフォーラム『mloss(machine learning ope...
WordPress on Google App Engineを1週間運用してみて
ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...
重いコンテンツとゆるいコンテンツ
ドラマ『ファースト・クラス』第2弾 10月から放送
CGAN (Conditional GAN):条件付き敵対的生成ネットワーク
オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』
PythonでMayaのShapeノードプラグインを作る
偏愛マップ
Javaで作られたオープンソースの3DCGレンダラ『Sunflow』
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
シフトカーを改造する人達
DMMが秋葉原にMakerスペース『DMM.make AKIBA』をオープン
Twitter APIのPythonラッパー『python-twitter』
OpenCVで動画の手ぶれ補正
DTCP-IP対応のDLNAクライアントアプリ『Media Link Player for DTV』
openMVGをWindows10 Visual Studio 2015環境でビルドする
仮想関数
素敵なパーティクル
Unityで強化学習できる『Unity ML-Agents』
仮面ライダーバトライド・ウォー
画像からカメラの3次元位置・姿勢を推定するライブラリ『OpenGV』
オープンソースの顔の動作解析ツールキット『OpenFace』
Profilograph
ミステリー・コメディドラマ『名探偵モンク』
研究者のための英文校正業者比較サイト

コメント