スクレイピング

PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。
別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。
そう思ったきっかけはKakeibonっていう無料で使える自動ネット家計簿を知ったから。(以前はOCN家計簿って名前だった)
このサイトは、銀行口座やクレジットカード、ECサイトなどの情報を引っ張ってきて収支をグラフにまとめてくれる。
銀行もクレジットカードも、それぞれのポータルサイトはAPIなんて公開していないので、おそらくスクレイピングで実現している。
既存の情報を上手く使うだけで色んなことが見えてくるんだなぁ、と感心した。

ということで、しばらくスクレイピングについて調べていたのである。ちょっと調べてみると、フロントでもサーバサイドでもできるし、色んな言語で実装できるので、どこから手を付けたらいいのかちょっと悩むレベルで選択肢が豊富。やるとしたらサーバサイドだけど、サーバサイドはどの言語が1番組み合わせやすいかちょっと自分の知見が足りてない。

こういうのは結構需要があるみたいで、スクレイピングするコードの共有や、スクレイピングしたデータをAPI化するサイトもあるみたい。


スポンサーリンク

ScraperWiki

ScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。
開発者達はサイト上から直接コード(Ruby, PHP, Python)を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。
「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。
ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。

スクレイピングするなら ScraperWiki 使うといいよ

kimono
指定したウェブサイトをスクレイピングしてAPI化してくれるサービス「kimono」

さて、地道に勉強するか。


スポンサーリンク

関連記事

OpenCVの顔検出過程を可視化した動画
続・ディープラーニングの資料
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
『Deep Fluids』流体シミュレーションをディープラーニングで近似する
OpenCV 3.1から追加されたSfMモジュール
OpenCVの超解像(SuperResolution)モジュールを試す
Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』
ブログの復旧が難航してた話
OpenCVでPhotoshopのプラグイン開発
WordPress on Google App Engineを1週間運用してみて
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法
Raspberry PiのGPIOを操作するPythonライブラリ『RPi.GPIO』の使い方
WordPressのサーバ引っ越し方法を考える
OpenCV 3.1のsfmモジュールを試す
Raspberry PiでIoTごっこ
Raspberry Pi
UnityでShaderの入力パラメータとして行列を渡す
html5のcanvasの可能性
AMIMOTO(PVM版)で作成したインスタンスをAMIMOTO (HVM版)へ移行する
OpenCV 3.1のsfmモジュールのビルド再び
UnityのMonoBehaviourクラスをシングルトン化する
UnityプロジェクトをGitHubで管理する
2D→3D復元技術で使われる用語まとめ
UnityでOpenCVを使うには?
PyDataTokyo主催のDeep Learning勉強会
Pythonのベイズ統計ライブラリ『PyMC』
openMVGをWindows10 Visual Studio 2015環境でビルドする
C++の機械学習ライブラリ『Dlib』
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...
C++ 標準テンプレートライブラリ (STL)
OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
WordPressの表示を高速化する
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
OpenGVの用語
オープンソースの顔認識フレームワーク『OpenBR』
Google App EngineでWordPress
オープンソースの汎用レンダラ『Mitsuba 2』
Pythonの自然言語処理ライブラリ『NLTK(Natural Language Toolkit)』
OpenCVのための軽量GUIライブラリ『cvui』
iOSデバイスと接続して連携するガジェットの開発方法
Amazon Web ServicesでWordPress

コメント