PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。
別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。
そう思ったきっかけはKakeibonっていう無料で使える自動ネット家計簿を知ったから。(以前はOCN家計簿って名前だった)
このサイトは、銀行口座やクレジットカード、ECサイトなどの情報を引っ張ってきて収支をグラフにまとめてくれる。
銀行もクレジットカードも、それぞれのポータルサイトはAPIなんて公開していないので、おそらくスクレイピングで実現している。
既存の情報を上手く使うだけで色んなことが見えてくるんだなぁ、と感心した。
ということで、しばらくスクレイピングについて調べていたのである。ちょっと調べてみると、フロントでもサーバサイドでもできるし、色んな言語で実装できるので、どこから手を付けたらいいのかちょっと悩むレベルで選択肢が豊富。やるとしたらサーバサイドだけど、サーバサイドはどの言語が1番組み合わせやすいかちょっと自分の知見が足りてない。
こういうのは結構需要があるみたいで、スクレイピングするコードの共有や、スクレイピングしたデータをAPI化するサイトもあるみたい。
ScraperWiki
ScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。
開発者達はサイト上から直接コード（Ruby, PHP, Python）を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。
「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。
ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。
スクレイピングするなら ScraperWiki 使うといいよ
kimono
指定したウェブサイトをスクレイピングしてAPI化してくれるサービス「kimono」
さて、地道に勉強するか。
関連記事
ROMOハッカソンに行ってきた
Webスクレイピングの勉強会に行ってきた
WordPressの表示を高速化する
DensePose：画像中の人物表面のUV座標を推定する
viser：Pythonで使える3D可視化ライブラリ
UnityでOpenCVを使うには？
OpenCV 3.1のsfmモジュールを試す
Raspberry Pi 2のGPIOピン配置
このブログのデザインに飽きてきた
Composition Rendering：Blenderに...
iPhoneアプリ開発 Xcode 5のお作法
UnityのMonoBehaviourクラスをシングルトン化...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
Live CV：インタラクティブにComputer Visi...
adskShaderSDK
RSSフィードを読込んで表示するWordpressプラグイン...
フォトンの放射から格納までを可視化した動画
PyDataTokyo主催のDeep Learning勉強会
WordPressのテーマを自作する
Faster R-CNN：ディープラーニングによる一般物体検...
Rerun：マルチモーダルデータの可視化アプリとSDK
trimesh：PythonでポリゴンMeshを扱うライブラ...
iPhone x ロボットハッカソン～RomoのiPhone...
OpenCVで顔のランドマークを検出する『Facemark ...
JavaScriptとかWebGLとかCanvasとか
html5のcanvasの可能性
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Unity ARKitプラグインサンプルのドキュメントを読む
ブログのデザイン変えました
Deep Fluids：流体シミュレーションをディープラーニ...
Raspberry Pi 2を買いました
Polyscope：3Dデータ操作用GUIライブラリ
Blendify：コンピュータービジョン向けBlenderラ...
GAN (Generative Adversarial Ne...
HD画質の無駄遣い
OpenCVでPhotoshopのプラグイン開発
WordPress on Windows Azure
KelpNet：C#で使える可読性重視のディープラーニングラ...
PythonのHTML・XMLパーサー『BeautifulS...
iOSで使えるJetpac社の物体認識SDK『DeepBel...
Iterator
BlenderProc：Blenderで機械学習用の画像デー...
コメント