PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。
別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。
そう思ったきっかけはKakeibonっていう無料で使える自動ネット家計簿を知ったから。(以前はOCN家計簿って名前だった)
このサイトは、銀行口座やクレジットカード、ECサイトなどの情報を引っ張ってきて収支をグラフにまとめてくれる。
銀行もクレジットカードも、それぞれのポータルサイトはAPIなんて公開していないので、おそらくスクレイピングで実現している。
既存の情報を上手く使うだけで色んなことが見えてくるんだなぁ、と感心した。
ということで、しばらくスクレイピングについて調べていたのである。ちょっと調べてみると、フロントでもサーバサイドでもできるし、色んな言語で実装できるので、どこから手を付けたらいいのかちょっと悩むレベルで選択肢が豊富。やるとしたらサーバサイドだけど、サーバサイドはどの言語が1番組み合わせやすいかちょっと自分の知見が足りてない。
こういうのは結構需要があるみたいで、スクレイピングするコードの共有や、スクレイピングしたデータをAPI化するサイトもあるみたい。
ScraperWiki
ScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。
開発者達はサイト上から直接コード（Ruby, PHP, Python）を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。
「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。
ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。
スクレイピングするなら ScraperWiki 使うといいよ
kimono
指定したウェブサイトをスクレイピングしてAPI化してくれるサービス「kimono」
さて、地道に勉強するか。
関連記事
RSSフィードを読込んで表示するWordpressプラグイン...
OpenMesh：オープンソースの３Dメッシュデータライブラ...
PythonでBlenderのAdd-on開発
OpenGVの用語
タマムシっぽい質感
Kubric：機械学習用アノテーション付き動画生成パイプライ...
ZScript
Python拡張モジュールのWindows用インストーラー配...
UnrealCLR：Unreal Engineで.NET C...
OpenCVでPhotoshopのプラグイン開発
OpenCV 3.3.0-RCでsfmモジュールをビルド
Raspberry Pi 2を買いました
Mayaのプラグイン開発
Gource：バージョン管理の履歴を可視化するツール
オープンソースの取引プラットフォーム
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Konashiを買った
Pythonの自然言語処理ライブラリ『NLTK(Natura...
OpenCVのバージョン3が正式リリースされたぞ
機械学習に役立つPythonライブラリ一覧
オープンソースの顔認識フレームワーク『OpenBR』
3Dモデルを立体視で確認できるVRアプリを作っている
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
SVM (Support Vector Machine)
Python.NET：Pythonと.NETを連携させるパッ...
IronPythonを使ってUnity上でPythonのコー...
MVStudio：オープンソースのPhotogrammetr...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
TorchStudio：PyTorchのための統合開発環境と...
Unityで強化学習できる『Unity ML-Agents』
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
3分の動画でプログラミングを学習できるサイト『ドットインスト...
UnityのGameObjectの向きをScriptで制御す...
2D→3D復元技術で使われる用語まとめ
Google製オープンソース機械学習ライブラリ『Tensor...
Unityからkonashiをコントロールする
OpenCV3.3.0でsfmモジュールのビルドに成功！
openMVGをWindows10 Visual Studi...
Raspberry Piでセンサーの常時稼働を検討する
Dlib：C++の機械学習ライブラリ
bpy-renderer：レンダリング用Pythonパッケー...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
コメント