スクレイピング

PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。
別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。
そう思ったきっかけはKakeibonっていう無料で使える自動ネット家計簿を知ったから。(以前はOCN家計簿って名前だった)
このサイトは、銀行口座やクレジットカード、ECサイトなどの情報を引っ張ってきて収支をグラフにまとめてくれる。
銀行もクレジットカードも、それぞれのポータルサイトはAPIなんて公開していないので、おそらくスクレイピングで実現している。
既存の情報を上手く使うだけで色んなことが見えてくるんだなぁ、と感心した。

ということで、しばらくスクレイピングについて調べていたのである。ちょっと調べてみると、フロントでもサーバサイドでもできるし、色んな言語で実装できるので、どこから手を付けたらいいのかちょっと悩むレベルで選択肢が豊富。やるとしたらサーバサイドだけど、サーバサイドはどの言語が1番組み合わせやすいかちょっと自分の知見が足りてない。

こういうのは結構需要があるみたいで、スクレイピングするコードの共有や、スクレイピングしたデータをAPI化するサイトもあるみたい。


スポンサーリンク

ScraperWiki

ScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。
開発者達はサイト上から直接コード(Ruby, PHP, Python)を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。
「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。
ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。

スクレイピングするなら ScraperWiki 使うといいよ

kimono
指定したウェブサイトをスクレイピングしてAPI化してくれるサービス「kimono」

さて、地道に勉強するか。


スポンサーリンク

関連記事

IronPythonを使ってUnity上でPythonのコードを実行する
Pythonのベイズ統計ライブラリ『PyMC』
WordPress on Google App Engineを1週間運用してみて
UnityでTweenアニメーションを実装できる3種類の無料Asset
PythonのStructure from Motionライブラリ『OpenSfM』
Model View Controller
第1回 3D勉強会@関東『SLAMチュートリアル大会』
BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
PythonでMayaのShapeノードプラグインを作る
Google Chromecast
UnityからROSを利用できる『ROS#』
C++の機械学習ライブラリ『Dlib』
ROMOハッカソンに行ってきた
OpenCVで顔のモーフィングを実装する
Raspberry Piでセンサーの常時稼働を検討する
OpenCVの超解像処理モジュール『Super Resolution』
Unityで学ぶC#
人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
C++始めようと思うんだ
Mechanizeで要認証Webサイトをスクレイピング
複数視点画像から3次元形状を復元するライブラリ『openMVG』
オープンソースの3Dメッシュデータライブラリ『OpenMesh』
Twitter APIのPythonラッパー『python-twitter』
Unity ARKitプラグインサンプルのドキュメントを読む
機械学習手法『Random Forest』
Google App Engine上のWordPressでFlickrの画像を貼る
Pythonの自然言語処理ライブラリ『NLTK(Natural Language Toolkit)』
画像からカメラの3次元位置・姿勢を推定するライブラリ『OpenGV』
ブログが1日ダウンしてました
OpenCVベースのマーカーARライブラリ『OpenAR』
Raspberry Pi 2のGPIOピン配置
オープンソースの顔の動作解析ツールキット『OpenFace』
今年もSSII
機械学習手法『SVM(Support Vector Machine)』
WinSCP
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
オープンソースの物理ベースGIレンダラ『appleseed』
マルコフ連鎖モンテカルロ法
このブログのデザインに飽きてきた
OpenCVのための軽量GUIライブラリ『cvui』
画像中の人物表面のUV座標を推定する『DensePose』
OpenCVで顔のランドマークを検出する『Facemark API』

コメント