スクレイピング

PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。
別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。
そう思ったきっかけはKakeibonっていう無料で使える自動ネット家計簿を知ったから。(以前はOCN家計簿って名前だった)
このサイトは、銀行口座やクレジットカード、ECサイトなどの情報を引っ張ってきて収支をグラフにまとめてくれる。
銀行もクレジットカードも、それぞれのポータルサイトはAPIなんて公開していないので、おそらくスクレイピングで実現している。
既存の情報を上手く使うだけで色んなことが見えてくるんだなぁ、と感心した。

ということで、しばらくスクレイピングについて調べていたのである。ちょっと調べてみると、フロントでもサーバサイドでもできるし、色んな言語で実装できるので、どこから手を付けたらいいのかちょっと悩むレベルで選択肢が豊富。やるとしたらサーバサイドだけど、サーバサイドはどの言語が1番組み合わせやすいかちょっと自分の知見が足りてない。

こういうのは結構需要があるみたいで、スクレイピングするコードの共有や、スクレイピングしたデータをAPI化するサイトもあるみたい。


スポンサーリンク

ScraperWiki

ScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。
開発者達はサイト上から直接コード(Ruby, PHP, Python)を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。
「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。
ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。

スクレイピングするなら ScraperWiki 使うといいよ

kimono
指定したウェブサイトをスクレイピングしてAPI化してくれるサービス「kimono」

さて、地道に勉強するか。


スポンサーリンク

関連記事

Accord.NET Framework:C#で使える機械学習ライブラリ

Mean Stack開発の最初の一歩

FreeMoCap Project:オープンソースのマーカーレスモーションキャプチャ

WordPress on Google App Engineを1週間運用してみて

3Dグラフィックスの入門書

UnityのAR FoundationでARKit 3

C++ 標準テンプレートライブラリ (STL)

Polyscope:3Dデータ操作用GUIライブラリ

iPhone・iPod touchで動作する知育ロボット『ROMO』

Pythonのソースコードに特化した検索エンジン『Nullege』

OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』

OpenAR:OpenCVベースのマーカーARライブラリ

Twitter APIのPythonラッパー『python-twitter』

オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...

DensePose:画像中の人物表面のUV座標を推定する

SONYの自律型エンタテインメントロボット『aibo』

AmazonEC2のインスタンスをt1.microからt2.microへ移行する

Unreal Engineの薄い本

Verilog HDL

GAN (Generative Adversarial Networks):敵対的生成ネットワーク

書籍『3次元コンピュータビジョン計算ハンドブック』を購入

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

hloc:SuperGlueで精度を向上させたSfM実装

AndroidもopenGLも初心者さ (でもJavaは知ってるよ)

ブログが1日ダウンしてました

書籍『ROSプログラミング』

ブログをGoogle App EngineからAmazon EC2へ移行

OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク

VCG Library:C++のポリゴン操作ライブラリ

今年もSSII

openMVGをWindows10 Visual Studio 2015環境でビルドする

Raspberry Pi 2を買いました

プログラムによる景観の自動生成

サンプルコードにも間違いはある?

iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~

C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』

WinSCP

Raspberry Pi

Cartographer:オープンソースのSLAMライブラリ

Webスクレイピングの勉強会に行ってきた

OpenSfM:PythonのStructure from Motionライブラリ

ニューラルネットワークで画像分類

コメント