スクレイピング

PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。
別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。
そう思ったきっかけはKakeibonっていう無料で使える自動ネット家計簿を知ったから。(以前はOCN家計簿って名前だった)
このサイトは、銀行口座やクレジットカード、ECサイトなどの情報を引っ張ってきて収支をグラフにまとめてくれる。
銀行もクレジットカードも、それぞれのポータルサイトはAPIなんて公開していないので、おそらくスクレイピングで実現している。
既存の情報を上手く使うだけで色んなことが見えてくるんだなぁ、と感心した。

ということで、しばらくスクレイピングについて調べていたのである。ちょっと調べてみると、フロントでもサーバサイドでもできるし、色んな言語で実装できるので、どこから手を付けたらいいのかちょっと悩むレベルで選択肢が豊富。やるとしたらサーバサイドだけど、サーバサイドはどの言語が1番組み合わせやすいかちょっと自分の知見が足りてない。

こういうのは結構需要があるみたいで、スクレイピングするコードの共有や、スクレイピングしたデータをAPI化するサイトもあるみたい。


スポンサーリンク

ScraperWiki

ScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。
開発者達はサイト上から直接コード(Ruby, PHP, Python)を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。
「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。
ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。

スクレイピングするなら ScraperWiki 使うといいよ

kimono
指定したウェブサイトをスクレイピングしてAPI化してくれるサービス「kimono」

さて、地道に勉強するか。


スポンサーリンク

関連記事

Structure from Motion (多視点画像からの3次元形状復元)
定数
オープンソースの顔認識フレームワーク『OpenBR』
書籍『OpenCV 3 プログラミングブック』を購入
hloc:SuperGlueで精度を向上させたSfM実装
WordPressプラグインによるサイトマップの自動生成
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法
Raspberry Piでセンサーの常時稼働を検討する
組み込み向けのWindows OS 『Windows Embedded』
GAN (Generative Adversarial Networks):敵対的生成ネットワーク
OpenCVベースのマーカーARライブラリ『OpenAR』
C++ 標準テンプレートライブラリ (STL)
Deep Learningとその他の機械学習手法の性能比較
UnrealCLR:Unreal Engineで.NET Coreを利用できるプラグイン
OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる
第2回Webスクレイピング勉強会の資料
ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...
インタラクティブにComputer Visionコーディングができるツール『Live CV』
オープンソースの3Dメッシュデータライブラリ『OpenMesh』
OpenCVで顔のランドマークを検出する『Facemark API』
タマムシっぽい質感
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
OpenCVでiPhone6sのカメラをキャリブレーションする
AfterEffectsプラグイン開発
書籍『ROSプログラミング』
Kaolin:3Dディープラーニング用のPyTorchライブラリ
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
SONY製のニューラルネットワークライブラリ『NNabla』
プログラムによる景観の自動生成
python-twitterで自分のお気に入りを取得する
iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~
複数視点画像から3次元形状を復元するライブラリ『openMVG』
OpenCVのための軽量GUIライブラリ『cvui』
バージョン管理の履歴を可視化するツール『Gource』
Mitsuba 2:オープンソースの物理ベースレンダラ
スクラッチで既存のキャラクターを立体化したい
2D→3D復元技術で使われる用語まとめ
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
Open3D:3Dデータ処理ライブラリ
機械学習で遊ぶ
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)

コメント