PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。
別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。
そう思ったきっかけはKakeibonっていう無料で使える自動ネット家計簿を知ったから。(以前はOCN家計簿って名前だった)
このサイトは、銀行口座やクレジットカード、ECサイトなどの情報を引っ張ってきて収支をグラフにまとめてくれる。
銀行もクレジットカードも、それぞれのポータルサイトはAPIなんて公開していないので、おそらくスクレイピングで実現している。
既存の情報を上手く使うだけで色んなことが見えてくるんだなぁ、と感心した。
ということで、しばらくスクレイピングについて調べていたのである。ちょっと調べてみると、フロントでもサーバサイドでもできるし、色んな言語で実装できるので、どこから手を付けたらいいのかちょっと悩むレベルで選択肢が豊富。やるとしたらサーバサイドだけど、サーバサイドはどの言語が1番組み合わせやすいかちょっと自分の知見が足りてない。
こういうのは結構需要があるみたいで、スクレイピングするコードの共有や、スクレイピングしたデータをAPI化するサイトもあるみたい。
ScraperWiki
ScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。
開発者達はサイト上から直接コード（Ruby, PHP, Python）を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。
「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。
ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。
スクレイピングするなら ScraperWiki 使うといいよ
kimono
指定したウェブサイトをスクレイピングしてAPI化してくれるサービス「kimono」
さて、地道に勉強するか。
関連記事
PyTorch3D：3Dコンピュータービジョンライブラリ
2D→3D復元技術で使われる用語まとめ
PGGAN：段階的に解像度を上げて学習を進めるGAN
SVM (Support Vector Machine)
Unityの薄い本
Mean Stack開発の最初の一歩
Unityからkonashiをコントロールする
Google Chromecast
AmazonEC2のインスタンスをt1.microからt2....
Mask R-CNN：ディープラーニングによる一般物体検出・...
Dlib：C++の機械学習ライブラリ
UnrealCLR：Unreal Engineで.NET C...
HD画質の無駄遣い
Swark：コードからアーキテクチャ図を作成できるVSCod...
プログラムによる景観の自動生成
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
Unity MonoBehaviourクラスのオーバーライド...
Raspberry Pi
3Dグラフィックスの入門書
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
クラスの基本
WordPressのサーバ引っ越し方法を考える
BlenderのPython環境にPyTorchをインストー...
OpenCVでiPhone6sのカメラをキャリブレーションす...
Math.NET Numerics：Unityで使える数値計...
Super Resolution：OpenCVの超解像処理モ...
Google App Engineのデプロイ失敗
DCGAN (Deep Convolutional GAN)...
OpenCV3.3.0でsfmモジュールのビルドに成功！
ブログをGoogle App EngineからAmazon ...
法線マップを用意してCanvas上でShadingするサンプ...
OpenCVでカメラ画像から自己位置認識 (Visual O...
Kornia：微分可能なコンピュータービジョンライブラリ
OpenCV
WordPressの表示を高速化する
オープンソースのロボットアプリケーションフレームワーク『RO...
Human Generator：Blenderの人体生成アド...
OpenCVの超解像(SuperResolution)モジュ...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
機械学習手法『Random Forest』
viser：Pythonで使える3D可視化ライブラリ
このブログのデザインに飽きてきた
コメント