PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。
別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。
そう思ったきっかけはKakeibonっていう無料で使える自動ネット家計簿を知ったから。(以前はOCN家計簿って名前だった)
このサイトは、銀行口座やクレジットカード、ECサイトなどの情報を引っ張ってきて収支をグラフにまとめてくれる。
銀行もクレジットカードも、それぞれのポータルサイトはAPIなんて公開していないので、おそらくスクレイピングで実現している。
既存の情報を上手く使うだけで色んなことが見えてくるんだなぁ、と感心した。
ということで、しばらくスクレイピングについて調べていたのである。ちょっと調べてみると、フロントでもサーバサイドでもできるし、色んな言語で実装できるので、どこから手を付けたらいいのかちょっと悩むレベルで選択肢が豊富。やるとしたらサーバサイドだけど、サーバサイドはどの言語が1番組み合わせやすいかちょっと自分の知見が足りてない。
こういうのは結構需要があるみたいで、スクレイピングするコードの共有や、スクレイピングしたデータをAPI化するサイトもあるみたい。
ScraperWiki
ScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。
開発者達はサイト上から直接コード（Ruby, PHP, Python）を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。
「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。
ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。
スクレイピングするなら ScraperWiki 使うといいよ
kimono
指定したウェブサイトをスクレイピングしてAPI化してくれるサービス「kimono」
さて、地道に勉強するか。
関連記事
Theia：オープンソースのStructure from M...
Mitsuba 3：オープンソースの研究向けレンダラ
Webスクレイピングの勉強会に行ってきた
3Dモデルを立体視で確認できるVRアプリを作っている
機械学習で遊ぶ
OpenMVS：Multi-View Stereoによる3次...
PyMC：Pythonのベイズ統計ライブラリ
Unityの薄い本
フォトンの放射から格納までを可視化した動画
第2回Webスクレイピング勉強会の資料
オープンソースの人体モデリングツール『MakeHuman』の...
Raspberry Pi 2を買いました
PGGAN：段階的に解像度を上げて学習を進めるGAN
OpenVDB：3Dボリュームデータ処理ライブラリ
ManimML：機械学習の概念を視覚的に説明するためのライブ...
openMVG：複数視点画像から3次元形状を復元するライブラ...
C++の抽象クラス
NumSharp：C#で使えるNumPyライクな数値計算ライ...
Python for Unity：UnityEditorでP...
Python拡張モジュールのWindows用インストーラー配...
Structure from Motion (多視点画像から...
オープンソースの顔の動作解析ツールキット『OpenFace』
uvでWindows11のPython環境を管理する
ZBrushのZScript入門
OpenGVのライブラリ構成
ブログが1日ダウンしてました
Deep Learningとその他の機械学習手法の性能比較
WinSCP
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
SONYの自律型エンタテインメントロボット『aibo』
マルコフ連鎖モンテカルロ法
Gource：バージョン管理の履歴を可視化するツール
Point Cloud Utils：Pythonで3D点群・...
UnityでLight Shaftを表現する
Google App Engine上のWordPressでA...
adskShaderSDK
Blendify：コンピュータービジョン向けBlenderラ...
Pylearn2：ディープラーニングに対応したPythonの...
OpenCVでカメラ画像から自己位置認識 (Visual O...
Quartus II
コメント