PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。
別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。
そう思ったきっかけはKakeibonっていう無料で使える自動ネット家計簿を知ったから。(以前はOCN家計簿って名前だった)
このサイトは、銀行口座やクレジットカード、ECサイトなどの情報を引っ張ってきて収支をグラフにまとめてくれる。
銀行もクレジットカードも、それぞれのポータルサイトはAPIなんて公開していないので、おそらくスクレイピングで実現している。
既存の情報を上手く使うだけで色んなことが見えてくるんだなぁ、と感心した。
ということで、しばらくスクレイピングについて調べていたのである。ちょっと調べてみると、フロントでもサーバサイドでもできるし、色んな言語で実装できるので、どこから手を付けたらいいのかちょっと悩むレベルで選択肢が豊富。やるとしたらサーバサイドだけど、サーバサイドはどの言語が1番組み合わせやすいかちょっと自分の知見が足りてない。
こういうのは結構需要があるみたいで、スクレイピングするコードの共有や、スクレイピングしたデータをAPI化するサイトもあるみたい。
ScraperWiki
ScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。
開発者達はサイト上から直接コード（Ruby, PHP, Python）を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。
「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。
ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。
スクレイピングするなら ScraperWiki 使うといいよ
kimono
指定したウェブサイトをスクレイピングしてAPI化してくれるサービス「kimono」
さて、地道に勉強するか。
関連記事
viser：Pythonで使える3D可視化ライブラリ
Mitsuba 2：オープンソースの物理ベースレンダラ
NeuralNetwork.NET：.NETで使えるTens...
AndroidもopenGLも初心者さ (でもJavaは知っ...
UnityのTransformクラスについて調べてみた
iPhone x ロボットハッカソン～RomoのiPhone...
OpenCVの超解像(SuperResolution)モジュ...
OpenCVのfindEssentialMat関数を使ったサ...
DensePose：画像中の人物表面のUV座標を推定する
OpenCVの顔検出過程を可視化した動画
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
iOSデバイスのためのフィジカル・コンピューティングツールキ...
Managing Software Requirements...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
ブログのデザイン変えました
OpenCVで平均顔を作るチュートリアル
OpenFace：Deep Neural Networkによ...
組み込み向けのWindows OS 『Windows Emb...
UnityでShaderの入力パラメータとして行列を渡す
Geogram：C++の3D幾何アルゴリズムライブラリ
WordPressプラグインの作り方
TensorSpace.js：ニューラルネットワークの構造を...
OpenMVS：Multi-View Stereoによる3次...
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
Raspberry Pi 2のGPIOピン配置
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
Pythonのソースコードに特化した検索エンジン『Nulle...
Boost オープンソースライブラリ
iOSで使えるJetpac社の物体認識SDK『DeepBel...
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
オープンソースの顔の動作解析ツールキット『OpenFace』
Raspberry Pi 2を買いました
Google Colaboratoryで遊ぶ準備
書籍『仕事ではじめる機械学習』を読みました
UnityでARKit2.0
CycleGAN：ドメイン関係を学習した画像変換
Google App Engine上のWordPressでF...
Composition Rendering：Blenderに...
Unityの薄い本
サンプルコードにも間違いはある？
Polyscope：3Dデータ操作用GUIライブラリ
プログラミングスキルとは何か？
コメント