スクレイピング

PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。
別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。
そう思ったきっかけはKakeibonっていう無料で使える自動ネット家計簿を知ったから。(以前はOCN家計簿って名前だった)
このサイトは、銀行口座やクレジットカード、ECサイトなどの情報を引っ張ってきて収支をグラフにまとめてくれる。
銀行もクレジットカードも、それぞれのポータルサイトはAPIなんて公開していないので、おそらくスクレイピングで実現している。
既存の情報を上手く使うだけで色んなことが見えてくるんだなぁ、と感心した。

ということで、しばらくスクレイピングについて調べていたのである。ちょっと調べてみると、フロントでもサーバサイドでもできるし、色んな言語で実装できるので、どこから手を付けたらいいのかちょっと悩むレベルで選択肢が豊富。やるとしたらサーバサイドだけど、サーバサイドはどの言語が1番組み合わせやすいかちょっと自分の知見が足りてない。

こういうのは結構需要があるみたいで、スクレイピングするコードの共有や、スクレイピングしたデータをAPI化するサイトもあるみたい。

ScraperWiki

ScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。
開発者達はサイト上から直接コード(Ruby, PHP, Python)を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。
「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。
ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。

スクレイピングするなら ScraperWiki 使うといいよ

kimono
指定したウェブサイトをスクレイピングしてAPI化してくれるサービス「kimono」

さて、地道に勉強するか。

関連記事

OpenVDB:3Dボリュームデータ処理ライブラリ

Mayaのプラグイン開発

ブログのデザイン変えました

OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク

Google App Engine上のWordPressでAmazonJSを利用する

OpenCVでiPhone6sのカメラをキャリブレーションする

C++の抽象クラス

MPFB2:Blenderの人体モデリングアドオン

書籍『ゼロから作るDeep Learning』で自分なりに学ぶ

CGALDotNet:計算幾何学ライブラリ CGALのC#ラッパー

OpenGVのライブラリ構成

NumSharp:C#で使えるNumPyライクな数値計算ライブラリ

Unity Scriptコーディング→Unreal Engine Scriptコーディング

Managing Software Requirements: A Unified Approach

PythonでBlenderのAdd-on開発

.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...

Unityの各コンポーネント間でのやり取り

hloc:SuperGlueで精度を向上させたSfM実装

オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う

PyTorch3D:3Dコンピュータービジョンライブラリ

UnityでTweenアニメーションを実装できる3種類の無料Asset

Seleniumを使ったFXや株の自動取引

Mask R-CNN:ディープラーニングによる一般物体検出・Instance Segmentatio...

C++始めようと思うんだ

PyDataTokyo主催のDeep Learning勉強会

Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『TouchScript』

TeleSculptor:空撮動画からPhotogrammetryするツール

第2回Webスクレイピング勉強会の資料

iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』

書籍『3次元コンピュータビジョン計算ハンドブック』を購入

LuxCoreRender:オープンソースの物理ベースレンダラ

JavaScriptとかWebGLとかCanvasとか

TensorFlowでCGを微分できる『TensorFlow Graphics』

pythonの機械学習ライブラリ『scikit-learn』

Mitsuba 2:オープンソースの物理ベースレンダラ

Structure from Motion (多視点画像からの3次元形状復元)

BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

Accord.NET Framework:C#で使える機械学習ライブラリ

AfterEffectsプラグイン開発

UnityプロジェクトをGitHubで管理する

HerokuでMEAN stack

Google App Engine上のWordPressでFlickrの画像を貼る

コメント