スクレイピング

PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。
別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。
そう思ったきっかけはKakeibonっていう無料で使える自動ネット家計簿を知ったから。(以前はOCN家計簿って名前だった)
このサイトは、銀行口座やクレジットカード、ECサイトなどの情報を引っ張ってきて収支をグラフにまとめてくれる。
銀行もクレジットカードも、それぞれのポータルサイトはAPIなんて公開していないので、おそらくスクレイピングで実現している。
既存の情報を上手く使うだけで色んなことが見えてくるんだなぁ、と感心した。

ということで、しばらくスクレイピングについて調べていたのである。ちょっと調べてみると、フロントでもサーバサイドでもできるし、色んな言語で実装できるので、どこから手を付けたらいいのかちょっと悩むレベルで選択肢が豊富。やるとしたらサーバサイドだけど、サーバサイドはどの言語が1番組み合わせやすいかちょっと自分の知見が足りてない。

こういうのは結構需要があるみたいで、スクレイピングするコードの共有や、スクレイピングしたデータをAPI化するサイトもあるみたい。


スポンサーリンク

ScraperWiki

ScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。
開発者達はサイト上から直接コード(Ruby, PHP, Python)を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。
「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。
ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。

スクレイピングするなら ScraperWiki 使うといいよ

kimono
指定したウェブサイトをスクレイピングしてAPI化してくれるサービス「kimono」

さて、地道に勉強するか。


スポンサーリンク

関連記事

BlenderのPython環境にPyTorchをインストールする
Google App Engineのデプロイ失敗
BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
科学技術計算向けスクリプト言語『Julia』
機械学習に役立つPythonライブラリ一覧
NumSharp:C#で使えるNumPyライクな数値計算ライブラリ
OpenMVS:Multi-View Stereoによる3次元復元ライブラリ
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
openMVGをWindows10 Visual Studio 2015環境でビルドする
ArUco:OpenCVベースのコンパクトなARライブラリ
OpenCV 3.1のsfmモジュールのビルド再び
TorchStudio:PyTorchのための統合開発環境とエコシステム
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた
Accord.NET Framework:C#で使える機械学習ライブラリ
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
Unityで強化学習できる『Unity ML-Agents』
Math Inspector:科学計算向けビジュアルプログラミングツール
オープンソースの顔認識フレームワーク『OpenBR』
ドットインストールのWordPress入門レッスン
ディープラーニング
OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる
Alice Vision:オープンソースのPhotogrammetryフレームワーク
CycleGAN:ドメイン関係を学習した画像変換
WebGL開発に関する情報が充実してきている
COLMAP:オープンソースのSfM・MVSツール
Faster R-CNN:ディープラーニングによる一般物体検出手法
Unity ARKitプラグインサンプルのドキュメントを読む
ブログのデザイン変えました
WordPress on Windows Azure
ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る
ブラウザ操作自動化ツール『Selenium』を試す
PGGAN:段階的に解像度を上げて学習を進めるGAN
Webサイトのワイヤーフレームが作成できるオンラインツール
UnityからROSを利用できる『ROS#』
Deep Learningとその他の機械学習手法の性能比較
Javaで作られたオープンソースの3DCGレンダラ『Sunflow』
OpenCVで平均顔を作るチュートリアル
hloc:SuperGlueで精度を向上させたSfM実装
DensePose:画像中の人物表面のUV座標を推定する
C++の抽象クラス
Unityの各コンポーネント間でのやり取り
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード

コメント