Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

UnityでPoint Cloudを表示する方法

Multi-View Environment:複数画像から3次元形状を再構築するライブラリ

HerokuでMEAN stack

GAN (Generative Adversarial Networks):敵対的生成ネットワーク

Alice Vision:オープンソースのPhotogrammetryフレームワーク

viser:Pythonで使える3D可視化ライブラリ

Google App EngineでWordPress

オープンソースの物理ベースGIレンダラ『appleseed』

Live CV:インタラクティブにComputer Visionコーディングができるツール

RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』

オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う

OpenCVで顔のランドマークを検出する『Facemark API』

WinSCP

株式会社ヘキサドライブの研究室ページ

Unityの各コンポーネント間でのやり取り

PyMC:Pythonのベイズ統計ライブラリ

Geogram:C++の3D幾何アルゴリズムライブラリ

Python for Unity:UnityEditorでPythonを使えるパッケージ

Python2とPython3

iPhone・iPod touchで動作する知育ロボット『ROMO』

このブログのデザインに飽きてきた

Blendify:コンピュータービジョン向けBlenderラッパー

フォトンの放射から格納までを可視化した動画

UnityでARKit2.0

オープンソースの顔の動作解析ツールキット『OpenFace』

MVStudio:オープンソースのPhotogrammetryツール

AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う

為替レートの読み方 2WAYプライス表示

オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...

WordPressのテーマを自作する

Twitter APIのPythonラッパー『python-twitter』

オープンソースの取引プラットフォーム

Iterator

OpenSfM:PythonのStructure from Motionライブラリ

機械学習手法『Random Forest』

UnityプロジェクトをGitHubで管理する

機械学習に役立つPythonライブラリ一覧

OpenCV 3.1のsfmモジュールのビルド再び

WordPressのサーバ引っ越し方法を考える

SDカードサイズのコンピューター『Intel Edison』

OpenAR:OpenCVベースのマーカーARライブラリ

Quartus II

コメント