Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

Raspberry Pi 2を買いました

Seleniumを使ったFXや株の自動取引

OpenCVで平均顔を作るチュートリアル

AMIMOTO(PVM版)で作成したインスタンスをAMIMO...

Theia:オープンソースのStructure from M...

PythonでBlenderのAdd-on開発

WordPress on Google App Engine...

サンプルコードにも間違いはある?

SONY製のニューラルネットワークライブラリ『NNabla』

Unity ARKitプラグインサンプルのチュートリアルを読...

FCN (Fully Convolutional Netwo...

ManuelBastioniLAB:人体モデリングできるBl...

iOSで使えるJetpac社の物体認識SDK『DeepBel...

MPFB2:Blenderの人体モデリングアドオン

Boost オープンソースライブラリ

Kornia:微分可能なコンピュータービジョンライブラリ

CGレンダラ研究開発のためのフレームワーク『Lightmet...

Python2とPython3

オープンソースのロボットアプリケーションフレームワーク『RO...

動的なメモリの扱い

OpenFace:Deep Neural Networkによ...

Quartus II

Composition Rendering:Blenderに...

Runway ML:クリエイターのための機械学習ツール

ポリゴンジオメトリ処理ライブラリ『pmp-library (...

PGGAN:段階的に解像度を上げて学習を進めるGAN

プログラムによる景観の自動生成

WordPressプラグインによるサイトマップの自動生成

オープンソースの物理ベースGIレンダラ『appleseed』

Multi-View Environment:複数画像から3...

Dlib:C++の機械学習ライブラリ

Python for Unity:UnityEditorでP...

TeleSculptor:空撮動画からPhotogramme...

CycleGAN:ドメイン関係を学習した画像変換

UnityでShaderの入力パラメータとして行列を渡す

OpenGVのライブラリ構成

Raspberry Pi 2のGPIOピン配置

ROMOハッカソンに行ってきた

OpenCV 3.1のsfmモジュールを試す

openMVG:複数視点画像から3次元形状を復元するライブラ...

今年もSSII

ブログをGoogle App EngineからAmazon ...

コメント