Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

Gource:バージョン管理の履歴を可視化するツール

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...

WordPressの表示を高速化する

Raspberry Pi 2のGPIOピン配置

クラスの基本

SONY製のニューラルネットワークライブラリ『NNabla』

BlenderでPhotogrammetryできるアドオン

konashiのサンプルコードを動かしてみた

C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...

Javaで作られたオープンソースの3DCGレンダラ『Sunf...

マルコフ連鎖モンテカルロ法

書籍『ROSプログラミング』

Unityで学ぶC#

WordPressのサーバ引っ越し方法を考える

MB-Lab:Blenderの人体モデリングアドオン

AnacondaとTensorFlowをインストールしてVi...

第1回 3D勉強会@関東『SLAMチュートリアル大会』

機械学習で遊ぶ

Raspberry PiでIoTごっこ

KelpNet:C#で使える可読性重視のディープラーニングラ...

Polyscope:3Dデータ操作用GUIライブラリ

オープンソースの物理ベースGIレンダラ『appleseed』

Blender 2.8がついに正式リリース!

網元AMIで作ったWordpressサイトのインスタンスをt...

ROMOハッカソンに行ってきた

C++の抽象クラス

SDカードサイズのコンピューター『Intel Edison』

OpenMVS:Multi-View Stereoによる3次...

OANDAのfxTrade API

機械学習に役立つPythonライブラリ一覧

ディープラーニング

ZBrushのZScript入門

SVM (Support Vector Machine)

LuxCoreRender:オープンソースの物理ベースレンダ...

フォトンの放射から格納までを可視化した動画

OpenMVSのサンプルを動かしてみる

Unity ARKitプラグインサンプルのチュートリアルを読...

html5のcanvasの可能性

IronPythonを使ってUnity上でPythonのコー...

オープンソースの取引プラットフォーム

UnityでARKit2.0

3分の動画でプログラミングを学習できるサイト『ドットインスト...

コメント