Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

網元AMIで作ったWordpressサイトのインスタンスをt...

仮想関数

Raspberry Piでセンサーの常時稼働を検討する

定数

Cartographer:オープンソースのSLAMライブラリ

OpenGV:画像からカメラの3次元位置・姿勢を推定するライ...

Seleniumを使ったFXや株の自動取引

WordPress on Windows Azure

OpenCV 3.1のsfmモジュールを試す

WordPress on Google App Engine...

Russian3DScannerのトポロジー転送ツール『Wr...

ManuelBastioniLAB:人体モデリングできるBl...

Dlib:C++の機械学習ライブラリ

Blender 2.8がついに正式リリース!

BGSLibrary:OpenCVベースの背景差分ライブラリ

法線マップを用意してCanvas上でShadingするサンプ...

AndroidもopenGLも初心者さ (でもJavaは知っ...

iPhoneアプリ開発 Xcode 5のお作法

OpenCVの顔検出過程を可視化した動画

Mean Stack開発の最初の一歩

Iridescence:プロトタイピング向け軽量3D可視化ラ...

フォトンの放射から格納までを可視化した動画

オープンソースの取引プラットフォーム

オープンソースの顔の動作解析ツールキット『OpenFace』

プログラムによる景観の自動生成

WordPressプラグインの作り方

Web経由でRaspberry PiのGPIOを操作したい

UnityでTweenアニメーションを実装できる3種類の無料...

Unityで学ぶC#

MB-Lab:Blenderの人体モデリングアドオン

Unity ARKitプラグインサンプルのドキュメントを読む

ブログをGoogle App EngineからAmazon ...

Point Cloud Utils:Pythonで3D点群・...

UnrealCLR:Unreal Engineで.NET C...

Live CV:インタラクティブにComputer Visi...

MPFB2:Blenderの人体モデリングアドオン

PythonでMayaのShapeノードプラグインを作る

ROMOハッカソンに行ってきた

UnityのAR FoundationでARKit 3

Composition Rendering:Blenderに...

Amazon Web ServicesでWordPress

Model View Controller

コメント