Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

3Dモデルを立体視で確認できるVRアプリを作っている

HerokuでMEAN stack

法線マップを用意してCanvas上でShadingするサンプ...

PyMC:Pythonのベイズ統計ライブラリ

OpenCVのバージョン3が正式リリースされたぞ

オープンソースの物理ベースレンダラ『Mitsuba』をMay...

Mean Stack開発の最初の一歩

OpenCVで顔のランドマークを検出する『Facemark ...

Mask R-CNN:ディープラーニングによる一般物体検出・...

Caffe:読みやすくて高速なディープラーニングのフレームワ...

ZBrushのZScript入門

プログラムによる景観の自動生成

BlenderProc:Blenderで機械学習用の画像デー...

Live CV:インタラクティブにComputer Visi...

Python拡張モジュールのWindows用インストーラー配...

仮想関数

WordPress on Google App Engine...

Unity ARKitプラグインサンプルのチュートリアルを読...

2D→3D復元技術で使われる用語まとめ

iPhoneアプリ開発 Xcode 5のお作法

WordPressのテーマを自作する

Boost オープンソースライブラリ

OpenCV 3.1とopencv_contribモジュール...

Blendify:コンピュータービジョン向けBlenderラ...

Human Generator:Blenderの人体生成アド...

openMVGをWindows10 Visual Studi...

OpenCVでカメラ画像から自己位置認識 (Visual O...

SONY製のニューラルネットワークライブラリ『NNabla』

UnityのGameObjectの向きをScriptで制御す...

チャットツール用bot開発フレームワーク『Hubot』

WebGL開発に関する情報が充実してきている

OpenCVの三角測量関数『cv::triangulatep...

adskShaderSDK

AndroidもopenGLも初心者さ (でもJavaは知っ...

Mitsuba 3:オープンソースの研究向けレンダラ

IronPythonを使ってUnity上でPythonのコー...

TensorSpace.js:ニューラルネットワークの構造を...

MPFB2:Blenderの人体モデリングアドオン

Alice Vision:オープンソースのPhotogram...

Pythonのソースコードに特化した検索エンジン『Nulle...

WordPressのサーバ引っ越し方法を考える

Math.NET Numerics:Unityで使える数値計...

コメント