Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

フォトンの放射から格納までを可視化した動画

TensorFlowでCGを微分できる『TensorFlow...

ドットインストールのWordPress入門レッスン

SVM (Support Vector Machine)

iPhone・iPod touchで動作する知育ロボット『R...

FCN (Fully Convolutional Netwo...

html5のcanvasの可能性

OANDAのfxTrade API

OpenCVの三角測量関数『cv::triangulatep...

Kornia:微分可能なコンピュータービジョンライブラリ

Geogram:C++の3D幾何アルゴリズムライブラリ

OpenCV 3.1から追加されたSfMモジュール

FreeMoCap Project:オープンソースのマーカー...

Math Inspector:科学計算向けビジュアルプログラ...

bpy-renderer:レンダリング用Pythonパッケー...

ZBrushのZScript入門

OpenCV 3.3.0-RCでsfmモジュールをビルド

OpenCVで平均顔を作るチュートリアル

定数

Managing Software Requirements...

UnityでTweenアニメーションを実装できる3種類の無料...

今年もSSII

Raspberry PiのGPIOを操作するPythonライ...

UnityのMonoBehaviourクラスをシングルトン化...

WinSCP

ROSの薄い本

Google Chromecast

OpenCVでiPhone6sのカメラをキャリブレーションす...

チャットツール用bot開発フレームワーク『Hubot』

JavaScriptとかWebGLとかCanvasとか

Python.NET:Pythonと.NETを連携させるパッ...

スクレイピング

Caffe:読みやすくて高速なディープラーニングのフレームワ...

機械学習手法『Random Forest』

OpenAR:OpenCVベースのマーカーARライブラリ

Math.NET Numerics:Unityで使える数値計...

GoB:ZBrushとBlenderを連携させるアドオン

まだ続くブログの不調

Deep Fluids:流体シミュレーションをディープラーニ...

Pylearn2:ディープラーニングに対応したPythonの...

Unity MonoBehaviourクラスのオーバーライド...

Verilog HDL

コメント