Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。


スポンサーリンク

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。


スポンサーリンク

関連記事

3Dグラフィックスの入門書
3Dディープラーニング用のPyTorchライブラリ『Kaolin』
ニューラルネットワークで画像分類
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
機械学習手法『Random Forest』
UnityでOpenCVを使うには?
Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』
C#で使える可読性重視のディープラーニングライブラリ『KelpNet』
フォトンの放射から格納までを可視化した動画
TensorFlowでCGを微分できる『TensorFlow Graphics』
iPhone・iPod touchで動作する知育ロボット『ROMO』
Blender 2.8がついに正式リリース!
Raspberry Piでセンサーの常時稼働を検討する
OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる
組み込み向けのWindows OS 『Windows Embedded』
C++の抽象クラス
JavaScriptとかWebGLとかCanvasとか
Mask R-CNN:ディープラーニングによる一般物体検出・Instance Segmentatio...
OpenCV 3.1のsfmモジュールのビルド再び
Twitter APIのPythonラッパー『python-twitter』
UnityからROSを利用できる『ROS#』
WinSCP
OpenGVのライブラリ構成
続・ディープラーニングの資料
第2回Webスクレイピング勉強会の資料
OpenCVのバージョン3が正式リリースされたぞ
UnityでLight Shaftを表現する
Unityで使える数値計算ライブラリ『Math.NET Numerics』
ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...
ZScript
AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う
OpenCVでiPhone6sのカメラをキャリブレーションする
動的なメモリの扱い
Google Chromecast
OpenGVの用語
WordPress on Google App Engineを1週間運用してみて
Web経由でRaspberry PiのGPIOを操作したい
OpenCVの超解像処理モジュール『Super Resolution』
スクレイピング
Amazon Web ServicesでWordPress
3Dデータ処理ライブラリ『Open3D』
Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された

コメント