Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

ブラウザ操作自動化ツール『Selenium』を試す

Webサイトのワイヤーフレームが作成できるオンラインツール

Faster R-CNN:ディープラーニングによる一般物体検...

OpenCVの三角測量関数『cv::triangulatep...

OpenCVで顔のモーフィングを実装する

オープンソースの取引プラットフォーム

OpenCVでiPhone6sのカメラをキャリブレーションす...

ZBrushのZScript入門

オープンソースの人体モデリングツール『MakeHuman』の...

SONYの自律型エンタテインメントロボット『aibo』

OpenCVの超解像(SuperResolution)モジュ...

Mayaのプラグイン開発

pythonの機械学習ライブラリ『scikit-learn』

Google App Engineのデプロイ失敗

OANDAのfxTrade API

bpy-renderer:レンダリング用Pythonパッケー...

3D復元技術の情報リンク集

書籍『仕事ではじめる機械学習』を読みました

WebGL開発に関する情報が充実してきている

Rerun:マルチモーダルデータの可視化アプリとSDK

Pythonの自然言語処理ライブラリ『NLTK(Natura...

openMVGをWindows10 Visual Studi...

3Dモデルを立体視で確認できるVRアプリを作っている

MVStudio:オープンソースのPhotogrammetr...

ManuelBastioniLAB:人体モデリングできるBl...

オープンソースの物理ベースGIレンダラ『appleseed』

OpenCV 3.1のsfmモジュールのビルド再び

konashiのサンプルコードを動かしてみた

ニューラルネットワークで画像分類

WordPressのテーマを自作する

まだ続くブログの不調

Dlib:C++の機械学習ライブラリ

UnityからROSを利用できる『ROS#』

TensorFlowでCGを微分できる『TensorFlow...

UnityのMonoBehaviourクラスをシングルトン化...

フォトンの放射から格納までを可視化した動画

Web経由でRaspberry PiのGPIOを操作したい

OpenMesh:オープンソースの3Dメッシュデータライブラ...

Super Resolution:OpenCVの超解像処理モ...

CGレンダラ研究開発のためのフレームワーク『Lightmet...

Point Cloud Utils:Pythonで3D点群・...

PythonでBlenderのAdd-on開発

コメント