Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

ディープラーニング

ポリゴンジオメトリ処理ライブラリ『pmp-library (...

Live CV:インタラクティブにComputer Visi...

CGALDotNet:計算幾何学ライブラリ CGALのC#ラ...

iPhone x ロボットハッカソン~RomoのiPhone...

Google App EngineでWordPress

Google App Engineのデプロイ失敗

UnityでOpenCVを使うには?

viser:Pythonで使える3D可視化ライブラリ

Gource:バージョン管理の履歴を可視化するツール

このブログのデザインに飽きてきた

Kaolin:3Dディープラーニング用のPyTorchライブ...

機械学習に役立つPythonライブラリ一覧

ROSの薄い本

Google App Engine上のWordPressでF...

Google App Engine上のWordPressでA...

pythonの機械学習ライブラリ『scikit-learn』

ブログをGoogle App EngineからAmazon ...

WordPressプラグインの作り方

ニューラルネットワークで画像分類

OpenCVのバージョン3が正式リリースされたぞ

Python.NET:Pythonと.NETを連携させるパッ...

3Dモデルを立体視で確認できるVRアプリを作っている

Rerun:マルチモーダルデータの可視化アプリとSDK

網元AMIで作ったWordpressサイトのインスタンスをt...

3Dグラフィックスの入門書

書籍『ゼロから作るDeep Learning』で自分なりに学...

機械学習で遊ぶ

動的なメモリの扱い

JavaScriptとかWebGLとかCanvasとか

Mean Stack開発の最初の一歩

OpenCVで顔のランドマークを検出する『Facemark ...

Open3D:3Dデータ処理ライブラリ

Unity ARKitプラグインサンプルのドキュメントを読む

HerokuでMEAN stack

Quartus II

SDカードサイズのコンピューター『Intel Edison』

PyMC:Pythonのベイズ統計ライブラリ

ZBrushのZScript入門

python-twitterで自分のお気に入りを取得する

Seleniumを使ったFXや株の自動取引

Accord.NET Framework:C#で使える機械学...

コメント