Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

第2回Webスクレイピング勉強会の資料

書籍『OpenCV 3 プログラミングブック』を購入

Unityで強化学習できる『Unity ML-Agents』

オープンソースの顔の動作解析ツールキット『OpenFace』

Raspberry Pi 2を買いました

Boost オープンソースライブラリ

Raspberry PiのGPIOを操作するPythonライ...

Multi-View Environment:複数画像から3...

HerokuでMEAN stack

Managing Software Requirements...

Kaolin:3Dディープラーニング用のPyTorchライブ...

Unityで学ぶC#

Model View Controller

UnityプロジェクトをGitHubで管理する

ArUco:OpenCVベースのコンパクトなARライブラリ

python-twitterで自分のお気に入りを取得する

定数

OpenCV 3.3.0 contribのsfmモジュールの...

Python2とPython3

書籍『ROSプログラミング』

AmazonEC2のインスタンスをt1.microからt2....

法線マップを用意してCanvas上でShadingするサンプ...

Google App Engine上のWordPressでA...

ブログが1日ダウンしてました

Mitsuba 3:オープンソースの研究向けレンダラ

ポリゴンジオメトリ処理ライブラリ『pmp-library (...

Google製オープンソース機械学習ライブラリ『Tensor...

Google Chromecast

Raspberry Pi

OpenGVの用語

DCGAN (Deep Convolutional GAN)...

OpenCVの三角測量関数『cv::triangulatep...

C++ 標準テンプレートライブラリ (STL)

Unity ARKitプラグインサンプルのドキュメントを読む

Deep Fluids:流体シミュレーションをディープラーニ...

Rerun:マルチモーダルデータの可視化アプリとSDK

UnityでLight Shaftを表現する

OpenCV 3.1のsfmモジュールのビルド再び

オープンソースの顔認識フレームワーク『OpenBR』

Super Resolution:OpenCVの超解像処理モ...

Gource:バージョン管理の履歴を可視化するツール

Swark:コードからアーキテクチャ図を作成できるVSCod...

コメント