Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

オープンソースのロボットアプリケーションフレームワーク『RO...

SVM (Support Vector Machine)

OpenCV 3.1とopencv_contribモジュール...

AnacondaとTensorFlowをインストールしてVi...

組み込み向けのWindows OS 『Windows Emb...

DCGAN (Deep Convolutional GAN)...

Raspberry PiでIoTごっこ

Live CV:インタラクティブにComputer Visi...

チャットツール用bot開発フレームワーク『Hubot』

手を動かしながら学ぶデータマイニング

SDカードサイズのコンピューター『Intel Edison』

ニューラルネットワークで画像分類

Raspberry PiのGPIOを操作するPythonライ...

C++始めようと思うんだ

SONYの自律型エンタテインメントロボット『aibo』

iOSデバイスのためのフィジカル・コンピューティングツールキ...

法線マップを用意してCanvas上でShadingするサンプ...

LuxCoreRender:オープンソースの物理ベースレンダ...

機械学習に役立つPythonライブラリ一覧

Google App Engine上のWordPressでF...

Google Chromecast

Unityからkonashiをコントロールする

AMIMOTO(PVM版)で作成したインスタンスをAMIMO...

ROSの薄い本

OpenCV 3.3.0-RCでsfmモジュールをビルド

Unityの薄い本

書籍『ROSプログラミング』

OpenCV 3.3.0 contribのsfmモジュールの...

Pythonの自然言語処理ライブラリ『NLTK(Natura...

Human Generator:Blenderの人体生成アド...

Kaolin:3Dディープラーニング用のPyTorchライブ...

ブログの復旧が難航してた話

Unity ARKitプラグインサンプルのドキュメントを読む

Kornia:微分可能なコンピュータービジョンライブラリ

OpenSfM:PythonのStructure from ...

Multi-View Environment:複数画像から3...

Math Inspector:科学計算向けビジュアルプログラ...

Geogram:C++の3D幾何アルゴリズムライブラリ

Mitsuba 3:オープンソースの研究向けレンダラ

Google App Engine上のWordPressでA...

タマムシっぽい質感

サンプルコードにも間違いはある?

コメント