Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

NeuralNetwork.NET:.NETで使えるTens...

OpenMVSのサンプルを動かしてみる

WordPressのテーマを自作する

このブログのデザインに飽きてきた

UnityプロジェクトをGitHubで管理する

Twitter APIのPythonラッパー『python-...

Mitsuba 2:オープンソースの物理ベースレンダラ

KelpNet:C#で使える可読性重視のディープラーニングラ...

OpenCVの顔検出過程を可視化した動画

C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...

Managing Software Requirements...

AnacondaとTensorFlowをインストールしてVi...

Unityの薄い本

スクレイピング

オープンソースのロボットアプリケーションフレームワーク『RO...

pythonの機械学習ライブラリ『scikit-learn』

PyMC:Pythonのベイズ統計ライブラリ

Python.NET:Pythonと.NETを連携させるパッ...

GAN (Generative Adversarial Ne...

UnityでPoint Cloudを表示する方法

BlenderでPhotogrammetryできるアドオン

iOSデバイスのためのフィジカル・コンピューティングツールキ...

書籍『仕事ではじめる機械学習』を読みました

続・ディープラーニングの資料

ROSでガンダムを動かす

iOSで使えるJetpac社の物体認識SDK『DeepBel...

Pythonのソースコードに特化した検索エンジン『Nulle...

OpenCVで平均顔を作るチュートリアル

WordPressプラグインによるサイトマップの自動生成

Boost オープンソースライブラリ

Composition Rendering:Blenderに...

Raspberry Pi

hloc:SuperGlueで精度を向上させたSfM・Vis...

Kornia:微分可能なコンピュータービジョンライブラリ

ROMOハッカソンに行ってきた

OpenCVでPhotoshopのプラグイン開発

UnityのTransformクラスについて調べてみた

R-CNN (Regions with CNN featur...

COLMAP:オープンソースのSfM・MVSツール

Super Resolution:OpenCVの超解像処理モ...

機械学習で遊ぶ

Pythonの自然言語処理ライブラリ『NLTK(Natura...

コメント