Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

Boost オープンソースライブラリ

Web経由でRaspberry PiのGPIOを操作したい

Python2とPython3

iPhoneアプリ開発 Xcode 5のお作法

WebGL開発に関する情報が充実してきている

Iterator

オープンソースの人体モデリングツール『MakeHuman』の...

RSSフィードを読込んで表示するWordpressプラグイン...

続・ディープラーニングの資料

Google XML Sitemap Generatorプラ...

Python for Unity:UnityEditorでP...

BlenderのPython環境にPyTorchをインストー...

FCN (Fully Convolutional Netwo...

書籍『OpenCV 3 プログラミングブック』を購入

Google App Engine上のWordPressでF...

NumSharp:C#で使えるNumPyライクな数値計算ライ...

COLMAP:オープンソースのSfM・MVSツール

Raspberry Pi

MVStudio:オープンソースのPhotogrammetr...

PGGAN:段階的に解像度を上げて学習を進めるGAN

Google製オープンソース機械学習ライブラリ『Tensor...

ドットインストールのWordPress入門レッスン

Seleniumを使ったFXや株の自動取引

SONYの自律型エンタテインメントロボット『aibo』

Python.NET:Pythonと.NETを連携させるパッ...

libigl:軽量なジオメトリ処理ライブラリ

このブログのデザインに飽きてきた

UnityプロジェクトをGitHubで管理する

オープンソースの物理ベースレンダラ『Mitsuba』をMay...

CGレンダラ研究開発のためのフレームワーク『Lightmet...

Windows10でPyTorchをインストールしてVSCo...

3Dモデルを立体視で確認できるVRアプリを作っている

法線マップを用意してCanvas上でShadingするサンプ...

WordPressの表示を高速化する

定数

DCGAN (Deep Convolutional GAN)...

Deep Fluids:流体シミュレーションをディープラーニ...

UnityのAR FoundationでARKit 3

OpenCVの顔検出過程を可視化した動画

OpenCVで顔のランドマークを検出する『Facemark ...

Raspberry PiでIoTごっこ

Google App Engineのデプロイ失敗

コメント