Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

続・ディープラーニングの資料

C++ 標準テンプレートライブラリ (STL)

3分の動画でプログラミングを学習できるサイト『ドットインスト...

クラスの基本

PGGAN:段階的に解像度を上げて学習を進めるGAN

Mitsuba 3:オープンソースの研究向けレンダラ

ManimML:機械学習の概念を視覚的に説明するためのライブ...

KelpNet:C#で使える可読性重視のディープラーニングラ...

WebGL開発に関する情報が充実してきている

仮想関数

Cartographer:オープンソースのSLAMライブラリ

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...

UnityでPoint Cloudを表示する方法

MPFB2:Blenderの人体モデリングアドオン

OpenCVでカメラ画像から自己位置認識 (Visual O...

OANDAのfxTrade API

ポリゴンジオメトリ処理ライブラリ『pmp-library (...

OpenCVで平均顔を作るチュートリアル

COLMAP:オープンソースのSfM・MVSツール

SVM (Support Vector Machine)

ディープラーニング

OpenCV バージョン4がリリースされた!

PyTorch3D:3Dコンピュータービジョンライブラリ

PythonでMayaのShapeノードプラグインを作る

UnityのAR FoundationでARKit 3

OpenCVで顔のモーフィングを実装する

第2回Webスクレイピング勉強会の資料

Multi-View Environment:複数画像から3...

Python2とPython3

Google Colaboratoryで遊ぶ準備

viser:Pythonで使える3D可視化ライブラリ

UnityプロジェクトをGitHubで管理する

adskShaderSDK

Unity ARKitプラグインサンプルのチュートリアルを読...

Deep Learningとその他の機械学習手法の性能比較

Composition Rendering:Blenderに...

Webサイトのワイヤーフレームが作成できるオンラインツール

OpenCV 3.1のsfmモジュールを試す

R-CNN (Regions with CNN featur...

HerokuでMEAN stack

Google Chromecast

ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...

コメント