Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

libigl:軽量なジオメトリ処理ライブラリ

Gource:バージョン管理の履歴を可視化するツール

Blender 2.8がついに正式リリース!

Pythonのソースコードに特化した検索エンジン『Nulle...

Windows10でPyTorchをインストールしてVSCo...

Raspberry Pi 2を買いました

Mask R-CNN:ディープラーニングによる一般物体検出・...

今年もSSII

hloc:SuperGlueで精度を向上させたSfM・Vis...

Google App Engineのデプロイ失敗

プログラミングスキルとは何か?

OpenCVで平均顔を作るチュートリアル

TeleSculptor:空撮動画からPhotogramme...

科学技術計算向けスクリプト言語『Julia』

UnityでLight Shaftを表現する

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...

adskShaderSDK

OpenVDB:3Dボリュームデータ処理ライブラリ

FCN (Fully Convolutional Netwo...

ROSの薄い本

MB-Lab:Blenderの人体モデリングアドオン

OpenCVで顔のランドマークを検出する『Facemark ...

OpenCV 3.3.0-RCでsfmモジュールをビルド

仮想関数

Unityの薄い本

TorchStudio:PyTorchのための統合開発環境と...

GoB:ZBrushとBlenderを連携させるアドオン

WordPressプラグインによるサイトマップの自動生成

OpenCV 3.1のsfmモジュールを試す

UnityプロジェクトをGitHubで管理する

ManuelBastioniLAB:人体モデリングできるBl...

Polyscope:3Dデータ操作用GUIライブラリ

UnityのGameObjectの向きをScriptで制御す...

書籍『ROSプログラミング』

動的なメモリの扱い

Google Chromecast

Mitsuba 2:オープンソースの物理ベースレンダラ

Python for Unity:UnityEditorでP...

書籍『ゼロから作るDeep Learning』で自分なりに学...

html5のcanvasの可能性

Raspberry Pi 2のGPIOピン配置

Composition Rendering:Blenderに...

コメント