Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

UnityのMonoBehaviourクラスをシングルトン化...

ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...

Raspberry Pi 2を買いました

書籍『仕事ではじめる機械学習』を読みました

動的なメモリの扱い

スクレイピング

Seleniumを使ったFXや株の自動取引

SONYの自律型エンタテインメントロボット『aibo』

bpy-renderer:レンダリング用Pythonパッケー...

TensorSpace.js:ニューラルネットワークの構造を...

Amazon Web ServicesでWordPress

Russian3DScannerのトポロジー転送ツール『Wr...

書籍『ゼロから作るDeep Learning』で自分なりに学...

Structure from Motion (多視点画像から...

iPhone x ロボットハッカソン~RomoのiPhone...

adskShaderSDK

TeleSculptor:空撮動画からPhotogramme...

まだ続くブログの不調

PythonでMayaのShapeノードプラグインを作る

OpenCV バージョン4がリリースされた!

WordPressのテーマを自作する

PythonのHTML・XMLパーサー『BeautifulS...

機械学習手法『Random Forest』

OpenMVSのサンプルを動かしてみる

BlenderでPhotogrammetryできるアドオン

PythonでBlenderのAdd-on開発

マルコフ連鎖モンテカルロ法

ManuelBastioniLAB:人体モデリングできるBl...

Super Resolution:OpenCVの超解像処理モ...

ROSの薄い本

OpenCVでiPhone6sのカメラをキャリブレーションす...

オープンソースの物理ベースレンダラ『Mitsuba』をMay...

UnrealCLR:Unreal Engineで.NET C...

UnityでShaderの入力パラメータとして行列を渡す

TensorFlowでCGを微分できる『TensorFlow...

為替レートの読み方 2WAYプライス表示

Gource:バージョン管理の履歴を可視化するツール

AMIMOTO(PVM版)で作成したインスタンスをAMIMO...

Python for Unity:UnityEditorでP...

スクラッチで既存のキャラクターを立体化したい

AnacondaとTensorFlowをインストールしてVi...

Raspberry PiでIoTごっこ

コメント