Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

Super Resolution:OpenCVの超解像処理モジュール

今年もSSII

Quartus II

OpenGV:画像からカメラの3次元位置・姿勢を推定するライブラリ

UnityのGameObjectの向きをScriptで制御する

OpenGVの用語

OpenCVでPhotoshopのプラグイン開発

書籍『ゼロから作るDeep Learning』で自分なりに学ぶ

Web経由でRaspberry PiのGPIOを操作したい

Kaolin:3Dディープラーニング用のPyTorchライブラリ

python-twitterで自分のお気に入りを取得する

openMVGをWindows10 Visual Studio 2015環境でビルドする

第2回Webスクレイピング勉強会の資料

ブログをGoogle App EngineからAmazon EC2へ移行

プログラミングスキルとは何か?

OpenCV 3.1から追加されたSfMモジュール

Windows10でPyTorchをインストールしてVSCodeで使う

PythonでBlenderのAdd-on開発

WordPressプラグインによるサイトマップの自動生成

Mayaのプラグイン開発

ニューラルネットワークで画像分類

C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』

uvでWindows11のPython環境を管理する

Raspberry Piでセンサーの常時稼働を検討する

Manim:Pythonで使える数学アニメーションライブラリ

C++の抽象クラス

Amazon Web ServicesでWordPress

Dlib:C++の機械学習ライブラリ

VCG Library:C++のポリゴン操作ライブラリ

cvui:OpenCVのための軽量GUIライブラリ

WordPress on Windows Azure

Webスクレイピングの勉強会に行ってきた

Math.NET Numerics:Unityで使える数値計算ライブラリ

Seleniumを使ったFXや株の自動取引

OpenCVの顔検出過程を可視化した動画

RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』

PyDataTokyo主催のDeep Learning勉強会

konashiのサンプルコードを動かしてみた

頭蓋骨からの顔復元と進化過程の可視化

FCN (Fully Convolutional Network):ディープラーニングによるSema...

Unityの各コンポーネント間でのやり取り

3Dグラフィックスの入門書

コメント