Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

Google Chromecast

CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』

FCN (Fully Convolutional Network):ディープラーニングによるSema...

WordPressプラグインによるサイトマップの自動生成

フォトンの放射から格納までを可視化した動画

WordPressプラグインの作り方

OpenCV バージョン4がリリースされた!

Russian3DScannerのトポロジー転送ツール『WrapX』

オープンソースの物理ベースGIレンダラ『appleseed』

Raspberry Pi

iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』

OpenCVで動画の手ぶれ補正

Manim:Pythonで使える数学アニメーションライブラリ

Google App Engineのデプロイ失敗

ブログのデザイン変えました

オープンソースの顔の動作解析ツールキット『OpenFace』

COLMAP:オープンソースのSfM・MVSツール

PyDataTokyo主催のDeep Learning勉強会

Unityで学ぶC#

OpenMVSのサンプルを動かしてみる

OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる

UnityでLight Shaftを表現する

Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された

BGSLibrary:OpenCVベースの背景差分ライブラリ

Iridescence:プロトタイピング向け軽量3D可視化ライブラリ

WordPressの表示を高速化する

オープンソースの取引プラットフォーム

C++の抽象クラス

Python.NET:Pythonと.NETを連携させるパッケージ

OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる

uvでWindows11のPython環境を管理する

Math.NET Numerics:Unityで使える数値計算ライブラリ

UnityプロジェクトをGitHubで管理する

タマムシっぽい質感

LuxCoreRender:オープンソースの物理ベースレンダラ

Accord.NET Framework:C#で使える機械学習ライブラリ

UnityのTransformクラスについて調べてみた

Blender 2.8がついに正式リリース!

R-CNN (Regions with CNN features):ディープラーニングによる一般物体...

Amazon Web ServicesでWordPress

Cartographer:オープンソースのSLAMライブラリ

Live CV:インタラクティブにComputer Visionコーディングができるツール

コメント