Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

RSSフィードを読込んで表示するWordpressプラグイン...

Polyscope:3Dデータ操作用GUIライブラリ

今年もSSII

OpenCVの顔検出過程を可視化した動画

Mask R-CNN:ディープラーニングによる一般物体検出・...

CGALDotNet:計算幾何学ライブラリ CGALのC#ラ...

書籍『ゼロから作るDeep Learning』で自分なりに学...

Managing Software Requirements...

Pythonの自然言語処理ライブラリ『NLTK(Natura...

Math Inspector:科学計算向けビジュアルプログラ...

Raspberry Piでセンサーの常時稼働を検討する

法線マップを用意してCanvas上でShadingするサンプ...

Python.NET:Pythonと.NETを連携させるパッ...

書籍『OpenCV 3 プログラミングブック』を購入

MVStudio:オープンソースのPhotogrammetr...

UnityからROSを利用できる『ROS#』

uvでWindows11のPython環境を管理する

2D→3D復元技術で使われる用語まとめ

3分の動画でプログラミングを学習できるサイト『ドットインスト...

ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...

Raspberry Pi 2のGPIOピン配置

LuxCoreRender:オープンソースの物理ベースレンダ...

ManuelBastioniLAB:人体モデリングできるBl...

クラスの基本

OpenCV バージョン4がリリースされた!

Iterator

Pythonのソースコードに特化した検索エンジン『Nulle...

Verilog HDL

Cartographer:オープンソースのSLAMライブラリ

UnityのGameObjectの向きをScriptで制御す...

PyDataTokyo主催のDeep Learning勉強会

OpenCV 3.1のsfmモジュールのビルド再び

Mayaのプラグイン開発

Model View Controller

WordPressプラグインによるサイトマップの自動生成

網元AMIで作ったWordpressサイトのインスタンスをt...

OpenAR:OpenCVベースのマーカーARライブラリ

iOSデバイスと接続して連携するガジェットの開発方法

Kaolin:3Dディープラーニング用のPyTorchライブ...

Structure from Motion (多視点画像から...

VCG Library:C++のポリゴン操作ライブラリ

FreeMoCap Project:オープンソースのマーカー...

コメント