Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

OpenCV 3.3.0 contribのsfmモジュールの...

Mitsuba 3:オープンソースの研究向けレンダラ

ニューラルネットワークで画像分類

Rerun:マルチモーダルデータの可視化アプリとSDK

書籍『3次元コンピュータビジョン計算ハンドブック』を購入

Kaolin:3Dディープラーニング用のPyTorchライブ...

OpenCVの顔検出過程を可視化した動画

網元AMIで作ったWordpressサイトのインスタンスをt...

Multi-View Environment:複数画像から3...

WordPressプラグインの作り方

OpenGV:画像からカメラの3次元位置・姿勢を推定するライ...

WordPressプラグインによるサイトマップの自動生成

Caffe:読みやすくて高速なディープラーニングのフレームワ...

FreeMoCap Project:オープンソースのマーカー...

BGSLibrary:OpenCVベースの背景差分ライブラリ

3分の動画でプログラミングを学習できるサイト『ドットインスト...

pythonもかじってみようかと

BlenderでPhotogrammetryできるアドオン

Python2とPython3

openMVG:複数視点画像から3次元形状を復元するライブラ...

Mitsuba 2:オープンソースの物理ベースレンダラ

OpenCVのfindEssentialMat関数を使ったサ...

KelpNet:C#で使える可読性重視のディープラーニングラ...

OpenCV 3.1のsfmモジュールを試す

pythonの機械学習ライブラリ『scikit-learn』

WinSCP

続・ディープラーニングの資料

機械学習手法『Random Forest』

Structure from Motion (多視点画像から...

第2回Webスクレイピング勉強会の資料

OpenMesh:オープンソースの3Dメッシュデータライブラ...

iPhoneアプリ開発 Xcode 5のお作法

Alice Vision:オープンソースのPhotogram...

CGALDotNet:計算幾何学ライブラリ CGALのC#ラ...

プログラムによる景観の自動生成

Unreal Engineの薄い本

スクレイピング

Deep Learningとその他の機械学習手法の性能比較

Unity ARKitプラグインサンプルのチュートリアルを読...

TorchStudio:PyTorchのための統合開発環境と...

仮想関数

プログラミングスキルとは何か?

コメント