Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

MythTV:Linuxでテレビの視聴・録画ができるオープン...

PyDataTokyo主催のDeep Learning勉強会

動的なメモリの扱い

ポリゴンジオメトリ処理ライブラリ『pmp-library (...

ManuelBastioniLAB:人体モデリングできるBl...

Twitter APIのPythonラッパー『python-...

Unity MonoBehaviourクラスのオーバーライド...

ニューラルネットワークで画像分類

Kubric:機械学習用アノテーション付き動画生成パイプライ...

OpenCVのバージョン3が正式リリースされたぞ

Unityからkonashiをコントロールする

Structure from Motion (多視点画像から...

為替レートの読み方 2WAYプライス表示

法線マップを用意してCanvas上でShadingするサンプ...

3Dモデルを立体視で確認できるVRアプリを作っている

OpenCV 3.3.0-RCでsfmモジュールをビルド

Konashiを買った

Pythonの自然言語処理ライブラリ『NLTK(Natura...

OpenCVで平均顔を作るチュートリアル

マルコフ連鎖モンテカルロ法

Boost オープンソースライブラリ

python-twitterで自分のお気に入りを取得する

Deep Fluids:流体シミュレーションをディープラーニ...

TensorSpace.js:ニューラルネットワークの構造を...

Rerun:マルチモーダルデータの可視化アプリとSDK

KelpNet:C#で使える可読性重視のディープラーニングラ...

クラスの基本

Webスクレイピングの勉強会に行ってきた

サンプルコードにも間違いはある?

MVStudio:オープンソースのPhotogrammetr...

konashiのサンプルコードを動かしてみた

VCG Library:C++のポリゴン操作ライブラリ

ドットインストールのWordPress入門レッスン

COLMAP:オープンソースのSfM・MVSツール

UnityのAR FoundationでARKit 3

書籍『ROSプログラミング』

定数

オープンソースの物理ベースGIレンダラ『appleseed』

Super Resolution:OpenCVの超解像処理モ...

OpenCVでPhotoshopのプラグイン開発

Mitsuba 3:オープンソースの研究向けレンダラ

科学技術計算向けスクリプト言語『Julia』

コメント