Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる

OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...

フォトンの放射から格納までを可視化した動画

AfterEffectsプラグイン開発

DensePose:画像中の人物表面のUV座標を推定する

Unityからkonashiをコントロールする

UnityのGameObjectの向きをScriptで制御する

RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』

iOSデバイスと接続して連携するガジェットの開発方法

OpenGVの用語

WordPress on Google App Engineを1週間運用してみて

viser:Pythonで使える3D可視化ライブラリ

3Dグラフィックスの入門書

VCG Library:C++のポリゴン操作ライブラリ

UnityでShaderの入力パラメータとして行列を渡す

UnityでARKit2.0

オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う

OpenMesh:オープンソースの3Dメッシュデータライブラリ

Unity ARKitプラグインサンプルのドキュメントを読む

SDカードサイズのコンピューター『Intel Edison』

まだ続くブログの不調

オープンソースの顔認識フレームワーク『OpenBR』

網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した

Unity MonoBehaviourクラスのオーバーライド関数が呼び出される順番

pythonもかじってみようかと

Accord.NET Framework:C#で使える機械学習ライブラリ

Kornia:微分可能なコンピュータービジョンライブラリ

HD画質の無駄遣い

Mean Stack開発の最初の一歩

OpenVDB:3Dボリュームデータ処理ライブラリ

UnityからROSを利用できる『ROS#』

Model View Controller

Geogram:C++の3D幾何アルゴリズムライブラリ

チャットツール用bot開発フレームワーク『Hubot』

ManuelBastioniLAB:人体モデリングできるBlenderアドオン

手を動かしながら学ぶデータマイニング

Raspberry Pi 2のGPIOピン配置

Unityで学ぶC#

オープンソースの顔の動作解析ツールキット『OpenFace』

ドットインストールのWordPress入門レッスン

Kaolin:3Dディープラーニング用のPyTorchライブラリ

OpenGV:画像からカメラの3次元位置・姿勢を推定するライブラリ

コメント