Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

OpenCVで顔のモーフィングを実装する

BlenderProc:Blenderで機械学習用の画像デー...

CycleGAN:ドメイン関係を学習した画像変換

ManimML:機械学習の概念を視覚的に説明するためのライブ...

KelpNet:C#で使える可読性重視のディープラーニングラ...

Verilog HDL

Unityで学ぶC#

まだ続くブログの不調

Unityからkonashiをコントロールする

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...

Iterator

網元AMIで作ったWordpressサイトのインスタンスをt...

Faster R-CNN:ディープラーニングによる一般物体検...

pythonの機械学習ライブラリ『scikit-learn』

為替レートの読み方 2WAYプライス表示

OpenCVの超解像(SuperResolution)モジュ...

OpenFace:Deep Neural Networkによ...

Raspberry Pi 2を買いました

書籍『3次元コンピュータビジョン計算ハンドブック』を購入

3分の動画でプログラミングを学習できるサイト『ドットインスト...

OpenCVのfindEssentialMat関数を使ったサ...

ブログの復旧が難航してた話

OpenCVのバージョン3が正式リリースされたぞ

MPFB2:Blenderの人体モデリングアドオン

Russian3DScannerのトポロジー転送ツール『Wr...

3Dグラフィックスの入門書

ドットインストールのWordPress入門レッスン

PythonのHTML・XMLパーサー『BeautifulS...

NumSharp:C#で使えるNumPyライクな数値計算ライ...

Quartus II

FreeMoCap Project:オープンソースのマーカー...

Super Resolution:OpenCVの超解像処理モ...

Webサイトのワイヤーフレームが作成できるオンラインツール

Kaolin:3Dディープラーニング用のPyTorchライブ...

ROSでガンダムを動かす

Google App EngineでWordPress

Managing Software Requirements...

今年もSSII

OpenCV 3.1とopencv_contribモジュール...

SONYの自律型エンタテインメントロボット『aibo』

TensorFlowでCGを微分できる『TensorFlow...

Caffe:読みやすくて高速なディープラーニングのフレームワ...

コメント