Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。


スポンサーリンク

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。


スポンサーリンク

関連記事

FreeMoCap Project:オープンソースのマーカーレスモーションキャプチャ
OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...
マルコフ連鎖モンテカルロ法
pythonもかじってみようかと
WordPress on Windows Azure
Theia:オープンソースのStructure from Motionライブラリ
Raspberry Piでセンサーの常時稼働を検討する
Python2とPython3
Cartographer:オープンソースのSLAMライブラリ
Pythonの自然言語処理ライブラリ『NLTK(Natural Language Toolkit)』
AMIMOTO(PVM版)で作成したインスタンスをAMIMOTO (HVM版)へ移行する
openMVGをWindows10 Visual Studio 2015環境でビルドする
OpenCVでPhotoshopのプラグイン開発
iOSデバイスと接続して連携するガジェットの開発方法
iPhone・iPod touchで動作する知育ロボット『ROMO』
Mask R-CNN:ディープラーニングによる一般物体検出・Instance Segmentatio...
Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された
OpenAR:OpenCVベースのマーカーARライブラリ
OpenCVで平均顔を作るチュートリアル
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
UnrealCLR:Unreal Engineで.NET Coreを利用できるプラグイン
書籍『仕事ではじめる機械学習』を読みました
Kaolin:3Dディープラーニング用のPyTorchライブラリ
Python.NET:Pythonと.NETを連携させるパッケージ
プログラムによる景観の自動生成
adskShaderSDK
RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』
OpenCVで動画の手ぶれ補正
Google App Engineのデプロイ失敗
Manim:Pythonで使える数学アニメーションライブラリ
libigl:軽量なジオメトリ処理ライブラリ
Mean Stack開発の最初の一歩
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
ROSでガンダムを動かす
ROMOハッカソンに行ってきた
C++始めようと思うんだ
Raspberry Pi 2のGPIOピン配置
OpenVDB:3Dボリュームデータ処理ライブラリ
NumSharp:C#で使えるNumPyライクな数値計算ライブラリ
Russian3DScannerのトポロジー転送ツール『WrapX』
UnityのAR FoundationでARKit 3

コメント