Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。


スポンサーリンク

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。


スポンサーリンク

関連記事

OpenCVの三角測量関数『cv::triangulatepoints』
OpenMVSのサンプルを動かしてみる
C++の抽象クラス
Boost オープンソースライブラリ
オープンソースのSLAMライブラリ『Cartographer』
ROMOハッカソンに行ってきた
ブログのデザイン変えました
ROSの薄い本
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
書籍『OpenCV 3 プログラミングブック』を購入
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...
OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる
Javaで作られたオープンソースの3DCGレンダラ『Sunflow』
OpenCVでPhotoshopのプラグイン開発
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
Google Chromecast
ArUco:OpenCVベースのコンパクトなARライブラリ
WordPressプラグインによるサイトマップの自動生成
UnityでShaderの入力パラメータとして行列を渡す
C#で使える機械学習ライブラリ『Accord.NET Framework』
Web経由でRaspberry PiのGPIOを操作したい
複数視点画像から3次元形状を復元するライブラリ『openMVG』
BlenderのPython環境にPyTorchをインストールする
AMIMOTO(PVM版)で作成したインスタンスをAMIMOTO (HVM版)へ移行する
Twitter APIのPythonラッパー『python-twitter』
OpenCVで動画の手ぶれ補正
IronPythonを使ってUnity上でPythonのコードを実行する
3D復元技術の情報リンク集
書籍『ROSプログラミング』
バージョン管理の履歴を可視化するツール『Gource』
WordPressのサーバ引っ越し方法を考える
iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~
Unity ARKitプラグインサンプルのドキュメントを読む
オープンソースの物理ベースGIレンダラ『appleseed』
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
Unityで強化学習できる『Unity ML-Agents』
html5のcanvasの可能性
SONYの自律型エンタテインメントロボット『aibo』
OpenCV
Raspberry Piでセンサーの常時稼働を検討する
Verilog HDL
UnityからROSを利用できる『ROS#』

コメント