Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。


スポンサーリンク

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。


スポンサーリンク

関連記事

UnityのMonoBehaviourクラスをシングルトン化する
BlenderでPhotogrammetryできるアドオン
OpenCV
サンプルコードにも間違いはある?
クリエイターのための機械学習ツール『Runway ML』
Twitter APIのPythonラッパー『python-twitter』
オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う
WordPress on Google App Engineを1週間運用してみて
OpenCVで顔のモーフィングを実装する
OpenCVのための軽量GUIライブラリ『cvui』
BlenderのPython環境にPyTorchをインストールする
OpenCV バージョン4がリリースされた!
バージョン管理の履歴を可視化するツール『Gource』
オープンソースの人体モデリングツール『MakeHuman』のAPI開発プロジェクトがスタート
UnityでOpenCVを使うには?
RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』
Raspberry PiのGPIOを操作するPythonライブラリ『RPi.GPIO』の使い方
UnityのAR FoundationでARKit 3
ブラウザ操作自動化ツール『Selenium』を試す
続・ディープラーニングの資料
ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...
オープンソースの取引プラットフォーム
PythonのHTML・XMLパーサー『BeautifulSoup』
オープンソースの顔の動作解析ツールキット『OpenFace』
Pythonの自然言語処理ライブラリ『NLTK(Natural Language Toolkit)』
HD画質の無駄遣い
OpenCVベースのマーカーARライブラリ『OpenAR』
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
OpenMVSのサンプルを動かしてみる
画像中の人物表面のUV座標を推定する『DensePose』
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...
adskShaderSDK
法線マップを用意してCanvas上でShadingするサンプル
PythonのStructure from Motionライブラリ『OpenSfM』
オープンソースのPhotogrammetryフレームワーク『Alice Vision』
Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された
Mitsuba 2:オープンソースの物理ベースレンダラ
フォトンの放射から格納までを可視化した動画
Raspberry PiでIoTごっこ
SONYの自律型エンタテインメントロボット『aibo』
OpenGVの用語
機械学習で遊ぶ

コメント