Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。


スポンサーリンク

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。


スポンサーリンク

関連記事

3分の動画でプログラミングを学習できるサイト『ドットインストール』
pythonの機械学習ライブラリ『scikit-learn』
TeleSculptor:空撮動画からPhotogrammetryするツール
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う
WordPressの表示を高速化する
スクレイピング
書籍『仕事ではじめる機械学習』を読みました
Kaolin:3Dディープラーニング用のPyTorchライブラリ
PyDataTokyo主催のDeep Learning勉強会
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
ブラウザ操作自動化ツール『Selenium』を試す
Mitsuba 2:オープンソースの物理ベースレンダラ
Structure from Motion (多視点画像からの3次元形状復元)
Mayaのプラグイン開発
ブログのデザイン変えました
プログラミングスキルとは何か?
UnityからROSを利用できる『ROS#』
OpenCV バージョン4がリリースされた!
Python2とPython3
WordPressのテーマを自作する
iPhoneアプリ開発 Xcode 5のお作法
OpenMVSのサンプルを動かしてみる
OpenCVで顔のモーフィングを実装する
OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...
このブログのデザインに飽きてきた
OpenCVで平均顔を作るチュートリアル
Model View Controller
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
OpenCVのバージョン3が正式リリースされたぞ
UnityのTransformクラスについて調べてみた
複数視点画像から3次元形状を復元するライブラリ『openMVG』
Iterator
OpenCVで顔のランドマークを検出する『Facemark API』
adskShaderSDK
Google App EngineでWordPress
Raspberry Pi
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...
RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』
Windows10でPyTorchをインストールしてVSCodeで使う
Unreal Engineの薄い本
WinSCP

コメント