Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

MVStudio:オープンソースのPhotogrammetr...

OpenAR:OpenCVベースのマーカーARライブラリ

Google App Engine上のWordPressでA...

R-CNN (Regions with CNN featur...

cvui:OpenCVのための軽量GUIライブラリ

書籍『仕事ではじめる機械学習』を読みました

Raspberry Pi

タマムシっぽい質感

OpenCV3.3.0でsfmモジュールのビルドに成功!

BGSLibrary:OpenCVベースの背景差分ライブラリ

UnityのGameObjectの向きをScriptで制御す...

定数

iPhone x ロボットハッカソン~RomoのiPhone...

Mitsuba 3:オープンソースの研究向けレンダラ

OpenCVで動画の手ぶれ補正

Gource:バージョン管理の履歴を可視化するツール

Math Inspector:科学計算向けビジュアルプログラ...

pythonもかじってみようかと

為替レートの読み方 2WAYプライス表示

CGALDotNet:計算幾何学ライブラリ CGALのC#ラ...

Deep Learningとその他の機械学習手法の性能比較

オープンソースの顔の動作解析ツールキット『OpenFace』

クラスの基本

Webサイトのワイヤーフレームが作成できるオンラインツール

Theia:オープンソースのStructure from M...

ROSでガンダムを動かす

OpenCVの顔検出過程を可視化した動画

Kubric:機械学習用アノテーション付き動画生成パイプライ...

Google Colaboratoryで遊ぶ準備

Live CV:インタラクティブにComputer Visi...

Unityの薄い本

OpenMVS:Multi-View Stereoによる3次...

OpenCVで顔のランドマークを検出する『Facemark ...

ManuelBastioniLAB:人体モデリングできるBl...

UnityでPoint Cloudを表示する方法

Mayaのプラグイン開発

第2回Webスクレイピング勉強会の資料

Google App Engineのデプロイ失敗

Blender 2.8がついに正式リリース!

adskShaderSDK

Polyscope:3Dデータ操作用GUIライブラリ

OpenCV 3.1から追加されたSfMモジュール

コメント