Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

OpenSfM:PythonのStructure from ...

ROSの薄い本

Geogram:C++の3D幾何アルゴリズムライブラリ

Seleniumを使ったFXや株の自動取引

BGSLibrary:OpenCVベースの背景差分ライブラリ

geometry3Sharp:Unity C#で使えるポリゴ...

HerokuでMEAN stack

Blendify:コンピュータービジョン向けBlenderラ...

pythonもかじってみようかと

Mitsuba 2:オープンソースの物理ベースレンダラ

UnityでLight Shaftを表現する

機械学習で遊ぶ

ManuelBastioniLAB:人体モデリングできるBl...

OpenFace:Deep Neural Networkによ...

iPhone・iPod touchで動作する知育ロボット『R...

Pythonのソースコードに特化した検索エンジン『Nulle...

UnrealCLR:Unreal Engineで.NET C...

Swark:コードからアーキテクチャ図を作成できるVSCod...

Mask R-CNN:ディープラーニングによる一般物体検出・...

OpenCV3.3.0でsfmモジュールのビルドに成功!

OpenCVで動画の手ぶれ補正

FCN (Fully Convolutional Netwo...

AfterEffectsプラグイン開発

書籍『仕事ではじめる機械学習』を読みました

為替レートの読み方 2WAYプライス表示

ブラウザ操作自動化ツール『Selenium』を試す

クラスの基本

TeleSculptor:空撮動画からPhotogramme...

Composition Rendering:Blenderに...

Unity Scriptコーディング→Unreal Engi...

Twitter APIのPythonラッパー『python-...

AmazonEC2のインスタンスをt1.microからt2....

Point Cloud Utils:Pythonで3D点群・...

PyDataTokyo主催のDeep Learning勉強会

Open3D:3Dデータ処理ライブラリ

uvでWindows11のPython環境を管理する

OpenCV 3.1とopencv_contribモジュール...

Theia:オープンソースのStructure from M...

C++始めようと思うんだ

Faster R-CNN:ディープラーニングによる一般物体検...

Unityからkonashiをコントロールする

組み込み向けのWindows OS 『Windows Emb...

コメント