Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。


スポンサーリンク

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。


スポンサーリンク

関連記事

Unity ARKitプラグインサンプルのドキュメントを読む

組み込み向けのWindows OS 『Windows Embedded』

Raspberry Pi

VCG Library:C++のポリゴン操作ライブラリ

trimesh:PythonでポリゴンMeshを扱うライブラリ

OpenCVで動画の手ぶれ補正

BlenderでPhotogrammetryできるアドオン

株式会社ヘキサドライブの研究室ページ

Faster R-CNN:ディープラーニングによる一般物体検出手法

COLMAP:オープンソースのSfM・MVSツール

チャットツール用bot開発フレームワーク『Hubot』

Unreal Engineの薄い本

Web経由でRaspberry PiのGPIOを操作したい

ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る

konashiのサンプルコードを動かしてみた

AmazonEC2のインスタンスをt1.microからt2.microへ移行する

ニューラルネットワークで画像分類

UnityでARKit2.0

今年もSSII

UnityでPoint Cloudを表示する方法

Polyscope:3Dデータ操作用GUIライブラリ

AndroidもopenGLも初心者さ (でもJavaは知ってるよ)

Konashiを買った

C++の抽象クラス

ArUco:OpenCVベースのコンパクトなARライブラリ

スクレイピング

OpenCV 3.1のsfmモジュールのビルド再び

OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる

.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...

OpenCVで平均顔を作るチュートリアル

PyTorch3D:3Dコンピュータービジョンライブラリ

Google App EngineでWordPress

uvでWindows11のPython環境を管理する

UnrealCLR:Unreal Engineで.NET Coreを利用できるプラグイン

Blendify:コンピュータービジョン向けBlenderラッパー

Pythonのソースコードに特化した検索エンジン『Nullege』

TensorFlowでCGを微分できる『TensorFlow Graphics』

ブログのデザイン変えました

Python2とPython3

Unity Scriptコーディング→Unreal Engine Scriptコーディング

OpenCV3.3.0でsfmモジュールのビルドに成功!

OpenGVのライブラリ構成

コメント