Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

NeuralNetwork.NET:.NETで使えるTens...

Unity ARKitプラグインサンプルのドキュメントを読む

ドットインストールのWordPress入門レッスン

Webサイトのワイヤーフレームが作成できるオンラインツール

Quartus II

bpy-renderer:レンダリング用Pythonパッケー...

C++ 標準テンプレートライブラリ (STL)

書籍『OpenCV 3 プログラミングブック』を購入

WordPress on Windows Azure

ブラウザ操作自動化ツール『Selenium』を試す

UnrealCLR:Unreal Engineで.NET C...

ManuelBastioniLAB:人体モデリングできるBl...

html5のcanvasの可能性

書籍『ROSプログラミング』

Swark:コードからアーキテクチャ図を作成できるVSCod...

WordPressプラグインの作り方

ディープラーニング

頭蓋骨からの顔復元と進化過程の可視化

Google App Engine上のWordPressでA...

geometry3Sharp:Unity C#で使えるポリゴ...

第1回 3D勉強会@関東『SLAMチュートリアル大会』

Alice Vision:オープンソースのPhotogram...

Geogram:C++の3D幾何アルゴリズムライブラリ

Python拡張モジュールのWindows用インストーラー配...

Super Resolution:OpenCVの超解像処理モ...

Unityで強化学習できる『Unity ML-Agents』

Blender 2.8がついに正式リリース!

Dlib:C++の機械学習ライブラリ

Mask R-CNN:ディープラーニングによる一般物体検出・...

BGSLibrary:OpenCVベースの背景差分ライブラリ

TorchStudio:PyTorchのための統合開発環境と...

スクレイピング

GoB:ZBrushとBlenderを連携させるアドオン

OpenCVの顔検出過程を可視化した動画

Kornia:微分可能なコンピュータービジョンライブラリ

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...

iPhone x ロボットハッカソン~RomoのiPhone...

MythTV:Linuxでテレビの視聴・録画ができるオープン...

iPhoneアプリ開発 Xcode 5のお作法

OpenCV 3.1とopencv_contribモジュール...

LuxCoreRender:オープンソースの物理ベースレンダ...

Unityで学ぶC#

コメント