Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

AfterEffectsプラグイン開発

WebGL開発に関する情報が充実してきている

UnityでShaderの入力パラメータとして行列を渡す

OpenCVの顔検出過程を可視化した動画

Google製オープンソース機械学習ライブラリ『Tensor...

Raspberry Pi 2を買いました

Manim:Pythonで使える数学アニメーションライブラリ

Pythonの自然言語処理ライブラリ『NLTK(Natura...

Deep Fluids:流体シミュレーションをディープラーニ...

AndroidもopenGLも初心者さ (でもJavaは知っ...

Kubric:機械学習用アノテーション付き動画生成パイプライ...

Seleniumを使ったFXや株の自動取引

OpenMesh:オープンソースの3Dメッシュデータライブラ...

Raspberry Piでセンサーの常時稼働を検討する

Web経由でRaspberry PiのGPIOを操作したい

Windows10でPyTorchをインストールしてVSCo...

Google App EngineでWordPress

viser:Pythonで使える3D可視化ライブラリ

BlenderでPhotogrammetryできるアドオン

pythonもかじってみようかと

OpenCV バージョン4がリリースされた!

PyMC:Pythonのベイズ統計ライブラリ

Gource:バージョン管理の履歴を可視化するツール

trimesh:PythonでポリゴンMeshを扱うライブラ...

株式会社ヘキサドライブの研究室ページ

Quartus II

Swark:コードからアーキテクチャ図を作成できるVSCod...

PyTorch3D:3Dコンピュータービジョンライブラリ

Faster R-CNN:ディープラーニングによる一般物体検...

UnityでTweenアニメーションを実装できる3種類の無料...

CGALDotNet:計算幾何学ライブラリ CGALのC#ラ...

UnityのAR FoundationでARKit 3

DCGAN (Deep Convolutional GAN)...

COLMAP:オープンソースのSfM・MVSツール

MVStudio:オープンソースのPhotogrammetr...

UnityでOpenCVを使うには?

クラスの基本

Rerun:マルチモーダルデータの可視化アプリとSDK

Kornia:微分可能なコンピュータービジョンライブラリ

AmazonEC2のインスタンスをt1.microからt2....

サンプルコードにも間違いはある?

ROSの薄い本

コメント