Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

Mask R-CNN:ディープラーニングによる一般物体検出・...

Raspberry PiでIoTごっこ

Runway ML:クリエイターのための機械学習ツール

FreeMoCap Project:オープンソースのマーカー...

Mitsuba 3:オープンソースの研究向けレンダラ

オープンソースの顔認識フレームワーク『OpenBR』

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...

UnityのTransformクラスについて調べてみた

Unityの薄い本

UnityのMonoBehaviourクラスをシングルトン化...

OpenGV:画像からカメラの3次元位置・姿勢を推定するライ...

Caffe:読みやすくて高速なディープラーニングのフレームワ...

OpenCVでカメラ画像から自己位置認識 (Visual O...

Kaolin:3Dディープラーニング用のPyTorchライブ...

Mayaのプラグイン開発

Mean Stack開発の最初の一歩

OpenMVS:Multi-View Stereoによる3次...

TeleSculptor:空撮動画からPhotogramme...

WordPressプラグインの作り方

konashiのサンプルコードを動かしてみた

ROMOハッカソンに行ってきた

OpenCV3.3.0でsfmモジュールのビルドに成功!

ManimML:機械学習の概念を視覚的に説明するためのライブ...

Windows10でPyTorchをインストールしてVSCo...

ディープラーニング

タマムシっぽい質感

OpenCVで顔のランドマークを検出する『Facemark ...

Webスクレイピングの勉強会に行ってきた

FCN (Fully Convolutional Netwo...

IronPythonを使ってUnity上でPythonのコー...

Theia:オープンソースのStructure from M...

OpenCVの超解像(SuperResolution)モジュ...

KelpNet:C#で使える可読性重視のディープラーニングラ...

OpenCV バージョン4がリリースされた!

PythonでMayaのShapeノードプラグインを作る

3Dグラフィックスの入門書

trimesh:PythonでポリゴンMeshを扱うライブラ...

Google App Engine上のWordPressでA...

動的なメモリの扱い

UnityからROSを利用できる『ROS#』

ArUco:OpenCVベースのコンパクトなARライブラリ

OpenGVの用語

コメント