Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

GAN (Generative Adversarial Ne...

Open3D:3Dデータ処理ライブラリ

Blendify:コンピュータービジョン向けBlenderラ...

オープンソースの人体モデリングツール『MakeHuman』の...

AfterEffectsプラグイン開発

UnityからROSを利用できる『ROS#』

オープンソースの物理ベースレンダラ『Mitsuba』をMay...

Unityで強化学習できる『Unity ML-Agents』

HD画質の無駄遣い

FCN (Fully Convolutional Netwo...

3Dグラフィックスの入門書

第2回Webスクレイピング勉強会の資料

OpenFace:Deep Neural Networkによ...

viser:Pythonで使える3D可視化ライブラリ

OpenCVのfindEssentialMat関数を使ったサ...

書籍『仕事ではじめる機械学習』を読みました

SDカードサイズのコンピューター『Intel Edison』

ArUco:OpenCVベースのコンパクトなARライブラリ

html5のcanvasの可能性

Cartographer:オープンソースのSLAMライブラリ

Math.NET Numerics:Unityで使える数値計...

UnityでTweenアニメーションを実装できる3種類の無料...

WordPressの表示を高速化する

uvでWindows11のPython環境を管理する

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...

MVStudio:オープンソースのPhotogrammetr...

BlenderのPython環境にPyTorchをインストー...

プログラミングスキルとは何か?

Raspberry PiのGPIOを操作するPythonライ...

組み込み向けのWindows OS 『Windows Emb...

PyTorch3D:3Dコンピュータービジョンライブラリ

Mayaのプラグイン開発

ZScript

ニューラルネットワークで画像分類

Google App EngineでWordPress

ZBrushのZScript入門

OpenCVでPhotoshopのプラグイン開発

NeuralNetwork.NET:.NETで使えるTens...

Runway ML:クリエイターのための機械学習ツール

OpenGV:画像からカメラの3次元位置・姿勢を推定するライ...

Google XML Sitemap Generatorプラ...

python-twitterで自分のお気に入りを取得する

コメント