Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

VCG Library:C++のポリゴン操作ライブラリ

DensePose:画像中の人物表面のUV座標を推定する

PythonでBlenderのAdd-on開発

OpenAR:OpenCVベースのマーカーARライブラリ

書籍『ROSプログラミング』

Blender 2.8がついに正式リリース!

Boost オープンソースライブラリ

UnityでTweenアニメーションを実装できる3種類の無料...

OpenMVS:Multi-View Stereoによる3次...

ブログのデザイン変えました

ManuelBastioniLAB:人体モデリングできるBl...

OpenCV バージョン4がリリースされた!

GAN (Generative Adversarial Ne...

Runway ML:クリエイターのための機械学習ツール

C++始めようと思うんだ

科学技術計算向けスクリプト言語『Julia』

続・ディープラーニングの資料

WordPressプラグインによるサイトマップの自動生成

TensorFlowでCGを微分できる『TensorFlow...

Open3D:3Dデータ処理ライブラリ

HerokuでMEAN stack

機械学習で遊ぶ

UnityでOpenCVを使うには?

CGレンダラ研究開発のためのフレームワーク『Lightmet...

WordPress on Google App Engine...

Deep Fluids:流体シミュレーションをディープラーニ...

OpenCVのfindEssentialMat関数を使ったサ...

IronPythonを使ってUnity上でPythonのコー...

書籍『ゼロから作るDeep Learning』で自分なりに学...

TensorSpace.js:ニューラルネットワークの構造を...

Kornia:微分可能なコンピュータービジョンライブラリ

pythonもかじってみようかと

Mean Stack開発の最初の一歩

C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...

Webサイトのワイヤーフレームが作成できるオンラインツール

オープンソースの人体モデリングツール『MakeHuman』の...

TorchStudio:PyTorchのための統合開発環境と...

ZBrushのZScript入門

LuxCoreRender:オープンソースの物理ベースレンダ...

ManimML:機械学習の概念を視覚的に説明するためのライブ...

Unity ARKitプラグインサンプルのチュートリアルを読...

Structure from Motion (多視点画像から...

コメント