Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

Kornia:微分可能なコンピュータービジョンライブラリ

Runway ML:クリエイターのための機械学習ツール

WordPressのサーバ引っ越し方法を考える

Boost オープンソースライブラリ

PythonのHTML・XMLパーサー『BeautifulS...

OpenMVSのサンプルを動かしてみる

ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...

OpenCVの三角測量関数『cv::triangulatep...

Blendify:コンピュータービジョン向けBlenderラ...

仮想関数

2D→3D復元技術で使われる用語まとめ

Gource:バージョン管理の履歴を可視化するツール

ROSの薄い本

Raspberry PiでIoTごっこ

機械学習に役立つPythonライブラリ一覧

OpenMesh:オープンソースの3Dメッシュデータライブラ...

TensorFlowでCGを微分できる『TensorFlow...

Human Generator:Blenderの人体生成アド...

オープンソースの人体モデリングツール『MakeHuman』の...

Open3D:3Dデータ処理ライブラリ

AfterEffectsプラグイン開発

iOSデバイスと接続して連携するガジェットの開発方法

株式会社ヘキサドライブの研究室ページ

PGGAN:段階的に解像度を上げて学習を進めるGAN

ブラウザ操作自動化ツール『Selenium』を試す

Accord.NET Framework:C#で使える機械学...

pythonもかじってみようかと

動的なメモリの扱い

bpy-renderer:レンダリング用Pythonパッケー...

UnityのTransformクラスについて調べてみた

COLMAP:オープンソースのSfM・MVSツール

第2回Webスクレイピング勉強会の資料

ZScript

3D復元技術の情報リンク集

Unity ARKitプラグインサンプルのドキュメントを読む

第1回 3D勉強会@関東『SLAMチュートリアル大会』

Mean Stack開発の最初の一歩

DensePose:画像中の人物表面のUV座標を推定する

Python2とPython3

UnrealCLR:Unreal Engineで.NET C...

ManimML:機械学習の概念を視覚的に説明するためのライブ...

Super Resolution:OpenCVの超解像処理モ...

コメント