Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

geometry3Sharp:Unity C#で使えるポリゴ...

書籍『ROSプログラミング』

Google App Engine上のWordPressでA...

Seleniumを使ったFXや株の自動取引

Raspberry Pi 2を買いました

WordPress on Windows Azure

Kornia:微分可能なコンピュータービジョンライブラリ

hloc:SuperGlueで精度を向上させたSfM・Vis...

Iterator

CycleGAN:ドメイン関係を学習した画像変換

3Dモデルを立体視で確認できるVRアプリを作っている

OpenAR:OpenCVベースのマーカーARライブラリ

OpenCVでPhotoshopのプラグイン開発

3D復元技術の情報リンク集

Iridescence:プロトタイピング向け軽量3D可視化ラ...

Unityの薄い本

OpenCVでカメラ画像から自己位置認識 (Visual O...

AndroidもopenGLも初心者さ (でもJavaは知っ...

プログラムによる景観の自動生成

Google製オープンソース機械学習ライブラリ『Tensor...

UnrealCLR:Unreal Engineで.NET C...

UnityのMonoBehaviourクラスをシングルトン化...

WordPress on Google App Engine...

OpenGV:画像からカメラの3次元位置・姿勢を推定するライ...

ManuelBastioniLAB:人体モデリングできるBl...

CGALDotNet:計算幾何学ライブラリ CGALのC#ラ...

AmazonEC2のインスタンスをt1.microからt2....

Math.NET Numerics:Unityで使える数値計...

Boost オープンソースライブラリ

Polyscope:3Dデータ操作用GUIライブラリ

SONY製のニューラルネットワークライブラリ『NNabla』

Dlib:C++の機械学習ライブラリ

KelpNet:C#で使える可読性重視のディープラーニングラ...

BlenderのPython環境にPyTorchをインストー...

UnityからROSを利用できる『ROS#』

UnityプロジェクトをGitHubで管理する

NeuralNetwork.NET:.NETで使えるTens...

Accord.NET Framework:C#で使える機械学...

Unityの各コンポーネント間でのやり取り

Raspberry Pi 2のGPIOピン配置

Live CV:インタラクティブにComputer Visi...

OpenMVSのサンプルを動かしてみる

コメント