Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

openMVGをWindows10 Visual Studio 2015環境でビルドする

今年もSSII

PyMC:Pythonのベイズ統計ライブラリ

iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~

HerokuでMEAN stack

Polyscope:3Dデータ操作用GUIライブラリ

ブログが1日ダウンしてました

COLMAP:オープンソースのSfM・MVSツール

Theia:オープンソースのStructure from Motionライブラリ

OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク

Structure from Motion (多視点画像からの3次元形状復元)

Iridescence:プロトタイピング向け軽量3D可視化ライブラリ

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた

Faster R-CNN:ディープラーニングによる一般物体検出手法

pythonの機械学習ライブラリ『scikit-learn』

Mayaのプラグイン開発

PyDataTokyo主催のDeep Learning勉強会

DensePose:画像中の人物表面のUV座標を推定する

OpenMesh:オープンソースの3Dメッシュデータライブラリ

WordPress on Google App Engineを1週間運用してみて

Pylearn2:ディープラーニングに対応したPythonの機械学習ライブラリ

OpenGVのライブラリ構成

SONYの自律型エンタテインメントロボット『aibo』

OpenMVSのサンプルを動かしてみる

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

OpenCV3.3.0でsfmモジュールのビルドに成功!

OpenCVで平均顔を作るチュートリアル

まだ続くブログの不調

オープンソースの取引プラットフォーム

IronPythonを使ってUnity上でPythonのコードを実行する

書籍『ゼロから作るDeep Learning』で自分なりに学ぶ

Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された

ブログをGoogle App EngineからAmazon EC2へ移行

CycleGAN:ドメイン関係を学習した画像変換

チャットツール用bot開発フレームワーク『Hubot』

書籍『仕事ではじめる機械学習』を読みました

ZScript

スクレイピング

Google App Engineのデプロイ失敗

SONY製のニューラルネットワークライブラリ『NNabla』

GAN (Generative Adversarial Networks):敵対的生成ネットワーク

Quartus II

コメント