Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。


スポンサーリンク

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。


スポンサーリンク

関連記事

C#で使える可読性重視のディープラーニングライブラリ『KelpNet』
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法
IronPythonを使ってUnity上でPythonのコードを実行する
OpenCVでPhotoshopのプラグイン開発
BlenderのPython環境にPyTorchをインストールする
OpenCVの超解像(SuperResolution)モジュールを試す
C++ 標準テンプレートライブラリ (STL)
今年もSSII
DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
Unreal Engineの薄い本
Seleniumを使ったFXや株の自動取引
Google App Engine上のWordPressでAmazonJSを利用する
Unityの薄い本
iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』
BlenderでPhotogrammetryできるアドオン
OpenCVで顔のモーフィングを実装する
株式会社ヘキサドライブの研究室ページ
OpenCVでiPhone6sのカメラをキャリブレーションする
3Dグラフィックスの入門書
OpenCVで動画の手振れ補正
続・ディープラーニングの資料
Google App Engine上のWordPressでFlickrの画像を貼る
Web経由でRaspberry PiのGPIOを操作したい
オープンソースの汎用レンダラ『Mitsuba 2』
チャットツール用bot開発フレームワーク『Hubot』
Webサイトのワイヤーフレームが作成できるオンラインツール
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
MythTV:Linuxでテレビの視聴・録画ができるオープンソースプロジェクト
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
ディープラーニングに対応したPythonの機械学習ライブラリ『Pylearn2』
画像からカメラの3次元位置・姿勢を推定するライブラリ『OpenGV』
Russian3DScannerのトポロジー転送ツール『WrapX』
Konashiを買った
Unityの各コンポーネント間でのやり取り
PyDataTokyo主催のDeep Learning勉強会
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
オープンソースのPhotogrammetryフレームワーク『Alice Vision』
Structure from Motion (多視点画像からの3次元形状復元)
Blender 2.8がついに正式リリース!
ROMOハッカソンに行ってきた
スクラッチで既存のキャラクターを立体化したい
OpenCVの超解像処理モジュール『Super Resolution』

コメント