セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Unityの薄い本
マルコフ連鎖モンテカルロ法
OpenCV
Webスクレイピングの勉強会に行ってきた
Google Colaboratoryで遊ぶ準備
RSSフィードを読込んで表示するWordpressプラグイン...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
iOSデバイスと接続して連携するガジェットの開発方法
Russian3DScannerのトポロジー転送ツール『Wr...
HD画質の無駄遣い
今年もSSII
Dlib：C++の機械学習ライブラリ
スクラッチで既存のキャラクターを立体化したい
HerokuでMEAN stack
Google App Engineのデプロイ失敗
ブログをGoogle App EngineからAmazon ...
3D復元技術の情報リンク集
UnityでARKit2.0
書籍『ゼロから作るDeep Learning』で自分なりに学...
科学技術計算向けスクリプト言語『Julia』
SONY製のニューラルネットワークライブラリ『NNabla』
ManuelBastioniLAB：人体モデリングできるBl...
Raspberry Pi
Rerun：マルチモーダルデータの可視化アプリとSDK
Blender 2.8がついに正式リリース！
ブログの復旧が難航してた話
オープンソースの物理ベースGIレンダラ『appleseed』
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
Unityからkonashiをコントロールする
Web経由でRaspberry PiのGPIOを操作したい
書籍『ROSプログラミング』
組み込み向けのWindows OS 『Windows Emb...
PyMC：Pythonのベイズ統計ライブラリ
3分の動画でプログラミングを学習できるサイト『ドットインスト...
OpenCV 3.1とopencv_contribモジュール...
Structure from Motion (多視点画像から...
Swark：コードからアーキテクチャ図を作成できるVSCod...
WordPress on Google App Engine...
cvui：OpenCVのための軽量GUIライブラリ
NeuralNetwork.NET：.NETで使えるTens...
iPhone・iPod touchで動作する知育ロボット『R...
OpenCVの超解像(SuperResolution)モジュ...
コメント