セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
ディープラーニング
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
Live CV：インタラクティブにComputer Visi...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
iPhone x ロボットハッカソン～RomoのiPhone...
Google App EngineでWordPress
Google App Engineのデプロイ失敗
UnityでOpenCVを使うには？
viser：Pythonで使える3D可視化ライブラリ
Gource：バージョン管理の履歴を可視化するツール
このブログのデザインに飽きてきた
Kaolin：3Dディープラーニング用のPyTorchライブ...
機械学習に役立つPythonライブラリ一覧
ROSの薄い本
Google App Engine上のWordPressでF...
Google App Engine上のWordPressでA...
pythonの機械学習ライブラリ『scikit-learn』
ブログをGoogle App EngineからAmazon ...
WordPressプラグインの作り方
ニューラルネットワークで画像分類
OpenCVのバージョン3が正式リリースされたぞ
Python.NET：Pythonと.NETを連携させるパッ...
3Dモデルを立体視で確認できるVRアプリを作っている
Rerun：マルチモーダルデータの可視化アプリとSDK
網元AMIで作ったWordpressサイトのインスタンスをt...
3Dグラフィックスの入門書
書籍『ゼロから作るDeep Learning』で自分なりに学...
機械学習で遊ぶ
動的なメモリの扱い
JavaScriptとかWebGLとかCanvasとか
Mean Stack開発の最初の一歩
OpenCVで顔のランドマークを検出する『Facemark ...
Open3D：3Dデータ処理ライブラリ
Unity ARKitプラグインサンプルのドキュメントを読む
HerokuでMEAN stack
Quartus II
SDカードサイズのコンピューター『Intel Edison』
PyMC：Pythonのベイズ統計ライブラリ
ZBrushのZScript入門
python-twitterで自分のお気に入りを取得する
Seleniumを使ったFXや株の自動取引
Accord.NET Framework：C#で使える機械学...
コメント