セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenCVで顔のランドマークを検出する『Facemark ...
Raspberry Piでセンサーの常時稼働を検討する
COLMAP：オープンソースのSfM・MVSツール
NumSharp：C#で使えるNumPyライクな数値計算ライ...
KelpNet：C#で使える可読性重視のディープラーニングラ...
OpenCVで動画の手ぶれ補正
Kaolin：3Dディープラーニング用のPyTorchライブ...
PyMC：Pythonのベイズ統計ライブラリ
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
TensorFlowでCGを微分できる『TensorFlow...
Python拡張モジュールのWindows用インストーラー配...
IronPythonを使ってUnity上でPythonのコー...
ROMOハッカソンに行ってきた
Structure from Motion (多視点画像から...
クラスの基本
Blendify：コンピュータービジョン向けBlenderラ...
UnityでLight Shaftを表現する
動的なメモリの扱い
Google Colaboratoryで遊ぶ準備
Seleniumを使ったFXや株の自動取引
Raspberry Pi 2のGPIOピン配置
Unityの各コンポーネント間でのやり取り
Gource：バージョン管理の履歴を可視化するツール
Mask R-CNN：ディープラーニングによる一般物体検出・...
iPhone・iPod touchで動作する知育ロボット『R...
UnityのMonoBehaviourクラスをシングルトン化...
CGレンダラ研究開発のためのフレームワーク『Lightmet...
ブログをGoogle App EngineからAmazon ...
書籍『ROSプログラミング』
スクレイピング
BlenderProc：Blenderで機械学習用の画像デー...
openMVGをWindows10 Visual Studi...
AnacondaとTensorFlowをインストールしてVi...
TeleSculptor：空撮動画からPhotogramme...
C++ 標準テンプレートライブラリ (STL)
Iterator
Kornia：微分可能なコンピュータービジョンライブラリ
Deep Learningとその他の機械学習手法の性能比較
Mitsuba 3：オープンソースの研究向けレンダラ
Composition Rendering：Blenderに...
株式会社ヘキサドライブの研究室ページ
3D復元技術の情報リンク集
コメント