セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
COLMAP：オープンソースのSfM・MVSツール
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
Geogram：C++の3D幾何アルゴリズムライブラリ
bpy-renderer：レンダリング用Pythonパッケー...
UnityからROSを利用できる『ROS#』
Quartus II
オープンソースのロボットアプリケーションフレームワーク『RO...
UnityのMonoBehaviourクラスをシングルトン化...
Seleniumを使ったFXや株の自動取引
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
trimesh：PythonでポリゴンMeshを扱うライブラ...
ZBrushのZScript入門
Google製オープンソース機械学習ライブラリ『Tensor...
OpenCVの顔検出過程を可視化した動画
FreeMoCap Project：オープンソースのマーカー...
プログラムによる景観の自動生成
PythonのHTML・XMLパーサー『BeautifulS...
Pylearn2：ディープラーニングに対応したPythonの...
Open3D：3Dデータ処理ライブラリ
WordPressプラグインの作り方
動的なメモリの扱い
機械学習に役立つPythonライブラリ一覧
書籍『ROSプログラミング』
クラスの基本
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
MB-Lab：Blenderの人体モデリングアドオン
Unity MonoBehaviourクラスのオーバーライド...
Composition Rendering：Blenderに...
NumSharp：C#で使えるNumPyライクな数値計算ライ...
OpenCVで顔のモーフィングを実装する
Pythonのソースコードに特化した検索エンジン『Nulle...
BlenderProc：Blenderで機械学習用の画像デー...
OpenFace：Deep Neural Networkによ...
OpenCVの超解像(SuperResolution)モジュ...
hloc：SuperGlueで精度を向上させたSfM・Vis...
PyTorch3D：3Dコンピュータービジョンライブラリ
C++始めようと思うんだ
Google Colaboratoryで遊ぶ準備
Twitter APIのPythonラッパー『python-...
Unityからkonashiをコントロールする
cvui：OpenCVのための軽量GUIライブラリ
OpenGVの用語
コメント