セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
スクレイピング
Unityで強化学習できる『Unity ML-Agents』
仮想関数
iPhoneアプリ開発 Xcode 5のお作法
WordPressの表示を高速化する
UnrealCLR：Unreal Engineで.NET C...
MPFB2：Blenderの人体モデリングアドオン
続・ディープラーニングの資料
openMVG：複数視点画像から3次元形状を復元するライブラ...
konashiのサンプルコードを動かしてみた
Alice Vision：オープンソースのPhotogram...
PythonのHTML・XMLパーサー『BeautifulS...
UnityでLight Shaftを表現する
OpenGVの用語
チャットツール用bot開発フレームワーク『Hubot』
ROSの薄い本
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
UnityのTransformクラスについて調べてみた
OpenMesh：オープンソースの３Dメッシュデータライブラ...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Iterator
MVStudio：オープンソースのPhotogrammetr...
Blender 2.8がついに正式リリース！
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
OpenMVS：Multi-View Stereoによる3次...
WordPressプラグインによるサイトマップの自動生成
Python.NET：Pythonと.NETを連携させるパッ...
FreeMoCap Project：オープンソースのマーカー...
libigl：軽量なジオメトリ処理ライブラリ
Polyscope：3Dデータ操作用GUIライブラリ
Google製オープンソース機械学習ライブラリ『Tensor...
クラスの基本
JavaScriptとかWebGLとかCanvasとか
BlenderでPhotogrammetryできるアドオン
Mean Stack開発の最初の一歩
MythTV：Linuxでテレビの視聴・録画ができるオープン...
Raspberry PiでIoTごっこ
Point Cloud Utils：Pythonで3D点群・...
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
Unityの各コンポーネント間でのやり取り
Unity MonoBehaviourクラスのオーバーライド...
Deep Learningとその他の機械学習手法の性能比較
コメント