セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
SVM (Support Vector Machine)
オープンソースの取引プラットフォーム
UnityのAR FoundationでARKit 3
uvでWindows11のPython環境を管理する
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
WordPressプラグインによるサイトマップの自動生成
機械学習手法『Random Forest』
OpenCV 3.1から追加されたSfMモジュール
Multi-View Environment：複数画像から3...
Model View Controller
geometry3Sharp：Unity C#で使えるポリゴ...
UnityのMonoBehaviourクラスをシングルトン化...
OANDAのfxTrade API
ROSでガンダムを動かす
Google製オープンソース機械学習ライブラリ『Tensor...
Accord.NET Framework：C#で使える機械学...
UnityからROSを利用できる『ROS#』
ZBrushのZScript入門
書籍『ROSプログラミング』
R-CNN (Regions with CNN featur...
SONYの自律型エンタテインメントロボット『aibo』
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
OpenCV 3.1とopencv_contribモジュール...
OpenGVの用語
ブラウザ操作自動化ツール『Selenium』を試す
Twitter APIのPythonラッパー『python-...
機械学習に役立つPythonライブラリ一覧
ブログのデザイン変えました
OpenCV 3.1のsfmモジュールを試す
Google App Engine上のWordPressでA...
KelpNet：C#で使える可読性重視のディープラーニングラ...
openMVG：複数視点画像から3次元形状を復元するライブラ...
HerokuでMEAN stack
このブログのデザインに飽きてきた
OpenCVで平均顔を作るチュートリアル
Web経由でRaspberry PiのGPIOを操作したい
OpenCVでiPhone6sのカメラをキャリブレーションす...
Unityの薄い本
OpenCVで顔のランドマークを検出する『Facemark ...
Live CV：インタラクティブにComputer Visi...
機械学習で遊ぶ
CGレンダラ研究開発のためのフレームワーク『Lightmet...
コメント