セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Twitter APIのPythonラッパー『python-...
OpenCVの超解像(SuperResolution)モジュ...
Google App EngineでWordPress
PyMC：Pythonのベイズ統計ライブラリ
Mitsuba 2：オープンソースの物理ベースレンダラ
OpenMesh：オープンソースの３Dメッシュデータライブラ...
機械学習手法『Random Forest』
OpenAR：OpenCVベースのマーカーARライブラリ
Point Cloud Utils：Pythonで3D点群・...
trimesh：PythonでポリゴンMeshを扱うライブラ...
オープンソースの顔の動作解析ツールキット『OpenFace』
cvui：OpenCVのための軽量GUIライブラリ
OpenCV 3.1のsfmモジュールを試す
LuxCoreRender：オープンソースの物理ベースレンダ...
Unityからkonashiをコントロールする
定数
OpenCVで平均顔を作るチュートリアル
Raspberry PiでIoTごっこ
OpenCVでPhotoshopのプラグイン開発
OpenGVの用語
BGSLibrary：OpenCVベースの背景差分ライブラリ
タマムシっぽい質感
UnityでOpenCVを使うには？
PGGAN：段階的に解像度を上げて学習を進めるGAN
geometry3Sharp：Unity C#で使えるポリゴ...
TensorFlowでCGを微分できる『TensorFlow...
プログラムによる景観の自動生成
Python拡張モジュールのWindows用インストーラー配...
OpenCVでカメラ画像から自己位置認識 (Visual O...
Alice Vision：オープンソースのPhotogram...
UnityからROSを利用できる『ROS#』
ドットインストールのWordPress入門レッスン
Unityで学ぶC#
pythonもかじってみようかと
OpenCV
手を動かしながら学ぶデータマイニング
続・ディープラーニングの資料
Python.NET：Pythonと.NETを連携させるパッ...
SONYの自律型エンタテインメントロボット『aibo』
ブラウザ操作自動化ツール『Selenium』を試す
OpenCVでiPhone6sのカメラをキャリブレーションす...
Blender 2.8がついに正式リリース！
コメント