セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
Raspberry Pi
組み込み向けのWindows OS 『Windows Emb...
OANDAのfxTrade API
OpenMesh：オープンソースの３Dメッシュデータライブラ...
株式会社ヘキサドライブの研究室ページ
OpenCVで平均顔を作るチュートリアル
Live CV：インタラクティブにComputer Visi...
スクレイピング
MPFB2：Blenderの人体モデリングアドオン
為替レートの読み方 2WAYプライス表示
R-CNN (Regions with CNN featur...
Human Generator：Blenderの人体生成アド...
DensePose：画像中の人物表面のUV座標を推定する
Iterator
Russian3DScannerのトポロジー転送ツール『Wr...
pythonの機械学習ライブラリ『scikit-learn』
Python2とPython3
adskShaderSDK
UnityのAR FoundationでARKit 3
html5のcanvasの可能性
HerokuでMEAN stack
NumSharp：C#で使えるNumPyライクな数値計算ライ...
ZBrushのZScript入門
機械学習手法『Random Forest』
Math Inspector：科学計算向けビジュアルプログラ...
OpenCV 3.1のsfmモジュールを試す
OpenGVのライブラリ構成
このブログのデザインに飽きてきた
Konashiを買った
KelpNet：C#で使える可読性重視のディープラーニングラ...
Polyscope：3Dデータ操作用GUIライブラリ
Theia：オープンソースのStructure from M...
OpenAR：OpenCVベースのマーカーARライブラリ
TorchStudio：PyTorchのための統合開発環境と...
Multi-View Environment：複数画像から3...
libigl：軽量なジオメトリ処理ライブラリ
openMVGをWindows10 Visual Studi...
TensorSpace.js：ニューラルネットワークの構造を...
オープンソースの顔の動作解析ツールキット『OpenFace』
WordPressプラグインの作り方
仮想関数
コメント